Eindrapportage project OP 3.1 E-portfolio

Eindrapportage project OP 3.1 E-portfolio september 2003 – december 2005

Marion Corte (projectleider E-merge) Jenny Brakels, Elsbeth Ingenluyff, Martine de Lange, Riet Monasso, Harry Vaessen, Dominique Waterval (E-merge) Jan Snijders (projectleider Apollo) Jos Tolboom (Apollo)

December 2005

Eindrapportage E-merge/Apollo project OP 3.1 E-portfolio, december 2005

2

Inhoudsopgave Samenvatting

3

1. Inleiding

5

2. Aanpak en werkwijze 2.1 Aanpak vanuit de visie van het projectteam 2.2 Werkwijze 2.4 Organisatie van de pilots 2.5 Realisatie van de pilots 2.6 Ondersteuning van de pilots / beheer

8 8 8 10 11 12

Ondersteuning van de pilots / beheer 21 3. Het uittesten van de drie systemen in de pilots 3.1 De drie e-portfoliosystemen 3.2 Beschrijving van de pilots 4. Het evaluatieonderzoek 4.1 Opzet van het evaluatieonderzoek 4.2 Conclusies naar aanleiding van de ervaringen binnen de pilots 4.3 Gebruik van de e-portfolio’s en de opgedane ervaringen 4.4 Wensen en eisen inzake de e-portfoliosystemen 4.5 Voorwaarden voor uitgebreid en intensief gebruik van een e-portfolio 4.6 Aanbevelingen 4.7 Samenvattend


14 14 15 19

19 19 20 21 21 22 23

3

5. Specifieke ervaringen vanuit de pilots / lessons learned 5.1 Onderwijskundig 5.2 Technisch 5.3 Organisatorisch 5.4 Financieel 5.5 Consequenties brede uitrol 5.6 De drie systemen 5.7 Samenvattend


24 24 25 26 27 27 28 31

4

6. Conclusie 6.1 Aanbeveling Blackboard Content System 6.2 Onderwijsinhoudelijk 6.3 Technisch 6.4 organisatorisch 6.5 Financieel 6.6 Aanbevelingen 6.7 Samenvattend

32 32 32 33 34 34 35 36

7. Vervolgtraject 7.1 Verder uitbouwen van kennis delen en kennisontwikkeling 7.2 Implementatie van het e-portfolio 7.3 Randvoorwaarden voor de implementatie van het e-portfolio 7.4 Aanbevelingen vanuit de deelnemers aan de eindpresentatie op 29 juni 2005 7.5 Inbedding E-merge/Apollo binnen de organisatie van de instellingen

37 37 37 39 40 41

45 Literatuurlijst

42

Bijlagen I Onderwijskundige visie op het gebruik van het e-portfolio in het onderwijs II Programma van eisen III Correspondentie pilots en aanvraagformulier pilots

44 44 48 49


5

Samenvatting Het project OP 3.1 E-portfolio is gestart in december 2003 en afgerond in november 2005. In de eerste fase van het project hebben de zes E-merge instellingen nauw met elkaar samengewerkt. Vanaf januari 2005 heeft Apollo zich hierbij aangesloten. De projectgroep heeft vanaf de start van het project gewerkt vanuit de visie dat de ontwikkeling en implementatie van een onderwijsinnovatie, zoals het e-portfolio, geen gescheiden trajecten zijn. Het creëren van draagvlak en betrokkenheid, het stimuleren van samenwerking en een ontwikkelingsgerichte benadering zijn kenmerkend geweest voor de aanpak en werkwijze van het project. Binnen de instellingen van E-merge en Apollo zijn drie e-portfoliosystemen uitgetest in pilots (zie hoofdstuk 3). De centrale vraag voor de pilots luidde: Welk systeem (systemen) voldoet (voldoen) het meest aan de eisen, wensen en ideeën vanuit de E-merge en Apollo instellingen, zoals beschreven in het programma van eisen (zie bijlage II). Vanuit de ervaringen die zijn opgedaan binnen de pilots komt duidelijk naar voren dat het BbCS het meest aan deze eisen voldoet, vanwege de volgende bevindingen: • Het BbCS voldoet als enige systeem aan een zeer belangrijk criterium m.b.t. de integratie van een e-portfolio met andere concernsystemen.Met het BbCS is het elektronisch portfolio een integraal onderdeel van de ELO Blackboard en daarmee ook een geïntegreerd onderdeel van de totale infrastructuur van de instelling. • Het beheer van het e-portfoliosysteem maakt onderdeel uit van het beheer van Blackboard en vraagt dus geen extra faciliteiten behoudens eisen op gebied van hardware. • Het systeem kan om dezelfde reden probleemloos grootschalig worden gebruikt. • Vanuit de dienstverlening aan studenten en medewerkers biedt deze integrale portfolioomgeving voordelen m.b.t. het gebruikersgemak: bekendheid met de Blackboardomgeving, korte 'inwerktijd' en minder scholing. Studenten kunnen vaak binnen een half uur al enthousiast aan de slag met het systeem. • Naast het e-portfolio bevat het systeem de zogenaamde Virtual Harddrive, waarin studenten hun materiaal op kunnen bergen. • Het werkt kostenbesparend t.o.v. andere portfoliosystemen omdat de koppeling/integratie niet door de instelling zelf ontwikkeld of onderhouden hoeft te worden. • De multimediale mogelijkheden zijn bij het BbCs het grootst. Een ander belangrijk voordeel is dat Blackboard als (grote) organisatie zekerheid en stabiliteit biedt m.b.t. een blijvende beschikbaarheid van een e-portfoliosysteem op de langere termijn als geïntegreerd onderdeel binnen onze onderwijsorganisaties. Hierbij moet wel onder ogen worden gezien dat de afhankelijkheid van Blackboard groter wordt, omdat onderdelen onlosmakelijk verbonden raken met de primaire en secundaire processen binnen de onderwijsorganisaties. Binnen de pilots zijn belangrijke leerervaringen opgedaan op het gebied van het e-portfolio binnen de E-merge/ Apollo instellingen. Met betrekking tot de implementatie van het e-portfolio zijn hierbij de volgende aandachtspunten naar voren gekomen:


6

• Het is belangrijk dat er een heldere visie is op enerzijds onderwijskundig en anderzijds op de technischfunctionele aspecten van het e-portfolio. Bij implementatie van een nieuw systeem lopen de gebruikers anders tegen veel problemen op omdat zo sprake is van twee innovaties in één keer, onderwijsinhoudelijk en technisch. • Belangrijk hierbij is eveneens dat met het e-portfolio aan een echt (h)erkende behoefte wordt voldaan en/of een (h)erkend probleem wordt opgelost. • Implementatie van het e-portfolio heeft alleen kans van slagen wanneer het voor zowel de student als voor de opleiding een duidelijke functie vervult. Herontwerp van de begeleiding- en beoordelingsprocessen zijn hierbij noodzakelijk. • De gebruikers van het e-portfoliosysteem moeten (meestal) geschoold worden. Het is belangrijk om hierbij niet teveel te beperken tot een instrumentele cursus over het e-portfoliosysteem maar ook aandacht te schenken aan het begrip 'Portfolio' omdat dit nog niet bij iedereen helder is. • Studenten en docenten kunnen veel van elkaar leren. Met het inrichten van een 'e-portfolio community' wordt zo'n proces effectief en efficiënt gefaciliteerd. Handleidingen, trainingen en demonstratie portfolio's kunnen hierin worden geplaatst. • Studenten willen graag hun e-portfolio meenemen na het afstuderen. In het kader van het alumnibeleid is het belangrijk om hiervoor voorzieningen te organiseren. • Bij de technische implementatie van het e-portfoliosysteem moet rekening worden gehouden met problemen die kunnen ontstaan, o.a. bij het gebruik van Mac computers. • Bij het vormgeven van de plannen voor implementatie zijn heldere projectplannen noodzakelijk, met ruime aandacht voor de veranderkundige aspecten. Aandacht voor de randvoorwaarden en het creëren van draagvlak en betrokkenheid bij studenten en medewerkers zijn belangrijke succesfactoren bij de implementatie van het e-portfolio. De instellingen binnen E-merge/Apollo hebben ieder hun eigen dynamiek bij de ontwikkeling en implementatie van elektronische portfolio's. Sommige instellingen hebben gekozen om eerst nog op kleine schaal pilots te continueren of nog even te wachten met de introductie van e-portfolio's, andere instellingen zijn reeds gestart met een implementatietraject gericht op instellingsbrede uitrol van het BbCS. Speerpunten en fasering zijn ook per instelling verschillend: eerst alleen de Virtual Harddrive beschikbaar stellen, of starten met het e-portfolio. Ook m.b.t. intern of extern hosten van het BbCS zijn (tijdelijk) verschillende keuzes gemaakt. Ook deze diversiteit aan implementaties biedt een 'rijke leeromgeving' voor de betrokken instellingen in vervolgtrajecten. De mogelijkheden voor vervolgtrajecten zijn legio: • samenwerking m.b.t. inhoudelijke aspecten en ontwikkeling van Building Blocks • ontwikkeling van raamwerk en aanbod m.b.t. docentprofessionalisering • ontwikkeling van een Community of Practice op elementen van het BbCS • uitwisselen van ervaringen en het ontwerpen van implementatiescenario's • het gezamenlijk ontwikkelen/aanbieden van handleidingen • centrale regie in onderhandelingen met Blackboard Inc. voor het realiseren van nieuwe versies die aansluiten bij onze onderwijsconcepten Door de samenwerking in de projectgroep tussen E-merge en Apollo is op een duidelijke manier invulling gegeven aan het motto" 'Kennis die samenwerkt'.


7

1.

Inleiding

Dit document is de eindrapportage van het project OP 3.1 E-portfolio, dat in samenwerking tussen E-merge en Apollo is gerealiseerd van december 2003 tot september 2005. De samenwerking tussen E-merge en Apollo binnen het project is in januari 2005 van start gegaan, in de startfase van de pilots. Tot dat moment is binnen beide consortia een ander voortraject doorlopen. De laatste jaren is er binnen het hoger onderwijs een groeiende belangstelling ontstaan naar het gebruik van een portfoliosysteem. Een portfolio is een georganiseerde, doelgerichte documentatie van de professionele groei van de student en zijn/haar leerproces. In het portfolio zijn overzichten opgenomen van bewijsmateriaal waarmee de student zijn competenties, kennis en vaardigheden zichtbaar maakt. De belangstelling voor het portfolio hangt sterk samen met de invoering van vormen van competentiegericht onderwijs, waarbij de student zelf steeds meer verantwoordelijk wordt voor het eigen leerproces en de bewijsvoering daarvan. In een portfolio zijn de volgende elementen terug te vinden (van Tartwijk e.a., 2003) Overzichten, hierin laat de student zien wat hij heeft gedaan, waar hij dat heeft gedaan, wat hij heeft geleerd en welke plannen hij heeft. Materiaal, de student beschrijft en analyseert in zijn portfolio zijn handelen en onderbouwt die beschrijvingen en analyses met verschillende soorten materiaal Beschouwingen, hierin reflecteert de student op de ontwikkelingen van zijn competenties of vaardigheden en op zijn professioneel of academisch profiel Afhankelijk van de functie die het portfolio in het onderwijs vervult, worden drie verschillende typen portfolio's onderscheiden: ontwikkelingsportfolio, hierin laat de student zijn persoonlijke professionele ontwikkeling zien beoordelingsportfolio, hierin geeft de student aan welke competenties hij beheerst en onderbouwt dit met bewijsmateriaal presentatie-, show case portfolio, hierin laat de student gemaakte producten of ander materiaal zien Er wordt steeds vaker gekozen voor een elektronisch portfolio in plaats van een portfolio op papier. Hiervoor zijn de volgende redenen: Door het gebruik van hyperlinks kan men de door de verschillende onderdelen van het portfolio navigeren. Een elektronisch portfolio is makkelijker te bewaren en te transporteren dan een papieren portfolio. Een elektronisch portfolio kan tegelijkertijd bekeken worden door verschillende personen. Een papieren portfolio moet hiervoor eerst worden gekopieerd. Studenten vinden het leuk om hun portfolio een persoonlijk tintje te geven. Het elektronisch portfolio biedt voor hen meer deze mogelijkheid dan een portfolio op papier. Het werken met een e-portfolio vergroot de ICT- vaardigheden van zowel de docenten als de studenten.


8

-

Het blijkt dat studenten geneigd zijn om in een elektronisch portfolio compacter te schrijven en meer de nadruk te leggen op de structuur dan in een portfolio op papier. Dit omdat de teksten van het scherm moeten worden gelezen.

Omdat deze ontwikkelingen zich ook voordoen binnen de E-merge/Apollo instellingen, is het e-portfolio als een van de speerpunten geformuleerd binnen de programmalijn van de onderwijskundige projecten. Het is de bedoeling dat naar aanleiding van de resultaten van dit project bekeken wordt of brede uitrol van een systeem binnen E-merge/Apollo mogelijke en/of wenselijk is. Voor de vormgeving van project OP 3.1 zijn de volgende doelstellingen uit het Businessplan Consortium E-merge leidend geweest: 1. Het inventariseren van de ontwikkelingen en wensen van de instellingen op het vlak van e-portfolio, zowel op de instellingen als beschikbaar op de markt of bij andere consortia (inhoud). 2. Het uitwerken van het e-portfolio zodat aangesloten kan worden op de diverse gebruikersfuncties (inhoud). 3. Het gebruiken van het e-portfolio in een aantal HBO- en WO- opleidingen (inhoud) 4. Het evalueren van de ervaringen (inhoud). 5. Het samenstellen van good practices en professionaliseringsactiviteiten voor het e-portfolio (inhoud). 6. De al bestaande samenwerking tussen de instellingen is verder uitgebreid (proces). 7. Naast de ontwikkeling van het e-portfolio is binnen het project aandacht voor implementatie (proces). De keuze voor de aanpak en werkwijze binnen dit project is gemaakt vanuit de visie dat vanaf het begin van een vernieuwingsproject aandacht dient te zijn voor de implementatie daarvan. Het creëren van draagvlak en de commitment zijn hierbij belangrijke aandachtspunten geweest. Er is een klankbordgroep samengesteld, er zijn conferenties georganiseerd, er is een nieuwsbrief verschenen en er zijn rapporten gepubliceerd, zowel projectbreed als per instelling. Hierdoor is een fundament gelegd voor de ontwikkeling van een netwerk(organisatie) op het gebied van het e-portfolio binnen de E-merge/Apollo instellingen en zijn de doelstellingen ten aanzien van samenwerking van E-merge en Apollo verwerkt in de vormgeving van het project. Door deelname aan de Netwerktafel NL Portfolio van Surf wordt de samenwerking verder verbreed. Er zijn eveneens contacten/samenwerkingsverbanden met het Europese e-portfolioproject (Epic). Ook zijn er in het kader van de doorlopende leerlijnen, contacten/samenwerkingsactiviteiten met het BVE-veld. De wens bestaat om uiteindelijk te komen tot een community of practice voor het e-portfolio. Deze eindrapportage bevat een weergave van de brede ervaringen die binnen E-merge/Apollo zijn opgedaan. Voor specifieke informatie over de pilots kan contact worden opgenomen met het desbetreffende lid van het projectteam van de instelling: Marion Corte (projectleider E-merge) [email protected] Hogeschool Leiden Jenny Brakels [email protected] Technische Universiteit Delft Elsbeth Ingenluyff [email protected] Universiteit Leiden Martine de Lange [email protected] Haagse Hogeschool


9

Riet Monasso [email protected] Jan Snijders (projectleider Apollo) [email protected] Jos Tolboom [email protected] Harry Vaessen [email protected] Dominique Waterval / Alice Drenthe [email protected]

Hogeschool Leiden Avans Hogeschool Rijksuniversiteit Groningen Hogeschool Zuyd Universiteit Maastricht

Deze eindrapportage is de laatste van een reeks documenten die in onderlinge samenhang in het kader van dit project zijn verschenen (zie EEE omgeving van E-merge): 1. Projectvoorstel project OP 3.1 E-portfolio 2. Het kiezen van een digitaal portfolio, eindrapport project OP 3.3 3. Rapportage inventarisatieronde binnen de E-merge instellingen in het kader van project OP3.1 4. Voortgangsrapportage project OP 3.1, september 2003-september 2004 5. Plannen van aanpak voor de pilots per instelling 6. Eindrapportages per instelling 7. Evaluatie van het gebruik en de effecten van e-portfolio’s binnen project OP 3.1 8. Eindrapportage OP 3.1 Opbouw van deze eindrapportage: In hoofdstuk 2 wordt de aanpak en de werkwijze beschreven die het projectteam heeft gehanteerd bij het vormgeven van het project en wordt er een beeld geschetst van de organisatie en de ondersteuning van deze pilots. In hoofdstuk 3 is informatie te vinden over de drie e-portfoliosystemen die zijn getest en wordt een overzicht gegeven van de opleidingen die hebben meegewerkt aan de pilots en met welk systeem zij hebben gewerkt. De evaluatie van deze pilots heeft plaats gevonden op twee niveau’s: breed E-merge/Apollo niveau en de meer concrete ervaringen die binnen de opleidingen zijn verzameld. De uitkomsten van het brede evaluatieonderzoek zijn te lezen in hoofdstuk 5 en de concrete ervaringen binnen de opleidingen staan beschreven in hoofdstuk 6. Vervolgens worden in hoofdstuk 7 naar aanleiding van beide evaluaties conclusies getrokken en worden tot slot in hoofdstuk 7 aanbevelingen gedaan voor het vervolgtraject. Om de leesbaarheid van het rapport te vergemakkelijken worden de hoofdstukken 4, 5 en 6 afgesloten met een samenvatting.


10


11

2. Aanpak en werkwijze Zoals aangegeven in de inleiding zijn de doelstellingen van het Businessplan Consortium E-merge uitgangspunt geweest voor de vormgeving van het project. Hierbij is onderscheid gemaakt tussen de doelstellingen gericht op het e-portfolio (inhoud), en de doelstellingen gericht op samenwerking, waarin kennisdeling en kennisontwikkeling centraal staat. Bij het maken van de plannen over wat er moest gebeuren werd steeds gezocht naar de mogelijkheden om de voortgang van het project zichtbaar te maken en is gezocht naar mogelijkheden om samenwerking, kennisdeling en kennisontwikkeling te bevorderen. Het project OP 3.1 is nadrukkelijk een onderwijskundig project geweest met minimale aandacht voor de technische kant van het e-portfolio. Dit vanwege de filosofie van E-merge/Apollo dat de techniek ondersteunend dient te zijn aan het gebruikers van de systemen. Daar waar nodig is advies gevraagd aan collega's van de technische projecten.

2.1

Aanpak vanuit de visie van het projectteam

De keuze van de aanpak en werkwijze binnen het project is gemaakt vanuit de visie dat de ontwikkeling en implementatie van een innovatie zoals het e-portfolio geen gescheiden trajecten zijn (H. Sligte e.a.,2005); bij de start van het project dient al aandacht te zijn voor de implementatie. Het creëren van draagvlak en betrokkenheid zijn hierbij belangrijke begrippen. Er is gekozen voor een ontwikkelingsgerichte benadering, waarbij zoveel mogelijk rekening is gehouden met de individuele verschillen binnen en tussen de instellingen.De leden van het projectteam hebben binnen de eigen instelling zoveel mogelijk gecommuniceerd over de voortgang van het project. Ook de klankbordgroep is hiervan regelmatig op de hoogte gebracht. Er is een vraaggerichte werkwijze gehanteerd, waarbij de wensen en ideeën die van de opleidingen centraal hebben gestaan. De instellingen zijn betrokken geweest bij: De ontwikkeling van het programma van eisen van het e-portfolio. De ontwikkeling van het onderwijskundig kader van het e-portfolio. Het proces dat heeft geleid tot de keuze van de e-portfoliosystemen. Bij de opzet van de pilots hebben de opleidingen zelf de voorkeur kunnen aangeven welk e-portfolio systeem zij wilden testen en op welke manier zij dit wilden doen. Het projectteam heeft met deze aanpak het denken en praten over het e-portfolio binnen de instellingen willen stimuleren, waarmee een bijdrage kan worden geleverd aan het proces van kennisdeling en kennisontwikkeling op het gebied van het e-portfolio. Hierdoor is een eerste stap gezet voor de ontwikkeling van een netwerk(organisatie) op het gebied van het e-portfolio binnen de E-merge/Apollo instellingen en zijn de doelstellingen ten aanzien van de samenwerking van E-merge en Apollo verwerkt in de vormgeving van het project.


12

2.2

Werkwijze

Inventarisatieronde Het project is begonnen met het inventariseren van de ontwikkelingen op het gebied van het e-portfolio binnen E-merge instellingen. Het doel van deze inventarisatieronde was het in kaart brengen van de ontwikkelingen op het gebied van e-portfolio binnen de instellingen, de eisen, wensen en ideeën van de opleidingen over het (toekomstige) gebruik van het e-portfolio. De leden van het projectteam hebben intern hiervoor zoveel mogelijk gesprekken gevoerd met vertegenwoordigers van de verschillende opleidingen. Daarnaast was het de doel om goed lopende initiatieven/projecten te identificeren die bij de pilots betrokken zouden kunnen worden. Ook werd men uitgenodigd om lid te worden van de klankbordgroep. Met deze gespreksronde is een belangrijke basis gelegd voor het project. Programma van eisen (zie bijlage II) Er is een programma van eisen voor het e-portfolio ontwikkeld aan de hand van: punten uit het businessplan van E-merge de projectvoorstellen voor de programma's Onderwijskundige projecten en Technische infrastructuur van E-merge opgedane ervaringen bij andere e-portfolio projecten inzichten van het projectteam input vanuit de inventarisatieronde Dit document is uitgangspunt geweest voor de werkconferentie van 11 februari 2004. Onderwijskundige uitgangspunten (zie bijlage I) Belangrijk kader voor het project zijn de onderwijskundige uitgangspunten voor het gebruik van het e-portfolio, dat door het projectteam is ontwikkeld met input vanuit de inventarisatieronde. Ook dit document is uitgangspunt geweest voor de werkconferentie van 11 februari 2004. Keuze van de e-portfoliosystemen In de beginfase van het project is nauw samengewerkt met project OP 3.3, waarin onderzoek is gedaan naar de digitale portfoliosystemen die zich op dat moment op de markt bevonden. Tegelijkertijd zijn het programma van eisen en het onderwijskundig kader in concept ontwikkeld. Vervolgens is per systeem bekeken in welke mate het voldoet aan het programma van eisen en past binnen het onderwijskundig kader. Op de werkconferentie van 11 februari is aan de deelnemers gevraagd een uitspraak te doen over de geschiktheid van de onderzochte systemen. Uiteindelijk kwamen zes systemen als meeste geschikt naar voren. Vervolgens zijn de leveranciers van deze programma's uitgenodigd om op 21 april 2004 een presentatie te geven van de opzet en werking van hun programma's. Deze bijeenkomst is bijgewoond door de leden van de projectteams, de klankbordgroep, betrokkenen van E-merge en andere belangstellenden. Via een gezamenlijke view is een top-drie samengesteld van e-portfoliosystemen die in de pilots zijn getest: Folio (Eportaro), Personal Development Planner (Vigor Plaza) en Blackboard Content System (Blackboard).


13

De pilots Aanvankelijk was het de bedoeling dat de drie e-portfoliosystemen in elke instelling getest zouden gaan worden. De overwegingen hierbij waren dat op deze manier elke instelling de mogelijkheid wordt geboden om ervaringen op te doen met verschillende systemen met de verschillende functies ervan. Het is een voordeel als opleidingen leren werken met verschillende systemen. De gebruikers krijgen hierdoor meer zicht op de mogelijkheden die systemen kunnen bieden, waardoor zij beter in staat zijn om specifieke eisen te stellen aan een e-portfoliosysteem waardoor gerichte onderhandelingen gevoerd kunnen worden met de producenten. Evaluatie Het evaluatieonderzoek is uitgevoerd door het Universitair Onderwijscentrum Groningen, een onderzoeksinstituut van de Rijksuniversiteit Groningen.

Het ontwikkelen van een netwerk (organisatie) De kracht van E-merge en Apollo is samenwerking op alle niveaus. Door samenwerking wordt het mogelijk gebruik te maken van elkaars expertise, kennis te verbreden, krachten en inspanningen te bundelen. Om deze samenwerking op het gebied van het e-portfolio structureel vorm te geven wordt gestreefd naar het ontwikkelen van een netwerk (organisatie) binnen de E-merge/Apollo instellingen. Een eerste stap is hiervoor gezet door bij de projectorganisatie gebruik te maken van het linking pin principe. De leden van het projectteam fungeren binnen de eigen instelling als interne projectleider vanuit het projectteam en zijn als zodanig aanspreekpunt binnen de instelling. Zij hebben gesprekken gevoerd met de opleidingen die in aanmerking wilden komen voor een pilot, hebben een plan van aanpak geschreven voor de organisatie van de pilots en schreven vervolgens een eindrapport over de ervaringen die binnen de eigen instelling zijn opgedaan. Het doel van deze werkwijze is communicatie over het project en de pilots binnen de instelling te bevorderen en het schetsen van een samenhangend beeld van de achtergrond, de opzet, het verloop en de ervaringen binnen de pilots per instelling. Deze structuur heeft het uitwisselen van informatie van de projectgroep naar de instellingen toe en weer terug bevorderd. Op deze manier zijn binnen het projectteam ervaringen geëxpliciteerd en beschikbaar gesteld voor anderen. Door de samenwerking met Apollo vanaf januari 2005 is nieuwe kennis en ervaring binnen het project gebracht en is het netwerk op het gebied van e-portfolio aanzienlijk uitgebreid. Klankbordgroep De klankbordgroep is speciaal voor het project ingesteld. Hierin zijn docenten, studenten en andere belangstellenden vanuit de instellingen vertegenwoordigd. Deze klankbordgroep is betrokken geweest bij de ontwikkeling van de projectdocumenten, is steeds op de hoogte gehouden van de voortgang van het project en zijn uitgenodigd voor de conferenties die in het kader van het project zijn gehouden. De communicatie vindt plaats middels een speciaal hiervoor ingerichte Blackboardomgeving (binnen de EEE van E-merge), waar alle relevante informatie over het project te vinden is. Verder is achtergrondinformatie over het e-portfolio geplaatst en wordt verwezen naar relevante web-sites.


14

2.4

Organisatie van de pilots

Voorbereidingen Na de afronding van het selectieproces van de e-portfoliosystemen komt het project in april 2004 in een volgende fase. Het projectteam besluit dat binnen elke instelling de drie systemen worden getest. Dit vanuit de volgende overwegingen: Elke instelling wordt op deze manier in de gelegenheid gesteld om ervaringen op te doen met drie verschillende systemen. Hierdoor wordt interne expertise opgebouwd die breder is als wanneer er slechts één systeem wordt getest. Het gevolg hiervan is dat de opleidingen meer zicht krijgen op de mogelijkheden van de verschillende systemen en zijn zij in staat om hierover in gesprek te gaan met de producenten van de e-portfoliosystemen. De evaluatie van de pilots vindt plaats in de breedte. Dat wil zeggen dat de ervaringen die met de drie systemen worden opgedaan, met elkaar worden vergeleken. Doelstelling van de pilots Voor de pilots is de volgende centrale vraagstelling geformuleerd: 'Welk systeem (systemen) voldoet (voldoen) het meest aan de eisen, wensen en ideeën vanuit de E-merge en de Apollo instellingen, zoals beschreven in het programma van eisen' Werkwijze De opleidingen die hun belangstelling kenbaar hebben gemaakt om in aanmerking te willen komen voor een pilot, hebben hiervoor een verzoek ingediend bij het lid van het projectteam van de eigen instelling middels een ingevuld vragenformulier. Hierin konden zij een voorkeur uitspreken voor het e-portfoliosysteem dat zij wilden gaan testen. Niet elke opleiding kwam in aanmerking voor een pilot. Vooraf zijn criteria geformuleerd waaraan deze opleidingen moesten voldoen. Belangrijk criterium was dat de functie van het e-portfolio binnen het onderwijs helder moest zijn en dat de opleiding flexibel kan omgaan met een systeem dat functioneel en technisch nog in ontwikkeling is. Vervolgens is per instelling een eigen procedure doorlopen voor de uiteindelijke keuze van de opleidingen voor de pilots. Als tegemoetkoming voor de inzet van de opleidingen is per pilot een vergoeding verstrekt. Vanuit E-merge/Apollo is ondersteuning geboden op het gebied van de scholing en instructie van de systemen en technische support. Het lid van het projectteam uit de eigen instelling fungeerde steeds als aanspreekpunt. De uiteindelijke start van de pilots heeft forse vertraging opgelopen omdat met Blackboard moeizame onderhandelingen moesten worden gevoerd over het beschikbaar stellen van het BbCS voor de pilots. Beheer Het beheer van de drie systemen en de accounts is in handen geweest van Directoraat Ontwikkeling van de faculteit TBM van de Technische Universiteit Delft. Zij hebben de administratiefunctie en de helpdeskfunctie vervuld voor de drie systemen. De eerste lijnssupport is verzorgd door het lid van het projectteam van de eigen instelling die zo nodig de centrale support van de TU Delft kon inschakelen. Avans Hogeschool (Apollo) is zelf al in het bezit van het Blackboard content systeem en heeft dus niet van deze ondersteuning gebruik gemaakt.


15

Trainingen In december 2004, januari en februari 2005 zijn de trainingen voor de docenten en begeleiders verzorgd door leden van het projectteam en de producenten. Vanuit het principe 'train the trainer' zijn vervolgens de studenten getraind.

2.5

Realisatie van de pilots

Vanaf december 2004 zijn de pilots binnen de instellingen gestart. Oorspronkelijk was het de bedoeling dat alle drie de systemen binnen de instellingen getest zouden gaan worden. Uiteindelijk bleek dit niet haalbaar omdat opleidingen binnen sommige instellingen alleen het BbCC wilde testen. De volgende pilots zijn gerealiseerd: Instellingen

BBCS

Folio

PDP

Aantal pilots

Haagse Hogeschool

x

X

X

3

Hogeschool Leiden

x

X

3

Hogeschool Zuyd

x

Universiteit Leiden

x

2

Universiteit Maastricht

x

2

X

Technische Universiteit Delft

4

X

1

Avans Hogeschool

x

5

Hanzehogeschool Groningen

x

1

Rijksuniversiteit Groningen

x

1

Totaal aantal pilots

2.6

22

Ondersteuning van de pilots/ beheer

De technische ondersteuning van de pilots is verzorgd door het Directoraat Ontwikkelingen van TBM/TU Delft. Deze is adequaat en naar tevredenheid van de deelnemende opleidingen verlopen. Bij de invulling hiervan zijn drie dominante uitgangspunten gehanteerd. 1. Er is gekozen voor een ‘one-stop-shopping’-model. Dit houdt in dat de eerstelijns technische ondersteuning voor alle instellingen en voor alle systemen bij één centrale helpdesk is ondergebracht. Deze constructie heeft een aantal voordelen. Zo is het overzichtelijk voor de gebruikers c.q. docenten en verloopt de communicatie met hen zo eenduidig mogelijk. De ondersteuners zelf krijgen daardoor ook een rijker beeld van wat er speelt en wie waar mee bezig is. Dit maakt het makkelijker om vragen beter te interpreteren (op basis van de daardoor beschikbare achtergrondinformatie over de pilots, de gebruikte systemen en betrokken medewerkers van de instellingen) en om pilotleiders te begeleiden bij de keuze voor een bepaald portfoliosysteem op basis van hun specifieke eisen. 2. Een tweede uitgangspunt is klantgerichtheid. Voor veel betrokkenen in de pilots wordt de complexiteit vergroot door het feit dat er met totaal nieuwe ICT-tools wordt gewerkt én met nieuwe procedures en/of didactische concepten. Het simpelweg automatiseren van een reeds bestaand concept óf een nieuw concept toepassen met bestaande, bekende ICT-tools is vanzelfsprekend een eenvoudigere opgave. Bij het Directoraat Ontwikkelingen is het goed gebruik om in zulke


16

3.

relatief complexe situaties zeer intensieve ondersteuning te verlenen. Uitgangspunten daarbij zijn een zeer persoonlijke benadering, uitvoerige beantwoording van gebruikersvragen – liever te uitgebreid dan te abstract, een proactieve rol spelen bij implementatiekeuzes van docenten, geen doorverwijzingen naar derden, handleidingen of FAQs en een gegarandeerde respons binnen 24 uur. Een laatste uitgangspunt is wat theoretischer van aard. Een effectieve technische ondersteuning dient zich bewust te zijn van een principieel verschil in invalshoek tussen technici en gebruikers van een ICT-systeem. Een technicus heeft een ‘ontologisch’ mentaal model van het systeem, dat wil zeggen dat hij beredeneert hoe het systeem feitelijk werkt – vergelijkbaar met een automonteur die weet wat er zich afspeelt ‘onder de motorkap’. Een gebruiker, daarentegen, hanteert een ‘functioneel’ mentaal model, dat wil zeggen dat hij doorgaans geen kennis heeft van de feitelijke werking van het systeem, maar slechts geïnteresseerd is in het gedrag ervan en, natuurlijk, in de mogelijkheden om dat gedrag te beïnvloeden. Dit lijkt misschien een tamelijk abstracte of academische notie, toch zorgt erkenning van dit onderscheid bij de ondersteuners ervoor dat zij bewust tijdens de communicatie met gebruikers de vertaalslag maken tussen de feitelijke functionaliteit van het systeem en de manier waarop de gebruiker die het best tot zijn recht kan laten komen. Met dat in het achterhoofd kunnen onbegrijpelijke, té technische antwoorden van de technische ondersteuning zoveel mogelijk worden vermeden.


17

3.

Het uittesten van de drie e-portfoliosystemen in de pilots

Het testen van de drie geselecteerde systemen heeft plaats gevonden in de periode januari-juni 2005 in de versies die toen beschikbaar waren. Daarna zijn er opvolgende versies verschenen. 3.1

De drie e-portfoliosystemen (bron: evaluatie van het gebruik en de effecten van e-portfolio’s)

Blackboard CS - versie 6.2 (onderdeel Blackboard Content System  versie 2.0). In Blackboard plaatsen studenten gegevens in het ‘Contentsystem’. Deze gegevens kunnen door middel van een koppeling in portfolio’s worden opgenomen. Voor de inrichting van het portfolio heeft Blackboard standaard sjablonen (‘templates’). Een instelling kan daar sjablonen aan toevoegen. Met een sjabloon wordt een portfolio volgens een opgelegde structuur aangemaakt. De student kan naar behoefte informatie toevoegen of verwijderen. Er is een Wizard voor het maken van een portfolio aanwezig. Het CMS en het portfolio zijn in Blackboard geïntegreerd, zodat studenten gemakkelijk kunnen switchen van een cursus in Blackboard naar een portfolio van studenten. Folio van E-portaro - versie 1.5.2 en 1.6.0 Folio biedt de gebruiker een grote hoeveelheid standaard sjablonen (‘templates’) waarmee een portfolio volgens een al ingestelde structuur kan worden aangemaakt. De basis van Folio is de repository. Hierin plaatst de gebruiker materiaal dat hij in een bepaald portfolio wil opnemen. Afhankelijk van wensen en onderwijsvisie kunnen in het programma sjablonen worden toegevoegd of verwijderd. Een instelling of opleiding kan ook eigen formulieren maken. Folio is niet in Blackboard geïntegreerd, maar hier is een Buildingblock voor ontworpen, zodat studenten gemakkelijk kunnen switchen van een Blackboardcursus naar een portfolio van studenten. Bovendien wordt in folio de user-authenticatie en dus user-administratie gescheiden van de instellings-elo Blackboard.


18

De Personal Development Planner (PDP) – versie 2.1 De Personal Development Planner is een programma dat door de aanbieder Vigor Plaza als een logboek wordt omschreven. De opzet van een portfolio ligt vast. De student volgt vier stappen: leerdoel formuleren, plan van aanpak maken om leerdoel te bereiken, succesindicatoren formuleren, evalueren en reflecteren op deze succesindicatoren. Via de Personal Development Planner kan de student afspraken maken met anderen en met zichzelf.

3.2

Beschrijving van de pilots

De pilot met Blackboard CS in Avans Hogeschool Binnen Avans Hogeschool hebben vijf opleidingen met het Blackboard CS gewerkt: de Pabo-opleiding, de Bachelor ICT-opleiding van de Academie voor Industrie en Informatica (AI&I), de opleiding Bedrijfseconomie en de Accountancy opleiding van de Academie voor Algemeen en Financieel Management (AAFM) en de Juridische Hogeschool. Voor de vijf betrokken opleidingen zijn concrete digitale portfolio implementaties gerealiseerd in de projectperiode. Voor de Juridische Hogeschool zijn uiteindelijk vier varianten uitgewerkt voor het werken met een portfolio voor externen in het kader van het uitvoeren van de EVC-procedure. Daarbij is specifieke scholing voor externen m.b.t. het gebruik van Bb en e-portfolio in Bb ontwikkeld en zijn inlogprocedures bij het werken met externe (lees aankomende) studenten uitgewerkt. Uiteindelijk zijn door omstandigheden de verschillende varianten niet in de praktijk uitgeprobeerd. Werken met e-portfolio als beoordelingsinstrument: Hiervan zijn concrete voorbeelden gerealiseerd binnen de opleidingen BE duaal (AAFM), AC duaal (AAFM), de LIO-stage Pabostudenten (4e jaars) en de propedeuse van de opleiding Informatica (AI&I). E.e.a. inclusief passende beoordelingssystematiek. Werken met e-portfolio als begeleidingsinstrument: Hiervan zijn concrete voorbeelden gerealiseerd binnen de Pabo en de propedeuse van de opleiding Informatica. Uiteraard weer inclusief passend begeleidingsproces. Tevens is in dit kader een voorbeeld gerealiseerd van een zogenoemd ‘e-portfolioprojectkantoor’ waarin studenten en docenten samenwerken bij het leren ‘over e-portfolio’s’, feedback geven enz. De pilot heeft binnen Avans naast bovenstaande geleid tot de beschikbaarheid van een set standaardformulieren, voorbeeldsjablonen voor digitale portfolio’s (halffabrikaten), implementatietools, handleidingen en scholingsmateriaal. De pilots binnen de Haagse Hogeschool (HHS) Binnen de Haagse Hogeschool zijn alle drie e-portfoliosystemen getest. In de opleiding docent lichamelijke opvoeding wordt gewerkt met BbCS. In de opleiding Voeding en Diëtiek wordt met een groep van vijfentwintig studenten met Folio gewerkt. In de opleiding Overheid en bestuur wordt een pilot uitgevoerd met PDP. Het gaat hierbij om een groep van 20 studenten.


19

De pilots binnen de Hogeschool Leiden (HL) Binnen de Hogeschool Leiden worden de programma’s Blackboard CS en PDP getest. In twee opleidingen wordt gewerkt met Blackboard CS . Een opleiding maakt gebruik van PDP. De lerarenopleiding Verpleegkunde (LOV) In deze pilot werken twintig eerstejaars studenten en vier begeleiders intensief samen. De studenten werken vanuit hun werkveld aan praktijkopdrachten die leiden naar ‘proeven van bekwaamheid’. Het portfolio wordt gebruikt als beoordelings-, ontwikkelings- en show case-instrument. Studenten moeten door uitvoering van deze praktijkopdrachten diverse docentcompetenties laten zien. Er wordt gewerkt met Blackboard CS. Aanvankelijk is gestart met Folio maar al snel is men overgestapt op het BbCS. Na de eerste ervaringen met Folio bleek het lastig de (eigen) beoordelingsformulieren te gebruiken en in te voeren in het systeem waardoor uiteindelijk besloten is te gaan werken met het BbCS. Deze beoordelingsformulieren zijn belangrijk omdat de studenten zichzelf en hun medestudenten scoren op alle onderdelen van het portfolio. De PABO (Lerarenopleiding Basisonderwijs) In deze pilot werken een groep van vijfentwintig eerstejaars studenten van de versnelde deeltijd en twee begeleiders samen aan het portfolio. De studenten gebruiken hun portfolio ontwikkelingsgericht. De studenten moeten laten zien welke ontwikkeling ze doormaken in hun onderwijsgedrag. Deze groei wordt in het porfolio zichtbaar gemaakt met een selectie uit de onderwijsactiviteiten, die de student in het aangeboden leertraject onderneemt. Er wordt gewerkt met Blackboard CS. De opleiding Informatica In deze pilot werkt een groep van vierentwintig eerstejaars studenten (acht MBO doorstroom, zestien reguliere stroom) en vier begeleiders samen aan het portfolio. De studenten dienen tijdens het werken aan opleidingsprojecten te bepalen welke competenties zij (verder) willen ontwikkelen. Zij dienen hierbij aan te geven wat ze denken te bereiken, hoe ze dat denken te bereiken, hoe ze dat willen aantonen en wie ze daarbij willen betrekken. Deze opzet geldt in principe voor alle studenten. Het portfolio wordt niet alleen gebruikt als showcase maar speelt ook een belangrijke rol in de loopbaanontwikkeling van de student. Er wordt gewerkt met PDP. De pilots binnen Hogeschool Zuyd Vanaf september 2003 zijn binnen de Hogeschool Zuyd een 15-tal pilots uitgevoerd met ongeveer 800 studenten, medewerkers en externen. Deze pilots werden ingericht met Folio, het BbCS en PDP. Daarnaast zijn ook verschillende pilots uitgevoerd binnen het Bb Learning System, maar ook o.a. in Outlook en via Websites. In dit onderzoek zijn twee opleidingen betrokken die met Folio werken en twee die met Blackboard CS werken. De opleiding Logopedie In de opleiding Logopedie wordt in twee jaargroepen de ontwikkelings- en beoordelingsgerichte toepassingen van een e-portfolio geïntegreerd binnen de recente curriculumvernieuwing met betrekking tot competentiegericht leren en het gebruik van de elektronische leeromgeving. In deze opleiding wordt met Folio gewerkt. De opleiding docent Muziek (Conservatorium) Studenten en docenten van de opleiding Docent Muziek (twee jaargroepen, circa zestig gebruikers). gebruiken Folio binnen de cyclus van ontwikkelings- en beoordelingsfuncties van een e-portfolio. De Pabo-opleiding


20

Door de relatief korte periode van gebruik is het eerstejaars PABO portfolio met BbCS vooral gericht geweest op ontwikkelingsgerichte aspecten van propedeuse studenten. Vijftien externe begeleiders vanuit de basisscholen in de regio zijn betrokken bij deze pilot. Management zorg en dienstverlening In deze opleiding wordt met Blackboard CS gewerkt. De opleiding heeft BbCS ingericht op aspecten van ontwikkelings- en beoordelingsgerichte functies van een portfolio. Studenten vervullen managementtaken binnen regionale ziekenhuizen. Door het gebruik van een e-portfolio wordt een integratie met het beroepenveld gerealiseerd. De pilot in de Masteropleiding Educatie en Communicatie, Rijksuniversiteit Groningen In de Masteropleiding Educatie en Communicatie wordt bij het vak Communiceren en presenteren een e-portfolio gebruikt. De studenten richten dit portfolio in met Blackboard CS . Het vak Communiceren en Presenteren biedt studenten de gelegenheid een eigen stijl van presenteren en communiceren te ontwikkelen, waarbij ze rekening leren houden met de beladenheid van onderwerpen en wensen, behoeften en belangen van een publiek van niet-ingewijden. Het onderwijsaanbod is in te delen in drie fasen. In de eerste fase ontdekken studenten waar hun sterke en zwakke punten liggen. Fase 2 is de trainingsfase. In fase 3 krijgen studenten de opdracht samen met een medecursist een communicatieplan op te stellen voor een maatschappelijk probleem dat een bèta-communicatieve aanpak vergt. Daarvoor krijgen ze vier weken de tijd. Tijdens de uitvoering moeten de studenten enkele malen verslag uitbrengen aan de opdrachtgever en/of de begeleidende docent. In de slotweek worden de resultaten gepresenteerd, door iedereen bestudeerd en geëvalueerd. Gedurende de hele cursus houden de studenten een portfolio bij. Het portfolio heeft primair de functie van ontwikkelingsportfolio, maar wordt ook gebruikt voor de beoordeling van de gemaakte opdrachten. Aan het eind van de cursus maken de studenten een productportfolio waarin ze producten laten zien waar ze trots op zijn. De pilot met Blackboard CS in de opleiding Geneeskunde Universiteit Maastricht In de opleiding Geneeskunde hebben de eerstejaarsstudenten hun portfolio ingericht met Blackboard CS. Het portfolio wordt in deze opleiding gebruikt als ontwikkelings- en als beoordelingsportfolio. De eerstejaars student heeft op gezette tijden een gesprek met zijn mentor over het portfolio. Deze mentorgesprekken hebben tot doel de student te coachen en te begeleiden in de constructie van het portfolio. Daarnaast gebruikt de mentor het portfolio voor het uitbrengen van een studieadvies aan de student. De mentor geeft een advies op basis van het voortgangsgesprek halverwege het jaar en een eindgesprek. De student kan dan aangeven of hij het eens is met dit advies of niet. Vervolgens worden alle portfolio’s beoordeeld door een beoordelaar die niet hun mentor is. Indien de beoordelaar het eens is met het advies van de mentor dan gaat het portfolio naar de beoordelingscommissie die het oordeel overneemt. Indien de beoordelaar het niet eens is met het mentoradvies dat gaat het portfolio naar de tweede beoordelaar. Als de tweede beoordelaar het eens is met het oordeel van de eerste beoordelaar dan gaat het naar de commissie en wordt dit oordeel vastgesteld. Als de tweede beoordelaar het oneens is met de eerste beoordelaar dan wordt dit portfolio integraal besproken in de commissie en die velt een oordeel.


21

De Pilot binnen de opleiding Management of Technology (MoT), TU Delft Voor het eerste jaar van de masteropleiding MoT zijn competenties gedefinieerd die betrekking hebben op de informatieverwerking van studenten, de (product)planning, sturing van de eigen ontwikkeling en praktische samenwerking. Als hulp bij de verwerving van die competenties maken studenten gebruik van een portfolio, dat vooral een ontwikkelingsgerichte functie heeft. De opleiding MoT voorziet in een traject van individuele voortgangsgesprekken waarbij het bijgewerkt portfolio de gespreksbasis is. Voor het werken met het portfolio is gekozen voor het programma Personal Development Planner (PDP). Er is gekozen voor PDP, omdat dit programma studenten niet alleen de mogelijkheid biedt een portfolio op te bouwen, maar studenten tevens expliciet stimuleert vragen te stellen over leerdoelen en een adequaat ontwikkelingstraject. De pilots binnen de Universiteit Leiden De pilots binnen de universiteit Leiden zijn op een later tijdstip van start gegaan dan de andere instellingen. Op het moment van het schrijven van deze eindrapportage verkeren de pilots in de opstartfase. Zij gaan werken met het Blackboard CS. De opleiding archeologie Het aantal opleidingen bij de opleiding is in de loop van de jaren flink gegroeid. Niet alleen de student uit Nederland maar ook internationale studenten melden zich in steeds grotere aantallen bij de opleiding. Het aantal docenten groeit niet evenredig mee, terwijl het wel hun taak is om alle studenten voortdurend te begeleiden en te monitoren in hun voortgang. Om deze taak goed te kunnen blijven uitvoeren zou het een oplossing zijn om meer uniformiteit te realiseren in de begeleiding en om deze taak te ondersteunen met een elektronisch systeem, waarmee de voortgang van de studenten continue gemonitord kan worden. Een e-portfolio systeem zou dit probleem kunnen verhelpen De universitaire lerarenopleiding Van oudsher heeft het leren van studenten in de schoolpraktijk een belangrijke plaats in de lerarenopleiding. In de Leidse universitaire lerarenopleiding brengen studenten ongeveer de helft van hun (opleidings) tijd door op school, met het verzorgen van lessen en het vervullen van andere taken binnen de schoolorganisatie. Om de ontwikkeling van de student te kunnen volgen, bespreken en uiteindelijk beoordelen, maakt de opleiding gebruik van een portfolio. Op dit moment gaat het nog om een portfolio op papier, maar binnen de opleiding is veel animo voor de invoering van een elektronisch portfolio. Daarbij is het streven om een maximale functionaliteit te realiseren met zo eenvoudig mogelijke ICT-oplossingen.


22


23

4.

Het evaluatieonderzoek

Het evaluatieonderzoek naar de ervaringen die zijn opgedaan binnen de pilots, heeft binnen de projectgroep de nodige gespreksstof opgeleverd. Afstemming met de projectgroep over de vraagstelling en doelstellingen van het onderzoek vond plaats op het moment dat de eerste opzet hiervoor al was gemaakt. Vervolgens bleek dat deze niet geheel matchte met de ideeën en werkwijze van de projectgroep. In de 'reparatiefase' die daarna volgde heeft het de nodige tijd gekost om het geheel op elkaar af te stemmen. Een ander probleem was dat pilots later van start gingen dan vooraf gepland, omdat het BbCS niet eerder beschikbaar was. De consequentie hiervan was dat het evaluatieonderzoek is verricht op het moment dat een aantal opleidingen nog niet veel ervaringen met de systemen hebben kunnen opdoen. Het e.e.a. heeft er uiteindelijk toe geleid dat het onderzoek onder behoorlijk tijdsdruk is uitgevoerd en dat de conclusies uit dit onderzoek niet allemaal gebaseerd zijn op grondige ervaringen van de betrokken studenten en medewerkers uit de pilots.

4.1

Opzet van het evaluatieonderzoek

Het onderzoek naar de ervaringen die zijn opgedaan binnen de pilots is verricht door het Universitaire Onderwijscentrum Groningen van de Rijksuniversiteit Groningen. Het doel van de evaluatie is inzicht te verkrijgen in de bruikbaarheid van de drie geselecteerde e-portfolio systemen en in de voorwaarden voor het gebruik ervan. Het onderzoek is uitgevoerd met behulp van vragenlijsten die schriftelijk zijn ingevuld door studenten en docenten. De centrale vragen van dit onderzoek zijn: 1. Hoe worden digitale portfolio's gebruikt in de E-merge en Apollo instellingen en welke ervaringen zijn ermee opgedaan? 2. Welke e-portfoliosystemen voldoen (het meest) aan de wensen en eisen ten aanzien van het gebruik van het digitaal portfolio binnen de instellingen? 3. Aan welke voorwaarden moet worden voldaan bij uitgebreid en intensief gebruik van een digitaal portfolio?

4.2

Conclusies naar aanleiding van de ervaringen binnen de pilots

In de Apollo- en E-merge instellingen geëxperimenteerd met het werken drie e-portfoliosystemen: Blackboard content System, Folio en PDP. Het doel van de ‘pilots’ met deze drie systemen is te komen tot een keuze voor een geschikt portfoliosysteem. Tevens kunnen succesvolle pilots fungeren als showcase voor onderwijskundig verantwoord gebruik van een digitaal portfolio. Ook kunnen de ervaringen die zijn opgedaan in de pilots gebruikt worden voor de verdere ontwikkeling rondom het e-portfolio, zoals het opzetten van trainingen en praktische begeleiding. In dit onderzoek is bij een aantal opleidingen onderzocht hoe de drie portfoliosystemen worden gebruikt en hoe docenten en studenten denken over factoren die van belang zijn voor ingebruikname van een digitaal portfolio. Als leidraad bij de opzet van de evaluatie is het verklaringsmodel van Davis (1989) gekozen. Dit model gaat er vanuit dat de ingebruikname van nieuwe technologische hulpmiddelen in organisaties bepaald wordt door het nut dat gebruikers eraan toekennen en het gebruiksgemak. Belangrijke randvoorwaarden zijn daarbij het type opleiding en de ICT-omgeving. Bij studenten en docenten is over deze onderwerpen informatie verzameld


24

door ze schriftelijke vragenlijsten te laten invullen. In de volgende paragrafen worden de belangrijkste bevindingen uit het onderzoek samengevat.

4.3

Gebruik van de e-portfolio’s en de opgedane ervaringen

De eerste onderzoeksvraag luidde: Hoe worden E-portfolio’s gebruikt in de Apollo- en E-merge instellingen en welke ervaringen zijn ermee opgedaan? In alle opleidingen van de Apollo- en E-merge instellingen worden de portfolio’s gebruikt als middel om de ontwikkeling van studenten te begeleiden. Circa een derde van alle docenten gebruikt het portfolio echter op meer dan één manier. De combinatie die het meest voorkomt is de combinatie beoordelingsportfolio en ontwikkelingsgericht portfolio. Circa driekwart van alle docenten gebruikt het portfolio ontwikkelingsgericht. Iets minder dan de helft gebruikt het als beoordelingsinstrument. De showcase-functie wordt slechts beperkt genoemd. In enkele opleidingen heeft de pilot niet aan de verwachtingen voldaan. Dit is bij de Haagse Hogeschool in alle opleidingen het geval. Bij de Hogeschool Leiden is dit het geval voor de opleidingen Informatica en de PABO. Bij de Hogeschool Zuyd vinden de docenten van de opleiding Logopedie dat de pilot met Folio niet aan de doelstellingen heeft voldaan. In het merendeel van de gevallen hangt dit samen met het oordeel over de gebruiksvriendelijkheid van het portfoliosysteem. In de opleidingen Bestuur en Overheidsmanagement en Voeding en Diëtiek vindt men de producten PDP en Folio niet gebruiksvriendelijk. In de opleidingen Bestuur en Overheidsmanagement is men zelfs halverwege de pilot van PDP overgestapt naar Blackboard CS. Deze opleiding heeft veel gunstiger ervaringen met Blackboard CS dan met PDP. In de opleiding Logopedie van de Hogeschool Zuyd vinden de docenten het programma Folio niet gebruiksvriendelijk. Het ervaren nut van het werken met een portfolio Uit het onderzoek is gebleken dat de studenten in de LOV-opleiding (Leiden), de PABO-opleidingen van Avans en de Hogeschool Zuyd en de Geneeskunde-opleiding van de universiteit Maastricht veel waarde hechten aan het werken met het digitale portfolio. Het gaat hierbij om opleidingen waar handelingsgericht leren zich goed laat koppelen aan praktijksituaties. Opvallend genoeg ervaren de (deeltijd-)PABOstudenten van de Hogeschool Leiden weinig nut van het werken met het digitale portfolio. Dit negatieve oordeel kan te maken hebben met de omstandigheden waarin deze studenten aan het portfolio moesten werken. Deze studenten waren namelijk minder tevreden over hun ICT-voorzieningen dan de studenten van andere opleidingen. In de opleidingen waar studenten relatief veel nut hechten aan hun portfolio, hebben ze er gemiddeld meer dan twee uur per week gebruik van gemaakt.

Figuur 1 Overzicht van de oordelen van docenten en studenten over het nut van het werken met het digitale portfolio; percentages.


25

Het gebruiksgemak Docenten die Blackboard CS hebben beproefd zijn over de hele linie iets meer tevreden dan de PDPgebruikers, die op hun beurt weer meer tevreden zijn dan de Folio-gebruikers. De Folio-gebruikers oordelen met name negatief over het kunnen geven van commentaar en over het gebruiksgemak bij de beoordeling en de begeleiding van studenten. Uit het onderzoek is echter ook gebleken dat geen van de drie systemen erg vriendelijk wordt beoordeeld als het gaat om het gebruiksgemak bij de beoordeling van portfolio’s. Studenten oordelen niet noemenswaardig anders over het gebruiksgemak van Folio en Blackboard CS. Wel zijn er verschillen in de oordelen van de studenten over Folio en Blackboard CS ten aanzien van specifieke gebruiksmogelijkheden. De Folio-gebruikers zijn iets meer tevreden over de ontwerpmogelijkheden, terwijl de Blackoardgebruikers iets meer tevreden zijn over het digitaal portfoliobeheer. De studenten die PDP hebben gebruikt oordelen significant negatiever over het gebruiksgemak van dit systeem dan de Blackboard CS en de Folio-gebruikers.

Figuur 2 Overzicht van de oordelen van docenten en studenten over het gebruiksgemak van het portfolioprogramma; percentages. Aantal docenten: BBCS 24, Folio 5 en PDP 5, aantal studenten: BBCS 128, Folio 14 en PDP 24.

4.4

Wensen en eisen inzake de e-portfoliosystemen

In het E-portfolioproject is een programma van eisen opgesteld waaraan de e-portfoliosystemen zouden moeten voldoen. De tweede onderzoeksvraag luidde: Welke e-portfoliosysteem voldoet het meest aan de wensen en eisen ten aanzien vanuit de E-merge instellingen? In het onderzoek zijn deze eisen in de vorm van een lijst met stellingen aan de docenten voorgelegd. De docenten konden bij elke stelling aangeven of ze het er mee eens waren. Op grond van het totaal aantal eisen waarmee de docenten het eens waren, is een globale indeling gemaakt van de meningen van


26

docenten, variërend van twijfel over de bruikbaarheid tot een zeer positief oordeel over de bruikbaarheid van het systeem in instellingen voor hoger onderwijs. De docenten die met Blackboard CS en PDP hebben gewerkt, hebben een iets positiever oordeel over de bruikbaarheid van het portfoliosysteem dan de docenten die met Folio hebben gewerkt. Een kwart van de Blackboard CS-gebruikers heeft een zeer positief oordeel. Vooral onder de Folio-gebruikers bestaat twijfel over de bruikbaarheid van het systeem in het hoger onderwijs. Opvallend feit is dat de ervaringen van de pilot met PDP in de Haagse Hogeschool zeer negatief zijn. De oordelen van docenten over de gebruiksvriendelijkheid van het gebruikte e-portfoliosystemen wijzen uit dat de Blackboard CS gebruikers over de hele linie iets meer tevreden zijn dan de PDP-gebruikers, die op hun beurt weer meer tevreden zijn dan de Folio-gebruikers. De Folio-gebruikers oordelen met name negatief over het gebruiksgemak bij het geven van commentaar en over het gebruiksgemak bij de beoordeling en de begeleiding van studenten. Ondanks het feit dat Blackboard iets positiever wordt beoordeeld, heeft dit systeem nadelen die nader aandacht verdienen. Net als bij Folio en PDP zijn de gebruikers niet bijzonder enthousiast over de mogelijkheden om studentportfolio’s te vergelijken en over de mogelijkheden om beoordelingen te geven. Docenten missen met name mogelijkheden om commentaar en cijfers te plaatsen en dat te bevriezen in de studentportfolio’s. Vooral wanneer het portfolio als beoordelingsinstrument wordt gebruikt, ervaart men dit als een gemis.

4.5

Voorwaarden voor uitgebreid en intensief gebruik van een e-portfolio

De derde onderzoeksvraag luidde: Aan welke voorwaarden moet worden voldaan bij uitgebreid en intensief gebruik van een e-portfolio? De onderzoeksresultaten laten zien dat als docenten en studenten geen nut ervaren van het werken met een portfolio, de kans klein is dat het intensief gebruik zal worden. Het is belangrijk dat studenten op enige manier beloond worden voor het gebruik. Als het portfolio gebruik wordt als een beoordelingsinstrument kan die beloning bestaan uit waardering van de geïnvesteerde tijd en een voldoende of een hoog cijfer. Wordt het portfolio gebruikt als ontwikkelingsgericht instrument, dan moeten studenten aan de hand van uitgevoerde activiteiten en opdrachten kunnen zien dat ze daadwerkelijk progressie boeken. De ICTvoorzieningen lijken voor studenten en docenten in de meeste instellingen geen struikelblok. Studenten zijn overwegend tevreden over de ICT-voorzieningen en vrijwel alle docenten en de overgrote meerderheid van de studenten heeft thuis ook toegang tot het digitale portfolio. De technische implementatie van het portfoliosysteem kan wel problemen opleveren. De negatieve ervaringen met PDP in de opleiding Bestuur en Overheidsmanagement (Haagse Hogeschool) en de ervaringen in de LOV-opleiding (Hogeschool Leiden) met Blackboard CS op de Mac-computers wijzen hierop. Verder is het ook belangrijk gebruiksvriendelijke oplossingen te vinden voor de wensen van docenten om commentaar speciaal te markeren, eerder commentaar terug te kunnen zien en cijfers te verstrekken. Hiervoor zullen duidelijke voorbeelden en procedures moeten worden ontwikkeld zodat een docent op een zo efficiënt mogelijke manier besprekingen met studenten kan voorbereiden en portfolio’s kan beoordelen. Verder is het belangrijk dat het digitale portfoliobeheer voor studenten eenvoudig is te realiseren. Bij de keuze van een digitaal portfoliosysteem moet daarom hier speciaal op worden gelet. Het Blackboard CS voldoet op dit punt volgens de studenten redelijk.


27

4.6

Aanbevelingen

In de opleidingen die studenten voorbereiden op beroepen als leerkracht, docent en arts hebben de docenten en studenten het portfolio over het algemeen als een nuttig hulpmiddel ervaren. In deze pilots kan daarom het gebruik van het digitale portfolio overwegend als geslaagd worden beschouwd. In de overige opleidingen hebben de studenten het portfolio niet altijd even nuttig ervaren. Het kan zijn dat een digitaal portfolio in die opleidingen geen meerwaarde heeft, maar het kan ook liggen aan de praktijkopdrachten waarbij studenten het portfolio gebruiken. Het is derhalve raadzaam om deze opleidingen door te lichten op hun onderwijsaanbod. Aandachtspunten bij deze doorlichting zijn (zie Eringa, Rietveld & Zwaal, 2000): • het beroepsprofiel. Het gaat hier om een typering van beroepssituaties waarin studenten na hun opleiding met succes moeten kunnen opereren. • een typering van de competenties die nodig zijn om in die beroepssituaties te kunnen opereren (de beroepsgerichte opleidingsdoelen), gekoppeld aan voorbeelden van de mate waarin studenten de competentie beheersen. • de oefenstof. Welk type opdrachten heeft de opleiding gekozen om studenten te leren die competenties te verwerven, welke opbouw zit daarin en is het mogelijk die competenties te ontwikkelen en te verbeteren door handelingsgerichte observaties, registraties en evaluaties (zie bijvoorbeeld Jansen-Vos, Pompert & Schiferli, 2003). • de begeleidingsactiviteiten en gesprekken. De docenten zijn bij geen van de drie beproefde portfoliosystemen erg enthousiast over het gebruiksgemak inzake de bespreking en beoordeling van portfolio’s. Het is daarom belangrijk dat er duidelijke voorbeelden en procedures worden ontwikkeld over hoe een docent op een zo efficiënt mogelijke manier een bespreking kan voorbereiden en uitvoeren en portfolio’s kan beoordelen. Deze voorbeelden kunnen in de vorm van videofragmenten op een CD of DVD worden gezet. In dit onderzoek hebben we ook een indruk gekregen van hoe oudere deeltijdstudenten het werken met een digitaal portfolio ervaren. Gebleken is dat deze groep het werken met een digitaal portfolio minder nuttig vindt dan jonge voltijdstudenten. Daar kunnen verschillende factoren aan ten grondslag liggen (tijdgebrek, specifieke ICT-kennis, ICT-voorzieningen thuis). Als men met deze groep studenten ook in de toekomst met een digitaal portfolio wenst te laten werken, verdient het aanbeveling nader te inventariseren in hoeverre deze factoren een rol spelen, technische knelpunten weg te nemen en zonodig persoonsgerichte begeleiding te verstrekken.

4.7

Samenvattend

Van de drie systemen die zijn getest blijkt het BbCS het meest te voldoen aan de wensen en eisen van een e-portfolio vanuit de E-merge/Apollo instellingen. Hierbij dient de kanttekening worden gemaakt dat de docenten bij de beoordelingsfunctie van het e-portfolio de mogelijkheid missen om commentaar en cijfers te kunnen bevriezen. Er zullen oplossingen moeten worden gezocht om aan deze wensen tegemoet te komen. Er zullen duidelijke voorbeelden en procedures moeten worden ontwikkeld, zodat een docent op een efficiënte manier besprekingen met studenten kan voorbereiden en portfolio's kan boordelen. De combinatie van het beoordelingsportfolio en het ontwikkelingsgerichte portfolio komt het meest voor.


28

Studenten van de opleidingen waarbij handelingsgericht leren zich laat koppelen aan praktijksituaties hechten meer waarde aan het werken met het digitale portfolio dan in de overige opleidingen.Gebleken is dat oudere deeltijdstudenten het werken met het e-portfolio minder nuttig ervaren dan jonge voltijdstudenten.Daar kunnen verschillende factoren aan ten grondslag liggen (tijdgebrek, specifieke ICTkennis, ICT- voorzieningen thuis). Het verdient aanbeveling om nader te inventariseren in hoeverre deze factoren een rol spelen, eventueel technische knelpunten weg te nemen en zonodig persoonsgerichte begeleiding te verstrekken. Bij de opleidingen waar studenten het nut van het e-portfolio niet zien verdient het aanbeveling om goed te kijken in hoeverre sprake is van onderwijskundige inbedding in het curriculum. Bij de technische implementatie van het e-portfoliosysteem moet rekening worden gehouden met problemen die kunnen ontstaan, o.a. bij het gebruik van Mac computers.


29

5.

Specifieke ervaringen vanuit de pilots / lessons learned

Bij het uitvoeren van de pilots zijn in de projectperiode een aantal ervaringen, lessons learned van gebruikers (studenten, docenten, begeleiders intern en extern, projectgroepleden) opgetekend. Daar waar de ervaringen specifiek zijn voor een van de drie gebruikte e-portfolio systemen is dit vermeld. Het feit dat de ervaringen zijn opgetekend uit de mond van gebruikers, geeft onderstaande een dominante ‘onderwijskundige kleur’, zelfs als het gaat over technische aspecten. De hieronder benoemde ervaringen zijn voor een belangrijk deel 1-op-1 te vertalen naar aandachtspunten bij het implementeren van e-portfolio’s in de eigen organisatie.

5.1

Onderwijskundig

Portfolio’s en daarmee ook e-portfolio’s komen in een aantal varianten voor. Bewuste keuzes zullen gemaakt moeten worden. Ook de discussie over de mate van voorstructurering van het e-portfolio moet gevoerd worden. Het is de vrijheid van de student of het gemak voor de docent. Alle keuzes behoren uiteraard gemaakt te worden met het oog op de beoogde (onderwijskundige) toepassing in het licht van ‘het op te lossen probleem’. Er moet bij de implementatie van e-portfolio’s gewerkt worden vanuit een visie op het totale leren van de student. Er is een noodzaak tot onderwijskundig inbedding en afstemming. Uit de ervaringen die zijn opgedaan binnen de pilots blijkt ook dat de meeste problemen voortkomen uit het ontbreken van een goede visie op het e-portfolio en de onderwijskundige inbedding. De gebruikers lopen dan tegen veel problemen op omdat zo sprake is van twee innovaties in één keer, onderwijsinhoudelijk en technisch: portfolio's leren maken en integreren in het leerproces en nieuwe technologie hanteren. Implementatie van het e-portfolio heeft alleen kans van slagen wanneer het voor de student en opleiding een duidelijke functie vervult en is ingebed in de werkwijze van studenten, medewerkers en in het curriculum. Een goede begeleidingsstructuur (feedback op portfolio) is een noodzakelijke voorwaarde om het portfolio te laten slagen. Het is echter niet zo dat dit alle randvoorwaarden voor het succesvol werken met een portfolio afdekt. Ook is ervaren, dat bij de implementatie van e-portfolio’s, los van het wel of niet al in gebruik zijn van ‘papieren’ portfolio’s, herontwerp van de begeleidings- en beoordelingsprocessen noodzakelijk is. Gebeurt dit niet, dan wordt het werken met een (e-)portfolio alleen maar als een extra belasting ervaren door zowel student als docent. Bij dit herontwerp van de begeleidings- en beoordelingprocessen kan veel ‘winst geboekt’ worden door meerdere partijen (met name de studenten zelf) te betrekken bij de begeleiding en beoordeling. Het is ons duidelijk geworden dat als je naar de ‘portfoliopiramide’ kijkt, je alle delen moet aanspreken om het hoogste niveau (reflectie) te kunnen bereiken. Dat is in sommige pilots niet goed genoeg benadrukt geweest. Reflectie is bijna niet te bereiken als je de onderste stappen in de piramide niet expliciet maakt.


30

Een student moet dus alvorens te reflecteren, verzamelen, selecteren, presenteren en feedback krijgen alvorens de reflectie aan bod komt. Bij het face to face bespreken van een portfolio moet gezocht worden naar handige manieren om de voor het gesprek relevante informatie bij de hand te hebben. Traditioneel zal snel een uitdraai van een deel van het portfolio gemaakt worden of zal een PC ter beschikking zijn of krijgt een student de ruimte zijn portfolio op zijn ‘eigen wijze’ te presenteren binnen het gesprek. In de pilots is meermalen gekozen voor de ‘papieren’ optie. Met name externe betrokken personen hebben in meerdere situaties aangegeven, dat zij om diverse redenen, toch nog een uitdraai van het portfolio gemaakt hebben. Dit zal meer en meer problemen geven als studenten gebruik gaan maken van de multimediale mogelijkheden die een e-portfolio biedt. Binnen het academisch onderwijs is het soms lastig om een directe link te leggen tussen toekomstige beroepscompetenties en de huidige studieactiviteiten. De academische vaardigheden die centraal staan, zijn niet vanzelfsprekend voor alle studenten. Het is erg belangrijk om de studenten het belang van het portfolioproces duidelijk te maken en zelfs dan zijn er bepaalde studenten die hierbij individuele coaching nodig hebben. Het traject kan daarmee behoorlijk arbeidsintensief worden; een portfolio dient dus onderwijskundige doelen en niet in eerste instantie efficiencydoelen. Begeleidingsstructuren veranderen ook daadwerkelijk: Student: ‘het is alsof ik iedere dag met mijn portfoliomap bij mijn begeleider voor de deur sta.’ Docent: ‘doordat ik altijd inzicht heb in het portfolio begeleid ik de student op een andere manier, ik kan continu en effectief begeleiden.’ Zolang de docent/begeleider geen waarde hecht aan het portfolio, doet de student dat ook niet. Er gaat inderdaad voor studenten een motiverender werking uit van een e-portfolio dan van een papieren variant.

5.2

Technisch

Met name de multimediale mogelijkheden van een e-portfolio biedt veel nieuwe mogelijkheden. Hierover is nog veel te leren. Het benutten van deze mogelijkheden zijn bij het BbCS het grootst, o.a. omdat hier de hoeveelheid beschikbaar te maken opslagruimte goed en flexibel te regelen is. In Blackboard is het e-portfolio een geïntegreerd onderdeel. Naast het e-portfolio biedt het BbCS nog een aantal andere faciliteiten. Studenten zijn direct blij met de (automatische) beschikbaarheid van de zogenoemde Virtual Harddrive. Studenten bergen hun “materiaal” op in die ‘Virtual Harddrive’ (de ‘my content’). Met elk portfolio creëert de student een specifieke doorkijk naar ‘zijn’ materiaal. Hij kan daarbij putten uit materiaal dat op zijn eigen Virtual Harddrive staat, maar ook gebruik maken van dingen die hij gemaakt heeft (al of niet in groepsverband) binnen Bb courses of communities en die daar ook opgeslagen zijn binnen Bb. De andere twee e-portfoliosystemen hebben deze mogelijkheid uiteraard niet.


31

PDP wordt extern gehost. Dit geeft voordelen, maar soms ook een ongewenste afhankelijkheid van een externe partij. Het BbCS (en daarmee e-portfolio van Bb) is volledig geïntegreerd in de totale elektronische leeromgeving Blackboard van de instelling. Afhankelijk van de situatie in de instelling, is daarmee het e-portfolio meteen ook een geïntegreerd onderdeel van de totale infrastructuur van de instelling (inclusief koppelingen met het ‘studentvolgsysteem’, de (onderwijs-) Portal enz. Dit geeft meteen grote voordelen als het gaat om het userbeheer, gebruiksgemak, gebruiks- en gebruikersondersteuning en beheer(s)baarheid. Bij Folio is die integreerbaarheid al meteen een stuk minder, ook al is het als building-block aan ‘de oppervlakte’ aan Bb te koppelen. PDP is vooralsnog een eigenstandig (extern gehost) systeem. Bij Folio vraagt technische integratie dus een aantal extra voorzieningen. Technische integratie zal bij PDP niet of nauwelijks mogelijk zijn. Studenten willen hun portfolio meenemen na het afstuderen. Bij PDP is dat op zich geen probleem (wel een prijzige aangelegenheid). Voor Folio en het e-portfoliosysteem van Bb moet dit apart geregeld worden, ook in technische zin in termen van toegang tot de systemen na de opleiding en de beschikbare servercapaciteit en dataopslag.

5.3

Organisatorisch

Over de efficiëntie (vanuit het perspectief van de tijdbesteding van de docent/begeleider) zijn de meningen verdeeld. ‘als docent kun je snel door het portfolio bladeren. In tegenstelling tot een papieren ordner of map’ tegenover ‘een papieren portfolio kan ik diagonaal lezen en heb ik in anderhalf uur beoordeeld. Hiermee (de digitale versie) was ik drieënhalf uur bezig’. Dit is een aspect dat nadrukkelijk meegenomen moet worden bij de implementatie van e-portfolio en met name dus bij het (her)inrichten van de begeleidings- en beoordelingsprocessen. Het blijkt dat bij het gebruik van een e-portfolio in vergelijking met een papieren portfolio de privacy van de student beter bewaakt kan worden. Immers een papieren portfolio kan in handen komen van derden en kopiëren van (onderdelen van) het portfolio is mogelijk. Een systeem moet redelijk intuïtief te bedienen zijn. Is dit niet het geval dan is een intensieve training noodzakelijk. Ten aanzien van dit aspect bestaan behoorlijke verschillen tussen de drie systemen die in de pilots gebruikt zijn. Waarbij het gebruik van het Bb Content System de minste trainingsinspanning vraagt. Met name het gegeven dat het een geïntegreerd onderdeel is van de in gebruik zijnde elektronische leeromgeving blijkt een geweldig voordeel als het gaat om gebruiksgemak en snelheid waarmee de basisvaardigheden aangeleerd zijn. Vaak zijn studenten binnen een half uur al enthousiast aan de slag en is een handleiding als naslagwerk voldoende. Bij het gebruik van PDP is de meeste instructie nodig. Bij dit punt is meteen een waarschuwing (gebaseerd op ervaring) op zijn plaats: beperk scholing niet tot een instrumentele cursus. Het begrip ‘portfolio’ (laat staan e-portfolio) en alles wat daarbij komt kijken en de gevolgen daarvan, is nog lang niet bij iedereen helder. Ook studenten hebben niet automatisch een compleet beeld van de mogelijkheden van een


32

e-portfolio. Studenten kunnen in dit opzicht ook veel van elkaar leren. Met het inrichten van een ‘e-portfoliocommunity’ (wat eenvoudig is als het e-portfolio van Bb gebruikt wordt) wordt zo’n proces effectief en efficiënt gefaciliteerd. Ook docenten en begeleiders kunnen veel nut hebben van zo’n community. Ook handleidingen, e-trainingen en ‘demonstratie’ portfolio’s kunnen ‘ten toon gesteld worden’ binnen zo’n community zodat studenten en docenten ideeën kunnen ontwikkelen. Implementatie van een e-portfolio heeft alleen zin als daarmee aan een echt (h)erkende behoefte wordt voldaan en/of een (h)erkend probleem wordt opgelost. In de pilots is ervaren dat de energie nodig voor een goede implementatie al snel wegvloeit naar andere ‘dringende’ activiteiten als aan deze voorwaarde niet wordt voldaan. In dat kader geldt ook: het hebben van een goed projectplan en activiteitenplan is de moeite waard (ook al heeft het onderwijs wel eens de neiging hier onzorgvuldig in te zijn), immers zonder dat zullen allerlei andere (vaak operationele en direct op de student betrokken) dingen een hogere prioriteit krijgen, waardoor het moeilijk is om mensen vrij te houden voor de ontwikkeling en implementatie van het e-portfolio. Studenten hebben al aangegeven, dat zij hun e-portfolio, ten minste als show-case-portfolio, mee willen nemen na het afstuderen. Hiervoor zullen, ook op het organisatorische niveau, in het kader van alumnibeleid voorzieningen voor moeten worden getroffen. Binnen de pilots is veel ervaringen opgedaan met het e-portfolio, voor veel opleidingen was het een eerste kennismaking. Deze leerervaringen zijn zeer waardevol voor andere opleidingen binnen en tussen de instellingen van E-merge en Apollo. Het is belangrijk dat deze opgedane ervaringen te beschikking worden gesteld middels netwerken die binnen en tussen de instellingen georganiseerd moeten gaan worden.

5.4

Financieel

Ten aanzien van dit aspect zijn vanuit de gebruikersgroep nauwelijks ervaringen benoemd, behalve dan de prijs (die al snel voor rekening van de gebruiker zelf zal zijn) van PDP. Een prijs die betaald moeten worden voor het gebruik van het portfoliosysteem met daarin een toch wel erg magere capaciteitsopslag.

5.5

Consequenties brede uitrol

Ten aanzien van de consequenties van breed gebruik van e-portfolio systemen wil de projectgroep slechts enkele constateringen delen, zonder overigens volledig te zijn ten aanzien van alle aspecten die een rol spelen bij grootschalig gebruik. Het betreft hier alleen die aandachtspunten die naar voren zijn gekomen binnen het project. Bij de selectie van systemen wordt vaak nog niet gelet op grootschalig gebruik. De consequenties van keuzes worden dan ook vaak pas zichtbaar in de praktijk achteraf. Beheer(s)baarheid Op basis van de ervaringen binnen de deelnemende instellingen van dit project, is geconstateerd dat feitelijk alleen het BbCS redelijk probleemloos grootschalig gebruikt kan worden als onderdeel van de


33

reeds aanwezig elektronische leeromgeving Blackboard. Belangrijk voordeel is immers dat het beheer van het e-portfoliosysteem gewoon een onderdeel is van het beheer van Bb, inclusief het eenvoudige (en vaak geautomatiseerde) user- en rollen beheer. Integreerbaarheid Met name als het gaat om grootschalig gebruik is integreerbaarheid met andere systemen uit de ICT infrastructuur belangrijk. Ook hier geldt dat een e-portfoliosysteem dat integraal onderdeel is van de reeds in de infrastructuur ingebedde elektronische leeromgeving belangrijke voordelen biedt. Capaciteit Organisatie breed toepassen van e-portfoliosystemen zal leiden tot een explosie in de behoefte aan dataopslagcapaciteit. Met name als het een e-portfolio betreft voor ten minste vier jaar opleiding en bijvoorbeeld zo’n 20.000 studenten, dan zal de benodigde dataopslagcapaciteit al snel doorgroeien naar zo’n 400 terabyte benodigde opslagcapaciteit. Als de inhoud multimediaal is, en de e-portfolio’s intensief gebruikt gaan worden, zal dit ook consequenties hebben voor de benodigde bandbreedte beschikbaar voor interne en externe elektronische communicatie. Dat dit alles vervolgens ook weer consequenties heeft voor de beschikbare servercapaciteit zal niemand verbazen. Al met al: ook de technische aspecten moeten vooraf goed uitgewerkt worden bij grootschalig gebruik van e-portfolio’s. Toerusting Docenten en begeleiders zullen goed toegerust moeten worden. Hierbij dient o.a. bedacht te worden dat de meer ICT-vaardige docenten/begeleiders in de voorhoede hebben meegedaan. Er bestaat in de regel een groot verschil in ICT-vaardigheden student àß docent (een verschil dat lijkt toe te nemen en nu scherper zichtbaar wordt). Ook geldt dat het gebruik van bijvoorbeeld het BbCS (met e-portfolio) meer ICT-vaardigheden vraagt dan alleen het gebruik van het BbCS (de courses en communities). Bij grootschalig toepassen van e-portfolio zal men, in het huidige tijdgewricht, geconfronteerd met groepen docenten/begeleiders, die minder (of zelfs niet) ICT-vaardig zijn. Veranderkundige aspecten Tevens is extra aandacht voor de veranderkundige aspecten nodig omdat er veranderingen op zullen treden in de begeleidings- en beoordelingsprocessen van collega’s die ‘daar niet om gevraagd hebben’. Beveiliging Beveiliging is een issue waar het gaat om bedrijfsgegevens. Nu de bedrijfsgegevens opgenomen zijn in een e-portfolio wordt extra aandacht gevraagd voor beveiliging.

5.6

De drie systemen

Blackboard CS Tijdens deze pilot is gewerkt met Blackboard 6.2 (onderdeel Blackboard Content System  versie 2.0). Avans hogeschool heeft in de pilot-periode gewerkt met het ‘eigen’ systeem. De andere deelnemers die Bb gebruikt hebben, hebben gewerkt met het Bb Content System van Emerge, dat gehost is bij de TU Delft.


34

Enkele sterke aspecten: Geïntegreerd geheel - Omdat het e-portfolio in Bb zit, zijn studenten vaak na een half uur instructie al enthousiast aan de slag. Ze kennen de omgeving en de gebruikte eenvoudige interface. Vaak is de handleiding alleen voldoende. - De beschikbaarheid van een Virtual Harddrive (VH) in Bb maakt dat de student echt mooiere/betere portfolio’s maakt. Het is immers een gestructureerde doorkijk naar de inhoud van de VH. - Een student kan ten alle tijden bepalen wat zichtbaar is in zijn portfolio. Alles wat in zijn Virtual Harddrive staat, samen met alles wat in een Bb community of Bb Course door de student (al of niet in groepsverband) geproduceerd en gepubliceerd is, is direct en eenvoudig in het portfolio op te nemen. - Binnen het BbCS zijn workflow hulpmiddelen beschikbaar die ingezet kunnen worden bij het volgen van de voorgang van het ‘werkproces’ m.b.t. het e-portfolio. - Hanteerbaar (user)beheer ook bij grote hoeveelheden gebruikers en intensief gebruik en wordt reeds verzorgd door BB Learning System. - Er behoeven, daar het een onderdeel is van de standaard elektronische leeromgeving geen extra kosten gemaakt te worden voor koppelingen met andere concern informatiesystemen Eenvoud - Naast de eenvoud i.v.m. het gegeven dat het e-portfoliosysteem een geïntegreerd onderdeel is van de elektronische leeromgeving Blackboard geldt: - Het is eenvoudig om gebruikers binnen de instelling en mensen van buiten de instelling (betrouwbaar) toegang te geven. Dit vereenvoudigt communicatie met externe begeleiders. Het wordt al snel door studenten ook gebruikt om ‘sollicitatie portfolio’s’ te maken en mee te sturen. - Zelfs ICT-leken kunnen bruikbare en mooie portfolio’s maken Flexibel Het Blackboard CS is zeer geschikt voor opleidingen die een portfolio instrument zoeken die de studenten veel flexibiliteit biedt wat de inrichting en invulling van zijn eigen portfolio betreft. Het is een erg flexibel in te zetten instrument dat een veelheid aan zelf te definiëren halffabrikaten als formulieren, templates, voorgestructureerde portfolio’s, kan bevatten. Enkele minder sterke aspecten Flexibel Het is een erg flexibel in te zetten instrument …… (veelheid aan zelf te definiëren halffabrikaten als formulieren, templates, voorgestructureerde portfolio’s, enz) …… het systeem dwingt het gebruik van die ‘klaargezette’ halffabrikaten niet af! Eigendom De student is eigenaar ….. met als gevolg ….. dat sommigen dit als nadeel zullen beschouwen, immers:  de student bepaalt de toegang  de docent/mentor heeft wel de mogelijkheden om feedback te plaatsen, maar een student kan dit verwijderen. De student beheer(s)t het commentaar van de docent  een portfolio is niet te bevriezen door een docent (behalve dan een versie van het portfolio exporteren als zip-bestand en te raadplegen met een viewer) Certificering Certificering (beoordelingsdocumenten/instrumenten als onderdeel van het portfolio) is (nog) niet beschikbaar


35

Folio Tijdens deze pilot periode hebben we met twee versies van Folio gewerkt (1.5.2. en versie 1.6.0) Enkele sterke aspecten: Certificeren Het is mogelijk om onderdelen van het Portfolio te ‘bevriezen’ of te certificeren, waardoor een gebruiker dit materiaal niet meer kan wijzigen. Vanuit het SVS (Student Volg Systemen) zijn registraties van punten/beoordelingen over te brengen en op te nemen in een Portfolio; dit kan via een certificaat van de betreffende instelling een extra zekerheid geven bij de beoordeling van een portfolio (minder fraudegevoelig). Overzicht interacties Folio biedt de mogelijkheid om de interactie tussen begeleider en student wederzijds te monitoren en overzichtelijk te presenteren. Een begeleider/ docent kan zo bijvoorbeeld snel inzicht krijgen m.b.t. welke onderdelen van een portfolio hij/zij reeds gecertificeerd heeft op welke datum etc. Een student kan een overzicht opvragen welke gebruikers zijn/haar portfolio hebben ingezien. Eenvoudig Folio is een relatief eenvoudig te gebruiken systeem; redelijk intuïtief en overzichtelijk, maar vergt toch enige basis ICT-vaardigheden van de gebruiker. Door deze eenvoudige interface, biedt dit systeem voor de ervaren ICT-gebruiker echter weer te weinig mogelijkheden om hun portfolio’s adequaat vorm te geven. Minder sterke aspecten van Folio: User beheer en rollen verdeling In de huidige versies van Folio is het moeilijk en zeer tijdrovend om deze applicatie grootschalig te implementeren. Via Excel sheets moeten gegevens m.b.t. rollen en relaties worden ingevoerd en veranderingen in samenstellingen van groepen en relaties moeten handmatig en zeer arbeidsintensief worden geactualiseerd. In de dagelijkse praktijk van het HO met 10.000- 20.000 gebruikers is deze werkwijze niet uitvoerbaar. Integratie Folio binnen andere concernsystemen / kosten; Folio biedt een (oppervlakkige) koppeling met Blackboard, maar zal extra kosten genereren indien Folio gekoppeld moet worden met andere Concern Informatie Systemen (CIS). Ook het onderhoud van koppelingen bij updates en upgrades brengt in de praktijk steeds weer (tijdelijk) instabiele situaties op en regelmatig terugkerende kosten voor onderhoud en beheer. Data beheer, overzicht, export portfolio’s Folio had in de versie 1.6.0 nog steeds geen exportfunctie geïntegreerd voor het exporteren en/of hergebruik van persoonlijke e-portfolio’s. Dit onderdeel is/was een expliciet inhoudelijk en technische criterium binnen het keuzeproces en de afwegingen voor het continueren van het gebruik van Folio. In november 2005 komt deze voorziening in Folio beschikbaar, maar in de fase van besluitvorming was de export van Portfolio’s via eigen opslagmedia of hergebruik binnen andere e-portfoliosystemen niet beschikbaar. Personal Development Planner Om de PDP effectief en efficiënt te gebruiken is instructie nodig. Niet alle functionaliteit van het programma is vanzelfsprekend en intuïtief te begrijpen. Het onderliggend onderwijskundige concept is doordacht en


36

stuurt op een ontwikkelingsgericht portfolio, waarbij het ontwikkelingsproces duidelijk wordt verwoord. Het kost de gebruiker tijd om dit zich eigen te maken. Wanneer dit eenmaal is gebeurd, zorgt de PDP ervoor dat de gebruiker een prachtig chronologisch overzicht heeft van de stappen in zijn ontwikkeling. Het grote voordeel van PDP is, dat het je dwingt na te denken over de onderwijskunde inbedding en toepassing. De andere e-portfoliosystemen geven daarin nog zoveel ruimte, dat die onderwijskundige en procesmatige inbedding nogal eens als inhaalslag achteraf gedaan moet worden, met alle gevolgen van dien.

5.7

Samenvattend

Ook vanuit de meer specifieke ervaringen die beschreven staan in dit hoofdstuk komt naar voren dat het BbCS het meest voldoet aan het programma van eisen (zie bijlage II): • De multimediale mogelijkheden zijn bij het BbCs het grootst. • Het BbCS is volledig geïntegreerd in de totale Blackboardomgeving van de instelling en daarmee ook een geïntegreerd onderdeel van de totale infrastructuur van de instelling. Naast het e-portfolio bevat het systeem de zogenaamde Virtual Harddrive, waarin studenten hun materiaal op kunnen bergen. • Het gebruik van het BbCS vraagt niet veel trainingsinspanningen omdat men al bekend is met Blackboard. Studenten kunnen vaak binnen een half uur al enthousiast aan de slag met het systeem en gebruiken een handleiding als naslagwerk. • Het systeem kan probleemloos grootschalig worden gebruikt. • Het beheer is onderdeel van het beheer van Blackboard en vraagt dus geen extra faciliteiten. Bij de implementatie van het e-portfolio zal rekening moeten worden gehouden met de volgende factoren: • Het is belangrijk dat er een helder visie is geformuleerd op het e-portfolio en met een goede onderwijskundige inbedding in het curriculum. De gebruikers lopen anders tegen veel problemen op omdat zo sprake is van twee innovaties in één keer, onderwijsinhoudelijk en technisch. • Belangrijk hierbij is eveneens dat met het e-portfolio aan een echt (h)erkende behoefte wordt voldaan en/of een (h)erkend probleem wordt opgelost • Implementatie van het e-portfolio heeft alleen kans van slagen wanneer het voor zowel de student als voor de opleiding een duidelijke functie vervult. Herontwerp van de begeleiding- en beoordelingsprocessen zijn hierbij noodzakelijk. • De gebruikers moeten geschoold worden. Het is belangrijk om hierbij niet teveel te beperken tot een instrumentele cursus over het e-portfoliosysteem maar ook aandacht te schenken aan het begrip 'Portfolio' omdat dit begrip nog niet bij iedereen helder is. • Studenten en docenten kunnen veel van elkaar leren. Met het inrichten van een 'e-portfolio community' wordt zo'n proces effectief en efficiënt gepacificeerd. Handleidingen, trainingen en demonstratie portfolio's kunnen hierin worden geplaatst. • Studenten willen graag hun e-portfolio meenemen na het afstuderen. In het kader van het alumnibeleid zullen hiervoor voorzieningen moeten worden getroffen. • Heldere projectplannen met ruime aandacht voor veranderkundige aspecten (het creëren van draagvlak en betrokkenheid) zijn belangrijke succesfactoren bij de implementatie van het e-portfolio.


37

6.

Conclusie

De doelstellingen van het project OP 3.1 E-portfolio uit het Businessplan Consortium E-merge zijn reeds vermeld in hoofdstuk 1 van dit rapport. Een belangrijk onderdeel binnen dit project, was het onderzoek naar een e-portfoliosysteem, dat zou kunnen voldoen aan de onderwijsinhoudelijke, technische, financiële en organisatorische wensen van de instellingen die bij E-merge – en later Apollo- zijn aangesloten. Naar aanleiding van de resultaten van dit project zou bekeken worden of de brede uitrol van één systeem binnen E-merge/Apollo mogelijk en/of wenselijk is. De ‘markt‘ van e-portfoliosystemen is dynamisch en sterk in ontwikkeling. De drie e-portfoliosystemen (BbCS, Folio en PDP) zijn na een uitvoerige analyse van 16 pakketten op 33 criteria, in maart/april 2004 door de E-merge projectgroep 3.3. in samenwerking met project 3.1 geselecteerd als mogelijke e-portfoliosystemen voor de E-merge partners. Pilots met deze drie systemen binnen opleidingen van de verschillende E-merge (en later Apollo) partners zou medio 2005 tot een definitieve keuze of aanbeveling moeten leiden. Uiteraard waren de E-merge/Apollo partners vrij om een eigen keuze per instelling te maken en heeft/had de aanbeveling vanuit de projectgroep 3.1. geen verplichtend karakter.

6.1

Aanbeveling: Blackboard Content System.

Hoewel de e-portfoliopilots (in mei 2005) nog niet waren afgerond, was het toch mogelijk in die fase reeds en ook bij de afronding van dit project een aantal conclusies te trekken en op basis van onderwijsinhoudelijke, technische, organisatorische en financiële argumenten, een aanbeveling m.b.t. BbCS te formuleren.

6.2

Onderwijsinhoudelijk

De drie systemen bieden (op onderwijsinhoudelijke aspecten) in grote lijnen dezelfde functionaliteiten, met enige accentverschillen in de snel wisselende versies (PDP biedt in de laatste versie o.a. een competentiematrix en Folio biedt o.a. de mogelijkheid om documenten en beoordelingen te certificeren, maar had nog geen export functionaliteit) Zoals reeds eerder aangegeven is de markt van e-portfoliosystemen dynamisch en sterk in ontwikkeling. Aanbieders/ontwikkelaars integreren sterke elementen uit andere concurrerende systemen in hun nieuwste versies. De pilots met de verschillende systemen lever(d)en relevante ervaringen en aanbevelingen op m.b.t. het ontwerpen en inrichten van een optimale e-portfolio-omgeving. Geen enkel systeem voldeed/voldoet (nog) aan de verzameling van onderwijsinhoudelijke wensen die door de betrokken E-merge/Apollo partners zijn geformuleerd. Systemen groeien duidelijk naar elkaar toe, waardoor alle drie de systemen (op termijn) tegemoet kunnen komen aan de onderwijsinhoudelijk gestelde criteria. Door de samenwerking in E-merge/Apollo ( en het volume) kunnen we een sterke partner zijn bij het ‘afdwingen’ en realiseren van onze inhoudelijk wensen.


38

Vigor Plaza (PDP) en E-Portaro (Folio) zijn echter relatief kleine ‘spelers’ in de e-portfoliomarkt. Ervaringen uit het recente verleden met andere ( kleine) e-portfolio-aanbieders o.a. Holo-Media etc.) maken duidelijk dat er een groot risico is bij het ‘ophangen’ van dit onderdeel van het onderwijsleerproces aan kleinere organisaties/aanbieders. Blackboard Inc. biedt als grotere organisatie (en door overnames van WEB-CT en convenant met Microsoft rond Sharepoint) meer garanties en capaciteit m.b.t. het verder ontwikkelen van optimale onderwijsinhoudelijke functionaliteiten in combinatie met stabiliteit van de e-portfolio-applicatie op de langere termijn. Op basis van de pilots zijn alle goede inhoudelijke voorzieningen in andere systemen geïnventariseerd en aan Blackboard aangeboden, om in volgende releases te integreren. BbCS biedt bovendien niet alleen een e-portfoliosysteem, maar ook andere en extra voorzieningen. BbCS bestaat uit 4 verschillende, maar geïntegreerde onderdelen; Learning Content Management, E-portfolio, Virtuele harde schijf en het Library Digital Asset Management. Deze aspecten bieden extra onderwijsinhoudelijke mogelijkheden (Learning objects, Metadatering, workflows, integratie Bibliotheken in onderwijsleerprocessen etc. ) die andere pakketten niet bieden. Voor alle duidelijkheid moeten we ook het risico onder ogen zien van een groter wordende afhankelijkheid van Blackboard, omdat steeds meer onderdelen onlosmakelijk verbonden zijn/worden met de primaire en secundaire processen binnen onze onderwijsorganisaties. Overstappen naar andere systemen wordt hierdoor bemoeilijkt, daarom zullen analyses van concurrerende systemen en Open Source applicaties ook in breder E-merge verband uitdrukkelijk op de agenda moeten staan, ook (maar niet alleen) vanuit concurrentieoverwegingen en alternatieven bij een mogelijke overstap.

6.3

Technisch

BbCS voldoet als enige systeem aan een zeer belangrijk criterium m.b.t. de integratie van een e-portfolio met andere concernsystemen. Met BbCS is het elektronisch portfolio een intergraal onderdeel van de ELO (Blackboard). Folio biedt aan de oppervlakte een koppeling met Blackboard, PDP kan alleen extern gehost worden, waardoor technische koppelingen extra voorzieningen vergen. De integratie van Content System binnen Blackboard heeft technische voordelen. Daarnaast werkt dit kostenbesparend t.o.v. andere portfoliosystemen, omdat koppeling/integratie tussen e-portfoliosystemen en de ELO niet door de instelling of E-merge zelf ontwikkeld en onderhouden hoeft te worden.(Daarnaast voorkomt deze integratie de problematiek van instabiliteit door regelmatige updates en versiebeheer etc. van de alle te koppelen systemen) Ook de koppelingen met andere concernsystemen, zoals Student Volg Systemen, zijn in deze geïntegreerde BbCS omgeving gemakkelijker te realiseren en te onderhouden. (o.a. user- en cursusmanagement). Het zal duidelijk zijn dat BbCS met de verschillende maar technisch geïntegreerde onderdelen naast het e-portfolio voor meerdere projecten in de programmalijnen ICT van E-merge/Apollo partners relevant is, of kan worden, o.a. verbeterde thuiswerkplek ontsluiting, versiebeheer van documenten etc. BbCS biedt niet alleen een e-portfoliosysteem, maar ook andere inhoudelijke, technische en organisatorische voordelen.


39

6.4

Organisatorisch

Vanuit de dienstverlening aan studenten en medewerkers biedt deze integrale portfolio omgeving ook voordelen m.b.t. gebruikersgemak; bekendheid met de Blackboard omgeving, kortere ‘inwerktijd’ en minder scholing, Single Sign On, virtuele schijfruimte met ‘drag and drop’ gemak t.o.v. cliëntsystemen bij thuiswerkplek ontsluiting. Hierdoor sluit BbCS ook beter aan bij een het uitgangspunt dat ICT toepassingen dienen uit te gaan van datgene wat effectief en werkbaar is voor de gebruiker. Gebruikersgemak is ook een belangrijke factor geweest in de beoordeling van de systemen door de studenten en medewerkers. (zie samenvatting evaluatierapport) In dit verband kan ook worden aangegeven dat de pilotversies van Folio (5.2. en 6.0) absoluut (nog) niet geschikt waren grootschalig te gebruiken, gezien de inrichting van het user management en de rechten en rollenstructuur. De export van e-portfolio’s was in deze applicatie ook (nog) niet gerealiseerd. Voor deze problematiek binnen Folio werden in juli 2005 op korte termijn ook nog geen stabiele oplossingen verwacht. PDP kan alleen extern gehost worden en levert hierdoor (extra) organisatorische en technische afstemmingsproblematiek. Blackboard Inc. biedt als (grote) organisatie meer zekerheid en stabiliteit m.b.t. een blijvende beschikbaarheid van een e-portfoliosysteem op de langere termijn als geïntegreerd onderdeel binnen onze onderwijsorganisaties.

6.5

Financieel

Een belangrijk element in de beslissing en een uiteindelijk keuze m.b.t. een licentie van een applicatie is natuurlijk ook gebaseerd op financiële aspecten. Een belangrijke - maar moeilijk voorspelbare - factor die een rol speelt bij een uiteindelijk keuze is: ‘Wat krijg je voor welk bedrag?’. Versies en mogelijkheden van de applicaties zijn echter sterk aan veranderingen onderhevig. Bij de E-merge pilots met Folio zijn twee verschillende versies gebruikt en wordt in november 2005 weer een major upgrade verwacht (export portfolio’s); tijdens de pilot met PDP is een Engelstalige versie ontwikkeld en een competentieroos/matrix toegevoegd etc. De (dagverse) prijsstellingen van de leveranciers van de verschillende applicaties m.b.t. licenties en/of kosten per gebruiker verkeren daardoor eveneens nog steeds in een dynamische fase en kunnen in dit rapport alleen maar als indicatie worden aangeboden. Onderhandeling tussen Surfdiensten en verschillende aanbieders is eveneens van invloed op een uiteindelijke-stabiele-prijsstelling. Daarnaast is een aantal andere aspecten van belang bij een indicatie van de uiteindelijke kosten per account: – in- of extern hosten en service level agreements – (aanpassen) technische infrastructuur ( servers, processors, opslagcapaciteit) – aantal MB dat beschikbaar wordt gesteld aan de gebruikers en Back-up, voorzieningen en afspraken hierover – kosten realisatie en onderhoud (technische) koppelingen van portfoliosystemen aan andere (concern) systemen – scholing en implementatie trajecten gebruikers


40

maar ook besparingen op kasten en ordners en opslagruimte bij het vervangen van papieren portfolio’s, (digitale) administratieve opslag en verwerking van e-portfolio’s als bewijsmateriaal t.b.v. beoordelingen en studiepunten Omdat BbCS meer biedt dan alleen een e-portfolio, is het moeilijk om een eenduidige financiële vergelijking te maken tussen de kosten per accounts van de verschillende systemen. Daarnaast zijn aspecten m.b.t. gebruikersgemak (en scholing) moeilijk uit te drukken in een financiële analyse. Op basis van bovenstaande is een voorzichtige conclusie te trekken dat BbCS, inclusief de extra faciliteiten naast het e-portfolio, de laagste kosten per gebruiker zal opleveren. –

6.6

Aanbevelingen

De aanbeveling voor de implementatie van BbCS binnen E-merge en Apollo instellingen lag in de lijn der verwachtingen, omdat beide consortia reeds Blackboard Learning System gebruikten. Op basis van tussentijdse rapportages maar nog voor de afronding van dit OP 3.1 E-portfolioproject en de publicatie van de aanbeveling uit deze projectgroep, hadden sommige instellingen reeds een interne voorkeur m.b.t. BbCS. AVANS had reeds in 2004 een (groei)licentie voor het BbCS afgesloten. Desondanks zijn de andere e-portfoliosystemen met veel overgave en betrokkenheid binnen verschillende pilots gebruikt en op hun inhoudelijke, technische en organisatorische aspecten beoordeeld. Deze brede insteek heeft veel winst en ervaringen opgeleverd, die de uiteindelijke aanbeveling goed kan onderbouwen. Eind juni zijn uiteindelijk de onderhandelingen tussen Surfdiensten en de verschillende aanbieders met Blackboard afgerond m.b.t. de licenties voor BbCS voor HO instellingen in Nederland. De voorbereidingen m.b.t. de implementatie van BbCS per september 2005 werd hierdoor bemoeilijkt. Instellingen van E-merge en Apollo hebben ieder hun eigen dynamiek bij de implementatie van elektronische portfolio’s. Sommige instellingen hebben gekozen om eerst nog op kleine schaal pilots te continueren of nog even te wachten met de introductie van e-portfolio’s, andere instellingen zijn reeds gestart met een implementatietraject gericht op instellingsbrede uitrol van BbCS. Speerpunten en fasering zijn ook per instelling verschillend; eerst alleen de Virtual Harddrive beschikbaar stellen, of starten met het e-portfolio. Ook m.b.t. intern of extern hosten van BbCS zijn (tijdelijk) verschillende keuzes gemaakt. Ook deze diversiteit aan implementaties biedt een ‘rijke leeromgeving’ voor de betrokken instellingen in vervolgtrajecten. De aanbeveling voor de implementatie van BbCS biedt een duidelijke afbakening voor verdere kennisdeling en samenwerking, die mede tot kostenreductie zal leiden. Mogelijkheden voor vervolgtrajecten zijn legio: – samenwerking m.b.t. inhoudelijke aspecten en ontwikkelen van Building Blocks – ontwikkelen van raamwerk en aanbod m.b.t. docentprofessionalisering – COP’s m.b.t. deelaspecten van e-portfolio of andere elementen in BbCS – uitwisselen van ervaringen en ontwerpen van implementatiescenario’s – gezamenlijk ontwikkelen/aanbieden van handleidingen – centrale regie in onderhandelingen met Blackboard Inc. voor het realiseren van nieuwe versies die aansluiten bij onze onderwijsconcepten – ontwikkelen van koppelingen met andere concernsystemen en onderhoud hiervan


41

– –

werken met docentenportfolio’s (vanuit de optiek enerzijds zelf ervarend(d) en vanuit HRTM beleid binnen de instellingen als personeelsinstrument onderzoek m.b.t. inhoudelijke effectiviteit, efficiency en gebruikersgemak van studenten en docent/begeleiders bij het werken met het e-portfolio van BbCS

Door de samenwerking in deze projectgroep tussen E-merge en Apollo is op een duidelijke manier invulling gegeven aan het motto: ‘Kennis die samenwerkt’. De positieve ervaringen uit deze samenwerking zijn ‘maatgevend’ voor de aanbeveling om deze samenwerking te continueren en op deze manier een verdieping te bereiken bij de verdere implementatie van BbCS binnen de verschillende partnerinstellingen.

6.6

Samenvattend

Het BbCS voldoet als enige systeem aan een zeer belangrijk criterium m.b.t. de integratie van een e-portfolio met andere concernsystemen.Met het BbCS is het elektronisch portfolio een integraal onderdeel van de ELO Blackboard.Het werkt eveneens kostenbesparend t.o.v. andere portfoliosystemen omdat de koppeling/integratie niet door de instelling zelf ontwikkeld of onderhouden hoeft te worden. Vanuit de dienstverlening aan studenten en medewerkers biedt deze integrale portfolio-omgeving voordelen m.b.t. het gebruikersgemak: bekendheid met de Blackboardomgeving, korte 'inwerktijd' en minder scholing. Blackboard biedt als (grote) organisatie meer zekerheid en stabiliteit m.b.t. een blijvende beschikbaarheid van een e-portfoliosysteem op de langere termijn als geïntegreerd onderdeel binnen onze onderwijsorganisaties. De instellingen binnen E-merge/Apollo hebben ieder hun eigen dynamiek bij de implementatie van elektronische portfolio's. Sommige instellingen hebben gekozen om eerst nog op kleine schaal pilots te continueren of nog even te wachten met de introductie van e-portfolio's, andere instellingen zijn reeds gestart met een implementatietraject gericht op instellingsbrede uitrol van het BbCS. Speerpunten en fasering zijn ook per instelling verschillend: eerst alleen de Virtual Harddrive beschikbaar stellen, of starten met het e-portfolio. Ook m.b.t. intern of extern hosten van heet BbCS zijn (tijdelijk) verschillende keuzes gemaakt.


42


43

7.

Vervolgtraject

7.1

Verder uitbouwen van kennisdelen en kennisontwikkeling op het gebied van het e-portfolio binnen E-merge / Apollo

Binnen het project OP 3.1 is een basis gelegd voor het delen en ontwikkelen van kennis op het gebied van het e-portfolio binnen de instellingen. De ontwikkelingen op dit gebied bevinden zich in alle instellingen nog in de beginfase en is nog een lange weg te gaan voordat het gebruik van het e-portfolio routine is geworden. Als men binnen de E-merge en Apollo instellingen kennisdelen en kennisontwikkeling wil stimuleren is het noodzakelijk dat hier gericht aandacht aan wordt besteed (zowel binnen als tussen de instellingen). Kennisdelen tussen mensen kun je niet afdwingen, maar je kunt wel condities scheppen om dit te bevorderen. Kennisdelen leidt tot het samen dingen beter doen, door ervaringen ideeën en feiten uit te wisselen. Impliciete kennis wordt hierbij geëxpliciteerd. Het delen van 'lessons learned' vormt een belangrijke basis voor de verbetering van kwaliteit en innovatie. Er zijn een aantal condities die een belangrijke rol spelen bij het kennisdelen (van den Brink, P, 2004): – voordeel participant: degene die betrokken wordt bij de ontwikkelingen moet hiervan duidelijk de voordelen zien – verbeteren competenties: het doel van samenwerking, kennisdeling moet zijn het ontwikkelen van competenties – collectieve ambitie: een gezamenlijk doel dat mensen met elkaar willen bereiken – beschikbaar stellen van tijd: kennisdelen werkt niet als het geplaatst wordt bovenop alle werkzaamheden. Er moet uitdrukkelijk tijd voor worden vrijgemaakt. – gemeenschappen: communities of practice en ander vormen van sociaal leren voor het uitwisselen van ervaringen en ontwikkelingen, ideeën, meningen en gedachten. – betrokkenheid management: deze moet zich bewust zijn van het nut van kennisdelen en creëert daar ook de nodige voorwaarden voor. Actieve ondersteuning van het management vanuit een expliciete visie is hierbij belangrijk. Voor het vormgeven van het vervolgtraject voor de verdere ontwikkeling van het e-portfolio binnen E-merge/Apollo zal goed rekening moeten worden gehouden met bovengenoemde condities. Vooral de factor tijd en actieve betrokkenheid van het management zijn belangrijke randvoorwaarden. Voor de projectorganisatie van het vervolgtraject kan verder gebouwd worden aan de projectorganisatie zoals deze is ontwikkeld binnen het project OP 3.1. De linking pin structuur heeft zijn vruchten afgeworden en de verdere ontwikkeling naar een netwerkorganisatie op het gebied van het e-portfolio kan ingang gezet worden. Het is aan te bevelen om de klankbordgroep opnieuw actief bij het vervolgtraject te betrekken. 7.2

Implementatie van het e-portfolio

In het onderwijskundig kader van het project OP 3.1 wordt het e-portfolio beschouwd als een middel om onderwijskundige doelstellingen te realiseren. De implementatie van het e-portfolio wordt hierbij niet gezien als een doel op zich maar is onderdeel van het gehele onderwijsvernieuwingproces dat zich afspeelt binnen de instellingen.


44

Onlangs is er een rapport verschenen van de stichting Surf: 'Surfen over glad ijs, ICT-implementatie strategieën in het hoger onderwijs vanuit veranderkundig perspectief'. Dit rapport beschrijft uitgebreid een onderzoek naar de effectiviteit van ICT-gerelateerde implementatiestrategieën in het Nederlandse Hoger Onderwijs in relatie tot verandermanagement www.surf.nl/publicaties. In dit rapport staan vele handreikingen om de implementatie van het e-portfolio gedegen aan te pakken. In deze publicatie is gebruik gemaakt van een ordeningskader voor de implementatie van ICT-gerelateerde veranderingen van Boonstra (2000) en een bijbehorende strategie: 1e Orde strategie Hierbij is sprake van 'bekende' problemen binnen een bestaande context. Er kan een ontwerpgerichte aanpak worden ingezet: de strategie van 'Projectmatig werken'. 2e Orde strategie Hierbij is er sprake van meerdere perspectieven op problemen en oplossingen die door maatwerk ontwikkeld moeten worden: de strategie van de 'Beleidscyclus'. 3e Orde strategie De verandering is ambigue, problemen zijn slecht te definiëren en de omgeving is minder voorspelbaar. De aanpak wordt gekenmerkt door interacteren en conceptualiseren: de strategie van 'Herdefiniëren van kernwaarden'. Het blijkt dat een implementatiestrategie effectief is wanneer wordt voldaan aan twee voorwaarden: – de orde van het probleem is juist ingeschat – bij het probleem is een passende strategie gekozen Voor het bepalen van de effectiviteit van een ICT- implementatie (zoals het e-portfolio) zijn vele factoren van belang. Het blijkt dat de aspecten beleidsplan, geld, tijd, visie op onderwijsinnovatie en technische infrastructuur, een grote rol spelen. De belangrijkste uitkomst van dit onderzoek is dat de grootste hinderpaal voor effectieve ICT-implementatie het ontbreken van een gezamenlijke visie van de betrokken actoren is. De volgende kritische succesfactoren zijn van belang voor een effectieve implementatiestrategie: Bij een eerste orde probleem (veranderstrategie = projectmatig werken) – Beschikbare middelen – Committent leidinggevenden (ook in de rol van opdrachtgever) – Projectmatige aanpak (focus op resultaten) Bij een tweede orde probleem (veranderstrategie = beleidscyclus starten) – Beschikbare middelen – Inzet van alle betrokkenen waaronder die van management als opdrachtgever – Afstemming op (intern) beleid – Communicatie – Planmatige aanpak (focus op proces) Bij een derde orde probleem (veranderstrategie = kernwaarden herdefiniëren) – Beschikbare middelen – Inzet van alle stakeholders waaronder die van top-management als opdrachtgever – Afstemming op ontwikkelingen in de omgeving van de instelling – Verbeeldingskracht bij stakeholders – Communicatie – 'Verkennende' aanpak (focus op betekenisgeving)


45

Voor de implementatie van het e-portfolio is geen eenduidige strategie te formuleren. Een mix van verschillende strategieën lijkt noodzakelijk, die afhankelijke is van de situatie binnen de instelling/opleiding. Het ordeningskader van Boonstra en het uitwerken van de bijbehorende strategie biedt de instellingen goede mogelijkheden om een aanpak op maat te ontwikkelen. Het is vanzelfsprekend dat hiervoor heldere plannen noodzakelijk zijn, waarbij aandacht moet zijn voor het veranderproces en het creëren van draagvlak en betrokkenheid. Op de website van de DU implementatiesite is eveneens veel materiaal te vinden die de instellingen /opleidingen behulpzaam kunnen zijn bij het ontwikkelen van een strategie voor de implementatie van het e-portfolio: www.du.nl/portfolioimplementatie

7.3

Randvoorwaarden voor de implementatie van het e-portfolio (van Tartwijk e.a., 2003):

Randvoorwaarden rond mensen De rol van de docenten is cruciaal bij onderwijsvernieuwing. De mate waarin docenten het belang zien van het e-portfolio, is doorslaggevend voor de slaagkans ervan. In dit kader is het belangrijk dat er voldoende aandacht is voor het creëren van draagvlak en betrokkenheid bij de docenten. Belangrijke voorwaarde voor dit draagvlak is dat het gebruik van het e-portfolio past binnen de cultuur van de opleiding. Het is eveneens van belang dat de docenten competent zijn om met het e-portfolio te kunnen werken. Niet alle docenten zullen bij het begeleiden van portfolio’s betrokken zijn. Het is wel belangrijk dat ze allemaal op de hoogte zijn van wat een portfolio is en wat het werken aan een portfolio betekent. Ook bij de studenten is het belangrijk om aandacht te schenken aan het creëren van draagvlak. Het werken met een e-portfolio vraagt van de studenten veel tijd en energie. Zij zullen daartoe alleen bereid zijn als tegenover die inspanningen studiepunten staan of als ze er anderzijds baat bij hebben. Daarnaast is het belangrijk dat voor de studenten helder is waarom met een e-portfolio wordt gewerkt, wat een portfolio nu eigenlijk is en wat het werken met een e-portfolio betekent. Om aan een e-portfolio te kunnen werken moet de student beschikken over een aantal vaardigheden zoals reflectievaardigheden en ICT-vaardigheden. Randvoorwaarden rond het management Veranderingen binnen het onderwijs, zoals het e-portfolio, gaan niet vanzelf. Het vraagt een actieve rol van het management als opdrachtgever om dit proces aan te sturen en te ondersteunen. Belangrijk hierbij is dat het e-portfolio onderdeel uitmaakt van expliciet geformuleerd onderwijsbeleid, waarbij alle betrokken een rol spelen. Een planmatige aanpak (met de focus op het proces) en een heldere communicatie is hierbij van belang. Belangrijke randvoorwaarde is het beschikbaar stellen van voldoende middelen om het proces vorm te geven. Bijvoorbeeld een handleiding met voorbeelden die docenten laat zien hoe ze op een zo efficiënt mogelijke manier besprekingen met studenten kunnen voorbereiden, duidelijke procedures om portfolio’s van commentaar te voorzien en te kunnen beoordelen. Randvoorwaarden rond infrastructuur Voor het werken met e-portfolio’s is vooral de ICT- infrastructuur relevant. De instellingen binnen


46

E-merge/Apollo bevinden zich wat betreft ICT-infrastructuur in verschillende startposities. Deze bepaalt in hoeverre succesvol gebruik kan worden gemaakt van e-portfolio’s. Een goede inschatting van de startpositie voorkomt frustraties en demotivatie bij studenten, docenten en helpdeskmedewerkers. Ondersteuning Het is belangrijk dat de studenten bij aanvang van het werken met een e-portfolio een technische instructie krijgen van het systeem met behulp van een handleiding die zij tot hun beschikking krijgen. De ervaring leert dat die niet altijd voldoende is, daarna is een helpdesk noodzakelijk. Deze heeft zowel en functie bij het beantwoorden van vragen als bij het verhelpen van storingen. Sommige opleidingen ontwikkelen sites of courses binnen blackboard om de gebruikers te ondersteunen. Apparatuur Uiteraard is het belangrijks dat de studenten en docenten kunnen beschikken over goed werkende apparatuur, met de mogelijkheid om zowel op school als thuis aan het e-portfolio te werken. Ook is het belangrijk dat de studenten kunnen beschikken over apparatuur om materiaal te digitaliseren (digitale fotocamera’s, videomogelijkheden, scanners, enz.). Het ontbreken van dit materiaal kan leiden tot frustraties bij studenten. Beheer Er dient voldoende ruimte beschikbaar te zijn om alle e-portfolio’s te bewaren. Afhankelijk van het type opleiding is per e-portfolio meer of minder serverruimte nodig. Bij de aanschaf van de serverruimte hiermee rekening moeten worden gehouden. Bij steeds meer opleidingen bestaat de wens om de praktijkbegeleider en medestudenten bij de opleiding van de student te betrekken. Het e-portfolio moet in dat geval voor hen beschikbaar zijn.

7.4

Aanbevelingen vervolgtraject vanuit de deelnemers van de eindpresentatie van het project

Op 29 juni 2005 is de eindpresentatie gehouden van het project e-portfolio. Deze bijeenkomst is bijgewoond door een brede groep belangstellenden vanuit de E-merge en Apollo instellingen. In de discussieronde die is gehouden aan het einde van deze presentatie zijn vanuit de deelnemers van deze dag de volgende aandachtspunten naar voren gebracht voor het vervolgtraject: E-merge en Apollo moeten meer naar alternatieven van Blackboard gaan kijken zoals de verschillende open-source systemen. E-merge zou meer naar de verschillende implementatieprocessen moeten gaan kijken en hier workshops en informatiebijeenkomsten over organiseren. Met name workshops zijn een ideaal instrument om docenten in een kort tijdsbestek aan de hand van enkele praktijksituaties te laten zien en ervaren hoe ze de begeleiding en beoordeling van studenten efficiënt kunnen organiseren en in praktijk kunnen brengen. Er moet een koppeling gemaakt worden met de niet- onderwijssystemen, zoals studenteninschrijfsystemen. Dit t.b.v. certificering. Aandacht voor gedrag van professionals in een digitale context. Tussen de instellingen (en daarbinnen de opleidingen) is een groot verschil op het gebied van de ontwikkelingen van het e-portfolio. Dit vraagt een aanpak op maat. Meer aandacht via samenwerken aan documenten binnen E-merge. De grenzen van je systeem opzoeken. Hoe zorg je dat teams samenwerken (CoP). Practice what you preach!


47

-

7.5

Portfolio gebruiken voor een docent, zodat de student kan zien wat de docent heeft gedaan. Docent doet hier ook ervaring mee op en kan de student zo beter begeleiden. E-merge moet ook kijken naar voortoetsen, natoetsen en EVC's Het consumentenidee moet verder worden uitgewerkt. Student is consument en producent.

Inbedding E-merge/Apollo binnen de organisatie van de instellingen De leden van het projectteam hebben ondervonden dat E-merge/Apollo nog geen duidelijke inbedding heeft binnen de instellingen. Hierdoor was de positie van de leden van het projectteam onduidelijk is. Dit geldt met name voor degenen die binnen de eigen instelling niet betrokken zijn bij de instellingsbrede ontwikkelingen op het gebied van e-learning. Sommige leden van het projectteam hebben hierdoor nogal geïsoleerd binnen de instelling geopereerd. Bij het vormgeven van het vervolgtraject is het daarom belangrijk dat de leden van het projectteam goed zijn (worden) gepositioneerd binnen de onderwijsorganisatie. Hierbij is het aan te bevelen dat de verantwoordelijkheden met betrekking tot het project in de ‘lijn’ worden ondergebracht.


48


49

Literatuur Amelsfoort, P.van. Metsemakers,M., (2002). Organisatieverandering: programmeren, regisseren en realiseren, St-Groep, Vlijmen Bie, D. de (2003). Succesfactoren bij onderwijsvernieuwing, Onderwijsinnovatie, Open Universiteit, nr.2, pp. 28-31 Boon, J. De Craene,B (2003). Procesevaluatie bij innovatieprojecten, Onderwijsinnovatie, Open Universiteit, nr.2 pp.17-24. Bos,J, Harting.E (1998). Projectmatig Creëren, Scriptum Books, Schiedam. Caluwé.L de, Vermaak. H (2002)., Leren Veranderen, Een handboek voor de veranderkundige, Kluwer, Deventer. Corte.M., (2004), Projectvoorstel Project E-portfolio, uitgangspunten voor het E-merge project OP3.1. Corte.M., (2005), Voortgangsrapportage project OP 3.1 E-portfolio, periode september 2003- september 2004. Corte.M., (2004), Rapportage inventarisatieronde binnen de E-merge instellingen ten behoeve van het project Op3.1. Droste, J., (2002), Implementatiescenario’s voor ELO’s, Stichting Surf en Cinop Kallenberg, T., Huizer. C., van der Aa. W., (2003), Businessplan E-merge, het raamwerk voor de operationalisering van de eerste fase van E-merge. Naber, J., Monasso. R., (2004), Het kiezen van een digitaal portfolio, eindrapportage van het E-merge project OP3.3. Nedermeijer.J., Huizer.C., (2003), Uitgewerkte projectvoorstellen voor de programma’s Onderwijskundige projecten en Technische infrastructuur’, document waarin het raamwerk van het businessplan verder wordt ingevuld op basis van gesprekken van de programmaleiders met de instellingen, Sligte.H., Schoonenboom.J., Dekker.P.J., Polder.KJ., (2005), Surfen over glad ijs, ICT– implementatiestrategieën in het hoger onderwijs vanuit veranderkundig perspectief, publicatie van de stichting Surf, www.Surf.nl/publicaties Suhre.C., (2005) Evaluatie van het gebruik en de effecten van E-portfolio’s,


50

Tartwijk, J., Driessen, E., Hoeberigs.B., Kösters.J., Ritzen.M., Stokking.K., van der Vleuten, C., (2003), Werken met een elektronisch portfolio, Groningen/Houten: Wolters-Noordhoff. Websites: Portfolio themasite: http://e-learning.surf.nl/portfolio Portfolio implementatiesite: http://www.du.nl/digiuni/index.cfm/site/Portfolio%20Implementatie/pageid/632D14CD-AE9F-EBE164905792E24064BA/index.cfm Eindverslagen van Apolloprojecten Eportfolio onder de loep Eportfolio in de praktijk http://www.apolloplatform.nl/apollo/actueel/183.


51

Bijlagen Bijlage I

Onderwijskundige visie op het gebruik van e-portfolio in het onderwijs Definitief, vastgesteld op 7 april 2004

Inleidend In het projectplan E-portfolio wordt beschreven met welke doelen een digitaal portfolio in het onderwijs kan worden ingezet. Uit discussie blijkt dat de onderwijskundige uitgangspunten die worden gehanteerd de doelen van de inzet van E-portfolio’s in het onderwijs zullen afbakenen. In dit document worden de onderwijskundige uitgangspunten uitgewerkt die kaderscheppend zijn voor het project E-portfolio. Gebruik van het portfolio in het onderwijs Gezien de huidige populariteit van het gebruik van portfolio’s in het onderwijs bestaat het risico dat de inzet van het portfolio een doel op zich wordt. Voor de student is de meerwaarde van het portfolio in het onderwijs in dat geval niet duidelijk, waardoor de invoering van het portfolio niet de gewenste resultaten zal opleveren1. Binnen het project E-portfolio wordt het portfolio uitdrukkelijk gezien als middel om bepaalde onderwijsinhoudelijke doelen te realiseren. Een heldere plaats van het portfolio in het onderwijsprogramma is daarbij van groot belang. Competentiegericht onderwijs De piramide van Miller wordt in de (Nederlandse) literatuur over portfolio’s in het onderwijs vaak als uitgangspunt genomen. In deze piramide wordt de bekwaamheid van een student op verschillende niveaus gerangschikt. Op het laagste niveau van de piramide staat ‘weten/ kennis’, gevolgd door ‘weten hoe’ en ‘laten zien hoe’, met op het hoogste niveau ‘doen’, het daadwerkelijk handelen in de praktijk. Dit laatste niveau doet een beroep op de competentie van een student. Immers, volgens de Onderwijsraad laat het begrip zich op de volgende wijze definiëren: Het vermogen om adequaat te kunnen handelen in specifieke contexten op basis van een combinatie van kennis, vaardigheden, houdingen en eigenschappen. Een oud Chinees gezegde is in dit kader zeer illustratief: ‘Tell me and I will forget Show me and I will remember Involve me and I will understand Step back and I will act’ Competentiegericht onderwijs zal derhalve op een andere wijze worden vormgegeven dan de bekende meer klassieke vormen van onderwijs. Een student zal competenties ontwikkelen door het leren van ervaringen in realistische praktische situaties2. Reflectie op deze ervaringen speelt een belangrijke rol in het ontwikkelproces. De theorie die noodzakelijk is voor de student om zich vaardigheden eigen te maken, kan hierbij op verschillende wijzen worden aangeboden (probleemgestuurd onderwijs, just-in-time aanbieden, slechts aangeven welke theorie relevant is). 1

Tartwijk, J. van e.a. (versie jan. 2003). Handboek Elektronisch Portfolio in het Hoger Onderwijs. Achtergronden.

2

Tartwijk, J. van e.a. (2003). Werken met een elektronisch portfolio. Wolters Noordhoff Groningen/ Houten


52

De opleidingen die meewerken aan een pilot binnen het project E-portfolio hebben een competentiegericht curriculum. Uit discussie blijkt dat niet alle curricula van de opleidingen volledig competentiegericht zijn ingericht; het bovenstaande is nog vaak een ideaalbeeld dat als waarheid wordt opgeschreven. Binnen het E-portfolio project wordt dit probleem erkend. De mate waarin dit curriculum competentiegericht is vormgegeven, kan daarom per opleiding verschillen. Ook kunnen verschillende fases worden onderscheiden in het ontwikkeltraject waarin opleidingen zich bevinden. Zie hiertoe ook de matrix aan het eind van dit document. Functies van portfolio’s Bij het gebruik van portfolio’s kunnen verschillende functies worden onderscheiden3: Een ontwikkelingsgerichte functie: het stimuleren van reflectie op de eigen taakvervulling Een beoordelende functie Een presentatie functie Een portfolio kan worden ingezet om één van bovengenoemde functies aan te spreken maar kan ook een combinatie van deze functies gebruiken. Portfolioproces Een basisprocedure bij het gebruik van een portfolio is de volgende: 1. Verzamelen 2. Selecteren 3. Reflecteren 4. Controleren 5. Presenteren4 Studenten verzamelen relevante ervaringen en selecteren hieruit de meest waardevolle. Door middel van reflectie geven zij aan wat zij zelf belangrijk vinden en waarom. De opleiding kan dit vervolgens controleren (wat is in het kader van de opleiding belangrijk) en tot slot presenteert de student gegevens. Welke gegevens worden gepresenteerd en wanneer welke stappen worden gezet is tevens afhankelijk van de plaats die het portfolio heeft in het begeleidings- en/of beoordelingstraject van het curriculum. Binnen het project E-portfolio worden hiertoe verschillende scenario’s vormgegeven. Begeleiding Vooruitlopend op de ontwikkeling van bovengenoemde scenario’s, wil ik hier vast een begeleidingsmodel noemen ter ondersteuning van het reflectieproces bij studenten bij de samenstelling van een portfolio. Dit model is ontwikkeld door Dorothé van Kammen van het APS.

Betekenis 3

Betekenis

Betekenis

Driessen, E. e.a. (2002). Portfolio’s. Wolters Noordhoff Groningen/ Houten 4

Materiaal Ervaring Profiel Competenties Afkomstig uit VS, op basis van een presentatie van Dorothé van Kammen, APS Utrecht Vaardigheden

Blijkt uit

Blijkt uit

Blijkt uit


Concreet

53

Abstract

Scenario’s De pilots die in het project E-portfolio worden uitgevoerd, dienen als best practices voor de te ontwikkelen scenario’s. De valkuilen die worden tegengekomen, worden als leermomenten opgenomen in deze scenario’s. Met scenario wordt in het project E-portfolio bedoeld: Een mogelijke manier om een portfolio te gebruiken in het onderwijs als middel om onderwijskundige doelen te bereiken. Criteria die in de vormgeving van scenario’s een rol spelen: • Beginsituatie van de opleiding: - In hoeverre is een competentiegericht curriculum reeds ontwikkeld? - Competenties van docenten t.a.v. competentiegericht onderwijs en ICT • Welke structuur hanteert de opleiding voor de begeleiding van studenten? - Management - Facilitator leerproces (docent, mentor, tutor etc.) - Peer - Externe vertegenwoordiger bedrijfsleven • Welke structuur hanteert de opleiding voor de beoordeling van studenten? - Wat is de verhouding tussen begeleiding en beoordeling? • Wat is de structuur van de opleiding? - Welke mate van keuzevrijheid is er voor de student? • Plaats (doel/functie) van het portfolio in de opleiding - Reikwijdte portfolio • Stand van zaken ten aanzien van de ICT infrastructuur • Betrokkenheid van de praktijk • Vorm van het portfolio, met twee uitersten: - Gesloten: de opleiding bepaalt wat in het portfolio moet staan, bijvoorbeeld m.b.v. formats - Open: de student is vrij in de vormgeving • Wijze van reflectie - Reflectie komt vaak in portfolio niet verder dan evaluatie (aandachtspunt!)


54

Matrix van curriculumtypes en consequenties van keuzes voor bepaalde aspecten5:

Organisatie

Vak/discipline gericht

Competentiegericht

Het onderwijsrooster is sturend

Vanuit studenten is er vraag naar faciliteiten. De studentvraag is sturend. Flexibel: Leerroute wordt gestuurd door studentvraag

Geprogrammeerd: Leerroute is vooraf ontwikkeld

Docenten

Als ‘ontwikkelaar’: Selecteren boek en hoofdstukken

Als ‘uitvoerder’: Kennisoverdracht Als ‘beoordelaar’: Nagaan of student aan eindtermen voldoet Geven van feedback

Als ‘ontwikkelaar: Ontwikkelen van een geschikte leeromgeving Opstellen van criteria voor resultaten opdrachten Contact onderhouden met professionele praktijk Als ‘uitvoerder’: Coachen van leerprocessen Als ‘beoordelaar’: Vanuit professionele criteria feedback geven Als ‘assessor’: Vanuit professionele criteria kwaliteit beoordelen Als collega: Docent werkt in multidisciplinair team Als studieloopbaanbegeleider: Coachen van professionalisering van studenten

Als collega: Vakgroepslid Studenten

Reproduceren van kennis, maken van opdrachten Aangesproken in rol van student Geplande leerroute doorlopen Consumeren onderwijsaanbod Student graaft zich in

Beoordeling

Kan theorie reproduceren Kan opdrachten uitvoeren

Uitvoeren opdrachten Aangesproken in rol van ‘aankomend professional’ Zelf organiseren van leerproces Formuleren van eigen vragen Student ‘zapt’, is actief

Beoordelen van kennis en vaardigheid Altijd onder examencondities

Voldoet resultaat aan professionele criteria: student verantwoordt dat hij over de benodigde beroepsexpertise en gedragscompetenties beschikt Beoordeling is toetsing en evaluatie (geven van feedback) Werkveld speelt rol bij evaluatie Beoordelen van competenties Toetsmomenten zijn ook leermomenten

Functie portfolio

Showcase tbv sollicitaties

Tbv showcase, ontwikkeling, beoordeling

Leermiddelen

Boek is studieboek, is rode draad van module Auteur van xx boek is eigenlijk de ‘ontwikkelaar’

Boek is handboek/ naslagwerk, of is heel praktisch Hulpmiddelen om werk uit te voeren: professionele, communicatie-en planningstools Student kiest hulpmiddel Suggesties voor bronnen (beredeneerd) Simulaties om in levensechte rol te komen

Beoordeling is toetsing

Docent kiest leermiddel Vaste literatuurlijst Simulaties om theorie te doorgronden

5

Tartwijk, J. van e.a. (versie jan. 2003). Handboek Elektronisch Portfolio in het Hoger Onderwijs. Achtergronden


55

Bijlage II Programma van eisen

Criterium Het e-portfolio…… Kan worden gekoppeld aan de managementinformatiesystemen

Syste em

Kan worden gekoppeld aan Blackboard Kan binnen de verschillende typen onderwijsinstellingen worden gebruikt Kan gebruikt worden binnen opleidingen met verschillende onderwijsvisies Is te gebruiken in het kader van life long learning Maakt doorlopende leerlijnen mogelijk (portabiliteit) Biedt ruimte aan Elders Verworven Competenties (EVC’s) O

Kan voor de showcase-functie worden toegepast Kan voor de ontwikkelingsgerichte functie worden toegepast Kan voor de beoordelingsfunctie worden toegepast Biedt functionaliteiten om het portfolio te beoordelen Biedt functionaliteiten voor het certificeren van documenten/ materiaal Maakt het mogelijk om het proces van competentieontwikkeling door de gehele opleiding in niveaus visueel aantrekkelijk weer te geven Is gebruiksvriendelijk voor docenten en studenten Biedt de volgende functionaliteiten: - flexibiliteit - eenvoud - beheer

Beheer en gebruik

- gebruiksondersteuning dmv interne helpfunctie Biedt mogelijkheden voor een flexibele beheersstructuur: - verdeling van rollen - toekennen van rechten binnen het portfolio door de eigenaar De samensteller van het portfolio is eigenaar Biedt ruimte voor de student om een deel van het portfolio zelf in te vullen (interesses etc) Biedt tevens ruimte voor een docent om een portfolio te maken


56

Bijlage III Correspondentie pilots en aanvraagformulier pilots 1.

Aanvraagformulier pilots voor de opleidingen + begeleidende brief

De opleidingen hebben een verzoek ingediend om aan een pilot mee te kunnen doen, Hiervoor is een aanvraagformulier ontwikkeld en een begeleidende brief: Aan het management en docenten van de opleidingen van de E-merge instellingen, die belangstelling hebben om in een pilot een E-portfoliosysteem uit te testen. Geachte collega’s, Hierbij willen wij graag het volgende onder uw aandacht brengen. Binnen het E-merge project E-portfolio werken wij als projectteam aan de ontwikkeling van een E-portfolio dat voldoet aan de wensen, eisen en ideeën van de opleidingen die bij E-merge zijn aangesloten. Wij hebben een inventarisatieronde gehouden binnen vier instellingen en een werkconferentie georganiseerd voor alle belangstellenden. Dit heeft geresulteerd in een programma van eisen voor het e-portfolio, op basis waarvan wij drie e-portfoliosystemen hebben uitgekozen om binnen een aantal pilots uit te testen. Deze producten zijn: Folio (Stoas), Personal Development Planner (Vigor Plaza) en Blackboard Content System. De doelstelling van de pilots is: Antwoord geven op de vraag welk(e) systeem (systemen) voldoet (voldoen) het meest aan de wensen, eisen en ideeën ten aanzien E-portfolio’s vanuit de E-merge instellingen. Bij de pilots willen we per systeem de volgende functies van het portfolio uittesten: – het portfolio dat gebruikt wordt als showcase; – het portfolio dat de ontwikkeling van de student zichtbaar maakt; – het portfolio dat gebruikt wordt als instrument voor beoordeling; – een portfolio waarin de competentieontwikkeling van de student grafisch zichtbaar kan worden gemaakt. Ook de mogelijkheden voor het maken van een docentenportfolio kunnen worden onderzocht. Belangrijk uitgangspunt bij deze testen is het programma van eisen voor het e-portfolio dat in het kader van dit project ontwikkeld is. Vanuit E-merge wordt aan de opleidingen de volgende ondersteuning geboden: – de beschikking over accounts voor een digitaal portfolio; – ondersteuning door een lid van het projectteam uit de eigen instelling; – technische ondersteuning; – evaluatie van de pilot; – scholing van docenten/studenten ter introductie van het systeem.


57

Van de opleidingen wordt verwacht: – dat zij de pilots met de benodigde mensen en middelen vorm zullen geven – dat zij bereid zijn om mee te werken aan de evaluatie van de pilots; – dat er tijd beschikbaar is voor overleg, e.d.; – dat zij bereid zijn om op werkconferenties/symposia presentaties te geven over de ervaringen die zijn opgedaan. Graag komen wij in contact met opleidingmanagers en docenten die belangstelling hebben om binnen hun opleiding in een pilot ervaringen op te doen met een e-portfoliosysteem. U wordt verzocht het bijgevoegde aanvraagformulier in te vullen en deze uiterlijk 10 juni op te sturen naar het lid van het projectteam dat binnen uw instelling werkzaam is. In week 25 ontvangt u bericht of uw opleiding in aanmerking komt voor de pilot. Met vriendelijke groet, het projectteam E-merge project E-portfolio Marion Corte

Hogeschool Leiden

071-5188736

[email protected]

Riet Monasso

Hogeschool Leiden

071-5188670

[email protected]

Jenny Brakels

TU Delft

015-2788395

[email protected]

Martine de Lange

Haagse Hogeschool

070-4458337

[email protected]

Harry Vaessen

Hogeschool Zuyd

045-4006191

[email protected]

(projectleider)


58

Aanvraag pilot projecten digitaal portfolio Instelling Afdeling/opleiding Naam aanvragende manager/coördinator/docent Kamernummer E-mail Telefoon intern Curriculumjaar Betrokken docenten Aantal betrokken studenten Wat is volgens u de functie van het portfolio in uw onderwijsconcept?

Wat wilt u precies met het portfolio bereiken?

Begroting in uren (Denk aan: training docenten, training studenten, uitvoering, overleg, evaluaties, presentaties) Gewenste startdatum pilot Gewenste ondersteuning: - advisering - implementatieplan - onderwijskundig - technisch - anders Voor de opleidingen die in aanmerking willen komen voor een pilot zijn vooraf de volgende criteria geformuleerd:  per instelling worden drie pilots georganiseerd, per systeem een pilot;  de pilots moeten aansluiten op de beginsituatie van de opleiding;  de vier functies worden getest;  de opleiding moet helder voor ogen hebben wat zij met het portfolio willen;  de opleiding ziet het e-portfolio als een middel om onderwijskundige doelen te realiseren (zie onderwijskundig kader) en niet als een doel op zich;  docenten en studenten zijn ICT-vaardig;  draagvlak management - vrij maken benodigde tijd


59

  

 

- flexibele opstelling; de begeleiders zijn bereid zich in te spannen; er kan worden gewerkt met een systeem dat technisch en functioneel nog in ontwikkeling is specifieke toepassingsmogelijkheden (zoals bij bouwkunde en kunstopleidingen) moeten in een van de pilots worden opgenomen; zoveel mogelijk functies in een pilot opnemen; zowel het gebruik van een ‘gesloten’ als een ‘open’ portfolio testen.

Vanuit E-merge wordt aan de opleidingen de volgende ondersteuning geboden:  de opleiding krijgt de beschikking over accounts voor een digitaal portfolio;  er wordt technische ondersteuning geboden;  de pilot wordt vanuit de doelstellingen van het project geëvalueerd;  er vindt scholing van de docenten plaats ter introductie van het systeem.  aanspreekpunt voor de opleiding is het lid van het projectteam uit de eigen instelling; Van de opleidingen wordt verwacht:  dat zij de pilots met de benodigde mensen en middelen vorm zullen geven;  dat zij bereid zijn om mee te werken aan de evaluatie van de pilots;  dat er tijd beschikbaar is voor overleg, e.d.;  dat zij bereid zijn om op werkconferenties/symposia presentaties te geven -over de ervaringen die zijn opgedaan. Voor deze activiteiten wordt vanuit E-merge een urenvergoeding verstrekt. Deze vergoeding vindt plaats op declaratiebasis. Per instelling wordt gestreefd naar drie pilots. Per systeem zijn minimal 25 accounts beschikbaar.


60

2.

Bij de start van de pilots zijn de docenten middels een brief geïnformeerd:

Aan de begeleiders van de pilots van het E-merge project E-portfolio. Met het project E-portfolio zijn we nu in de fase aangekomen dat de drie portfoliosystemen die zijn geselecteerd breed uitgetest gaan worden. Binnen de E-merge instellingen zijn middels interne procedures de opleidingen geselecteerd die in aanmerking komen voor een pilot.

-

Producten De volgende producten worden in de pilots getest: Folio Personal Development Planner (PDP) Blackboard Content System

Doelstellingen De doelstelling van deze pilots is: Antwoord geven op de vraag welke systemen het meest voldoen aan de wensen, eisen en ideeën ten aanzien van E-portfolio’s vanuit de E-merge instellingen, zoals beschreven in het programma van eisen. Naast deze centrale doelstelling heeft het projectteam de volgende overwegingen bij het uittesten van meerdere systemen per instelling: - Elke instelling heeft op deze manier de mogelijkheid om ervaringen op te doen met verschillende systemen met daarbinnen verschillende functies. Hierdoor wordt interne expertise opgebouwd die breder is als wanneer er slechts één systeem wordt getest. - Door deze opgebouwde expertise krijgen opleidingen en docenten meer zicht op de eisen die zij vanuit hun specifieke situatie kunnen stellen aan een e-portfolio en zijn zij in staat hierover in gesprek te gaan met de producenten van de systemen. Beheer Het beheer van de systemen en de accounts van de drie systemen is in handen van DLO support van de Technische Universiteit Delft. Zij zijn te bereiken via: [email protected]. Helpdesk Naast het beheer fungeert de DLO support ook als helpdesk. Voor vragen en/of problemen over het gebruik van de systemen tijdens de pilots kan contact worden opgenomen met: [email protected]. Evaluatie De evaluatie van de pilots zal plaats vinden in april / mei 2005. Deze evaluatie vindt plaats in de breedte. Dat wil zeggen dat ervaringen die met de drie systemen worden opgedaan tussen de instellingen met elkaar worden vergeleken. Planning

Op dit moment wordt de techniek in gereedheid gebracht om de drie systemen te kunnen testen en zijn de opleidingen bezig vanuit het onderwijs de voorbereidingen voor de pilots te treffen.


61

De pilots gaan van start in november 2004 en worden afgerond in juni 2005. Scholing Het is de bedoeling dat in november 2004 de scholing over de producten voor de docenten gerealiseerd gaat worden. Voor de exacte planning hiervan wordt u benaderd door het lid van het projectteam dat binnen uw instelling werkzaam is. Deze scholing zal een dagdeel in beslag nemen. Vanuit het principe ‘train de trainer’ wordt verwacht dat u in staat bent om vervolgens zelf de studenten te instrueren. Mocht hierbij toch nog ondersteuning noodzakelijk zijn, dan kan een inhoudelijk expert vanuit uw eigen instelling worden ingeschakeld. Na deze scholing kunnen de opleidingen aan de slag met de portfolio producten en kunnen de pilots van start gaan. Aanspreekpunt Elke instelling heeft een vertegenwoordiger in het projectteam die fungeert als contactpersoon binnen de instelling. Deze coördineert de activiteiten met betrekking tot de pilots binnen de instelling. Technische Universiteit Delft Jenny Brakels [email protected] 015-2788395 Haagse Hogeschool Martine de Lange [email protected] 070-4458337 Hogeschool Zuyd Harry Vaessen [email protected] 045-4006191 Hogeschool Leiden Riet Monasso [email protected] 071-5188670 Universiteit Maastricht Dominique Waterval [email protected] Informatie

Informatie over het project E-portfolio en de pilots kunt u vinden op de Blackboardomgeving van E-merge. Hier is een Blackboard course ingericht ten behoeve van de klankbordgroep van het project. Indien u nog geen account hebt van E-merge en


62

nog geen toegang hebt gekregen tot deze course, kunt u deze aanvragen via de contactpersoon binnen uw instelling (zie boven). U kunt de Blackboard omgeving bereiken via: http://Blackboard.e-mergeconsortium.nl Meer informatie over het E-merge consortium kunt u vinden op: www.e-mergeconsortium.nl Veel succes

Wij wensen u veel succes bij de pilots! Mede namens de leden van het projectteam van het project E-portfolio, Marion Corte Projectleider [email protected] 071-5188736


63

Eindrapportage project OP 3.1 E-portfolio

Recommend Documents