HET GEBRUIK VAN HET PORTFOLIO ALS NIEUWE TOETSVORM IN HET HOGER ONDERWIJS
EINDVERSLAG PORTFOLIOONDERZOEK
2003 - 10
INHOUDSOPGAVE 1
INLEIDING 5
2
DE OPZET VAN HET ONDERZOEK 7
2.1
Achtergrond 7
2.2
Doelstelling en vraagstelling 7
2.3
Methode en uitvoering 8
3
PORTFOLIOGEBRUIK EN NIE UWE TOETSVORMEN IN HET HOGER ONDERWIJS 9
3.1
Vernieuwingstendensen in het hoger onderwijs 9
3.2
Het gebruik van portfolio's in het hoger onderwijs 12
3.3
Kwaliteitskenmerken van nieuwe toetsvormen 19
4
HET GEBRUIK VAN BORGINGSSYSTEMEN BIJ NIEUWE TOETSVORMEN 24
5
CONCLUSIES 25 LITERATUUR 27 BIJLAGE(N)
I
GESPREKSAGENDA'S PORTFOLIO-ONDERZOEK 29
1
INLEIDING
Het project ‘Portfoliotoetsing in het hoger onderwijs’ maakt deel uit van het examenonderzoek van de Inspectie van het Onderwijs. Eerdere onderdelen hiervan zijn het oriënterend onderzoek naar de borging van de kwaliteit van examens en toetsing (januari 2001), het onderzoek naar het functioneren van de examencommissies (februari 2002), waarin de taakvervulling en de opvattingen van de examencommissies zijn onderzocht, en het onderzoek naar de naleving van de voorschriften (mei 2002) waarin bij alle opleidingen de aanwezigheid en de samenstelling van de examencommissie is onderzocht.
5
2
DE OPZET VAN HET ONDERZOEK
2.1
Achtergrond
Het portfolio, dat letterlijk een verzameling van documenten of werkstukken betekent, is bekend als examenvorm in bijv. het kunstonderwijs. Momenteel is de portfoliobenadering bij een bredere groep opleidingen aanwezig of in ontwikkeling. Hierbij valt op, dat het portfolio zich niet alleen ontwikkelt als toetsvorm, maar ook als didactisch instrument dat gericht is op de begeleiding van leerprocessen. Het ontwikkelingsgerichte portfolio beoogt door middel van een combinatie van productie en reflectie sturing te geven aan het leerproces van de student. Deze twee kanten van het portfolio zijn nauw met elkaar verbonden. Bij dit onderzoek ligt de nadruk op het toetsingsaspect van het portfolio. Tijdens het onderzoek is gebleken, dat het portfolio ook veel wordt gebruikt in een geïntegreerd assessment. Daarom zal deze toetsvorm hier beknopt aan bod komen. De recente belangstelling voor het portfolio en zijn plaats in de vernieuwing in het hoger onderwijs rechtvaardigen de verwachting dat het portfolio als instrument een belangrijke plaats zal krijgen. De primaire aandacht van de inspectie betreft het toezicht op de kwaliteit van het onderwijs. Dit bepaalt ook de primaire optiek van dit project, namelijk de kwaliteit van het portfolio in het algemeen, en in het bijzonder de kwaliteit van de toetsfunctie en de borging van die kwaliteit.
2.2
Doelstelling en vraagstelling
Het onderzoek heeft de volgende doelstellingen: • Ten behoeve van de toezichtsfunctie van de inspectie zicht krijgen op de kwaliteit of potentiële kwaliteit van de verschillende soorten portfolio’s en in het bijzonder de kwaliteit van de toetsfunctie; • Het geven van voorbeelden van good practices van het gebruik van het portfolio op een zodanig abstractieniveau dat het bruikbaar is in andere situaties; • Het formuleren van richtlijnen of aangrijpingspunten voor de kwaliteitsborging van het portfolio als toetsvorm. Deze kennis is niet alleen voor de inspectie relevant, maar zij is ook van belang voor vertegenwoordigers van het hoger onderwijs zelf. Deze doelstellingen leiden tot de volgen de vraagstellingen: Hoofdvraag: Op welke wijze kan de kwaliteit van het portfolio zo goed mogelijk geborgd worden?
Deelvragen: 1. Wat wordt er verstaan onder het portfolio? • Welke soorten portfolio’s (met welke functies) worden er op dit moment in het Ne derlandse hoger onderwijs onderscheiden?
7
2.
3.
2.3
Op welke wijze functioneert het portfolio in het Nederlands Hoger onderwijs? • Welke gebruikerservaringen zijn er? • Op welke schaal wordt het gebruikt? • Hoe functioneert het portfolio als toetsinstrument? Op welke wijze kan kwaliteitsborging van het portfolio plaats vinden?
Methode en uitvoering
Het onderzoek vond plaats in de periode van 24 augustus tot 1 december 2002. Na een korte literatuurstudie is besloten tot een casestudy bij vijf instellingen waarvan kon worden aangenomen dat zij relatief ver waren gevorderd in het gebruik van het portfolio. De selectie van deze instellingen vond plaats op basis van de literatuurstudie en de analyse van de examennotities die aan de inspectie in het kader van het examenonderzoek waren toegezonden. Bij de selectie is rekening gehouden met een evenwichtige spreiding naar hbo en universiteit. Ook is er voor gezorgd dat één aangewezen (niet-bekostigde) instelling werd onderzocht. Het doel van dit onderzoek is de verzameling van informatie en niet de doorlichting van een instelling. Dit is ook met de instellingen zo gecommuniceerd. Hierbij is afgesproken, dat de bevindingen alleen geanonimiseerd gepubliceerd zouden worden. De instellingen worden daarom met letters aangeduid. In de tabel staan de onderzochte instellingen. Hier is aangegeven sinds wanneer men met het portfolio werkt, uit welke sector de onderzochte opleiding komt en of er sprake is van een digitaal portfolio. Tabel 2.3 onderzochte instellingen Instelling Universiteit A Universiteit B Hogeschool C Hogeschool D Hogeschool E (aangewezen instelling)
Sector/Faculteit Letteren Gezondheidszorg Economie Educatie
Portfolio ingevoerd sinds September 2002 September 2001 September 1996 Januari 2000
Soort Portfolio Digitaal Schriftelijk Schriftelijk Digitaal
De gesprekken met de instellingen vonden plaats tussen 23 september en 21 november 2002. De onderzoeken op de instellingen varieerden van één gesprek met de ontwikkelaars tot meerdere gesprekken met studenten, docenten en ontwikkelaars. Van alle bezoeken zijn verslagen gemaakt die ter verificatie aan de instellingen zijn toegezonden.
8
3
PORTFOLIOGEBRUIK EN NIEUWE TOETSVORMEN IN HET HOGER ONDERWIJS
3.1
Vernieuwingstendensen in het hoger onderwijs
Het gebruik van het portfolio en de inzet van nieuwe toetsvormen die hier object van studie zijn, staat niet op zichzelf maar is ingebed in een vernieuwingsbeweging in het hoger onderwijs. In het beroepsonderwijs kenmerkt deze vernieuwing zich door een grotere gerichtheid op de beroepseigen taken en bij het leerproces door meer aandacht voor de zelfsturing door student, waardoor ook behoefte aan evaluatie onderweg is ontstaan. Ten opzichte van de traditionele curricula is de aandacht verschoven van afgebakende disciplines en vakken naar aan de beroepspraktijk ontleende problemen en taken. Aan de hand van dergelijke taken wordt zonodig de disciplinegerichte kennis eigen gemaakt. Er is ook sprake van een verdergaande integratie van kennis, vaardigheden en attitudes. Verder ziet men dat de vaak zeer gedetailleerde eindtermen en kwalificatiestructuren plaats maken voor globale omschrijvingen van bekwaamheden die men veelal met de term competenties aanduidt. Ook in dat deel van het hoger onderwijs dat minder geprofileerd voor een beroep opleidt, zijn vergelijkbare vernieuwingstendensen te zien. Zo zijn er academische opleidingen die met een didactische vernieuwing bezig zijn en zich in het onderwijs richten op de taken en problemen die ontleend zijn aan dat wat men de academische competentie of de competentie van de onderzoeker noemt. Ook zijn er academische opleidingen die zich al vanouds op een beroep richten en nu de aan de beroepspraktijk ontleende taken in het curriculum meer naar voren laten komen. In deze vernieuwing spelen drie onderwijskundige begrippen een belangrijke rol, te weten competentie, assessment en portfolio. Competentie Volgens Onstenk is een competentie ‘het gestructureerd en geïntegreerd vermogen tot het adequaat verrichten van arbeidshandelingen en het oplossen van arbeidsproblemen’ (Onstenk, 1997: 92). Omdat deze definitie alleen maar over beroepstaken spreekt, is zij te beperkt. De gerichtheid van een opleiding kan zich breder uitstrekken dan alleen maar beroepstaken en arbeidshandelingen. Zo verbreden Elshout-Mohr en Oostdam (2001: 2) deze definitie door daarnaast ook te spreken van opleidingscompetenties, dat zijn de competenties waarmee problemen die samenhangen met het doorlopen van een opleiding, op adequate proces- en productgerichte wijze worden aangepakt. Er bestaan opleidingen waar de opleiding op competenties gericht is zonder dat er sprake is van een duidelijke beroepssetting. Zo kan men tot een competente linguïst, filosoof of spreker van een vreemde taal worden opgeleid, zonder dat nu direct het beroep in beeld is. Een vergelijkbare brede benadering zit in de competentiedefinitie van Straetmans en Sanders (2001: 8): Een competentie is een complexe vaardigheid die wendbaar is, in een relevante context wordt aangewend en waarvan de uitvoering en/of het resulterende product voldoet aan een kwaliteitsstandaard. Ook hier wordt het competentiebegrip niet beperkt tot de beroepshandelingen. Bij het competentiebegrip
9
kan nog opgemerkt worden dat het gaat om de integratie van kennis, vaardigheden, attitudes en eventuele andere persoonlijke eigenschappen. Men kan zich afvragen of het begrip competentie wel een gelukkig gekozen begrip is, wanneer er zoveel onduidelijkheid over bestaat en de Onderwijsraad (Van Merriënboer, Van der Klink, Hendriks, 2002) er een heel rapport aan moet wijden dat waarschijnlijk ook nog niet tot de gewenste conceptuele helderheid leidt. De reden voor het gebruik van de term competentie is, dat men veel vernieuwingswensen in dit begrip wil uitdrukken. Zo wil men met het begrip aangeven dat de contextualiteit en complexiteit van taken een belangrijke rol moet spelen. Onderwijsvernieuwers die met het begrip competentie werken, gaat het niet om kleine losse vermogens of vaardigheden, maar om het uitvoeren van echte beroepstaken in een context die de beroepswerkelijkheid dicht benadert of van andere opleidingsrelevante taken die een zinvolle eenheid vormen. Ook zitten in veel definities actietermen zoals product, aanpakken en verrichten. De vernieuwingsbeweging legt er sterk de nadruk op dat een opleiding ervoor moet zorgen dat men de bekwaamheid ook toont, dat men adequaat gedrag laat zien, dat men van aanpakken weet en dat men opdrachten op de juiste wijze behandelt. Assessment Het tweede begrip ‘assessment’ wordt nooit in de letterlijke betekenis (Engels voor beoordeling) gebruikt. Een handzame definitie wordt geleverd door Elshout-Mohr en Oostdam (2001: 3): Een assessment is het multidimensioneel beoordelen van de geschiktheid van een persoon voor een (toekomstige) maatschappelijke taak of functie. Dochy en Struyven (2002: 35) stellen dat er sprake is van een assessment wanneer aan de volgende voorwaarden is voldaan: 1. kennisconstructie is het uitgangspunt en niet kennisreproductie; 2. zowel basiskennis als het toepassen van kennis en vaardigheden zijn het doel van de meting (kennen en kunnen); 3. er worden authentieke en levensechte situaties gebruikt, bijvoorbeeld in de vorm van casussen of problemen. Hofstee (1999: 150) geeft aan dat de kern van een assessment ligt in de simulatie van problemen waarvoor men tijdens de daadwerkelijke beroepsuitoefening zou komen te staan. Nog meer dan het begrip competentie is de term assessment in deze betekenis afkomstig uit de wereld van de bedrijfsopleidingen en het personeelsbeleid. Assessments worden dan gebruikt voor de selectie, de tussentijdse beoordeling en de allocatie van personeel (zie bijv. Jansen, De Jongh, 1997). In de praktijk van de personeelsselectie en beoordeling richten assessments zich voornamelijk op bepaalde persoonlijkheidsdimensies. Wanneer men een assessment in het onderwijs gaat gebruiken, wil men er verschillende beroepseisen mee toetsen. In de definitie van Elshout-Mohr en Oostdam zijn de woorden geschiktheid en taak aan elkaar gekoppeld. Men beoordeelt in een assessment niet de algemene geschiktheid, maar de geschiktheid voor een specifieke klasse van taken. Een intelligentiemeting is dus geen assessment. Verder valt in de definitie op, dat het bij assessments niet gaat om een bepaalde vaardigheid of kunde, maar om de geschiktheid voor een complexe taak. Ook dit aspect van het assessment is een aandachtspunt in de onderwijsvernieuwingsbeweging geworden. Portfolio In het onderwijs betekende portfolio oorspronkelijk een verzameling van producten (werkstukken) van een student. Deze verzameling kan men gebruiken als bewijsmateriaal voor een beoordeling en als hulpmiddel om de ontwikkeling van de student te volgen. Dit leidt tot de volgende definitie: Een portfolio is een verzameling
10
van producten en mogelijk ook reflecties van de student en voorts van relevant documentatiemateriaal uit verschillende bronnen. Deze verzameling kan de student gebruiken in het proces van ontwikkeling van de competenties en als bewijsmateriaal van de beheersing van die competenties. Vernieuwing in het hoger onderwijs: een gedachte-experiment Het is mogelijk om met de drie genoemde begrippen bondig het actuele vernieuwingsprogramma dat zich onder de noemer competentiegericht opleiden schaart, weer te geven. We doen dat in de vorm van een gedachte-experiment over een beroepsopleiding. Het uitgangspunt van dit gedachte-experiment is dat we van het beroep waarvoor een opleiding moet opleiden, vrij nauwkeurig de gewenste competenties kennen. Dat wil dus zeggen, dat we weet hebben van de vermogens die de student moet hebben om de beroepstaken aan te pakken. We kunnen dan een opleiding ontwikkelen, waarbij we aan de student taken (eerst eenvoudige taken, maar spoedig echte beroepstaken en zelfs beroepsfuncties) kunnen geven, waarin hij die competenties kan oefenen. Op een gegeven moment blijkt dat de student die taken goed kan uitvoeren en moeten we zoeken naar bewijsmateriaal dat aangeeft dat de competenties zich ontwikkelen en dat de student de competenties beheerst. Van de taken kan de student bewijzen laten zien. Die bewijzen kunnen allerlei vormen aannemen, bijv. verslagen, video’s, rapportages van hemzelf, maar ook rapportages van anderen over zijn activiteiten. We gebruiken het portfolio als opslagmedium voor die bewijzen. Het is zeer goed mogelijk om aan dit portfolio ook een ‘begeleidings’-functie te geven. Het portfolio dient er dan toe om de tussenproducten op te slaan. Ook evaluaties kunnen in het portfolio worden opgenomen. De student toetst dan zelf of met anderen (medestudenten, docenten, mensen uit het werkveld) in hoeverre die producten aantonen dat een competentie wordt beheerst. Op grond van die evaluatie gaat de student aan de slag om een beter product te maken, dat zijn competenties of zijn ontwikkeling daarin nog beter aantoont. Bij een dergelijke opleiding moet ook nagedacht worden over de leerprincipes. Een op leerpsychologische gronden voor de handliggend uitgangspunt is, dat men in veel gevallen beter leert door te doen, door zelf te proberen en door fouten te maken. Soms zal het efficiënt zijn om door middel van instructie in te grijpen, omdat dat het leerproces versnelt, maar vaak is het beter om niet al te sturend op te treden. In de beroepspraktijk zal men ook zelf zonder de leraar de weg moeten vinden en moet men al vroeg leren om op eigen benen te staan. In veel gevallen wordt de docentrol van overdrager van kennis minder van belang en gaat het meer om de rol van begeleider, arrangeur van leerprocessen en beoordelaar. Bij een dergelijke opzet van het curriculum zullen ook de toetsen moeten worden aangepast. Voor een deel van de toetsing kan men het portfolio met het bewijsmateriaal gebruiken. Voor een ander deel kan men bestaande afsluitingsvormen zoals werkstukken of verslagen blijven hanteren, maar er is ook de vraag naar een meer samenhangende beoordeling van de beroepscompetenties. Daarvoor wordt het assessment gebruikt. Voor het assessment creëert men situaties die ook in de beroepspraktijk voorkomen en waarin men gedrag moet laten zien dat een indicatie is van de gewenste competentie. Een andere opleiding die met dezelfde competenties werkt, kan deze assessments eveneens gebruiken. Dat ligt voor de hand want het gaat niet om deze opleiding maar om de competenties voor een bepaald beroep en die zijn curriculumonafhankelijk. Deze assessments kan men -wanneer ze ontwikkeld zijn- ook voor andere zaken gebruiken. Een belangrijke toepassing is die van intake-instrument. We kunnen met het assessment bepalen of iemand eerder verworven competenties bezit en wat voor maatwerk er aangeboden moet worden. Een hiermee verwant gebruik is dat van
11
diagnose-instrument. Men kan het assessment gebruiken om vast te stellen hoever iemand in zijn of haar ontwikkeling is en om op grond daarvan de gewenste opleidingsactie te bepalen. Deze benadering wijkt af van traditionele onderwijsbenaderingen. Een fundamenteel verschil is dat hier taken centraal staan en dat deze taken en de daaraan gerelateerde competenties als ordeningsprincipe voor het curriculum fungeren en dat is anders dan een klassieke onderwijsbenadering waarin de leerstof of de logica van een vakgebied het belangrijkste ordeningsprincipe is. Er zijn nog andere verschillen. Zo verandert de rol van de docent. De instructierol neemt af en de procesgerichte begeleiding en de monitoring van de ontwikkeling worden belangrijker. Ook in de toetsing treden veranderingen op. Er wordt niet meer in vakken getoetst, maar de toetsing verschuift naar geïntegreerde opdrachten. In het bovenstaande gedachte-experiment hebben we vooral een beeld geschetst van de onderwijsvernieuwing in het beroepsonderwijs. Ook bij dat deel van het universitaire onderwijs dat zich minder op de beroepsvorming richt, kan een vergelijkbare vernieuwing in de richting van competentiegericht onderwijs aanwezig zijn. Zo zijn we bij een universitaire opleiding een uitwerking van het begrip academische competentie (met inhouden als onderzoeken, presenteren, redeneren op academisch niveau) tegengekomen. In haar onderwijsvisie wilde de opleiding zich niet vastleggen op een beroepsprofiel, maar juist wel op een beschrijving van de bredere academische competenties.
3.2
Het gebruik van portfolio's in het hoger onderwijs
Het portfolio kan de volgende functies hebben: • Instrument voor de summatieve evaluatie aan het eind van de opleiding. De student verzamelt er producten in die het bewijs vormen van de verworven competenties. Dit heet ook wel het dossierportfolio. • Instrument voor de formatieve evaluatie. De student laat gedurende de hele studie in het portfolio bewijzen zien van zijn ontwikkeling. Dat hoeven niet noodzakelijk eindproducten te zijn. Doordat die ontwikkeling in het portfolio zichtbaar wordt, helpt het portfolio in de bijsturing. Men spreekt hier van ontwikkelingsportfolio’s. • De reflectiefunctie. Met het portfolio wordt de student aangespoord om te reflecteren op de te verwerven competenties, de keuze voor bepaalde leerdoelen, enz. Dit leidt vervolgens ook tot bijsturing. Deze reflectiefunctie vindt vooral plaats in de portfolio’s die gericht zijn op de ontwikkeling en de formatieve evaluatie. • De startfunctie. Voor de intake en het aantonen van eerder verworven competenties kan een startportfolio worden aangelegd. De beoordeling kan dan leiden tot aanname op een opleiding en zonodig tot een maatwerkprogramma. In de literatuur over dit onderwerp (Van Tartwijk, Wubbels, 2000, Driessen, Beijaard, Van Tartwijk, Van der Vleuten (red.) 2002, Boot, Tillema, 2001, Straetmans, Sanders, 2001) worden vergelijkbare indelingen gemaakt. In veel gevallen staan deze functies niet los van elkaar en wordt een portfolio voor meerdere functies ingezet. De inhoudelijke structurering van portfolio’s heeft ondanks deze verschillende functies veel overeenkomsten. Elementen als curriculum vitae, reflectie op de competenties en de beroepsrollen en bijlagen met bewijsmateriaal zijn steeds aanwezig. Bij sommige
12
portfolio’s die dichter tegen de klassieke studiebegeleiding aanliggen, zijn er rubrieken die gaan over de studievoortgang en de ontwikkeling van vakspecifieke vaardigheden. Andere veel voorkomende rubrieken zijn nevenactiviteiten en eerder verworven competenties. In portfolio’s die zich richten op de ontwikkelings- en reflectiefunctie zal men vaker persoonlijke reflectieverslagen, zelfevaluaties, beoordelingen door medestudenten en andere beoordelingen aantreffen. Portfolio’s kunnen digitaal of schriftelijk worden opgezet. Met de huidige interne netwerkstructuren bij de meeste onderwijsinstellingen komt het intranet tot ontwikkeling. Portfolio’s worden dan met standaardsoftware (bijv. Blackbord) op het intranet gezet. Bij de bezochte opleidingen werkten er twee met een digitaal portfolio en drie met een schriftelijk portfolio. Het voordeel van het digitale portfolio is dat in principe veel informatie door iedereen valt te raadplegen. Voor kennisdeling kan dit een voordeel zijn. Voor de ontwikkelingsfunctie maakt het op dit moment betrekkelijk weinig uit of het portfolio digitaal of schriftelijk is. Hier volgen voorbeelden van portfoliogebruik bij de bezochte opleidingen. Het College van Bestuur van universiteit A heeft besloten dat de bachelorsfase van de studie naast het specifieke vakgebied vooral gericht moet zijn op de brede academische competenties. Voorts moet de bachelorsfase veel keuzemogelijkheden bieden en bestaat er zelfs de mogelijkheid van een major- en een minor -programma. Om een dergelijke vrijheid enige structuur te geven is het portfolio ingevoerd. Bij de bezochte faculteit is hiervoor een digitaal portfolio ontwikkeld. In dit portfolio moeten de studenten reflecteren op de studievoortgang, de vakspecifieke vaardigheden en met name de academische vaardigheden. De ontwikkeling van de academische vaardigheden moet beschreven worden aan de hand van het volgende stramien: Welke activiteiten zijn er geweest?, Welke voornemens zijn er?, Welke producten kunnen getoond worden? Op gezet te tijden wordt het portfolio begeleid door een mentor. Volgens de respondenten heeft het geheel stimulerend gewerkt om deze academische vaardigheden nader te doordenken. Men ziet hier het portfolio als een hulpmiddel, waarmee de student bij zichzelf nagaat of de academische competenties worden verworven. De opleiding is tegelijk van mening, dat de inhoud van deze academische competenties altijd in de afzonderlijke vakken wordt getoetst en dat dit de kern van het toetssysteem vormt. Om die reden wil de opleiding het portfolio alleen beperkt toetsen, mede vanwege het feit dat er geen formele studiepunten aan worden toegekend. Er wordt daarom door de mentor alleen getoetst of aan de verplichting om een portfolio op te stellen, is voldaan. Bij universiteit B op een gezondheidszorgopleiding is het portfolio in eerste instantie ingevoerd als reflectie -instrument en als middel om de zelfsturing van de studenten te bevorderen. Tevens moet het portfolio de zogenaamde ‘soft skills’ zoals reflectievermogen en presentatievaardigheden beter beoordeelbaar maken. In het portfolio staan de verschillende rollen uit het beroepsprofiel centraal. De student moet in het portfolio steeds bewijsmateriaal aandragen dat hij die rollen beheerst. Het portfolio is niet digitaal, wordt door een mentor begeleid en wordt op gezette tijden als een onafhankelijk studieonderdeel beoordeeld. Naast de portfoliotoetsing die een klein aantal studiepunten omvat, werkt de opleiding met een gevarieerde mix aan toetsvormen.
13
Voor de beoordeling schrijft de mentor een beoordelingsadvies, dat met de student wordt besproken. De student kan dan nog veranderingen in het portfolio aanbrengen. Daarna geeft een andere beoordelaar het oordeel. Voor het beoordelingsadvies waarin de mentor moet aangeven of de student gelet op de studiefase in de vier verschillende beroepsrollen voldoende vaardig is, heeft de mentor de beschikking over een beoordelingskader met daarin een beperkt aantal vragen die hij in overweging kan nemen (zoals de kwaliteit van de sterkte-zwakte-analyse, de mate waarin geformuleerde doelen gerealiseerd zijn en de duidelijkheid van de geformuleerde leerdoelen). Het beoordelingskader bevat geen expliciete normering. De beoordelaars letten bij de beoordeling van de beroepsrollen zowel op het niveau als op de getoonde groei. Verder geeft men aan ook te letten op een adequate formulering in het portfolio. In alle gevallen van twijfel, onenigheid of van mogelijke onvoldoendes is de procedure dat twee beoordelaars die geen mentor zijn, het werkstuk beoordelen en dat het ook nog in de vergadering van portfoliobeoordelaars wordt besproken. Op deze wijze ligt het eerste oordeel bij de mentor, omdat die het proces goed kent, maar ligt de beoordelingsbeslissing altijd buiten de mentor en worden alle twijfelgevallen en potentiële onvoldoendes zorgvuldiger bekeken. Op hogeschool C bij een opleiding in het hoger economisch onderwijs werken de studenten in het eerste jaar in een simulatiebedrijf. De studenten krijgen hierbij probleemgestuurd onderwijs en opdracht en. Aan ieder cohort studenten is een docententeam gekoppeld. Deze docenten vervullen de rol van mentor, bij de projecten de rol van tutor, en zijn als vakdeskundige op afroep beschikbaar. Aan het eind van het eerste jaar schrijven de studenten een persoonlijk ontwikkelplan. In de hogere jaren moeten de studenten hun competenties oefenen door het uitvoeren van opdrachten die veelal in het werkveld plaatsvinden. Het portfolio is qua gebruik verschoven van een dossierportfolio naar een ontwikkelingsportfolio. Bij iedere opdracht die de student uitvoert, moet de student aangeven welke bijdrage deze levert aan de ontwikkeling van de competenties. Na de uitvoering van de opdracht moet de student in het portfolio aangeven, wat de leereffecten en wat de toekomstige leerdoelen zijn. Hierbij horen ook evaluaties (bijvoorbeeld van het werkveld, maar ook feedback van medestudenten). Deze combinatie van het vervullen van de opdracht en het werken aan het portfolio levert de student de studiepunten op. Bij enkele onderdelen wordt het portfolio ook zelfstandig beoordeeld. Deze beoordelingen vinden plaats op basis van bespreking in het team van docenten. De opleiding is bezig assessments te ontwikkelen die zowel voor de ontwikkelingsbeoordeling (development centers) als voor de summatieve beoordeling geschikt zijn. Het portfolio is vergaand in de opleiding geïntegreerd en iedere docent wordt geacht hierop in zijn begeleiding aan te sluiten. Men werkt met een papieren portfolio. De studenten hebben hun eigen ordner waarin zij de portfolio-informatie bewaren en die ze zelf opschonen. Wanneer het nodig is, leveren ze de betreffende onderdelen bij de tutor of mentor in. Het portfolio is hier haast een abstractum geworden, een soort leerprincipe van de opleiding. Bij opleiding D in de sector educatie is de opleiding drie jaar geleden gestart met een digitaal portfolio dat een uitgebreide presentatieomgeving voor de student is. Feitelijk stellen de studenten hun eigen website samen en leren tegelijkertijd min of meer automatisch die vaardigheid. De verschillende
14
producten worden in het portfolio geshowd. Tevens wordt in het portfolio aandacht besteed aan reflectie, hoewel die nog wat minder uit de verf komt. Er is één studieonderdeel waarin mentoraat, studiebegeleiding, stagebegeleiding en intervisie volledig zijn geïntegreerd. In dit onderdeel vindt de begeleiding van het portfolio plaats. Het portfolio wordt niet als zodanig beoordeeld, maar er zijn in de studie drie integratieve beoordelingsmomenten waarin het portfolio een rol speelt. Voor deze beoordelingsmomenten maakt de student een samenvatting van het portfolio, een zelfevaluatie en gebruikt de student het portfolio als bewijsmateriaal voor de beheersing van de competenties. Voor dit integratieve beoordelingsmoment is een beoordelingskader aanwezig en zijn de beoordelaars verplicht het oordeel toe te lichten. Hier wordt met een aantal globale categorieën het portfolio gescoord. Verder scoort men de zelfevaluatie, de presentatie van het portfolio, het gesprek daarover en de verschillende complexe opdrachten tijdens het beoordelingsmoment (deze laatste beoordelingen komen tot stand op basis van analytische schema’s die voor die opdrachten afzonderlijk zijn ontwikkeld). De beoordeling vindt plaats door twee assessoren en bepaalt of de student met de vervolgfase van de studie verder kan gaan. Naast deze toetsing bestaan er gevarieerde afsluitingsvormen van de verschillende studieonderdelen. Er zijn twee verschillen ten opzichte van opleiding C. De bijdrage van de verschillende studieonderdelen aan het portfolio is bij opleiding D nog niet zo ver doorgevoerd. Er is dus een minder stringent systeem en daardoor worden niet automatisch de verschillende studieonderdelen door de student geëvalueerd op hun bijdrage aan de competenties. De presentatiefunctie is in tegenstelling tot opleiding C wel zeer vergaand ontwikkeld. Bij opleiding E in de sociaal agogische sector van een niet -bekostigde hogeschool staat het portfolio relatief los van het curriculum. In het curriculum komen de vakkennis en de verschillende vaardigheden van het beroep aan bod. Volgens de visie van de opleiding geeft dit curriculum aan de student nog weinig idee van de samenhang en geeft het geen inzicht in wat de eigen sterke en zwakke kanten zijn. Om dit bewust te maken en te exploreren is het portfolio ingevoerd. De opleiding vindt dat men met de verschillende vakken en trainingen het minimumniveau van de opleiding haalt, maar dat juist door het portfolio de eigenlijke beroepsvorming en de persoonlijke integratie van de studieonderdelen in een eigen beroepsvormgeving plaats vindt. Het portfolio is hierdoor sterk gericht op reflectie en vooral een persoonlijk document. Verschillende trainingen en begeleidingsmomenten stimuleren deze reflectie. Begeleiding vindt plaats door de mentor. De inhoud van het portfolio wordt niet beoordeeld, maar de kwaliteit van de reflectie wordt wel beoordeeld. Omdat het portfolio net is ingevoerd, zijn beoordelingsprocedures nog niet volledig ontwikkeld. De opleiding beoordeelt de mate waarin de student in het portfolio reflecteert. Beoordelingspunten die dan aan de orde zijn, zijn bijv.: neemt de student voldoende afstand, laat hij (of zij) een ontwikkeling zien, ontwikkelt hij een visie en maakt de student zijn keuzes expliciet. De beoordeling vindt plaats door de mentor en bij twijfel is er een tweede beoordelaar. De opleiding is niet van plan -ook vanwege de hoge kosten- om assessments in te voeren. Plaats van het portfolio in het curriculum
15
De verschillen tussen de portfolio’s op de onderzochte opleidingen zijn vooral te herleiden tot de plaats die het portfolio in het curriculum inneemt. Alleen bij opleiding C neemt het portfolio als ontwikkelingsportfolio met een sturende functie een centrale plaats in en zijn alle onderdelen gericht op de bijdrage aan het portfolio. Bij de opleidingen A en E heeft het portfolio de functie van een integratie -instrument, waarbij de student de inhouden van de aantal afzonderlijke onderdelen, in een samenhangend verband plaatst. Hetzelfde geldt ook voor opleiding B waar het portfolio dienst doet als beperkte reflectie-instantie en als een verbeterd mentoraat. Opleiding D neemt een tussenpositie in. Aan de ene kant heeft deze opleiding grote aandacht voor het portfolio en is het een belangrijk instrument in het hele opleidingstraject, aan de andere kant werken niet alle studieonderdelen met het portfolio. Door het gebruik kan het portfolio van functie veranderen en het blijkt een flexibel en wendbaar instrument te zijn. Zo kan bij opleidingen een omslag plaatsvinden van een productportfolio naar een ontwikkelingsportfolio. In het algemeen valt op dat de presentatie- en showcasefunctie van het portfolio maar beperkt aanwezig is en dat de ontwikkelingsfunctie ofwel dominant is of in belang toeneemt. Alleen bij opleiding D speelt de trouwens zeer fraaie presentatiefunctie een zekere rol, maar ook hier is die aan het afnemen ten gunste van de ontwikkelingsfunctie. Voor de presentatiefunctie biedt een digitaal portfolio meerwaarde. Het blijkt verder dat voor de ontwikkelingsfunctie een digitaal portfolio niet echt nodig is. Eigendom en privacyregels Alle opleidingen benadrukken dat het portfolio het eigendom is van de student en dat de vormgeving en inhoud de eigen verantwoordelijkheid van de student zijn. Alleen de begeleider en eventueel andere beoordelaars moeten het portfolio kunnen zien. Bij het digitale portfolio bepaalt de student wie toegang heeft, maar meestal vinden de studenten het prima wanneer anderen hun portfolio kunnen zien. Dit heeft ook een functie omdat op bepaalde momenten een beoordeling door medestudenten (peerassessment) wordt verlangd en omdat het leren van elkaars werk in belang toeneemt. Hoewel de indruk is, dat de opleidingen zorgvuldig met dit ethische aspect omgaan, is het wel de vraag of dit ook nauwkeurig bij de opleidingen is vastgelegd. Bovendien kunnen studenten hier zelf ook te makkelijk mee omgaan. Een ander probleem is of een portfolio soms niet zaken vastlegt waar men op een gegeven moment niet meer aan herinnerd wil worden of die dan niet meer relevant zijn. Omdat een portfolio veel materiaal opslaat dat bovendien bij digitale portfolio’s voor iedereen zichtbaar kan zijn, zijn zorgvuldigheidsregels en opschoningsregels geen overbodige luxe. Begeleiding van het portfolio Om een start met het portfolio te maken werken de opleidingen meestal met trainingen. In veel gevallen heeft de mentor hier de verantwoordelijkheid. Soms is er een apart studieonderdeel, waarin de aandacht voor het portfolio centraal staat en waarin ook andere begeleidingsfuncties geïntegreerd zijn. In veel gevallen geeft het invoeren van het portfolio aanleiding om de verschillende begeleidingsfuncties van een opleiding meer met elkaar in verband te brengen. Dat is bij opleiding C zichtbaar, waar de student vier jaar lang voor de complete begeleiding een vaste mentor heeft. Ook bij opleiding D is dit zichtbaar omdat hier de afzonderlijke begeleidingsfuncties in één onderdeel zijn samengevoegd. Of studenten daadwerkelijk aan het portfolio werken, hangt verder af van de vraag hoe het in de beoordeling is geïntegreerd. Hier geldt het klassieke adagium dat de vorm van toetsing de wijze van studeren bepaalt (Frederiksen, 1984, geciteerd in Van der Vleuten, Driessen, 2000: 9). Naast deze starttrainingen en handleidingen, zijn er individuele mentorgesprekken, waarbij men op
16
de universiteiten meestal met twee per jaar volstaat. In het hbo is er een intensievere aandacht van de mentor. Er zijn opvallende verschillen in de mate waarin men het portfolio voorstructureert en daarmee de student aanwijzingen geeft. Zo heeft de universitaire opleiding A alle academische competenties al in het portfolio opgenomen en de student moet dan bij iedere competentie het bewijsmateriaal aangeven en de reflectie schrijven. Andere opleidingen gaan hier minder ver in, juist vanuit de overweging dat het portfolio het eigen product van de student is. Een belangrijke vooronderstelling is altijd wel, dat de beroepscompetenties bekend zijn en dat die in het portfolio aan bod komen. Dat is echter niet altijd het geval. Bij sommige opleidingen zijn ze nog in ontwikkeling of pas heel recent vastgesteld. Ook komt het voor dat bij verwante opleidingen nog gedifferentieerde omschrijvingen van de competenties circuleren (zie bijv. Straetmans, Sanders, 2001 voor een voorbeeld).
Portfolio en maatwerk In principe kan een portfolio en het daarbij passende gebruik van assessments leiden tot maatwerkcurricula. Iedere student kan zijn eigen specifieke producten in het portfolio plaatsen. Ook het startportfolio en het daaraan gekoppelde intakeassessment kunnen leiden tot een opleidingsprogramma op maat. Toch wordt door Geldermans (2002) gerapporteerd, dat opleidingen hier niet altijd in slagen. In lang niet alle gevallen zijn de curricula hiervoor ingericht. In dit verband zijn er contraire bewegingen te zien. Aan de ene kant wenst men flexibel maatwerk. Dit veronderstelt vaak individuele pakketten op maat. Aan de andere kant veronderstellen de curricula juist steeds meer de samenwerking en het werken in de leergroep omdat coöperatief werken een belangrijk element van veel competenties is. De realisatie van maatwerk zal de komende jaren veel extra aandacht moeten krijgen. Ergonomie van het portfolio De portfolio’s geven aanleiding tot veel schrijfwerk en zijn overwegend verbaal van aard. Verbaal ingestelde studenten zijn hier in het voordeel. De grote hoeveelheid schrijfwerk leidt tot nieuwe problemen, namelijk hoe de schrijflast voor de student en de leeslast voor de begeleider verminderd kan worden. Bondigheid is zeker een aandachtspunt bij de verschillende opleidingen, maar dit heeft nog weinig tot een concrete aanpak van dit probleem geleid. Verder is er de vraag of het portfolio nu specifieke problemen zou geven bij het onderwijs aan anderstalige minderheden en doelgroepen met een andere culturele achtergrond. Hierover zijn geen gegevens gevonden. Verspreiding van het portfolio In 1997 rapporteerde Selding, dat in de Verenigde Staten het aantal colleges en universiteiten die het portfolio gebruikten op ca. 1000 kon worden geschat. Dit is een enorme verandering ten opzichte van de naar schatting tien instituten die in 1990 het portfolio gebruikten (Burns, 1999: 131). Uit de notities over het examen- en toetsbeleid van de instellingen in het Nederlandse hoger onderwijs die de Inspectie in 2002 heeft verzameld, komt naar voren, dat meer dan een derde deel van de instellingen in het hoger onderwijs één of meer experimenten met het portfolio heeft lopen of het heeft ingevoerd. Verder is een substantieel aantal instellingen bezig met voorbereidingen in die richting en ongeveer een derde deel van de instellingen heeft nog geen plannen in die richting. In het middelbaar beroepsonderwijs wordt het portfolio regelmatig gebruikt voor de erkenning van eerder verworven competenties (Bom, Klarus, Nieskens, 1997). Er zijn dus indicaties voor een snelle groei van dit verschijnsel.
17
Portfolio als toetsinstrument De onderzochte opleidingen verschillen sterk in de mate waarin zij het portfolio gebruiken bij de toetsing en in de mate waarin zij andere nieuwe toetsvormen zoals het assessment gebruiken. Uit de bevindingen bij de opleidingen valt te constateren, dat bij een ontwikkelingsgericht portfolio de volgende beoordelingskeuzen zijn: • Marginaal of beperkt beoordelen: Er wordt dan alleen beoordeeld dat men een portfolio heeft ingericht. Er wordt niet beoordeeld wat de inhoud is of hoe men het heeft gedaan; • Niet apart beoordelen en inbouwen als procedurele en/of inhoudelijke verplichting in (alle) andere studieonderdelen; • Substantieel beoordelen: Hierbij is nog de vraag of men dan de inhoud en het niveau van de competenties of de mate van ontwikkeling beoordeelt. Bij het op de eindproducten en bewijsmateriaal gerichte portfolio zijn de mogelijkheden: • Niet of heel marginaal beoordelen en het portfolio alleen als input gebruiken bij een assessment; • Het portfolio zelfstandig beoordelen op de vraag of het voldoende bewijs is voor de verwerving van de competenties. Deze laatste mogelijkheid hebben we in dit onderzoek niet gezien. De aangetroffen situaties stemmen overeen met de evolutie van het portfolio van een verzamelmap met bewijsmateriaal naar een instrument om de ontwikkeling te begeleiden. Bij dat laatste past een meer terughoudende beoordeling, maar tegelijkertijd ook maatregelen om te garanderen dat die ontwikkeling daadwerkelijk plaatsvindt. In samenhang hiermee worden dan assessments ontwikkeld. Gebruik van assessments als beoordelingsinstrument Bij twee hbo-opleidingen die zijn onderzocht, wordt veel aandacht besteed aan de ontwikkeling van assessments. Bij één opleiding (in het hoger economisch onderwijs) zijn een beperkt aantal assessments ontwikkeld. Deze worden zowel als ontwikkelingsals ook als voortgangs assessment gebruikt. Bij een andere opleiding is een begin gemaakt met een assessment gebaseerd op het portfolio. Tijdens dit assessment moet de student het portfolio presenteren. Verder krijgt de student één of meer complexe opdrachten (casussen uit de beroepspraktijk) en een criteriumgericht interview. Door de ontwikkelaars zelf wordt aangegeven, dat men worstelt met de vraag hoever men nu wenst om te gaan met de structurering en protocollering van dergelijke assessments. Meestal werkt men met een beoordelingskader dat een beperkt aantal beoordelingscategorieën bevat. Een belangrijk nadeel van de assessments is het tijdsintensieve karakter. Er is sprake van een kostbare investering in een toetsvorm die op dit moment nog een beperkte rol speelt. Toch is het te verwachten dat in het hoger onderwijs de assessments naar eenvoudiger vormen zullen evolueren, die beter haalbaar zijn. Dochy en Struyven (2002) schetsen een variëteit aan mogelijke assessmentvormen. Ondanks dit nadeel zijn er ook voordelen te melden. Docenten geven in meerderheid aan dat het werken aan assessments hen een veel completer beeld geeft van de bekwaamheden en leervragen van een student. Ook richt het de aandacht van de docenten en de studenten op de integratie en samenhang van de competenties. Conclusies • Bij alle opleidingen die werken aan de invoering van portfolio’s ziet men activiteiten om het vernieuwingsprogramma zoals dat in de vorige paragraaf is
18
•
•
•
•
•
3.3
beschreven, te realiseren. In alle gevallen gaat het steeds om de realisatie van verdere samenhang en integratie van de onderdelen van het curriculum in hun relatie tot een beroeps- en/of competentieprofiel. Soms is dat bij een opleiding maar partieel mogelijk omdat men de modulaire vakkenstructuur intact laat. Verder blijkt de invoering van het portfolio de docenten en studenten uit te nodigen om meer over de samenhang van de opleiding na te denken. Dit is iets dat bij alle opleidingen is aangetroffen. Voorts ziet men dat het portfolio niet alleen aanleiding geeft tot nadenken over de integratie van de opleidingsinhoud, maar ook over de integratie van de begeleidingsfuncties. Vaak worden in samenhang met de portfolio-invoering de begeleidingsfuncties samengevoegd. Het mentoraat wordt dan meer gericht op de inhoudelijke studievoortgang en de competentieontwikkeling. Het wordt dan vanzelfsprekend dat de begeleiding van het leren op de werkplek hier ook wordt ondergebracht. In het algemeen ziet men dat ontwikkelingsgerichte portfolio’s worden gebruikt of dat de portfolio’s in die richting evolueren. De opleidingen verschillen wel sterk in de mate waarin het portfolio in het hele opleidingsproces is geïntegreerd. Dat maakt dat het portfolio soms de vorm van een veredeld mentoraat kan aannemen en in een andere situatie de centrale inhoudelijke voortgangsmonitor van de opleiding wordt. Wanneer men het portfolio invoert, is men genoodzaakt dit op de een of andere manier bij de toetsing te betrekken. Opleidingen pakken dit verschillend aan: meenemen in een assessment, als onderdeel beoordelen, de reflectiekwaliteit beoordelen, marginaal beoordelen. Wanneer het portfolio vergaand als ontwikkelingsportfolio in het curriculum is geïntegreerd, is de toetsing van het portfolio minder relevant. Het portfolio wordt dan bij andere opdrachten meegenomen. Alle opleidingen geven aan dat een gevarieerde mix van toetsingsvormen op dit moment de best begaanbare weg is. Als men al met de gedachte heeft gespeeld dat het assessment en de portfoliotoetsing de bestaande toetsvormen zouden kunnen vervangen, dan is die gedachte nu wel verlaten. Ten aanzien van assessments zien we bij enkele opleidingen in samenhang met het portfolio voorzichtige ontwikkelingspogingen. De waarde van het assessment voor het onderwijs ligt momenteel vooral in het feit, dat het een belangrijke inhoudelijke aanvulling geeft op de bestaande toetsing. Gedragsindicatoren die bij belangrijke beroepscompetenties horen, kunnen hiermee directer worden getoetst. Gezien de hoge kosten is het de vraag of het assessment een grote rol gaat spelen. Er zullen mogelijk eenvoudiger en goedkopere varianten van het assessment ontstaan die zich meer voor grootschalig gebruik in het onderwijs lenen.
Kwaliteitskenmerken van nieuwe toetsvormen
Wanneer er getoetst en beoordeeld wordt, doet zich onvermijdelijk de vraag voor of dit oordeel te vertrouwen is en of het oordeel de gewenste opleidings doelen betreft. Dergelijke vragen zijn wezenlijk voor de kwaliteit van een beoordeling en zij zijn niet alleen voorbehouden aan professionals, maar raken iedereen die op de een of andere manier met beoordelingen te maken heeft. Voor de evaluatie van een toets bestaat een aantal klassieke kwaliteitskenmerken: • validiteit • betrouwbaarheid
19
• transparantie • bruikbaarheid. Deze kenmerken zijn ook van toepassing op de toetsing met het portfolio. De begrippen validiteit en betrouwbaarheid die ons hier met name voor oge n staan, vormen kernbegrippen bij het bepalen van test- en toetskwaliteit. Een belangrijke vraag is hier : Wat zijn voor de onderwijspraktijk acceptabele en haalbare procedures om maximale validiteit en betrouwbaarheid te bereiken? De haalbaarheid is van belang. Zo is door ondermeer Moerkerke (1996) en Gulliksen (1985: 4) is naar voren gebracht dat er een gebrek is aan voor de praktijk bruikbare procedures. Validiteit Bij validiteit gaat erom dat een toetsinstrument meet wat er gemeten moet worden en validiteitsonderzoek is gericht op het aandragen van evidentie die indiceert dat de meting past bij het bedoelde kenmerk, het inhoudsdomein representeert, aansluit bij het gebruik dat van de uitslag wordt gemaakt en dat er geldige conclusies uit getrokken kunnen worden. Bij de toetsing met het portfolio of bij de assessments die het portfolio gebruiken, is een kernvraag of deze toetsing een adequate reflectie is van de bedoelde competenties. Een middel hiervoor is het opstellen van een beoordelingskader, met daarin beoordelingsaspecten die van de competenties zijn afgeleid. Dit is op de meeste onderzochte instellingen ook aangetroffen of het is in ontwikkeling. Een belangrijke valideringsprocedure hierbij is dat men controleert of de verschillende beoordelingsaspecten van het beoordelingskader een adequate afspiegeling zijn van de competenties of de eindtermen en dat dit ook door anderen dan de opstellers wordt gecheckt. Een dergelijke check is een minimale eis. Deze procedure is in principe niet anders dan het werken met een toetsmatrijs bij klassieke toetsvormen. Voor de portfoliotoetsing zijn weinig procedures voor dit soort validering aangetroffen. In een aantal gevallen is dit een logisch gevolg van de implementatiefase, waarin het één en ander verkeert. De meeste instellingen zijn hier pas mee begonnen en soms is er een projectgroep intensief mee bezig. Dit laatste garandeert ook een zekere zorg voor de validiteit. Verder zijn er nog enkele andere activiteiten die kunnen worden aangemerkt als validiteitsverhogende procedures. Zo is men bij sommige instellingen begonnen de beoordelingsprocedures aan een veldadviesraad voor te leggen. Men overweegt ook om vertegenwoordigers van het werkveld bij de beoordeling in te schakelen. Men kan verwachten dat het werkveld kan bijdragen aan een betere dekking van de toetsing met de beroepsrealiteit. Een andere procedure die mogelijk (zij het indirect) kan bijdragen aan een hogere validiteit is dat docenten ook zelf een portfolio moeten opstellen. Dit helpt in ieder geval om in te schatten of bepaalde categorieën in het portfolio adequaat zijn, om opdrachten te verbeteren, enz. Hoewel een aantal opleidingen deze intentie hebben, blijft dit nog vaak in een voornemen steken. Er bestaat veel discussie of er met gedetailleerde beoordelingskaders dan wel met meer globale kaders gewerkt moet worden. In het algemeen staat men bij de portfoliotoetsing niet voor om vergaand gedetailleerde beoordelingskaders te ontwerpen. Door Van Tartwijk en Wubbels (2000: 51) wordt voorgesteld om het midden te vinden tussen een holistische beoordeling aan de ene kant en een analytisch beoordelingsschema met een groot aantal beoordelingscategorieën aan de andere kant. Deze middenweg bestaat hierin dat men één totaalscore geeft en de beoordeling van een aantal afzonderlijke beoordelingen van deelcompetenties (maximaal zes) gebruikt om het eindoordeel te beargumenteren. De beoordelingsschema’s die we voor het portfolio zijn tegengekomen, bewegen zich in
20
deze lijn (zie voor een discussie over de mate van detaillering bij een assessment ook: Jansen, De Jongh, 1997: 100-102). Een doorslaggevend criterium voor de mate van detaillering ligt in de optimalisering van de communicatie van de beoordelaars. De detaillering moet zodanig zijn, dat de beoordelaars onderling en beoordelaars en beoordeelden elkaar op de beoordelingsinhoud kunnen aanspreken en het kader mag niet zodanig gedetailleerd zijn, dat de communicatie niet over de hoofdlijnen gaat. Voorts bestaat er onderzoek dat laat zien dat de predictieve validiteit van het portfolio heel redelijk kan zijn (Tillema, 1998). Dergelijk onderzoek ligt echter niet op de weg van de meeste onderwijsinstellingen. Betrouwbaarheid Bij betrouwbaarheid gaat het om een voldoende nauwkeurige meting. Vragen die men in het kader van betrouwbaarheid kan stellen, zijn: Kunnen we van de beoordeling op aan, en zou een andere beoordelaar met hetzelfde resultaat komen? Wat we op de opleidingen hebben aangetroffen, hangt samen met hetgeen onder validiteit is weergegeven. Op het moment dat men niet ver genoeg of niet voldoende heeft geoperationaliseerd, wordt zowel de validiteit als de betrouwbaarheid problematisch. Verder is er weinig normering voor de beoordeling. Dus een expliciet standpunt vooraf over wat een aanvaardbaar minimum bij een portfolio is, is niet aangetroffen. Verder troffen we bij de discussie over de betrouwbaarheid soms een zekere allergie aan voor kwantificering met de interbeoordelaarsbetrouwbaarheid of met andere correlationele maten. Omdat een normering vooraf moeilijk is aan te leggen, blijken opleidingen in het algemeen een grote zorgvuldigheid voor de beoordelingsprocedure aan de dag te leggen. Zo worden het beoordelingsproces en het begeleidingsproces zorgvuldig gescheiden, wordt er veelvuldig met tweede beoordelaars en een teambespreking gewerkt en krijgen twijfelgevallen en onvoldoendes speciale beoordelingsaandacht. Controles door collega’s vinden bij de opleidingen dus veelvuldig plaats. Een andere procedure om de betrouwbaarheid te verbeteren bestaat uit intervisie en collegiale consultatie van de beoordelaars, waarbij de beoordelaars hun beoordelingen en de gesignaleerde casuïstiek aan elkaar ter bespreking voorleggen. Wat bij validiteit is opgemerkt, geldt ook hier. Een protocollering met een beoordelingskader zal een grotere gemeenschappelijke taal tussen beoordelaars creëren en men zal het ook voor de betrouwbaarheid van een dergelijke gemeenschappelijke taal moeten hebben. Verder zal het expliciteren van normen vooraf betrouwbaarheidsverhogend kunnen werken, omdat ook dat de discussie verder kan richten. Opvallend is de terughoudendheid voor enig kwantitatief onderzoek die wij in het algemeen aantroffen. Bij meerkeuzetoetsen en soms bij toetsen met essayvragen is een betrouwbaarheidsonderzoek en een itemanalyse een standaardprocedure. Het gaat hierbij niet zozeer om de resulterende kwantitatieve maten, maar vooral om de actie die erop volgt. Na de analyse volgen stappen voor de verbetering van de toets. Het waardevolle van dit soort procedures zit in de feedbacklus. De analyse leidt tot een actie. Ook bij portfoliotoetsing en assessments is er veel voor te zeggen om een dergelijke empirische feedbacklus te creëren. Het kan inzicht opleveren, dat sommige competenties nog niet adequaat te beoordelen zijn omdat er bijv. weinig beoordelaarsovereenstemming is en dat leidt dan weer tot gepaste aandacht voor dit probleem. Sanders (2002) en Dierick, Van de Watering en Muijtjens (2002: 112, e.v.) schetsen een mogelijke kwantitatieve procedure hiervoor, maar ook kwalitatieve procedures zijn denkbaar. Bruikbaarheid
21
Op dit punt zijn er ten aanzien van het portfolio en de daarbij horende assessments wel enige zorgen. Die werden tijdens het onderzoek door de respondenten geuit. Portfolio’s hebben de neiging zo omvangrijk te worden, dat ze alleen al daardoor moeilijk beoordeelbaar worden. Men ziet verder dat opleidingen hier wel naar maatregelen zoeken. Zo beoordeelt men bijv. alleen een persoonlijk ontwikkelingsplan, men laat de student een presentatie houden of er wordt een samenvatting van het portfolio geschreven die dan beoordeeld wordt. Ook wijst men studenten op de noodzaak van bondige rapportages. Verder zijn er ook zorgen ten aanzien van de beheersing van de kosten. Met name de met het portfolio verbonden assessmentbeoordelingen zijn vaak kostbare beoordelingen, waar veel docenttijd in zit. De verwachting is dat er een ontwikkeling zal komen naar eenvoudiger assessments. In het algemeen blijken portfolio’s en assessments redelijk fraudebestendig te zijn. De studenten geven aan, dat fraude bij het portfolio vaak net zo veel moeite kost als gewoon aan de verplichtingen voldoen. Wel melden de studenten, dat men soms in een portfolio het een en ander wel iets mooier voorstelt. Dit viel volgens hen niet onder fraude, maar eerder onder het hoofdstuk goed presenteren en je van je beste kant (of zelf nog iets beter) laten zien. Docenten geven aan iets meer zorgen te hebben. Met de digitale portfolios zouden mogelijk wel fraudes kunnen optreden. Bij één van de opleidingen is fraude met een verzonnen peerbeoordeling geconstateerd. Bij assessments zou het mogelijk zo kunnen zijn, dat bijv. kritische situaties met de gedragsalternatieven bekend worden, zodat men zich ook hier op het gewenste (in dit geval sociaal gewenste) antwoord gaat trainen. Een grote variëteit aan opdrachten is dan gewenst. Transparantie Transparantie betekent dat de toetsprocedure voor alle betrokkenen inzichtelijk is. Bij dit onderzoek zijn hier geen problemen geconstateerd. In het algemeen wordt de voorlichting over de toetsing op vele manieren georganiseerd (studiegids, OER, in het onderwijs zelf) en is het bij de studenten goed bekend. Regels en procedures worden vaak in de studiehandleidingen weergegeven. De rollen van begeleider en beoordelaars zijn meestal doorzichtig en duidelijk belegd. Conclusies • Het belangrijkste middel om de validiteit van de portfoliotoetsing en het assessment op basis van het porffolio in stand te houden is een adequaat beoordelingskader waarvan de beoordelingsaspecten een goede operationalisatie zijn van de competenties. Belangrijk is tevens, dat hiervan controle door anderen dan de opstellers plaats vindt. Andere middelen voor een opleiding zijn het inschakelen van het werkveld bij de beoordeling en de afname van een dergelijk instrumentarium bij afgestudeerden • Een adequaat beoordelingskader kan ook goede diensten bewijzen om de betrouwbaarheid te vergroten. Een ander middel bestaat uit zorgvuldige procedures, waarmee de verschillende beoordelaars tot een oordeel komen. In de derde plaats bestaat er de mogelijkheid om door middel van kwantitatieve of kwalitatieve analyses zicht te krijgen op de betrouwbaarheid. • Ten aanzien van de bruikbaarheid van portfolio’s is het belangrijkste aandachtspunt, dat een overvloedige hoeveelheid producten ook weer tot een aanvaardbare hoeveelheid moet worden gereduceerd. • Eigenlijk zijn er in dit verband voor validiteit en betrouwbaarheid twee meer abstracte maar toch samenhangende kwaliteitseisen die fundamenteel zijn. In
22
de eerste plaats dient protocollerering en standaardisering zover te gaan dat de communicatie tussen beoordelaars en beoordeelden optimaal is, d.w.z. dat er zoveel afspraken zijn, dat men weet, waarover men het moet hebben, maar dat het niet zo gedetailleerd is, dat men verdwijnt in de details. In de tweede plaats moet men de toetsingsactiviteiten openstellen voor de kritische confrontatie met empirische bevindingen of de feedback van anderen. Dit laatste is in veel gevallen nog zwak ontwikkeld. Er zijn weinig procedures aangetroffen om de beoordelingskaders ook door anderen te laten controleren. Procedures waarbij de betrouwbaarheid kritisch wordt onderzocht en die aanleiding geven tot verbetering, zijn eveneens weinig aanwezig. Wel bestaan er zorgvuldige beoordelingsprocedures.
23
4
HET GEBRUIK VAN BORGINGSSYSTEMEN BIJ NIEUWE TOETSVORMEN
Wij maken een onderscheid maken tussen professioneel verantwoorde toetsing en de borging van de kwaliteit van de toetsing. Professioneel verantwoord noemen we die toetsing die gebruik maakt van de standaardprocedures om een acceptabel niveau van validiteit en betrouwbaarheid te bereiken. Onder de kwaliteitsborging van de toetsing verstaan wij aan de ene kant de procedures die een opleiding inzet om ervoor te zorgen dat bij de toetsing daadwerkelijk een dergelijke professionele werkwijze plaatsvindt. De andere component van de kwaliteitsborging is de zorg voor de kwaliteitsverbetering. Bij het onderzoek meldden de meeste opleidingen nog weinig actief te zijn met kwaliteitsborging en er nog niet aan toe gekomen te zijn. Toch zijn er wel borgingsactiviteiten aangetroffen. Vrijwel alle onderzochte opleidingen geven aan dat zij de scholing in de nieuwe toetsvormen van groot belang achten. In het kader van de portfoliobeoordeling, de assessments of het gebruik van integratieve beoordelingsmomenten zijn docenten bijgeschoold. Verder hechten een aantal opleidingen waarde aan intervisie en aan collegiale consultatie. Soms wordt dit door de opleiding georganiseerd, maar soms ook nemen docenten hiertoe zelf het initiatief. In de derde plaats laten sommige opleidingen hun activiteiten met een nieuw curriculum (waaronder de vernieuwde toetsing) uitgebreid begeleiden door flankerend onderzoek. Ook dat kan als een borgingsprocedure worden gezien. Op grond van deze bevindingen en de verdere literatuurstudie is het mogelijk een aantal borgingsinstrumenten te identificeren. • De borging van de validering van een toetssysteem moet er minimaal uit bestaan dat een toetssysteem ook nog door een ander dan de opsteller wordt gecontroleerd. Een bekend middel om dit te realiseren is de scheiding van opstelling en vaststelling van de toets. Een dergelijke controle kan men ook toepassen op de andere kwaliteitsaspecten van een toetssysteem. • De kwaliteit wordt ook geborgd door de inzet van deskundigheid uit het werkveld of andere experts bij de bepaling van de inhoud van de toetsing en bij de beoordeling is eveneens een waarborg dat er valide getoetst wordt. • Voorts is een belangrijk instrument: een actief scholingsbeleid toegesneden op de betreffende toetsvormen en gericht op de vergroting van de toetsingscompetentie. • Een andere mogelijkheid is collegiale consultatie en intervisie, waarbij volgens een vaste systematiek door de beoordelaars ervaringen met een beoordelingsinstrument worden uitgewisseld. • Een volgend borgingsinstrument is de beoordeling van de toetsing door buitenstaanders door middel van een externe audit (ook hier kunnen werkveldvertegenwoordigers en/of toetsdeskundigen bij betrokken zijn. • Een ander belangrijk algemeen borgingselement is de confrontatie van het toetsinstrument met empirische gegevens, zoals evaluaties van de toetsing of analyses van de toetsresultaten zelf, die er toe leiden dat onderdelen worden verbeterd en zwakke plekken in een toets worden gesignaleerd. Deze borgingsinstrumenten zijn voor nieuwe toetsvormen niet principieel anders dan voor de gangbare toetsvormen.
24
5
CONCLUSIES
De aandacht voor nieuwe toetsvormen waaronder de toetsing met portfolio en assessment moet in samenhang gezien worden met de aandacht voor competenties en de nadruk op de integratie van domeinen die voorheen gescheiden waren. Dit is een positieve ontwikkeling omdat hiermee aandacht is gekomen voor een aantal vormingsaspecten (met name generieke vermogens) die in het verleden minder belicht werden. Hierbij vallen een aantal zaken op. • Het portfolio evolueert van een instrument voor de presentatie van producten naar een ontwikkelingsgericht instrument. • Opleidingen die deze vernieuwingsweg zijn ingegaan, blijken in het algemeen ook te werken aan de verdere integratie van de verschillende begeleidingsfuncties van de opleiding. • Opleidingen die met startportfolio’s en intake-assessments werken, blijken lang niet altijd in staat te zijn om dan ook maatwerk aan studenten met verschillende instroomniveaus aan te bieden. Dit ontbreken van maatwerk is niet nieuw, maar met het nieuwe instrumentarium kunnen verwachtingen worden gewekt, die men niet waar kan maken. • Opleidingen kunnen sterk verschillen in de plaats die men het portfolio in het curriculum geeft. Soms heeft het een centrale plaats, in andere gevallen is het meer een versterking van het bestaande begeleidingssysteem. • Ten aanzien van de bruikbaarheid is er het probleem, dat portfolio’s de neiging hebben tot zeer omvangrijk schrijfwerk uit te groeien. Maatregelen om te werken aan bondige rapportages blijken noodzakelijk te zijn. • Opleidingen gaan zorgvuldig met de privacygevoeligheid en het persoonlijk karakter van het portfolio om, maar aandacht voor dit onderwerp en adequate reglementering blijft noodzakelijk. • De curriculumonafhankelijkheid van een nieuwe toetsvorm zoals het assessment maakt het mogelijk, dat deze toetsen ook in gezamenlijk verband ontwikkeld worden. Gelet op de hoge ontwikkelkosten zal deze samenwerking ook noodzakelijk zijn. Het blijkt verder dat portfolio’s op een gevarieerde wijze bij de toetsing worden gebruikt. Zo kan het zelfstandig beoordeeld worden of deel uitmaken van de beoordeling van andere onderdelen of van een assessment: • Er zijn nog weinig procedures aangetroffen om de validiteit van de beoordeling en het beoordelingskader (dekt de beoordeling de betreffende competenties?) te waarborgen. De kwaliteitsborging van de moderne toetsvormen is op dit moment matig. Verdergaande borging, waarbij door meerderen naar de kwaliteit van dergelijk instrumentarium wordt gekeken is wenselijk. Enkele andere instrumenten voor kwaliteitsborging zoals collegiale consultatie en intervisie en scholing worden in het algemeen wel door de opleidingen ingezet. • Men werkt meestal met tamelijk globale beoordelingskaders die vooraf zijn opgesteld. De praktijk zal nog moeten uitwijzen welke mate van detaillering wenselijk is. • In het algemeen is het proces van beoordelen van het portfolio of van assessments die het portfolio gebruiken, zorgvuldig georganiseerd. Men probeert hiermee ook het ontbreken van normeringen vooraf te compenseren.
25
•
26
Ten aanzien van de transparantie van de beoordeling en eventuele fraudegevoeligheid zijn op dit moment geen bijzondere problemen aangetroffen.
LITERATUUR • • • • • • • • • • • • • • • • • • • • •
27
Bom , W., R. Klarus, M. Nieskens, (1997), Portfolio in opleiding en bedrijf. Den Bosch: Cinop. Boot, C., H. Tillema (2001), Competentiegericht beoordelen in het hoger beroepsonderwijs. Utrecht: Lemma. Burns, C.W. (1999), Teaching portfolios and the evaluation of teaching in higher Education. In : Studies in Educational evaluation 25: 131-142. Dierick, Van de Watering en Muijtjens, 2002. De actuele kwaliteit van assessment: ontwikkelingen in de edumetrie. In: Dochy F., L. Heylen, H. v.d. Mosselaar (red.), Assessment in het Onderwijs. Utrecht: Lemma. Dochy, F., K. Struyven (2002), Assessment: betekenis en assessmentvormen. In: F. Dochy, L. Heylen, H. v.d. Mosselaar (red.), Assessment in het Onderwijs: ontwikkelingen in de edumetrie. Utrecht: Lemma. Driessen, E., D. Beijaard, J. van Tartwijk, C. van der Vleuten (red.) 2002, Portfolio’s. Groningen: Wolters -Noordhoff. Elshout-Mohr, M., R. Oostdam (2001), Assessment van competenties in een dynamisch curriculum. Amsterdam: SCO-Kohnstamm Instituut. Frederiksen, N. (1984), The real test bias: Influences of testing on teaching and learning. In: American psychologist, 39 (3) 1984: 193-202. Geldermans, A. (2002), Hogescholen hebben weinig oog voor de consequenties van intake-assessments. In: hbo-journaal, oktober 2002: 32 -34. Gulliksen, H. (1985). Creating better classroom tests. Princeton: Education testing service. Hofstee, W.K.B. (1999), Principes van beoordeling, Methodiek en ethiek van selectie, examinering en evaluatie. Lisse: Swets en Zeitlinger. Jansen, P.G.W., F.D. de Jongh (1997), Assessment Centers. Utrecht: Spectrum. Klarus, R., Y. Schuler, E. ter Wee, e.a. (2000), Assessment zij-instromers leerkrachten PO en VO. Wageningen: Stoas Onderzoek. Merriënboer, J.J.G. van, M.R. van der Klink, M. Hendriks (2002), Competenties: van complicaties tot compromis. Den Haag: Onderwijsraad. Moerkerke, G. (1996), Assessment for flexible learning, Performance assessment, prior knowledge state assessment and progress assessment as new tools. Heerlen: Dissertatie Open Universiteit. Ons tenk, J. (1997), Lerend leren werken, Brede vakbekwaamheid en de integratie van leren, werken en innoveren. Delft: Eburon. Sanders, P. (2002), E.C. Roelofs, Beoordeling van docentcompetenties. Paper: VOR themaconferentie. Straetmans, G.J.J.M., P.F. Sanders (2001), Beoordelen van competenties van docenten. S.L.: Programmamanagement EPS. Tartwijk, J. van, Th. Wubbels (2002), Evalueren van leervorderingen met portfolio’s. In: Evalueren in het onderwijs, Onderwijskundig lexicon, Editie III. Alphen aan de Rijn: Samson. Tillema, H. (1998), Design and validity of a portfolio instrument for professional training. In: Studies in Educational evaluation, 24 (3): 263-277. Vleuten, C. van der, E. Driessen (2000), Toetsing in probleemgestuurd onderwijs. Groningen: Wolters-Noordhoff.
•
Voeten, M. (2002), Evalueren van leervorderingen. In: Evalueren in het onderwijs, Onderwijskundig lexicon, Editie III. Alphen aan de Rijn: Samson.
Geraadpleegde internetsites met internetliteratuur over portfolio www.educatiefpartnerschap.nl www.eportconsortium.org www.slo.nl www.edusite.nl/portfolio www.surf.nl www.taalportfolio.nl www.cinop.nl/platformportfolio/ www.citogroep.nl www.toetswijzer.nl www.cinop.nl/taalportfoliobve Onderwijsinstellingen www.efa.nl www.ou.nl www2.let.uu.nl/Solis/homelet/bama/studieloopbaanbegeleiding.htm www.portfolio.uu.nl www.unimaas.nl
28
BIJLAGE
I
GESPREKSAGENDA'S PORTFOLIO-ONDERZOEK Agenda voor docenten, ontwikkelaars, beoordelaars
29
1.
De plaats van het portfolio in de opleiding en de achterliggende onderwijsvisie. a. Functies van het portfolio. b. Wat vindt men het aant rekkelijke aan het werken met het portfolio? c. Achterliggende onderwijsvisie.
2.
De inhoud van het portfolio en het gebruik van het portfolio. a. Wat moet er in het portfolio komen en waarom? b. Hoe zorgt men dat de gewenste competenties aan bod komen? c. De vormgeving van het portfolio. d. De begeleiding van het portfolio. e. Inzage- en gebruiksregels.
3.
De plaats van het portfolio in het systeem van toetsing. Hoe telt het portfolio mee? Wat zijn er voor andere toetsvormen?
4.
De beoordeling van het portfolio of de beoordeling met gebruik van het portfolio. a. Hoe gaat die beoordeling in zijn werk? b. Problemen en knelpunten bij de beoordeling en de manieren hoe men die probeert op te lossen. Waar loopt men tegen aan? c. Organisatie, voorbereiding en afwerking van de beoordeling.
5.
De voorlichting over het portfolio en transparantie van de beoordeling. Hoe probeert men de transparantie van de beoordeling te verbeteren.
6.
Efficiëntie van moderne beoordelingsvormen en in het bijzonder het portfolio. Kan men iets over de kosten- en batenkant van het portfolio vertellen?
7.
Voorkoming van bedrijfsongevallen bij de beoordeling met het portfolio: zowel het onterechte slagen als de onterechte afwijzing. Is dit een probleem? Zijn er preventieve maatregelen denkbaar?
8.
Studenttevredenheid en klachten. Wordt de beoordeling geaccepteerd? Zijn daar wel eens problemen mee?, of wordt de beoordeling juist méér geaccepteerd dan bij traditionele toetsvormen? Zijn er eventueel voorbeelden van klachten en de afhandeling daarvan?
9.
Kwaliteitsborging en systematische verbetering van de kwaliteit van de portfoliotoetsing. a. Hoe is kwaliteitszorg rond de toetsing en in het bijzonder rond de beoordeling met behulp van het portfolio georganiseerd?
b. c. d. e.
Wat gebeurt er aan deskundigheidsbevordering en scholing op dit terrein? Waar richt die zich op? Welke procedures zijn er om te zorgen dat de competenties door het portfolio gedekt worden en het niveau bewaakt wordt? Welke procedures zijn er om een portfoliobeoordeling van voldoende kwaliteit te krijgen? Zijn er bepaalde standaards rond de portfoliobeoordeling en het portfoliogebruik uitgedacht?
10. De organisatie achter het gebruik van de portfoliobeoordeling. a. Welke organisatie is er om de portfoliobeoordeling zo goed mogelijk te laten verlopen? b. De activiteiten van de examencommissie. 11. Specifieke onderwerpen over de portfoliobeoordeling die de opleiding wenst in te brengen. a. Zijn er bijzondere sterke of juist zwakke punten die men aan de orde wil stellen? b. Wat vind men nu juist heel geslaagd? Waar is men als opleiding sterk in? c. Wat zijn specifieke problemen bij de portfoliotoetsing waarmee men worstelt? d. Andere vraagstukken namelijk ……
Agenda voor studenten 12. De plaats van het portfolio in de opleiding en de achterliggende onderwijsvisie. a. Functies van het portfolio. b. Wat vindt men het aantrekkelijke aan het werken met het portfolio? c. Wat is de relatie van het portfolio met het overige onderwijs. 13. De inhoud van het portfolio en het gebruik van het portfolio. a. Wat moet er in het portfolio komen en waarom? b. Heeft men het idee dat het hele beroep en alle vereiste competenties in het portfolio aan bod komen? c. De vormgeving van het portfolio. d. De begeleiding van het portfolio. e. Inzage- en gebruiksregels. 14. De plaats van het portfolio in het systeem van toetsing. Hoe telt het portfolio mee? Wat zijn er voor andere toetsvormen? 15. De beoordeling van het portfolio of de beoordeling met behulp van het portfolio. a. Hoe gaat de beoordeling in zijn werk? b. Heeft men het idee dat alle belangrijke beroepsaspecten worden beoordeeld? c. Organisatie, voorbereiding en afwerking van de beoordeling.
30
16. De voorlichting over het portfolio en transparantie van de beoordeling. Hoe krijgt men informatie over het portfolio en de wijze van beoordeling? 17. Efficiëntie van moderne toetsvormen en in het bijzonder het portfolio. Hoeveel tijd is er gemoeid met het werken met het portfolio? 18. Studenttevredenheid en klachten. Is men tevreden over de beoordeling met het portfolio? Zijn daar wel eens problemen mee of zijn die juist minder dan bij traditionele vormen van toetsing? Zijn er voorbeelden van klachten en de afhandeling daarvan? 19. Kwaliteitsborging en systematische verbetering van de kwaliteit van de portfoliotoetsing. a. Zijn de studenten betrokken bij de evaluatie van de portfoliobeoordeling? b. Zijn er verbeteracties bij het werken met het portfolio gaande? 20. Specifieke onderwerpen over de beoordeling met behulp van het portfolio of verwante punten die de studenten wensen in te brengen. a. Zijn er bijzondere sterke of juist zwakke punten die men aan de orde wil stellen? b. Wat vind men nu juist heel geslaagd? Waar is de opleiding sterk in? c. Vindt u ook dat er specifieke problemen bij de beoordeling met behulp van het portfolio waarmee men worstelt? d. Andere vraagstukken namelijk ……
31
