ARTIKEL
Beoordelen van competentieontwikkeling in een universitaire lerarenopleiding
Inleiding
AUTEUR(S)
Jan van Tartwijk, Dineke Tigelaar, Ietje Veldman & Fred Janssen ICLON, Universiteit Leiden
Beoordelingen van competenties hebben naast de functie om te bepalen of mensen voldoen aan gestelde criteria, ook een diagnostische functie (Darling-Hammond & Snyder, 2000). Mensen krijgen te horen wat ze al kunnen en wat nog niet en dat geeft richting aan hun verdere ontwikkeling. Tussentijdse monitoring en feedback spelen een cruciale rol bij een dergelijke beoordeling van competentieontwikkeling. Beoordelingen vinden dan ook niet alleen plaats aan het eind van opleidingen, maar ook tijdens de rit: er is sprake van een beoordelingsprogramma. De uitdaging is om een beoordelingsprogramma voor competentieontwikkeling zo in te richten dat de kwaliteit van beoordelingen zo goed mogelijk is gegarandeerd, middelen efficiënt worden ingezet en studenten ook van die beoordelingen leren.
TIJDSCHRIFT VOOR LERARENOPLEIDERS - 29(3) 2008
Competentie wordt vaak gedefinieerd als het geïntegreerde geheel van kennis, vaardigheden en houdingen op basis waarvan mensen taken adequaat kunnen vervullen (voor een overzicht zie van Meriënboer, Klink & Hendriks, 2002) en wordt dus zichtbaar in de wijze waarop mensen Ontwerp van een beoordelingsprogramma functioneren in praktijksituaties. Het beoordelen van de competenties van leraren en leraren in opleiding Beoordelen van competentieontwikkeling inde context van een is echter lastig. Het is voor beoordelerarenopleiding is lastig omdat het van beoordelaars veel laars ten eerste een probleem dat de interpretatie vraagt, en omdat het er meestal niet alleen om gaat te competenties van leraren waarop een bepalen of studenten aan de gestelde criteria voldoen maar ook om beroep wordt gedaan van situatie tot hun ontwikkeling te monitoren en gericht feedback te kunnen geven. situatie kunnen verschillen. Leraren In dit artikel beschrijven we het ontwerp van een beoordelingsdie lesgeven op een school in een programma voor de Leidse Universitaire Lerarenopleiding waarin probleemwijk in een grote stad hebgebruik wordt gemaakt van de technieken die worden gebruikt om de ben bijvoorbeeld vaak te maken kwaliteit van kwalitatief onderzoek te waarborgen. Aan de orde komt met hele andere uitdagingen en niet alleen hoe we beoordelen, maar ook waarom, wat en wanneer we taken dan leraren die werken op een gymnasium in een rustige provinciedat doen, en wie er beoordeelt/beoordelen. plaats. Ten tweede zijn er vaak meerdere manieren om in één situatie taken succesvol te vervullen zodat het lastig is absolute criteria te hanteren (Elshout-Mohr, Oostdam & Overmaat, 2002). Vanwege deze problemen, ontwikkelden Shulman en zijn collega's (Bird, 1990; Shulman, 1998) een procedure voor het beoordelen van competenties van leraren waarin gebruik werd gemaakt van een combinatie van een portfolio en een assessment center (Vavrus & Collins, 1991). Niet lang daarna werden ook procedures voor competentiebeoordeling ontwikkeld waarin alléén gebruik werd gemaakt van een portfolio (Mokhtari, Yellin, Bull & Montgomery, 1996). In vergelijking met procedures waarin gebruik wordt gemaakt van gestandaardiseerde beoordelingen, wordt er in procedures waarin van portfolio's centraal staan relatief veel interpretatie van beoordelaars gevraagd. Voor het waarborgen van de kwaliteit van gestandaardiseerde beoordelingen voldoen psychometrische criteria zoals die zijn afgeleid uit methoden voor kwantitatief onderzoek. Voor beoordelingen waarbij van beoordelaars meer interpretatie wordt verwacht, zijn methoden die worden gebruikt om de kwaliteit van kwalitatief onderzoek te waarborgen meer geschikt. In kwalitatief onderzoek immers, worden net als in portfolio's gegevens verzameld die alleen goed begrepen kunnen worden als de context waarin ze verzameld zijn wordt meegewogen (Driessen, Van der Vleuten, Schuwirth, Van Tartwijk & Vermunt, 2005; Tigelaar, Dolmans, Wolfhagen & Van der Vleuten, 2005).
11
Hierna beschrijven we het ontwerp van een dergelijk beoordelingsprogramma. Hierbij is gebruik gemaakt van inzichten zoals die zijn ontwikkeld in de context van kwalitatief onderzoek om de kwaliteit van dergelijk onderzoek zo goed mogelijk te waarborgen. We richten ons bij de beschrijving van dat beoordelingsprogramma niet alleen op de technieken die we gebruiken om tot een oordeel te komen, maar beschrijven ook waarom we beoordelen, wat we beoordelen, wanneer we beoordelen en wie beoordeelt. We volgen daarmee een systematiek die in het medisch onderwijs gebruikt wordt om beoordelingsprogramma’s op een uitgebalanceerde manier te ontwerpen en beschrijven (Harden, 1979; Van der Vleuten & Driessen, 2000).
Beoordelen van competentieontwikkeling in een universitaire lerarenopleiding
Context: De Leidse Universitaire Lerarenopleiding
12
De Leidse Universitaire Lerarenopleiding kan worden gevolgd als eenjarige educatieve masteropleiding of als onderdeel van een tweejarige educatieve master. In onze opleiding heeft leren in de praktijk van de school een belangrijke plaats. Studenten zijn gedurende het jaar vane opleiding de helft van hun tijd bezig met lesgeven op een school. Daar voeren ze de taken uit zoals die ook worden vervuld door een reguliere docent. Sommige studenten beginnen de opleiding met een stage waarin zij gelegenheid hebben praktijkervaring rustig op te bouwen. Anderen geven van meet af aan zelfstandig les. Alle studenten worden begeleid door een daarvoor opgeleide ervaren docent (de BOS: ‘Begeleider op School’, of een ‘Vakcoach’: een ervaren vakdocent op school) en een vakdocent. Het is mogelijk het praktijkdeel van de opleiding in te vullen met een betaalde baan in het onderwijs, mits de baan voldoet aan een aantal voorwaarden op het gebied van de kwaliteit van de begeleiding op school. Het instituutsdeel vormt de andere helft van onze opleiding. Van de tweeënhalve dag komen de studenten er één naar de universiteit. Daar hebben ze bijeenkomsten met medestudenten en een ‘vaste’ opleider (de instituutsbegeleider) in hun begeleidingsgroep. In deze bijeenkomsten worden de schoolpraktijkervaringen van de studenten besproken en in een breder (theoretisch) perspectief geplaatst. Daarnaast volgen studenten op die dag een aantal inhoudelijke studieonderdelen. De resterende anderhalve dag is gereserveerd voor het voorbereiden van de instituutsbijeenkomsten, (groeps)besprekingen en het uitvoeren van diverse opdrachten. Inhoudelijk is de opleiding gestructureerd rond zes beroepsrollen van de leraar, waarin de competenties die worden onderscheiden in de Wet op het Voortgezet Onderwijs herkenbaar zijn. Het gaat om de rollen van 'Professional', 'Regisseur' (van groepsprocessen in de klas), 'Vakdidacticus', 'Pedagoog' , 'Lid van de schoolorganisatie' en 'Specialist', die de leraar vaak gelijktijdig in de beroepspraktijk vervult. Aan het begin van de opleiding gaat de aandacht uit naar de rollen van regisseur en vakdidacticus. Vervolgens komt de rol van pedagoog aan bod, daarna de rol van lid van de schoolorganisatie en ten slotte die van specialist. De zesde rol - die van professional - loopt als een rode draad door de gehele opleiding en heeft
betrekking op de manier waarop studenten leren en hun identiteit als docent ontwikkelen (Janssen, Veldman & Van Tartwijk, 2008b). Gedurende de opleiding hebben studenten drie formele individuele gesprekken met hun instituutsbegeleider. In die gesprekken wordt besproken hoe de studenten zich als docent ontwikkelen en worden er plannen gemaakt voor hun verdere ontwikkeling. In de laatste van die drie gesprekken staat tevens de eindbeoordeling op het programma en is de ‘Begeleider op School’ ook aanwezig. Tijdens de opleiding houden studenten een portfolio bij. In dat portfolio is de voorbereiding op de formele individuele gesprekken met de instituutsbegeleider opgenomen. Die voorbereiding bestaat onder meer uit een analyse per docentrol van de eigen ontwikkeling en het bereikte niveau waarbij gebruik wordt gemaakt van de theorie die in de opleiding aan de orde is gekomen. Die analyse worden geïllustreerd en onderbouwd met materiaal dat in dossiers (bijvoorbeeld het vakdidactisch dossier) is opgenomen. Succeservaringen worden vertaald in praktijkregels voor het eigen handelen als docent (Janssen, Veldman & Van Tartwijk, 2008a). Verder stelt de student een persoonlijk ontwikkelingsplan (POP) op waarin voornemens voor verdere ontwikkeling onder woorden worden gebracht. In het porfolio-onderdeel ‘Ik als docent’ beschrijven studenten de ontwikkeling van hun identiteit als docent. De bespreking met de studenten van hun portfolio wordt schriftelijk en mondeling geïntroduceerd naar analogie van het Resultaat- en Ontwikkelingsgesprek zoals dat ook periodiek op veel scholen met leraren wordt gevoerd door leidinggevenden (Van Tartwijk, Van Rijswijk & Tuithof, 2005). Het portfolio wordt daarin vergeleken met het verslag van werkzaamheden dat ter voorbereiding van dat gesprek door de leraar wordt gemaakt.
Gedurende de opleiding hebben studenten drie formele individuele gesprekken met hun instituutsbegeleider. In die gesprekken wordt besproken hoe de studenten zich als docent ontwikkelen en worden er plannen gemaakt voor hun verdere ontwikkeling.
Het beoordelingsprogramma Waarom wordt beoordeeld? Het beoordelingsprogramma heeft drie doelen. Het eerste doel is selectie van studenten van wie wordt verwacht dat ze aan het eind van de opleiding aan de eisen zullen kunnen voldoen. Het tweede doel van het beoordelingsprogramma is diagnose. Daarbij gaat het erom te bepalen wat de student al kan en waar juist nog ontwikkeling nodig is, zodat gericht feedback kan worden gegeven. Een diagnostische beoordeling betekent óók dat wanneer studenten voorafgaand aan een bepaald onderdeel van de opleiding
al over het gevraagde niveau beschikken, ze daarvoor een alternatief programma aangeboden kunnen krijgen. Aan diagnostische functie wordt binnen onze opleiding veel belang gehecht, omdat beoordelingen ook leerervaringen moeten zijn voor aankomende docenten (Darling-Hammond & Snyder, 2000). Dit betekent dat de beoordeling studenten inzicht moet geven in wat van hen als beroepsbeoefenaar wordt verwacht, hoe ze op een bepaald moment functioneren en op welke manier ze hun functioneren kunnen verbeteren. Het derde doel is certificatie. Studenten die over het vereiste niveau beschikken krijgen immers het diploma toegekend.
De rol van professional, heeft betrekking op de manier waarop studenten leren en hun identiteit als docent ontwikkelen.
Wat wordt beoordeeld? Zoals we eerder in dit tijdschrift beschreven, staan in onze opleiding expertise, leren en de vorming van een professionele identiteit centraal (Janssen et al., 2008b). Dit vormt het uitgangspunt bij het beantwoorden van de vraag ‘Wat wordt beoordeeld?’. Onze studenten worden beoordeeld aan de hand van eerder genoemde beroepsrollen die we gebruiken om de competenties te beschrijven waarover studenten aan het eind van de opleiding moeten beschikken.
Voor iedere beroepsrol is een rubric geformuleerd waarin is uitgewerkt wat wordt beoordeeld (Andrade, 2000). In alle zes rubrics zijn deelcompetenties beschreven en zijn op vier niveaus handreikingen gegeven voor het beoordelen van het functioneren van de student: onvoldoende, voldoende, naar behoren, en excellent. Andrade stelt dat rubrics niet alleen belangrijk zijn om onder woorden te brengen waarop wordt beoordeeld. Ze geven ook handvatten voor feedback, zowel tijdens de opleiding als bij de beoordeling aan het eind daarvan, en geven studenten houvast en inzicht in wat van hen verwacht wordt. Op deze manier zijn rubrics geschikt voor zowel selectie, diagnose als certificatie. Rubrics moeten niet gezien en gebruikt worden als een afvinklijst waarmee een absolute score van een student kan worden bepaald. Binnen de rubrics is, zoals past in een competentiegericht curriculum (Elshout-Mohr et al., 2002), onderhandelingsruimte voor het formuleren van persoonlijke leerdoelen en leerroutes.
TIJDSCHRIFT VOOR LERARENOPLEIDERS - 29(3) 2008
Vijf van de zes rollen zijn direct gerelateerd aan het uitvoeren van de taken van de docent in de klas en de schoolorganisatie. Die zesde rol, de overstijgende rol van professional, heeft betrekking op de manier waarop studenten leren en hun identiteit als docent ontwikkelen. Binnen deze rol zijn vier aspecten van belang die ook zichtbaar moeten worden in het portfolio: (1) verantwoording van het praktisch functioneren, (2) vernieuwing en uitbreiding van routines en praktijkkennis, (3) zelfsturing in leerprocessen en (4) de vorming van een professionele identiteit. Bij het eerste aspect, verantwoording van het praktisch functioneren, gaat het om reflectie op de eigen praktijk en de eigen kennis. Centraal daarin staat het stellen van de ‘waarom-vraag’ en het op een systematische manier zoeken van een antwoord daarop (Mansvelder-Longayroux, Beijaard & Verloop, 2002). In het portfolio wordt dit zichtbaar doordat studenten systematisch per rol beschrijven en analyseren hoe taken zijn uitgevoerd. Daarbij dienen studenten de gemaakte keuzes te verantwoorden op basis van de relevante theorie zoals die in de opleiding aan de orde is gekomen. Van studenten verwachten wij ook dat ze zich in hun rol als professional ontwikkelen tot lerende experts (Bransford, Derry, Berliner, Hammerness & Beckett, 2005; Janssen et al., 2008b). Dat heeft betrekking op het tweede aspect dat belangrijk is bij de rol als professional: studenten dienen in hun leren zowel gericht te zijn op routinevorming als op het voordurend vernieuwen en uitbreiden van routines en praktijkkennis. Wanneer studenten op een betekenisgerichte manier verantwoording afleggen over hun eigen prak-
tijk, verwachten wij dat zij op basis van hun analyses ook nieuwe kennis ontwikkelen en op basis daarvanvoornemens formuleren, wat vervolgens weer leidt tot het uitproberen van nieuwe dingen. Reflectie leidt zo tot vernieuwing en uitbreiding van praktijkkennis en het eigen handelingsrepertoire. Dit dient zichtbaar te worden in het portfolio door (minstens drie maal per jaar voor de formele gesprekken) per rol het eigen handelen te analyseren en nieuwe voornemens te formuleren. Modelgestuurd leren van succes kan een middel zijn om studenten te stimuleren op een betekenisgerichte manier te leren van ervaringen (Janssen et al., 2008a). Een essentieel element van deze aanpak is dat gebruik wordt gemaakt van een bij de betreffende rol horend model. Bijvoorbeeld het model voor Interpersoonlijk Leraarsgedrag (Créton & Wubbels, 1984) voor de rol van regisseur. Zo’n model is bedoeld om systematische analyse en betekenisgeving met behulp van achterliggende theorie te stimuleren. Van de student in de rol van professional wordt ten derde zelfsturing in hun rol als professional verwacht. Dat betekent dat de student gedurende de opleiding in toenemende mate zelf in staat is verantwoordelijkheid te nemen voor het monitoren, plannen en bepalen van de richting van de eigen ontwikkeling. Dit wordt zichtbaar door de analyses en voornemens in het porfolio, waarin studenten in toenemende mate hun persoonlijke wensen (waarden en behoeften) en mogelijkheden (eigenschappen, kennis en bekwaamheden) als docent in de praktijk weten te formuleren en te realiseren. Het vierde aspect bij de rol van professional heeft betrekking op het ontwikkelen van een beroepsinvulling of professionele identiteit die past bij de studenten als persoon en bij de context waarin ze functioneren. Dit dient zichtbaar te worden in beschrijvingen van wensen en mogelijkheden in het portfolio van ‘Ik als docent’, die studenten regelmatig up-daten. Daarbij zal niet de richting van de persoonlijke ontwikkeling van studenten beoordeeld worden, maar wel of ze in staat zijn hun wensen (waarden, behoeften) en mogelijkheden (eigenschappen, bekwaamheden, praktijkregels en verklarende principes) te expliciteren, en of ze in staat zijn om deze in toenemende mate te realiseren in de praktijk.
13
Beoordelen van competentieontwikkeling in een universitaire lerarenopleiding
Hoe wordt beoordeeld?
14
In hun portfolio verzamelen de studenten verschillende beschrijvingen, analyses, plannen, documenten en ander illustratief materiaal, die gezamenlijk een rijk beeld geven van hun functioneren als leraar. Omdat de portfolio’s tenminste drie keer worden aangevuld, wordt tevens hun ontwikkeling in beeld gebracht. Om betekenis te geven aan de (vaak kwalitatieve) materialen in het portfolio (zoals video-opnames, analyses per rol en logboekfragmenten) zijn, net zoals in kwalitatief onderzoek (Corbin & Strauss, 2008), interpretaties door de beoordelaars noodzakelijk. Daarbij moeten beoordelaars rekening houden met de context waarin het materiaal is verzameld, en moeten ze zich op basis van sterk uiteenlopend materialen een coherent beeld vormen van de student en van de ontwikkeling die de student heeft doorgemaakt. Vergelijkbaarheid en consistentie in de beoordeling zijn daardoor moeilijk te realiseren. Om de kwaliteit van dergelijke beoordelingen te waarborgen, maken we gebruik van een kwalitatieve methodologie aan de hand van criteria voor ‘trustworthiness’ (geloofwaardigheidscriteria) (Driessen et al., 2005; Guba & Lincoln, 1989; Tigelaar et al., 2005). In deze benadering van beoordelen probeert men het geheel te begrijpen vanuit de verschillende onderdelen door het voordurend testen, uitdagen en herzien van interpretaties die ontstaan totdat al het beschikbare materiaal is bekeken, en daarbij rekening te houden met de context (Moss, Schutz & Collins, 1998). Daarbij ligt er een accent op de leerwaarde van beoordelingen. Dit accent op leerwaarde komt met name tot uiting in langdurige betrokkenheid van beoordelaars bij de ontwikkeling van de beoordeelden en door nadruk op het geven van feedback om verdere ontwikkeling te stimuleren. De criteria voor ‘trustworthiness’ zijn: geloofwaardigheid (credibility), betrouwbaarheid (dependability), overtuigingskracht (confirmability) en overdraagbaarheid (transferability) (Nederlandse termen uit Abma, 1994). Deze begrippen worden hierna toegelicht.
Om betekenis te geven aan de vaak kwalitatieve materialen in het portfolio zijn, net zoals in kwalitatief onderzoek, interpretaties door de beoordelaars noodzakelijk.
Geloofwaardigheid Geloofwaardigheid heeft betrekking op de mate waarin interpretaties van de beoordelaars matchen met die van verschillende belanghebbenden (stakeholders) in het veld, inclusief de betrokken studenten. Om geloofwaardigheid te bevorderen wordt de beoordeling uitgevoerd door de diverse begeleiders die gedurende de opleiding de ontwikkeling van de student van nabij hebben gevolgd en hen daarin hebben begeleid. Deze langdurige betrokkenheid bij de ontwikkeling van de beoordeelde docenten in opleiding is één van de maatregelen waarmee aan geloofwaardigheid kan worden voldaan (Abma, 1994). Ook is het
een middel om de diagnostische en certificerende functies van beoordelen aan elkaar te verbinden, met een accent op het stimuleren van leerprocessen en de professionele ontwikkeling van studenten. Dat betekent dat de begeleider ook beoordelaar is. Bij de beoordeling zijn in principe dan ook meerdere begeleiders betrokken: de instituutsbegeleider en de begeleider op school bekijken het portfolio zorgvuldig aan de hand van de rubrics voor de verschillende rollen. Daarbij vormen de analyses die per rol zijn gemaakt en de onderbouwing daarvan - samen met materialen en theorie - belangrijke input. De vakdidacticus, de begeleider van pedagogiek, en de begeleider van de specialisatieopdracht doen dit voor de rollen waar zij zicht op hebben. Beoordelaars zoeken zowel naar bevestiging als naar tegenvoorbeelden van de categorieën bij de betreffende rubrics. Ook de eigen indruk die begeleiders van de student hebben wordt daarbij betrokken. Bij deze indruk spelen lesbezoeken een belangrijke rol, maar ook de manier waarop de student zich opstelde tijdens bijeenkomsten en (beoordelings)gesprekken met begeleiders. Om de ontwikkeling van de student van nabij te volgen, kijkt de instituutsbegeleider ook regelmatig naar beschrijvingen en analyses in het logboek in het portfolio. Bij de beschrijving van ‘Ik als docent’ gaat de instituutsbegeleider na hoe studenten de wensen en mogelijkheden van zichzelf als docent beschrijven en wat daarvan in de praktijk terug te zien is. Om de leerwaarde van beoordelingen te verhogen, geeft de instituutsbegeleider de student feedback op basis van de indruk uit de diverse bronnen. Dit gebeurt in elk geval tijdens de formele gesprekken (zie: wanneer wordt beoordeeld). Wanneer de eigen indruk die de begeleider heeft van de student in tegenspraak is met de indruk die uit het portfolio wordt gekregen, gaat deze kritisch na waar discrepanties uit voortkomen en betrekt daarbij ook de Begeleider op School en eventueel andere geïnformeerde collega’s. Voor alle portfoliogesprekken geldt dat de beoordeling niet voorafgaand aan het beoordelingsgesprek plaatsvindt, maar op basis van dat gesprek. De student wordt daarmee bij de beoordeling betrokken (de zogenaamde ‘member check’). Zo krijgen studenten meer inzicht in de verwachtingen van hen als professionele docent. Tevens hebben ze de gelegenheid om te onderhandelen over leerdoelen, leerroutes en bewijsmaterialen en kunnen ze informatie aanvullen. Bij de eindbeoordeling ligt daarbij de nadruk op onderhandeling over de wijze waarop aan leerdoelen en leerroutes is voldaan, en de bewijslast daarvoor. Betrouwbaarheid en overtuigingskracht Betrouwbaarheid wordt hier gerealiseerd door het vastleggen en documenteren van het interpretatieproces zodat nagegaan kan worden volgens welke stappen men tot een oordeel is gekomen. Dat is ook van belang voor de overtuigingskracht: de mogelijkheid van bevestiging van de interpretaties en conclusies vanuit de originele bronnen. Manieren om betrouwbaarheid en overtuigingskracht te waarborgen zijn de audit, documentatie, en verhoging van het aantal beoordelaars. Auditing gebeurt met een controle waarbij nagegaan wordt of de eindconclusies over een student bevestigd kunnen worden vanuit de materialen in het portfolio. Daartoe
controleren de instituutsbegeleider en de begeleider op school elkaars beoordeling als interne audits. Ze maken tijdens het beoordelen van het portfolio aantekeningen die in een dossier worden opgenomen en bespreken ze die voorafgaand aan gesprekken met de student over het portfolio. De externe audit bestaat uit de examencommissie, die dient als commissie voor beroep en bezwaar; wanneer een student en/of een van beoordelaars van mening verschillen over de beoordeling, wordt de beoordeling voorgelegd aan de examencommissie. De examencommissie heeft dan het laatste woord. In die gevallen wordt op basis van het beoordelingsdossier schriftelijk beargumenteerd hoe men tot het oordeel is gekomen waarbij wordt verwezen naar evidentie. Verhoging van het aantal beoordelaars wordt gerealiseerd doordat behalve de instituutsbegeleider en de begeleider op school, ook de vakdidacticus, de docent pedagogiek en de begeleider van de specialisatie onderdelen van het portfolio beoordelen. Overdraagbaarheid Overdraagbaarheid ten slotte, vereist een uitgebreide beschrijving van de beoordelingssituatie en de conclusies daarvan, zodat anderen kunnen nagaan of de uitkomsten van de beoordeling op hun situatie van toepassing zijn. Dit houdt in dat informatie wordt gegeven over de opleiding en de praktijksituatie waarin de student meerdere malen beoordeeld is en de argumenten die hebben geleid tot het eindoordeel. Deze informatie kan een werkgever bijvoorbeeld gebruiken om na te gaan op welke gebieden iemand goed inzetbaar is, en waar nog nadere ondersteuning nodig is. Ook bij een positief oordeel wordt deze beschrijving daarom opgenomen in het portfolio, bijvoorbeeld met het oog op sollicitaties. Deze informatie is ook van belang indien de student en/of beoordelaars het niet eens zijn over de eindbeoordeling, waarbij, zoals we hierboven aangaven, de examencommissie het laatste woord heeft. Wanneer wordt beoordeeld?
De instituutsbegeleider en de student hebben, zoals eerder beschreven, drie individuele gesprekken die ook een beoordelingsfunctie hebben. Op basis van het eerste gesprek, ongeveer 2 maanden na het begin van de opleiding, vindt de zogenaamde Go/No go beoordeling plaats. Het gaat dan om het functioneren in de rollen vakdidacticus, regisseur en professional. Het doel van deze beoordeling is ten eerste selectie. Studenten die geen of weinig perspectief hebben, krijgen dat vroeg in de opleiding te horen, zodat hen onnodige frustraties bespaard blijven. Het is ook mogelijk dat de student wordt geadviseerd de opleiding in deeltijd te vervolgen. Het gaat om een advies; de student kan dit advies naast zich neerleggen. Vanuit de opleiding betekent dit in de regel dat geen extra inspanningen in vergelijking met andere studenten zullen worden gepleegd om de dio te begeleiden. Tweede doel van deze beoordeling is diagnose. Studenten krijgen te horen wat sterke en zwakke punten in hun ontwikkeling zijn. Deze diagnose vormt ingang voor het POP. De middenevaluatie vindt enige maanden na de go/no go beoordeling. Deze beoordeling is louter diagnostisch. Bij deze beoordeling wordt nagegaan hoever de student is gevorderd bij het realiseren van de leerpunten die zijn opgesteld in het persoonlijk ontwikkelingsplan. Op basis van deze beoordeling wordt een nieuwe versie van dit plan opgesteld. De opleiding wordt afgesloten met de eindbeoordeling. Het gaat daarbij om het functioneren in alle zes rollen. Doel van de beoordeling is in de eerste plaats certificering: er wordt nagegaan of de student aan de eisen van de opleiding voldoet. Dit gesprek vindt pas plaats als alle studieonderdelen positief zijn beoordeeld en de student een compleet portfolio beschikbaar heeft gemaakt voor de beoordelaars. De eindbeoordeling kan ook een diagnostische functie hebben in de zin dat met de student besproken kan worden wat mogelijke verdere ontwikkelingsrichtingen zijn nadat de opleiding is afgesloten. Wie beoordeelt? Gedurende de opleiding zijn er een aantal personen die beoordelingen verzorgen. Ten eerste de docenten die verantwoordelijk zijn voor de afzonderlijke studieonderdelen. Zij beoordelen of de student heeft voldaan aan de eisen die voor specifieke studieonderdelen gelden. Het gaat om de vakdidacticus, de begeleider van het onderdeel pedagogiek en de begeleider van de specialisatie. Ten tweede gaat het om de begeleider op school en eventueel een docent op school die als ‘vakcoach’ voor de student optreedt. In ieder
TIJDSCHRIFT VOOR LERARENOPLEIDERS - 29(3) 2008
Er is in de opleiding sprake van verschillende beoordelingsmomenten. Beoordelingen vinden plaats wanneer opleidingsonderdelen worden afgesloten (bijvoorbeeld vakdidactiek en de specialisatie waarin de student zelfstandig een praktijk- of literatuuronderzoek werkt), en ook de begeleider op school vertaalt diens indruk van het functioneren van de student op school in een praktijkbeoordeling. Ook na de individuele gesprekken die opleiders hebben met de student vinden beoordelingen plaats. De opleidingsonderdelen hebben betrekking op een of meerdere docentrollen en worden gedurende het cursusjaar door studenten gevolgd. De beoordeling vindt plaats wanneer het studieonderdeel wordt afgesloten. Daarmee wordt gegarandeerd dat de student op specifieke onderdelen beschikt over een voldoende niveau van kennis en/of vaardigheden. Doel van deze beoordeling is dus certificering. Hiermee wordt aangegeven dat de student aan de eisen van het betreffende onderdeel heeft voldaan. Deze beoordelingen worden gebruikt als informatie voor het Go/No go advies en voor de eindbeoordeling (zie hieronder). Praktijkbeoordelingen worden gedurende het oplei-
dingstraject drie maal gegeven. Aan het begin van de opleiding, in het midden van de opleiding en aan het einde daarvan. Het gaat om het functioneren op school in de docentrollen van professional, regisseur, pedagoog, didacticus en lid van de schoolorganisatie. De rol van specialist wordt niet in de praktijkbeoordeling meegenomen. Deze praktijkbeoordelingen zijn (deel)beoordelingen die worden meegenomen in de individuele gesprekken die opleiders en de student hebben. Ze hebben een certificerende functie, omdat ze mede bepalen of de student diens diploma krijgt, en een diagnostische functie omdat ze kunnen worden gebruikt om de student feedback te geven.
15
geval is de begeleider op school aanwezig bij het gesprek waarop de eindbeoordeling wordt gebaseerd De instituutsbegeleider heeft in de beoordeling een centrale rol, omdat hij of zij uiteindelijk verantwoordelijk is voor de Go/no go-beoordeling, de middenevaluatie en de eindbeoordeling. Bij die beoordelingen betrekt de instituutsbegeleider steeds de adviezen van anderen, die vaak in de vorm van een beoordeling worden gegeven. De examencommissie tenslotte, komt nadrukkelijk in beeld in geval van meningsverschillen tussen de student en docenten/begeleiders of tussen docenten/begeleiders onderling over de beoordeling. De examencommissie heeft dan het laatste woord.
Slotbeschouwing
Beoordelen van competentieontwikkeling in een universitaire lerarenopleiding
In dit artikel beschreven we een beoordelingsprogramma waarin een groot accent ligt op de leerwaarde van beoordelingen. Tussentijdse monitoring en feedback spelen hierbij een belangrijke rol. Daarbij zijn minimumeisen voor het functioneren vastgelegd in rubrics en wordt tegelijkertijd ruimte geboden voor persoonlijke leerroutes. De rubrics zijn dan ook globaal geformuleerd. Tevens wordt gebruik gemaakt van theoretische modellen die studenten kunnen helpen betekenis te geven aan hun eigen ervaringen en op grond daarvan hun praktijkkennis en handelingsrepertoire te vernieuwen en uit te breiden. Hierbij wordt sterk ingezet op het vinden van een beroepsinvulling die past bij de persoon en bij de context, onder andere door uit te gaan van succeservaringen.
16
We hebben een beoordelingsprogramma beschreven waarmee de kwaliteit van die beoordelingen gewaarborgd kan worden door gebruik te maken van routines zoals die vaak in kwalitatief onderzoek worden gehanteerd.
In de inleiding van dit artikel schreven we dat het beoordelen van competenties en competentieontwikkeling lastig is en van beoordelaars veel interpretatie vraagt. We hebben een beoordelingsprogramma beschreven waarmee de kwaliteit van die beoordelingen gewaarborgd kan worden door gebruik te maken van routines zoals die vaak in kwalitatief onderzoek worden gehanteerd. Uiteraard zijn er kanttekeningen te zetten bij dit programma waarvan we er hieronder een aantal kort op een rij zetten. De eerste kanttekening is de combinatie van de rol van begeleider en beoordelaar in één persoon. Deze dubbelrol kan consequenties hebben voor de relatie tussen student en begeleider (vergelijk bijvoorbeeld Elshout-Mohr & Van Daalen-Kapteijns, 2003; Tigelaar et al., 2005). De student laat wellicht niet het achterste van de tong zien vanwege het risico dat dit bij de beoordeling een negatief effect heeft. Aan de andere kant zou een begeleidingsrelatie waarbij beoordeling geen rol speelt in een onderwijscontext wel eens tot vrijblijvendheid kunnen leiden (Van der Vleuten & Driessen, 2000). Snyder, Lippincott en Bower (1998)
merken op dat spanning tussen de rol van begeleider en beoordelaar inherent is aan het onderwijs en dat docenten in alle vormen van onderwijs hier constructief mee moeten kunnen omgaan. Dat is natuurlijk geen oplossing voor dit dilemma, maar kan beschouwd worden als een oproep aan opleiders om alert te zijn op de negatieve effecten die de beoordelingsrol kan hebben op hun begeleidingsrelatie met hun studenten. Door studenten ook een stem te geven in de beoordeling en de beoordelingsprocedure en de criteria helder te beschrijven, kunnen dergelijke negatieve effecten mogelijk worden verminderd. Een tweede kanttekening is dat voor de kwaliteit van het programma de kwaliteit van de informatie die studenten zelf in hun portfolio aanleveren erg belangrijk is. Die kwaliteit is zeker niet vanzelfsprekend. Studenten moeten ten eerste begrijpen wat een portfolio is, waarvoor het dient, en wat van ze verwacht wordt. Een duidelijke instructie, bijvoorbeeld aan de hand van een analogie of metafoor (Krause, 1996; Van Tartwijk et al., 2005), kan hier een bijdrage aan leveren, maar is zeker geen garantie. De vertrouwdheid van opleiders zelf met het instrument is ook belangrijk (Van Tartwijk et al., 2005). Studenten moeten ook inzien waarom ze zoveel energie in het portfolio moeten steken. Hiervoor is het van belang dat begeleiders het portfolio en de diverse bronnen daarin een duidelijke plek geven tijdens begeleidingsbijeenkomsten en tijdens (beoordelings)gesprekken met studenten. Aandacht van begeleiders voor het portfolio is een absolute voorwaarde voor de bereidheid van studenten om er tijd in te investeren (Driessen, Van Tartwijk, Van der Vleuten & Wass, 2007). Bovendien is het ook belangrijk dat de studenten het portfolio ook als hun portfolio zien (Van Tartwijk, Driessen, Stokking & Van der Vleuten, 2007; Wade & Yarbrough, 1996). Daarvoor is het belangrijk dat hen voldoende ruimte wordt geboden om er bijna letterlijk een persoonlijk kleur aan te geven. Een derde kanttekening is dat het hier voorgestelde beoordelingsprogramma weliswaar kansen biedt om de kwaliteit van de beoordeling voor zowel selectie, diagnose en certificering te waarborgen, maar dat dit programma van opleiders èn studenten wel een grote investering vraagt. Van studenten wordt gevraagd een uitgebreid en goed gedocumenteerd portfolio te maken. Van opleiders wordt gevraagd dat portfolio goed te bestuderen en met de rubrics in de hand te analyseren, collega’s te raadplegen, veel vast te leggen, en de studenten de ruimte te geven om ook een eigen inbreng te hebben. In de hectische praktijk van alledag is dat veel gevraagd. In ieder geval is van belang te constateren dat deze inspanning meer de moeite loont als de beoordelingen ook substantieel een diagnostische functie hebben en daarmee daadwerkelijk bijdragen aan de ontwikkeling van de student. Ondanks deze kanttekeningen, denken we dat het hier geschetste beoordelingsprogramma mogelijkheden biedt voor een adequate beoordeling van competenties en competentieontwikkeling. We reiken dit beoordelingsprogramma niet aan als de finale oplossing, maar als één mogelijk antwoord op de vraag hoe competenties en competentieontwikkeling in lerarenopleidingen zouden kunnen worden beoordeeld.
LITERATUUR Abma, T.A. (1994). Kwaliteitswaarborging van de vierde generatie evaluatie. In A.L. Franke & R. Richardson (Eds.), Evaluatieonderzoek. Kansen voor een kwalitatieve benadering. Bussum: Coutinho. Andrade, H.G. (2000). Using Rubrics to Promote Thinking and Learning. Educational Leadership, 57(5). Bird, T. (1990). The schoolteacher's portfolio: an essay on possibilities. In J. Millman & L. Darling-Hammond (Eds.), The new handbook of teacher evaluation: Assessing elementary and secondary school teachers (pp. 241-256). Newbury Park, CA: Corwin Press, inc. Bransford, J., Derry, S., Berliner, D.C., Hammerness, K. & Beckett, K.L. (2005). Theories of learning and their roles in teaching. In L. Darling-Hammond, J. Bransford, P. LePage, K. Hammerness & H. Duffy (Eds.), Preparing teachers for a changing world: What teachers should learn and be able to do (pp. 40-88). San Francisco: Jossey-Bass. Corbin, J. & Strauss, A.L. (2008). Basics of Qualitative Research (3rd ed.). Thousands Oaks, CA: Sage. Créton, H. & Wubbels, T. (1984). Ordeproblemen bij beginnende leraren [Discipline problems of beginning teachers]. Utrecht: WCC. Darling-Hammond, L. & Snyder, J. (2000). Authentic assessment of teaching in context. Teaching and Teacher Education, 16(5-6), 523-545. Driessen, E.W., Vleuten, C.P.M. van der, Schuwirth, L., Tartwijk, J. van & Vermunt, J.D. (2005). Credibility of portfolio assessment as an alternative for reliability evaluation: a case study. Medical Education, 39(2), 214-220. Driessen, E.W., Tartwijk, J. van, Vleuten, C. P. M. van der & Wass, V. (2007). What does research has to say about portfolios in medical education?: an overview. Medical Education, 41(11), 1067-1073. Elshout-Mohr, M., Oostdam, R. & Overmaat, M. (2002). Student assessment within the context of constructivist educational settings. Studies in Educational Evaluation, 28(4), 369-390.
Janssen, F., Veldman, I. & Tartwijk, J. van (2008a). Modelgestuurd leren van je succes. Tijdschrift voor Lerarenopleiders, 29(2), 4-13. Janssen, F., Veldman, I. & Tartwijk, J. van (2008b). Professionele docenten opleiden: Een opleidingsvisie. Tijdschrift voor Lerarenopleiders, 29(1), 5-13. Krause, S. (1996). Portfolios in teacher education: Effects of instruction on preservice teachers' early comprehension of the portfolio process. Journal of Teacher Education, 47(2), 130-138. Meriënboer, J.J.G. van, Klink, M. R. v.d. & Hendriks, M. (2002). Competenties: van complicaties tot compromis. Een studie in opdracht van de onderwijsraad. Den Haag: Onderwijsraad. Mokhtari, K., Yellin, D., Bull, K. & Montgomery, D. (1996). Portfolio assessment in teacher education: Impact on nal of Teacher Education, 47(4), 245-252. Shulman, L.S. (1998). Teacher portfolios: a theoretical activity. In N. Lyons (Ed.), With portfolio in hand: validating the new teacher professionalism (pp. 23-38). New York: Teachers College Press. Snyder, J., Lippincott, A. & Bower, D. (1998). The inherent tensions in the multiple uses of portfolios in teacher education. Teacher Education Quarterly, 25(1), 45-60. Tartwijk, J. van, Driessen, E., Stokking, K. & van der Vleuten, C. (2007). Factors influencing the successful introduction of portfolios. Quality in Higher Education, 13(1), 69-79. Tartwijk, J. van, Rijswijk, M. van & Tuithof, H. (2005). De introductie van een portfolio aan de hand van een analogie. VELON tijdschrift voor lerarenopleiders, 26(3), 24-30. Tigelaar, D.E.H., Dolmans, D.H.J.M., Wolfhagen, H.A.P. & van der Vleuten, C.P.M. (2005). Quality issues in judging portfolio: implications for organzing teaching portfolio assessment procedures. Studies in Higher Education, 30(5), 595-610. Vleuten, C.P.M. van der & Driessen, E. W. (2000). Toetsing in probleemgestuurd onderwijs. Groningen: WoltersNoordhoff. Vavrus, L.G. & Collins, A. (1991). Portfolio documentation and assessement center exercises: A marriage made for teacher assessment. Teacher Education Quarterly, 18(2), 13-29.
Guba, E.G. & Lincoln, Y.S. (1989). Judging the quality of fourth generation evaluation. In E.G. Guba & Y.S. Lincoln (Eds.), Fourth Generation Evaluation. London: Sage.
Wade, R.C. & Yarbrough, D.B. (1996). Portfolios: A tool for reflective thinking in teacher education. Teaching and Teacher Education, 12(1), 63-79.
Harden, R.M. (1979). How to assess students: an overview. Medical Teacher, 1(2), 65-69.
TIJDSCHRIFT VOOR LERARENOPLEIDERS - 29(3) 2008
Elshout-Mohr, M. & Daalen-Kapteijns, M.M. van (2003). Goed gebruik van portfolio's in competentiegerichte opleidingen. VELON Tijdschrift voor Lerarenopleiders, 24(4), 5-13.
17
