Vaststellen van didactische bekwaamheid tijdens de LIO-stage Toetsen moeten valide scores opleveren. Elke docent kent deze belangrijkste te stellen kwaliteitseis aan onderwijskundige metingen. Maar er 'iets' mee doen in de eigen beoordelingspraktijk is een heel ander, lastiger verhaal. Dat geldt zeker als de te meten eigenschap verder reikt dan het memoriseren of begrijpen van kennis, zoals bijvoorbeeld het geval is bij de sinds enkele jaren populaire competenties. In dit artikel wordt voor een cruciale te verwerven competentie in de lerarenopleiding, de didactische bekwaamheid, nagegaan in hoeverre het aannemelijk is dat tegen het einde van de LIO-stage een valide beslissing genomen kan worden over de verwerving van deze competentie. Onderzocht is in hoeverre de beoordelingspraktijk tijdens de LIO-stage tegemoetkomt aan de kwaliteitseisen volgens Kane's valideringsprocedure. Daartoe hebben 387 LIO's en 105 stagebegeleiders afkomstig van 18 pabo's en 59 mentoren van betrokken basisscholen gerespondeerd op schriftelijke vragenlijsten. De resultaten lijken aan te geven dat de beoordelingspraktijk tijdens de LIOstage op diverse punten zwakheden vertoont die het nemen van valide beslissingen over didactische bekwaamheid in de weg staan.
Inleiding Veel lerarenopleidingen hebben de laatste jaren hun curricula ingericht volgens de principes van 'competentiegericht opleiden'. Kenmerkend verschil met de meer traditioneel georiënteerde opleidingen is dat authentieke beroepstaken de bouwstenen van het curriculum vormen in plaats van vakdisciplines en schoolvakken. De recent onderscheiden startbekwaamheden zoals beschreven in de wet BIO gelden daarbij steeds vaker als richtsnoer voor zowel de opbouw van het curriculum als de beoordeling van de studenten (SBL, 2003).
AUTEUR(S)
Met de komst van competentiegericht opleiden is de behoefte aan andersoortige vormen van toetsing en beoordeling toegenomen (Dierick & Dochy, 2001; Straetmans & Sanders, 2001). Ten opzichte van traditionele opleidingen verschuift de nadruk van de voorwaarden voor competent handelen (vakdidactische kennis en vaardigheden) naar het handelen in authentieke beroepstaken zelf (Uhlenbeck, Verloop, & Beijaard, 2002) en naar de gevolgen van dat handelen, zoals bijvoorbeeld zichtbaar gemaakt in de al dan niet schriftelijke prestaties van onderwijsdeelnemers.
4
Gerard J.J.M. Straetmans Saxion, Cito Arnhem Erik Roelofs, Cito Arnhem Marit Peters, Universiteit Twente Enschede
Hoewel het nodige geschreven is over de wenselijkheid van competentiegericht beoordelen, is relatief weinig bekend over de mate waarin deze nieuwe beoordelingsvorm inmiddels is ingevoerd bij lerarenopleidingen en nog minder over de kwaliteit daarvan. Het meest recente onderzoek op dit terrein dateert nog uit het pre-SBL tijdperk. Geconcludeerd werd dat "…gezien het feit dat toetsing binnen het competentiegerichte curriculum zich nog in een experimenteel stadium bevindt en er momenteel nog weinig gegevens beschikbaar zijn over de betrouwbaarheid en validiteit van deze nieuwe toetsvormen, het eindniveau van de studenten onvoldoende gewaarborgd kan worden.” (Onderwijsinspectie, 2003, p. 12). Vijf jaar later is de problematiek nog even actueel gelet op de conclusie van de staatssecretaris in de Monitor Beleidsagenda Lerarenopleiding 2005-2008, die luidt dat door het achterblijven van de kwaliteit van toetsing en examinering het hbo-niveau onvoldoende kan worden geborgd (Ministerie van OCW, 2008). Ook de Onderwijsraad concludeert dat integrale examinering van vaardigheden en/of competenties versterking behoeft met het oog op de borging van het eindniveau van aanstaande leraren (Onderwijsraad, 2009, p.23). Voor opleidingen moet dit, zeker nu de NVAO van plan is de accreditatie-eisen op het gebied van toetsing en examinering aan te scherpen, het signaal zijn om de kwaliteit van competentiegerichte beoordelingen nadrukkelijker te gaan bewaken. Om meer zicht te krijgen op de huidige beoordelingspraktijk van competentiegerichte lerarenopleidingen heeft Cito in samenwerking met vier lectoraten1 in het studiejaar 2008-2009 een survey uitgevoerd bij lerarenopleidingen voor het basisonderwijs. Daarbij werd uitsluitend gekeken naar de LIO-stage, tijdens welke de aspirant-leraar basisonderwijs de verant-
woordelijkheid krijgt voor het onderwijs aan een groep, in samenwerking met de vaste groepsleerkracht(en). De aspirant-leraar toont daarmee aan in hoeverre hij, in de ogen van de opleiding, startbekwaam is.
Verantwoord vaststellen van didactische bekwaamheid
Didactische bekwaamheid moet blijken uit het feit dat de aspirant docent adequaat handelt in taaksituaties die representatief zijn voor de taakvervulling in het beroep.
Onderwijskundige metingen, ongeacht of ze bedoeld zijn om kennis, vaardigheden of bekwaamheden te meten, moeten zuiver en relevant zijn of, in psychometrisch jargon, betrouwbaar en valide. Een meting is betrouwbaar als bij herhaalde uitvoering van de meetprocedure steeds min of meer hetzelfde meetresultaat wordt verkregen. Valide is een meting als hij de gebruiker de juiste informatie verstrekt voor het nemen van een of andere beslissing. Validiteit wordt doorgaans als de meer belangrijke eigenschap beschouwd van meetresultaten. Toch is het vaak dit kwaliteitskenmerk dat bij evaluaties van onderwijskundige meetinstrumenten met een onvoldoende beoordeeld wordt of in het geheel niet beoordeeld kan worden omdat de ontwikkelaars van het instrument er geen onderzoek naar gedaan hebben.
Kane (1999) bewandelt een volledig ander pad met zijn argument-based benadering van het valideringsvraagstuk van performance assessments. Volgens hem gaat het er bij validiteit om dat op grond van een assessmentprestatie op overtuigende wijze beargumenteerd kan worden dat een bepaalde beslissing over de kandidaat gerechtvaardigd is. Om de prestatie van een individu op een assessmenttaak of -programma te kunnen interpreteren in termen van diens beroepsmatige competentie zijn volgens Kane op zijn minst de volgende vier 'inferenties' noodzakelijk: 1 De geobserveerde assessmentprestatie wordt beoordeeld en uitgedrukt in een score op een bepaalde beoordelingsschaal; 2 Vanuit deze geobserveerde score wordt gegeneraliseerd naar een verwachte score over het assessmentdomein (dat is de denkbeeldige verzameling van alle relevante assessmenttaken die voorgelegd zouden kunnen worden aan de kandidaat); 3 Vanuit de verwachte score over het assessmentdomein wordt geëxtrapoleerd naar een verwachte score over het praktijkdomein (dat is de denkbeeldige verzameling van alle relevante taaksituaties waarmee de startende professional geconfronteerd kan worden); 4 Op basis van de verwachte score over het praktijkdomein wordt een conclusie getrokken over de beroepsmatige competentie of bekwaamheid. Performance assessments kunnen in hun ontwerp en uitvoering 'zwakke plekken' hebben die een serieuze bedreiging vormen voor genoemde inferentieprocedure. Met een schriftelijke bevraging van de belangrijkste betrokkenen hebben we geprobeerd zicht te krijgen op de beoordelingspraktijk in de LIO-fase en vooral op de vraag in hoeverre de beoordelingsproce-
TIJDSCHRIFT VOOR LERARENOPLEIDERS (VELON / VELOV) - 32(1) 2011
Didactische bekwaamheid kan niet worden afgeleid uit beheersing van de vereiste voorwaardelijke kennis (op het gebied van ondersteunende vakdisciplines en basisschoolvakken) en evenmin uit reflectieverslagen van de student over de uitvoering van beroepstaken. Didactische bekwaamheid moet blijken; blijken uit het feit dat de aspirant docent adequaat handelt in taaksituaties die representatief zijn voor de taakvervulling in het beroep. De LIO-stage is bij uitstek geschikt om daarvoor het bewijsmateriaal te leveren. De LIO-stage kan opgevat worden als een soort proeve van bekwaamheid, een ultieme hands-on toets (Straetmans, 2006, p.41) voor het vaststellen van bekwaamheden. 'Ultiem' omdat toetssituatie en criteriumsituatie (dat waarvoor de kandidaat wordt opgeleid en waar het diploma toegang tot verleent) nauwelijks van elkaar te onderscheiden zijn. Door de sterke gelijkenis met de criteriumsituatie wordt vaak gedacht dat een proeve van bekwaamheid als vanzelf leidt tot uitkomsten die valide te interpreteren zijn. Helaas blijkt de toegeschreven hoge validiteit van de proeve van bekwaamheid soms niet meer dan schijnvaliditeit te zijn (Straetmans, 2006, p.21). Om die reden, maar ook vanwege de toenemende druk vanuit de samenleving en de politiek om het eindniveau van de lerarenopleidingen te borgen, lijkt het niet verstandig om beslissingen te nemen over de didactische bekwaamheid van kandidaten zonder dat de kwaliteit van de daarvoor gebruikte assessmentprocedure geborgd is.
Tot in de jaren tachtig van de vorige eeuw was het ideale model voor de validering van performance assessments gebaseerd op empirisch onderzoek dat het verband tussen toetsscores en scores op een of ander extern criterium uitdrukte in een correlatie coëfficiënt (Ebel, 1983). Het lijkt heel plausibel om de validiteit van bijvoorbeeld een examen af te meten aan de successen van de gediplomeerde in een of andere relevante vervolgsituatie, bijvoorbeeld de beroepspraktijk. Maar wat moet verstaan worden onder successen (er blijkt vaker niet dan wel een absoluut beheersingsniveau of 'gouden standaard' bepaald te zijn) en hoe meten we die op een zodanige wijze dat ze in ieder geval betrouwbaarder en meer valide zijn dan het te evalueren examen zelf? Immers, niemand is gebaat bij validering aan een 'wrak' criterium. Naast praktische zijn er ook methodologische problemen, namelijk dat meestal alleen de geslaagden in een dergelijke valideringsstudie kunnen participeren aangezien de gezakten dikwijls geen toegang tot de vervolgsituatie hebben. Fundamenteler nog is de kritiek van Borsboom, c.s. (2004), welke inhoudt dat met correlatiestudies weliswaar verbanden zijn op te sporen tussen variabelen maar geen oorzakelijke verbanden. En dat laatste is een belangrijke zwakheid omdat volgens deze auteurs een meetinstrument slechts valide metingen kan opleveren als variaties in de meetresultaten veroorzaakt worden door variaties in de te meten eigenschap.
5
dures hinder ondervinden van deze bedreigingen en daarmee een belemmering vormen voor een succesvolle inferentieprocedure.
Onderzoek naar de beoordelingspraktijk gedurende de LIO-stage Doel van de LIO-stage is het verwerven van startbekwaamheid; dat is een brede bekwaamheid die niet alleen betrekking heeft op de onderwijstaken binnen de klas, maar op alle bij het beroep van leerkracht behorende werkzaamheden zoals: het deelnemen aan vergaderingen, het houden van beoordelingsgesprekken, het omgaan met ouders, enz. De hoofdtaak is echter het zelfstandig begeleiden van een groep leerlingen. Daarvoor heeft een LIO voldoende didactische bekwaamheid nodig. Vraagstelling
Vaststellen van didactische bekwaamheid tijdens de LIO-stage
Tijdens de LIO-stage worden taken uitgevoerd aan de hand waarvan beoordeeld wordt of de LIO in voldoende mate didactisch bekwaam is. Onderhavige studie werd opgezet om antwoord te krijgen op de vraag of de beoordelingspraktijk tijdens de LIO-stage gerechtvaardigde beslissingen over de verwerving van didactische bekwaamheid toelaat. De aandacht is daarbij vooral uitgegaan naar de vraag in hoeverre het ontwerp en de uitvoering van de assessments tijdens de LIO-stage tegemoetkomen aan de voorwaarden voor een succesvolle inferentieprocedure. Bij het ontwerp van de vragenlijsten is dan ook nauw aangesloten bij de verschillende stappen in de inferentieprocedure. Dat lichten we hieronder eerst toe.
6
Voorwaarden voor een accurate beoordeling De eerste inferentie heeft te maken met de observatie en waardering van een assessmentprestatie en de kwantificering daarvan in een score. Om te kunnen dienen als een basis voor verdere inferenties moet de geobserveerde score accuraat zijn, ofwel zoveel mogelijk vrij zijn van meetfouten. Meetfouten worden veroorzaakt door imperfecties in de meetprocedures. Die kunnen van allerlei aard zijn. Zoals bijvoorbeeld onduidelijkheid bij betrokkenen over de aard en uitvoering van de beoordelingsprocedure. Of een onvoldoende uitgewerkte operationalisatie van de te beoordelen bekwaamheid, zoals kan blijken uit het ontbreken van een heldere en volledige beschrijving van het taakdomein en/of uit het ontbreken van helder geformuleerde prestatiecriteria. Of onvoldoende controle op de beoordelingskwaliteit van de assessoren. Maar ook de onzekerheid over de herkomst van bewijsstukken en dergelijke. Op deze en nog andere aspecten zijn de respondenten bevraagd. Voorwaarden voor generalisatie van assessmentprestaties De tweede inferentie gaat over de toelaatbaarheid van een generaliserende uitspraak over al die andere assessmenttaken die aangeboden hadden kunnen worden. Het doel van een assessment is niet zozeer om te weten te komen wat een kandidaat presteert op de concrete assessmenttaken, maar om een conclusie te trekken over het al dan niet verworven zijn van competentie of bekwaamheid op een beschreven
taakdomein. Het oordeel over competentie of bekwaamheid zou niet afhankelijk mogen zijn van de specifieke set van uitgevoerde assessmenttaken. Volgens onderzoek echter speelt in alle domeinen het probleem van de taakspecifieke prestatie (Linn & Burton, 1994). Het zou een gevolg zijn van het feit dat kennis en vaardigheden niet zonder meer overdraagbaar zijn van de ene toepassingscontext naar de andere. Het is dus maar de vraag of een conclusie over didactische bekwaamheid die vooral gebaseerd is op bewijsmateriaal afkomstig uit gegeven taallessen, ook geldig is voor de andere schoolvakken. Maar ook binnen een bepaald schoolvak is een dergelijke vraag gerechtvaardigd: een prima verzorgde instructie over het optellen en aftrekken met ongelijknamige breuken biedt geen garantie voor de kwaliteit van een instructie over meten met inhoudsmaten. Voorkomen moet worden dat de conclusie over de didactische bekwaamheid van een LIO heel anders uitvalt bij een andere selectie van assessmenttaken. Dat kan door een zorgvuldige afbakening en beschrijving van het taakdomein en de relevante condities waaronder gepresteerd moet worden en door een selectie van assessmenttaken die deze verscheidenheid vertegenwoordigt. Dan nog kan een uitkomst echter zijn dat prestaties op assessmenttaken sterk variëren, hetgeen dan de vraag oproept of er wellicht niet meer dan één competentie of bekwaamheid in het geding is. Bijvoorbeeld, doordat didactische bekwaamheid op het gebied van aanvankelijk lezen iets anders behelst dan didactische bekwaamheid op het gebied van rekenen. De LIO zou de ene verworven kunnen hebben en de andere (nog) niet. In de survey hebben we de respondenten bevraagd op diverse aspecten die verband houden met de kwaliteit van de steekproef van assessmenttaken. Voorwaarden voor extrapolatie van assessmentprestaties Met de derde inferentie wordt de interpretatie van de assessmentscore uitgebreid (geëxtrapoleerd) naar het doel- of praktijkdomein. Het praktijkdomein wordt gevormd door de volledige verzameling taaksituaties waarin iemand geacht wordt adequaat te kunnen handelen als de te toetsen competentie of bekwaamheid verworven is. De vraag die hier in het geding is, luidt: In hoeverre is het mogelijk om op grond van de assessmentprestatie een conclusie te trekken over de verwachte prestatie in de vervolgsituatie waarover het assessment een uitspraak wil doen? Meer concreet gesteld: Geven de resultaten op de tijdens de LIOstage uitgevoerde assessmenttaken voldoende houvast om uitspraken te doen over het didactisch handelen in de reële beroepspraktijk? Om hier zicht op te krijgen zijn de respondenten bevraagd op de authenticiteit van de assessmenttaken tijdens de LIO-stage. Voorwaarden voor een accurate beslissing De laatste inferentie behelst het trekken van een conclusie over de in het geding zijnde competentie of bekwaamheid op grond van de geobserveerde assessmentscores. Dit houdt in dat deze scores geëvalueerd worden door ze te vergelijken met een vastgestelde standaard om op grond daarvan te beslissen of de LIO didactisch bekwaam is of niet. Om willekeur te voorkomen is het gewenst dat de standaard helder omschreven is en dat aangegeven is hoe de assess-
mentscores daartegen moeten worden afgezet. Uiteraard moet de standaard zelf valide zijn, maar de vaststelling daarvan is bijzonder lastig en is zeker niet uitvoerbaar aan de hand van een schriftelijke vragenlijst. Vandaar dat de respondenten in dit kader alleen bevraagd zijn op de aanwezigheid van procedures die voorschrijven hoe men op grond van beoordeelde assessmentscores kan komen tot een beslissing over didactische bekwaamheid. Onderzoeksopzet Instrumenten Om informatie te verkrijgen over de realisatie van de voorwaarden voor solide (betrouwbare en valide) beoordelingen tijdens de LIO-stage zijn per inferentie vragen opgesteld en ondergebracht in vijf rubrieken. Voor verdere details wordt verwezen naar Peters (2009). De vragen zijn opgenomen in drie evaluatieve vragenlijsten voor de groepen direct betrokkenen bij de beoordeling van de LIO-stage: studenten, mentoren vanuit de basisschool, en stagebegeleiders vanuit de opleiding. De vragenlijsten zijn web-based afgenomen (toegankelijk via een URL) in de periode van januari tot half april 2009. Respondenten In totaal hebben 387 LIO's, 59 mentoren vanuit basisscholen en 105 stagebegeleiders vanuit PABO's aan het onderzoek deelgenomen. De stagebegeleiders en LIO's zijn afkomstig van 14 PABO's, gespreid over het land. Van de 37 PABO's die Nederland telt heeft dus ruim eenderde deel deelgenomen aan het onderzoek.
Resultaten
Voorwaarden voor accurate beoordelingen Gestandaardiseerde beoordeling Als er assessoren moeten worden ingezet om gedrag of producten te beoordelen, is standaardisatie van de beoordelingsprocedure een beproefde methode om de subjectiviteit van het assessor-oordeel te beperken. Standaardisatie van de beoordelingsprocedure houdt in dat er voorschriften zijn voor wat en hoe er beoordeeld moet worden. Ten aanzien hiervan leidde de survey tot de volgende constateringen: • In de vragenlijst is aan stagebegeleiders van de PABO en aan mentoren van de stagescholen gevraagd of ze bij het beoordelen van de didactische bekwaamheid gebruik maken van prestatiecriteria. Nagenoeg alle stagebegeleiders (98,5%) en mentoren (96%) geven aan dit te doen. De vraag blijft in hoeverre de gebruikte prestatiecriteria voldoende ondersteuning kunnen bieden voor een beoordeling. Goed geformuleerde prestatiecriteria geven niet alleen aan waarop de beoordeling zich moet richten, maar ook welke prestatieniveaus onderscheiden kunnen worden en wanneer van welk prestatieniveau sprake is. Daarnaar gevraagd
Voldoende bewijslast Bij deze voorwaarde gaat het niet alleen om de hoeveelheid bewijs maar ook om de kwaliteit daarvan. Niet elke prestatie kan gelden als een bewijsstuk en niet elke verzameling bewijsstukken is zonder meer een goede afspiegeling van het assessmentdomein. Bevraging van relevante betrokkenen leidde op dit punt tot de volgende constateringen: • In de vragenlijst is aan stagebegeleiders en mentoren gevraagd op hoeveel bewijsstukken ze het oordeel over didactische bekwaamheid van LIO's doorgaans baseren. Van de stagebegeleiders geeft 55 procent aan daarvoor maximaal vijf bewijsstukken te beoordelen en 31 procent meer dan zes bewijsstukken. Bij de mentoren liggen die percentages op 44 respectievelijk 42 procent. • Daarnaar gevraagd geeft 89 procent van de stagebegeleiders en 85 procent van de mentoren aan dat ze vanuit de PABO richtlijnen hebben ontvangen over welke prestaties van LIO's in aanmerking komen als (deel van het) bewijs voor didactische bekwaamheid. Ondanks de beschikbaarheid van deze richtlijnen zegt eenderde van zowel de stagebegeleiders als de mentoren dat de aangereikte bewijzen door LIO's de ene keer voldoende en de andere keer onvoldoende informatie geven over hun didactische bekwaamheid. Kennelijk laten de richtlijnen zoveel ruimte voor interpretatie dat LIO's van tijd tot tijd hun didactische bekwaamheid proberen te bewijzen met prestaties die daarvoor onvoldoende geschikt zijn. • De kwaliteit van het bewijs is ook afhankelijk van de vraag of er sprake is van een directe registratie van het didactisch handelen van een LIO en van de daaruit voortvloeiende resultaten. In dat geval spreken we van 'direct bewijs'. Indirect bewijs wordt verkregen als de beoordeling van het didactisch handelen en de resultaten berust op een
TIJDSCHRIFT VOOR LERARENOPLEIDERS (VELON / VELOV) - 32(1) 2011
De resultaten van de schriftelijke bevraging van de drie betrokken partijen worden hier beschreven in het licht van de voorwaarden waaraan voldaan moet zijn voor de vier door Kane geformuleerde inferenties.
blijkt ongeveer driekwart van de stagebegeleiders te kunnen beschikken over door de opleiding verstrekte scorevoorschriften, beoordelingsschalen of andere hulpmiddelen om prestaties te beoordelen. Voor mentoren is dit 60 procent. • De inzet van een portfolio waarin de LIO bewijsstukken voor zijn didactische bekwaamheid vergaart doet veronderstellen dat er in de LIO-stage voornamelijk analytisch beoordeeld wordt. Maar de reacties op de vraag aan assessoren of zij bewijsstukken van LIO's elk afzonderlijk van een oordeel voorzien, laten twijfel ontstaan over die constatering. Meer dan 40 procent van de stagebegeleiders en 16 procent van de mentoren geeft aan bewijsstukken niet afzonderlijk te beoordelen. Wanneer dit wel gebeurt geeft 35 procent van de stagebegeleiders en 50 procent van de mentoren aan dit te doen in termen van 'onvoldoende', 'voldoende' of 'goed'. • Ondanks het massale gebruik van door de opleiding verstrekte prestatiecriteria is het niet voor elke LIO duidelijk waarop hij tijdens de LIO-stage beoordeeld wordt. Slechts 42 procent reageert met 'helemaal duidelijk'. Voor 8, 11 en 39 procent van de ondervraagde LIO's is dit respectievelijk 'volstrekt onduidelijk', 'redelijk onduidelijk' en 'enigszins duidelijk'.
7
Vaststellen van didactische bekwaamheid tijdens de LIO-stage
(schriftelijk) verslag van de student zelf, de mentor of andere assessor, zonder dat het mogelijk is om het originele bronmateriaal te beschouwen. Bevraging van de stagebegeleiders en mentoren liet zien dat het aantal indirecte bewijzen behoorlijk groot is: Ongeveer 45 procent van de stagebegeleiders en 35 procent van de mentoren geeft aan dat minstens de helft van het bewijs van het indirecte soort is. • Op de vraag welk type bewijsmateriaal wordt opgevoerd, reageert meer dan 80 procent van de stagebegeleiders met lesbezoeken, stage- of reflectieverslagen en gesprekken tussen LIO, mentor en stagebegeleider. Ongeveer 65 procent zegt dat er lesopzetten als bewijsmateriaal worden aangeboden en minder dan 20 procent noemt videoverslagen van gegeven lessen en leerprestaties of ervaringen van leerlingen als gevolg van door de LIO gegeven les(sen). Bevraging van de LIO's leverde een ander beeld op. Driekwart van hen zegt gesprekken tussen LIO, stagebegeleider en mentor en stage- of reflectieverslagen op te voeren als bewijs en 63 procent gebruikt verslagen van lesbezoeken. De helft gebruikt lesopzetten als bewijsmateriaal en 35 procent geeft te kennen de leerprestaties van de leerlingen daarvoor te gebruiken. •Als we kijken naar de intensiteit waarin stagebegeleiders bewijzen raadplegen alvorens tot een oordeel te komen over didactische bekwaamheid, dan valt op dat reflectieverslagen veruit het vaakst ingezien worden (84% bekijkt deze vaker dan twee keer). De twee directe bewijsbronnen, ingeleverde lesopzetten (60%) en video-opnames van lessen (14%), worden veel minder vaak herhaald bekeken. •Aan de LIO's is gevraagd of zij of medestudenten wel eens bewijzen voor bekwaamheid opvoeren die niet voortkomen uit zelf geleverde prestaties. Ongeveer 54 procent van de ondervraagde LIO's meent zeker te weten of vermoedt dat anderen zich daar schuldig aan maken. En vijf procent geeft toe dat ze zelf één of meerdere bewijsstukken hebben aangeleverd die het werk zijn van anderen. Het blijkt daarbij te gaan om van het Internet gehaalde bewijzen, om geleende bewijzen van medestudenten of oud-studenten of om verzonnen bewijzen.
8
Kwaliteit van assessoren Omdat prestatiecriteria niet zodanig te objectiveren zijn dat een willekeurige assessor ze zou kunnen toepassen, is interpretatie ervan onontkoombaar. Daar komt bij dat assessoren vaak beschouwd worden als de 'zwakste schakel' in het beoordelingsproces (Schoonman, 2005). Het is daarom verstandig te investeren in assessoren die deskundig zijn op het betreffende terrein, die kritisch zijn op hun werk, met name op hun beoordelingsactiviteiten, die inzicht hebben in het beoordelingsconcept, de kwalificatieeisen van de opleiding en de daarvan afgeleide prestatiecriteria en die hebben deelgenomen aan een assessorentraining. Ten aan zien van dit onderwerp heeft bevraging van de respondenten tot de volgende constateringen geleid: • De surveyresultaten laten zien dat bijna alle PABO's eisen stellen aan hun assessoren. Bijna 95 procent van de stagebegeleiders en tweederde van de mentoren geven aan dat de PABO eist dat een assessor goed op de hoogte is van alle aspecten van
het leraarschap en wat daarbij van een LIO wordt verwacht. Dat houdt in ieder geval in dat een assessor de bekwaamheidseisen kent zoals die geformuleerd zijn in de wet BIO. Iets meer dan de helft van de stagebegeleiders en eenvijfde van de mentoren geeft aan dat de PABO bovendien eist dat de assessor zelf achter deze eisen kan staan. Tweederde van de stagebegeleiders en iets minder dan de helft van de mentoren meldt dat de PABO ook eisen stelt aan de deskundigheid op het gebied van beoordelen. •Om de vereiste deskundigheid te verwerven heeft tweederde van de stagebegeleiders en ruim eenderde van de mentoren een assessorentraining gevolgd. Gevraagd naar de inhoud van die training blijkt dat de meeste assessoren getraind zijn in het geven van feedback en het adequaat hanteren van prestatiecriteria. Onderwerpen als 'het bepalen van overeenstemming tussen assessoren' en 'het vormen van een consensusoordeel' blijken veel minder vaak expliciet aan de orde te komen. En juist die onderwerpen zijn van belang om beoordelaars in staat te stellen om zelfstandig 'de vinger aan de pols te houden' voor wat betreft de kwaliteit van de beoordelingen. •Aan mentoren en stagebegeleiders is de vraag gesteld hoe vaak zij in de typische beoordelingsvalkuilen lopen. Naar eigen zeggen lopen beide respondentgroepen niet of nauwelijks in de volgende valkuilen: de neiging om geen extreem hoge of lage scores te geven, te snel veralgemeniseren, te streng of juist te mild beoordelen, persoonlijke criteria hanteren, omwille van de relatie niet te streng beoordelen, eerder gegeven oordelen tijdens de LIO-stage een rol laten spelen bij nieuwe beoordelingen. Daarentegen rapporteren stagebegeleiders wel dat ze af en toe hun algemene indruk over de LIO laten doorwerken in alle beoordelingen. Voorwaarden voor de generalisatie van assessmentprestaties Dekking van het assessmentdomein Bij een assessment gaat de belangstelling niet zozeer uit naar de prestatie op de aangeboden taak of taken, maar naar de prestatie die naar verwachting geleverd zou worden als de kandidaat alle andere mogelijke taken (het assessmentdomein genoemd) zou uitvoeren. Om daarover een betrouwbare uitspraak te kunnen doen is het noodzakelijk dat de uitgevoerde assessmenttaken een goede afspiegeling zijn van het assessmentdomein en de daarin vermelde taakcondities. Bevraging van de betrokkenen hierop leidde tot de volgende constateringen: • Diverse vragen in de vragenlijsten voor stagebegeleiders, mentoren en LIO's hadden tot doel om na te gaan in hoeverre de PABO's maatregelen hebben getroffen om de generaliseerbaarheid van de assessmentprestaties te borgen. Een daarvan is het gericht laten uitvoeren van specifieke taken tijdens de LIO-stage. Ongeveer 60 procent van de stagebegeleiders geeft aan dat de LIO's speciale taken krijgen waarvan de uitvoering zicht zou moeten geven op de didactische bekwaamheid. Van de LIO's geeft een kleine 70 procent aan dat dit het geval is. • Een andere belangrijke vraag in dit verband is of LIO's expliciet opdracht krijgen om hun didactische
bekwaamheid aan te tonen in lessituaties in verschillende vakgebieden (zoals taal, rekenen, zaakvakken en creatieve vakken). Iets meer dan de helft van de stagebegeleiders zegt dergelijke opdrachten niet te geven en tweederde van de LIO's zegt dergelijke opdrachten niet te krijgen. • Op de vraag of de uitgevoerde assessmenttaken inhoudelijk en situationeel gezien voldoende gevarieerd zijn om als representatief beschouwd te kunnen worden voor het gehele spectrum van mogelijke taaksituaties, antwoordt 76 procent en 82 procent van respectievelijk de stagebegeleiders en mentoren bevestigend. Voorwaarden voor de extrapolatie van assessmentprestaties
Voorwaarden voor accurate beslissingen over bekwaamheid Procedures voor het bepalen van het eindoordeel Als er geen procedure is voorgeschreven om tot een eindoordeel te komen, is de kans groot dat verschillende assessoren op basis van een reeks gescoorde
Ondanks het feit dat de meeste opleidingen prestatiecriteria hebben geformuleerd, zegt het merendeel van de LIO's niet precies te weten waarop ze tijdens de LIO-stage beoordeeld worden.
Conclusie en discussie Samenvattend zijn de belangrijkste constateringen naar aanleiding van deze survey: 1. Er is reden voor twijfel aan de accuraatheid van beoordelingen die door stagebegeleiders en mentoren worden toegekend aan prestaties op al dan niet expliciet verstrekte assessmentopdrachten. Die twijfel wordt ingegeven door: • Niet optimaal uitgewerkte prestatiecriteria. De meeste opleidingen hebben wel prestatiecriteria geformuleerd, maar in een kwart van de gevallen worden die niet ondersteund met hulpmiddelen, zoals scorevoorschriften en beoordelingsschalen, die de assessor ondersteunen bij de toepassing van de prestatiecriteria. Van dergelijke lijstjes met 'aandachtspunten voor de beoordeling' mag niet verwacht worden dat ze de assessor kunnen helpen om prestaties accuraat te beoordelen. • Onvoldoende consequente toepassing van prestatiecriteria. De prestatiecriteria worden te vaak alleen gebruikt voor het geven van een eindoordeel over de LIO-stage en niet om elke assessmentprestatie die tijdens de stage geleverd wordt mee te beoordelen. • Onvoldoende transparantie. Ondanks het feit dat de meeste opleidingen prestatiecriteria hebben gefor-
TIJDSCHRIFT VOOR LERARENOPLEIDERS (VELON / VELOV) - 32(1) 2011
Representativiteit van de assessmenttaken De context waarin de LIO zijn werk verricht is vaak niet te onderscheiden van die waarin de bevoegde leraar zijn taak uitvoert. Voor assessment doeleinden is dat in principe een prettige situatie. Wat echter problemen kan geven, is dat de LIO vaak speciale taken krijgt opgedragen waarvan de resultaten als bewijsstuk in het beoordelingsportfolio worden opgeslagen. Als die taken onvoldoende representatief zijn voor de werkzaamheden in de reële beroepspraktijk dan wordt het, ondanks het feit dat de context waarin gewerkt wordt een perfecte afspiegeling is van de reële beroepspraktijk, toch moeilijk om op basis van de resultaten een uitspraak te doen over de didactische bekwaamheid van de LIO. Bevraging van de respondenten leidde tot de volgende constateringen: • Nagenoeg alle ondervraagde stagebegeleiders en mentoren vinden dat de bewijsstukken die de LIO opvoert voor zijn eindbeoordeling een voldoende of goede afspiegeling vormen van de taken die de startbekwame leerkracht in de beroepspraktijk moet kunnen uitvoeren. • Het beeld verandert echter bij het stellen van de volgende, meer specifieke vraag over de kwaliteit van de bewijsstukken: Lesgeven in de praktijk is complex, door de gelijktijdigheid van gebeurtenissen in de klas. De leerkracht moet gelijktijdig en direct adequate beslissingen nemen. Hij/zij dient de didactische aanpak aan te passen aan de kenmerken van de leerlingen. In hoeverre vindt u dat de bewijsstukken waarmee de LIO de eigen bekwaamheid moet aantonen, deze complexiteit weerspiegelen? Het percentage stagebegeleiders en mentoren dat positief reageert op deze vraag is nu een stuk lager: 39 respectievelijk 52 procent vindt dat de bewijsstukken een goede weerspiegeling vormen van de complexe beroepspraktijk. Ruim 40 procent van de stagebegeleiders en mentoren vindt de bewijsstukken in dit opzicht wisselend van kwaliteit en een kleine 20 procent van de stagebegeleiders (en 6 procent van de mentoren) is van mening dat de bewijsstukken in dit opzicht tekortschieten.
bewijsstukken tot verschillende totaalscores komen en zelfs tot andere beslissingen (bijvoorbeeld in termen van geslaagd of gezakt) over didactische bekwaamheid. In dit verband heeft bevraging van de respondenten tot de volgende constateringen geleid: • Op de vraag of de opleiding een procedure voorschrijft volgens welke het eindoordeel over de LIOstage berekend (in het geval van kwantitatieve oordelen) dan wel afgeleid moet worden uit de scores of beoordelingen die zijn toegekend aan afzonderlijke prestaties, geeft 81 procent van de stagebegeleiders een positief antwoord. Ondanks het bestaan van dergelijke procedures geeft, zoals al eerder in dit artikel werd gerapporteerd, 41 procent van de stagebegeleiders aan prestaties helemaal niet afzonderlijk te beoordelen. Dat laatste gegeven correspondeert weer met de bevinding dat meer dan 40 procent van de LIO's niet op de hoogte was van een procedure voor zak-/slaagbeslissingen. • Van de bevraagde stagebegeleiders en mentoren zegt respectievelijk 71 en 82 procent dat in goed overleg een consensusbesluit genomen wordt over de didactische bekwaamheid van de LIO. • Driekwart van de stagebegeleiders baseert het eindoordeel op wat de LIO feitelijk gepresteerd heeft in zijn stage, maar een kwart doet dit primair op basis van een inschatting of de LIO in de toekomst zal uitgroeien tot een startbekwame leerkracht.
9
muleerd, zegt het merendeel van de LIO's niet precies te weten waarop ze tijdens de LIO-stage beoordeeld worden. Dit zou een gevolg kunnen zijn van de onvoldoende uitwerking die aan de prestatiecriteria gegeven is. • Onvoldoende bewijs. Dit als gevolg van ongeschikte bewijsstukken en/of bewijsstukken van onbekende herkomst. Eindoordelen over de didactische bekwaamheid zijn daardoor in bijna de helft van de gevallen gebaseerd op zwak bewijs (gesprekken en verslagen blijken populairder dan de methodes die op directe wijze zicht geven op de bekwaamheid om adequaat te handelen in onderwijsleersituaties). 2. Er is reden om eraan te twijfelen of de bewijsstukken die de LIO's overleggen een voldoende dekking garanderen van het assessmentdomein. Het merendeel van de stagebegeleiders en mentoren is daar optimistisch over, maar gelet op het geringe aantal bewijsstukken en het ontbreken van sturing vanuit de opleiding met het oog op de verkrijging van een goede dekking, lijkt dat optimisme niet gerechtvaardigd.
Vaststellen van didactische bekwaamheid tijdens de LIO-stage
3. De mate waarin de bewijsstukken een natuurgetrouwe afspiegeling zijn van de taken waarmee de beginnende leraar geconfronteerd wordt, is in beginsel adequaat. Wel vindt een aanzienlijk deel van de bevraagde stagebegeleiders en mentoren dat het door de LIO aangedragen bewijsmateriaal geen goede representatie is van de complexe beroepspraktijk (bijvoorbeeld het omgaan met individuele verschillen tussen leerlingen).
10
4. Ten slotte twijfelen we ook of voldaan wordt aan de voorwaarden om te komen tot accurate beslissingen over didactische bekwaamheid. Weliswaar geeft het merendeel van de stagebegeleiders aan dat de opleiding een procedure voorschrijft om tot een eindoordeel te komen, maar op grond van andere responsen die in dit verband verkregen werden, valt af te leiden dat deze waarschijnlijk geen regels bevatten om de toegekende scores aan assessmentprestaties samen te vatten in een eindoordeel. Zonder dergelijke regels zijn beslissingen over didactische bekwaamheid subjectief, niet transparant en slecht verdedigbaar naar de betrokkenen.
Eindoordelen over de didactische bekwaamheid zijn in bijna de helft van de gevallen gebaseerd op zwak bewijs.
De constateringen overziend denken wij dat de beoordelingspraktijk tijdens de LIO-stage op dit moment vaak niet zal voldoen aan de voorwaarden voor een succesvolle inferentieprocedure volgens Kane. De oorzaak daarvan zoeken wij primair in het ontbreken van voldoende regie bij de inrichting en uitvoering van procedures voor het vaststellen van didactische bekwaamheid. De grote verantwoordelijkheid die de student met de invoering van het competentiegericht opleiden heeft gekregen voor de
samenstelling van zijn beoordelingsportfolio kan bij de opleidingen gemakkelijk leiden tot de gedachte dat er geen regels nodig zijn voor de samenstelling van het bewijs voor de te beoordelen bekwaamheid. Dat is riskant. Als een LIO bijvoorbeeld problemen ervaart met onderwijs geven in taal of rekenen zal die zich bij het aantonen van didactische bekwaamheid liever richten op andere vakgebieden. Zonder voldoende sturing vanuit de opleiding zullen daarom maar weinig beoordelingportfolio's een verzameling bewijsstukken bevatten die voldoende representatief is om op basis daarvan generaliserende uitspraken te doen over de beheersing van het assessmentdomein (de verzameling assessmenttaken die de operationalisatie vormt van de te meten bekwaamheid). Het feitelijk gehanteerde bewijsmateriaal zal daardoor vaak niet de basis vormen om met voldoende zekerheid beslissingen te kunnen nemen over de didactische bekwaamheid. Hier liggen kansen voor verbetering, want juist de LIO-stage biedt in beginsel volop gelegenheid om zowel in kwantitatief als kwalitatief opzicht voldoende informatie te verzamelen over de vast te stellen bekwaamheid.
NOOT 1
Graag willen wij de lectoren bedanken die hebben bijgedragen aan de totstandkoming van dit onderzoek: Dr. Ellen van den Berg (Hogeschool Edith Stein), Dr. Niels Brouwer (Iselinge Hogeschool) en Dr. Dominique Sluijsmans (Hogeschool Arnhem en Nijmegen). Ook dank aan de vele coördinatoren en opleiders van de lerarenopleidingen, de stagementoren van de basisscholen en de LIO-studenten voor hun onmisbare medewerking aan het onderzoek.
LITERATUUR Borsboom, D., Mellenbergh, G.J., & Heerden, J. van. (2004). The concept of validity. Psychological Review, 111, 4, 1061–1071. Dierick, S., & Dochy, F. (2001). New Lines in Edumetrics: New Forms of Assessment Lead to New Assessment Criteria. Studies in Educational Evaluation, 27(4), 307329. Ebel, R.L. (1983). The practical validation of tests of ability. Educational Measurement: Issues and Practice, 2, 2, 7-10. Inspectie van het onderwijs (2003). Bekwaam afgerond? Evaluatie startbekwaamheden in opleidingen Leraar Basisonderwijs. Inspectierapport, nr. 2003-12. Utrecht: Inspectie van het Onderwijs. Kane, M., Crooks, T., & Cohen, A. (1999). Validating Measures of Performance. Educational Measurement: Issues and Practice, 18, 2, 5-17 Linn, R.L., & Burton, E. (1994). Performance-based assessment: Implications of task specificity. Educational Measurement: Issues and Practice, 13, 1, 5-15. Ministerie van Onderwijs, Cultuur en Wetenschap (2008). Monitor Beleidsagenda Lerarenopleidingen 2005-2008. www.minocw.nl/documenten/4347.pdf Onderwijsraad (2009). Kwaliteitsborging van het eindniveau van aanstaande leraren. Den Haag: Onderwijsraad. Peters, M. (2009). De praktijk van de beoordeling van LIO-stages binnen lerarenopleidingen basisonderwijs.
Een onderzoek naar validiteit van bekwaamheidsbeoordeling bij studenten in de LIO-stage van de lerarenopleiding basisonderwijs (Master’s thesis). Nijmegen: Radboud Universiteit. Schoonman, W. (2005). De zwakste schakels. Over assessment door assessoren. Onderzoek van Onderwijs, 34, 10-14. Stichting Beroepskwaliteit leraren en ander personeel. (2003). Bekwaamheidseisen leraren. Den Haag: SBL. Straetmans, G.J.J.M., & Sanders, P.F. (2001). Beoordelen van competenties van docenten. EPS-reeks 05. Educatief Partnerschap. Straetmans, G.J.J.M. (2006). Bekwaam beoordelen en beslissen. Beoordelen in competentiegerichte beroepsopleidingen. Lectorale Rede. Enschede: Saxion Hogescholen.
TIJDSCHRIFT VOOR LERARENOPLEIDERS (VELON / VELOV) - 32(1) 2011
11
