Non satis scire: Weten is niet genoeg Beoordelen van docentcompetenties in de universitaire lerarenopleiding Tanja Janssen, Universiteit van Amsterdam (voorzitter) Jan van Driel, Universiteit Leiden (referent) Jantina Huizenga, Universiteit van Amsterdam Frans Kranenburg, Universiteit Utrecht Alessandra Corda, Hogeschool van Amsterdam Saskia Attema-Noordewier, Vrije Universiteit Amsterdam Ruurd Taconis, Technische Universiteit Eindhoven Wilfried Admiraal, Universiteit Leiden
Divisie: Lerarenopleiding en leraarsgedrag Keywords: lerarenopleiding, beoordeling, docentcompetenties 1
Inleiding
Doelstelling Beoordeling neemt in toenemende mate een belangrijke plaats in het onderwijs. Traditioneel worden competenties van aanstaande leraren in de lerarenopleiding beoordeeld met behulp van reflectie-opdrachten en leerverslagen. Deze beoordeling geven echter geen valide beeld van de benodigde competenties van beginnende docenten. Derhalve is de laatste jaren een groeiende belangstelling merkbaar voor het beoordelen van performance van aanstaande docenten door bijvoorbeeld klasobservaties, producten (zoals lesontwerpen), en testen. Tegelijkertijd is er ook een trend om formatieve en summatieve aspecten van beoordelingen te combineren: beoordelingen zijn niet alleen gericht op het vaststellen van welke competenties aanstaande docenten bezitten; zij hebben ook als doel aanstaande docenten gerichte feedback te geven welke competenties zij bezitten, in welke ontwikkelingsfase tot beginnend docent zij zich bevinden en hoe zij de benodigde competenties kunnen verwerven. De doelstelling van dit symposium is inzicht te geven in de wijze waarop meervoudige beoordeling van competenties van aanstaande docenten in de universitaire lerarenopleiding op een efficiënte en effectieve manier kan worden vorm gegeven. Wetenschappelijke betekenis In de lerarenopleiding wordt veelal gebruikt gemaakt van reflectieverslagen en zelfevaluaties om de competenties van aanstaande docenten te beoordelen (cf., Fox, White, & Kidd, 2011). Echter, dikwijls wordt er een groot verschil ervaren tussen de competenties zoals die blijken uit een dergelijk reflectieverslag en het daadwerkelijk functioneren in de onderwijspraktijk. Ofwel, sommige aanstaande docenten schrijven een uitstekend reflectieverslag, maar hun onderwijspraktijk wordt door zowel instituutbegeleiders als begeleiders op school als zwak beoordeeld (c.f,. DarlingHammond & Snyder, 2000). Een beoordeling waarin ook het functioneren van aanstaande docenten in de onderwijspraktijk is opgenomen, geeft dan ook een meer valide beeld van hun competentie als beginnend docent. Maar reflectie en functioneren in de klaspraktijk zijn niet de enige competenties die aanstaande docenten moeten verwerven; zij leren ook onderzoek doen naar hun onderwijspraktijk. Daarenboven is kennis over didactiek, vakdidatiek en pedagogiek van belang voor accuraat handelen in de onderwijspraktijk. Deze combinatie van eindtermen in de universitaire lerarenopleiding vraagt om meervoudige beoordelingsvormen van de verschillende te verwerven competenties van aanstaande docenten. Overzicht en structuur van de presentatie
In het het landelijke project Non satis scire, mede gefinancierd door Stichting SURF, werken alle 13 universtaire lerarenopleidingen in Nederland samen aan het ontwikkelen, uitproberen en evalueren van formatieve en summatieve beoordeling van competenties van aanstaande docenten. Hierin wordt technologie ingezet om de beoordelingsprocedures te ondersteunen. Meer in het bijzonder staan vier vormen van toetsing centraal: 1) de toetsing van kennis aan de hand van een tentamen, 2) de beoordeling van onderzoeksvaardigheden aan de hand van een onderzoeksplan, 3) de beoordeling van didactische docentvaardigheden op basis van digitaal videomateriaal van de onderwijspraktijk, en 4) zelftoetsen waarmee aanstaande docenten kunnen reflecteren op hun eigen competenties. In dit symposium worden na een korte inleiding achtereenvolgens de resultaten gepresenteerd van de onderwijsontwerpexperimenten die zijn uitgevoerd voor elk van de vier typen beoordelingen. Het symposium wordt afgesloten met een kritische discussie van de opbrengsten voor het beoordelen van docentcompetenties van aanstaande docenten in de universitaire lerarenopleiding. 2
Beoordelen van kennis van aanstaande docenten
Doelstelling en theoretisch kader De universitaire lerarenopleidingen kennen , zoals ook elders in het hoger onderwijs, geen landelijke kwalificatiestructuur of landelijk examen. Wel zijn er richtlijnen en een landelijk competentieprofiel voor het beroep leraar (ICL, 2007; Onderwijsraad, 2010). Het beoordelen van kennis van aanstaande docenten over didactiek, vakdidactiek, pedagogiek en regie in de klas met behulp van een toets vindt in de universitaire lerarenopleiding recentelijk opgang. De doelstelling van dit deelonderzoek was om inzicht te geven in een gezamenlijke toetsmatrijs en itembank. Methode Alle instituutsopleiders van vijf universitaire lerarenopleidingen (UvA, UU, RUG, UM, en Utwente) hebben een vragenlijst toegestuurd gekregen met o.a. vragen over een digitale itembank en digitale toetsen. 60 opleiders hebben zowel de voormeting als de nameting ingevuld. Bijna elke lerarenopleiding werkt met een algemene kennisbasistoets, dus hebben we in dit project gekeken of we kunnen werken aan een gezamenlijke itembank. We hebben geïnventariseerd in hoeverre de literatuur waarmee gewerkt wordt elkaar overlapt bij de vijf instellingen die deelnemen aan het werkpakket en toetsen gedeeld. Alle producten uit het onderzoek (kennistoetsen, toetsmatrijs, literatuuroverzicht) zijn verzameld in Edugroepen. Resultaten en conclusies Uit de literatuurinventarisatie bleek dat de opleidingen veelal verschillende literatuur gebruiken. Omdat op de lerarenopleiding wel aan dezelfde doelen wordt gewerkt, hoeft verschillende literatuur niet te betekenen dat men niet van elkaars toetsen kan leren. Elke deelnemende instelling heeft haar kennisbasistoetsen via een gesloten omgeving met elkaar gedeeld. Dit leverde op dat men weer kritisch naar eigen vragen en vraagsoorten ging kijken. Om gemakkelijk relevante vragen te kunnen vinden is overlegd over metadatering van de vragen. Hiervoor is eerst gewerkt aan een gezamenlijke blanco toetsmatrijs met als input de bestaande toetsmatrijzen van de instellingen. Aan de hand hiervan zijn we overeen gekomen welke metadata aan de toetsvragen gehangen moeten worden. Zowel vragen als antwoorden/antwoordmodellen worden opgenomen in de gedeelde toetsen. Twee universiteiten hebben binnen het project geëxperimenteerd met digitale toetsen. De RUG heeft een kennistoets aangemaakt in Respondus en afgenomen via Nestor. De UU heeft open vragen afgenomen met Blackboard. In de overige instellingen bleek digitaal toetsen geen optie. De UvA en UM hebben niet digitaal kunnen toetsen, door bijv. praktische problemen als gebrek aan een grote ruimte met digitale toetsvoorzieningen. De UT geeft aan in de toekomst meer digitaal te willen toetsen met daarbij (vooral) ook (gedeeltelijk) automatische beoordeling. De winst van het project lijkt niet zozeer te zitten in de uit de vragenlijst gebleken verdubbeling van het aantal opleiders dat gebruik maakt van digitale toetsen, maar meer in het
delen van producten (toetsmatrijzen, beoordelingsmodellen, toetsen) en de reflectie die dit bij de deelnemende instellingen bevorderde. Wetenschappelijke betekenis Dit onderzoek geeft aan dat samenwerking tussen lerarenopleidingen positief kan werken voor de kwaliteit van toetsen. Digitaal toetsen wordt vaak gezien als iets dat werkdruk kan verlagen, maar dit aspect werd niet ervaren door de instellingen die digitaal toetsen in hebben gezet. Verder onderzoek is nodig om te kijken waardoor dit komt en of dit te veranderen is. 3
Beoordelen van onderzoeksplan van aanstaande docenten
Doelstelling en theoretisch kader Aanstaande docenten in de masterprogramma’s van de universitaire lerarenopleidingen worden gevraagd (praktijk)onderzoek uit te voeren. Daartoe maken zij vooraf een onderzoeksplan. Het proces om tot een goed onderzoeksplan te komen kan voor aanstaande docenten leiden tot extra werkdruk en eventueel studievertraging. De beoordeling en feedback van het plan vereisen speciale procedures en begeleidingstijd van opleiders. Bovendien zijn de eisen waaraan het onderzoeksplan moet voldoen onvoldoende transparant. Dit tezamen vormt de aanleiding voor dit deelonderzoek met als doel inzicht te verschaffen in beoordelingsprocedures voor het geven van feedback op de onderzoeksplannen in de universitaire eerstegraads lerarenopleidingen. Methode Na een inventarisatie van bestaande criteria en beoordelingsprocedures voor onderzoeksplannen op de negen deelnemende lerarenopleidingen zijn er even zovele onderwijsexperimenten uitgevoerd. Daartoe zijn peer feedbackprocedures en beoordelingsmatrixen voor onderzoeksplannen ontwikkeld en toegepast, waaronder een pilot in een digitale feedbackomgeving. Deze onderwijsmaterialen dienen tevens als onderzoeksdata. Resultaten en conclusie Deverzamelde onderwijsmaterialen en ervaringen in de onderwijsexperimenten laten zien dat met de interventies de studenten een betere aanloopfase van het onderzoek doorlopen en dat ze een betere plannen leveren. Daarnaast wordt het geven van peer feedback gezien als leerwinst voor de studenten en helpt het de kwaliteit(-criteria) van de onderzoeken te verhelderen. Bovendien brengt de peer feedback de dialoog tussen student en opleider over kwaliteit op gang. Praktische aspecten van de opleidingsgroepen beletten in bijna alle onderwijsexperimentens de volledig digitale uitvoering van de peer feedback: de groep studenten is te klein, de onderzoekgroepjes of individuele studenten volgen andere tijdpaden of leertrajecten, of er is geen software om peer feedback mee uit te voeren. Wetenschappelijke betekenis Dit deelonderzoek geeft inzicht in hoe geschreven onderzoekswerk betrouwbaar en valide beoordeeld kan worden waarbij formatieve en summatieve functies van beoordeling worden gecombineerd. 4
Beoordelen van onderwijspraktijk van aanstaande docenten met behulp van video
Doelstelling en theoretisch kader In het opleiden van academische docenten neemt de schoolpraktijk een belangrijke plaats in: een groot deel van de opleiding vindt daar plaats. Veel toetsen hebben de vorm van praktijkopdrachten over het functioneren als docent. Deze vorm van beoordelen is arbeidsintensief: er wordt gewerkt aan de ontwikkeling van veel verschillende docentcompetenties, en onderwijs, begeleiding en beoordeling vinden plaats op verschillende locaties en door veel verschillende opleiders, op het
instituut en in school, en voor elk schoolvak. Video-opnamen bieden de mogelijkheid de rijkheid en de complexiteit van de beroepspraktijk weer te geven en deze toegankelijk te maken voor het beoordelen van het functioneren van aanstaande docenten in de onderwijspraktijk. Video is met name populair geworden in het beroepsonderwijs, vanwege de mogelijkheid zowel competenties in beeld te brengen als de context waarin die competenties worden getoond. Daarenboven levert het rijke materiaal goede mogelijkheden om andere competenties toe te passen, zoals reflectie en kritisch denken, maar ook authentieke bewijsvoering voor het beoordelen van die competenties (zie bijv. Bower, Cavanagh, Moloney, & Dao, 2011; Rosaen, Lundeberg, Cooper, Fritzen, & Terpstra, 2009). Echter, omdat er nog weinig onderzoek is gedaan naar de inzet van video voor de beoordeling van de onderwijspraktijk van aanstaande docenten, is het nog steeds onduidelijk of het opnemen van informatie over de onderwijspraktijk ook daadwerkelijk een meer valide beoordeling geeft van de competenties van aanstaande docenten. De doelstelling van dit deelproject is om hierin meer inzicht in te geven. Methode Er zijn 10 onderwijsexperimenten uitgevoerd met de beoordeling van de onderwijspraktijk van aanstaande docenten met behulp van videomateriaal. De onderwijsexperimenten zijn uitgevoerd bij 120 masterstudenten, 138 minorstudenten, 44 instituutsopleiders en 67 schoolopleiders, verbonden aan 10 verschillende opleidingsinstituten. Er is een evaluatievragenlijst voor en na elk onderwijsexperiment afgenomen. Daarnaast is onderwijsmateriaal ((studie)handleidingen, videoclips, reflecties, (peer)feedbackformulieren en beoordelingsrubrics) verzameld en geanalyseerd. Resultaten en conclusies Over het algemeen is de inzet van video als ondersteuning van de beoordeling van de onderwijspraktijk van studenten als zeer nuttig ervaren: het lijkt een valide beeld te geven van de praktijkcompetenties van aanstaande docenten. Er is veel aandacht besteed aan technische en procedurele aspecten, zoals het aanleveren van het videomateriaal door de studenten, instructies voor de video-opnamen, en afspraken over het gebruik van videomateriaal van klassen. Tevens komt naar voren dat video als vervanging van een deel van het lesbezoek door de instituutsopleiders wordt ingezet, maar vooral als een extra mogelijkheid informatie uit de onderwijspraktijk van de aanstaande docent te gebruiken voor begeleiding en beoordeling. Ten slotte wordt video vooral ingezet in kleine groepen studenten of in 1-op-1 begeleidingssituaties. Over het algemeen is video in dit de onderwijsexperimenten vooral ingezet vanuit het oogpunt van begeleiding en geven van (peer) feedback, minder als beoordelingsinstrument. Wetenschappelijke betekenis Beoordelingen van docentcompetenties in de lerarenopleiding hebben veelal de vorm van zelfrapportages, reflectieverslagen en ander indirect materiaal. Het opnemen van direct, authentiek materiaal uit de onderwijspraktijk kan een beoordeling meer valide maken en meer mogelijkheden voor feedback voor studenten bieden. 5
Beoordelen van de eigen docentvaardigheden met behulp van zelftoetsen
Doelstelling en theoretisch kader Binnen het meer exact georiënteerde onderwijs lijkt het onderscheid ‘actieve’ versus ‘reflectieve’ leerstijl van belang (Felder & Silverman 1988). In een actieve leerstijl staat het ‘doelgericht optimaliseren van het leerproces bij de leerlingen en de eigen rol daarin aan de hand van experimenten’ centraal. Daarbij is een (periodieke) ‘meting’ van de klassensituatie en de eigen rol daarin cruciaal. Deze bijdrage rapporteert over onderwijsexperimenten met de inzet van zelf-toetsen in het ontwikkelings- en begeleidingsproces met als doel: werkdruk en studiedruk te verlichten en beter aan te sluiten bij de wensen van studenten met een ‘actieve leerstijl’. Zelftoetsen plaatsen de docent
in opleiding in een actieve rol en verantwoordelijkheid rol ten aanzien van het leerproces. Een tweede centraal aspect van zelftoetsen is dat zij feedback leveren over de actuele prestatie als docent. Feedback is een kritische component in ‘self-regulated learning’ (Hattie & Timperley, 2007).. Daareneboven lijkt feedback vooral bij te dragen als deze sterk op de taak – minder op het zelf – is gericht. Ten slotte heeft het gebruik van (zelf) toeten betekenis voor de opbouw van het portfolio; afgenomen zelftoetsen en de verwerking van de uitkomsten tot competentieontwikkeling vormen een concrete bouwstenen in portfolio. Doel van het onderzoek is inzicht te geven in de rol die zelftoetsen kunnen hebben in het continue proces van begeleiding en beoordeling in de lerarenopleiding. Methode In het project is het gebruik van zelftoetsinstrumenten in de lerarenopleiding geïnventariseerd. Een reeks instrumenten is via het internet beschikbaar gekomen. Aan vier universitaire opleidingen zijn onderwijsexperimenten uitgevoerd met een variëteit aan zelftoetsinstrumenten. Daartoe is een gebruiksrichtlijn opgesteld, die ook criteria voor een adequate inbedding van zelftoets gebruik in het begeleidingstraject omvat. De verzamelde data betreffen de zelftoetsen die in de diverse opleidingen worden gebruikt, de inbedding in curricula, de relatie met de werkdruk voor docenten en de studielast voor de studenten, en de relatie tussen de gebruiksrichtlijn met wat er in de praktijk gebeurd t.a.v. de inzet van zelftoetsen en de inbedding daarvan in continue proces van begeleiding en beoordeling in de lerarenopleiding. Resultaten en conclusie De resultaten zijn geëvalueerd in termen van vermindering van werkdruk en studielast, en er is een begin gemaakt met de beschrijving van de voor en nadelen als onderdeel in het ontwikkelings- en begeleidingsproces rondom het werkplekleren. Wetenschappelijke betekenis Het onderzoek vormt een aanzet tot het verkennen van de mogelijkheden en betekenis van zelftoetsen voor professionele leer- en leer/werk trajecten zoals dat binnen de lerarenopleiding. In het bijzonder is het een terreinverkenning naar de betekenis van (het vragen van) objectieve feedback binnen het professionele ontwikkelingsproces. 6 Literatuur Bower, M., Cavanagh, M., Moloney, R., & Dao, M. M. (2011). Developing communication competence using an online Video Reflection system: preservice teachers’experiences. AsiaPacific Journal of Teacher Education, 39, 311-326. Felder, R.M. & Silverman L.K. (1988). Learning and teaching styles in engineering education. Engineering Education, 78(7), 674–681. Fox, R. K., White, C. S., & Kidd, J. K. (2011). Program portfolios: documenting teachers’ growth in reflection-based inquiry. Teachers and Teaching: Theory and Practice, 17, 149-167. Hattie, J., & Timperley, H. (2007). The power of feedback. Review of Educational Research, 77(1), 81112. ICL (Interdisciplinaire Commissie Lerarenopleidingen) (2007). Competentieprofiel van leraren die aan een ULO zijn opgeleid. Den Haag: VSNU. Onderwijsraad (2010). Advies. Een diploma van waarde. Den Haag: Onderwijsraad. Rosaen, C. L., Lundeberg, M., Cooper, M., Fritzen, A., & Terpstra, M. (2009). Noticing noticing: How does investigation of video records change how teachers reflect on their experiences? Journal of Teacher Education, 59, 347-360.
