Het gebruik van zelftoetsen als onderdeel van het competentieontwikkelingsproces van docenten

Het gebruik van zelftoetsen als onderdeel van het competentieontwikkelingsproces van docenten [email protected] , versie 1.2

Inhoud Inleiding ............................................................................................................................................ 1 Rol van zelftoetsen bij competentieontwikkeling ............................................................................ 2 Zelftoetsen als meting in het optimalisatie model ....................................................................... 3 Theoretische achtergronden ............................................................................................................ 3 Inzet van de zelftoetsen ................................................................................................................ 4 Kenmerken van de student ........................................................................................................... 5 Gedragsverandering versus competentieontwikkeling ................................................................ 5 FORMAT en gebruiksrichtlijn ............................................................................................................ 6 Referenties ........................................................................................................................................ 6

Inleiding Competentieontwikkeling is een centraal element in de lerarenopleiding. Een manier om hieraan vorm te geven is door middel van portfolio. Het ervaringsleren op basis van de ervaringen op de werkplek speelt hierin een centrale rol. Enerzijds gaat het om de integratie van de theorie en de praktijk. Bijvoorbeeld door het herkennen en gaan toepassen van hetgeen in het college onderwijskunde aan de orde is gesteld. Maar ook door het leren vanuit de ervaringen, dilemma’s en problemen die tijdens de schoolactiviteiten naar voren zijn gekomen, om van daaruit de theorie te raadplegen. Anderzijds is er de dimensie van de integratie van theoretische en praktische inzichting en ervaringen op een persoonlijk niveau, zodat een en ander stevig verankerd wordt en de student kan uitgroeien tot een leraar met een eigen stijl die op een verantwoorde manier de eigen professionele keuzen maakt. Het doorlopen van het proces van competentieontwikkeling door studenten, en ook het begeleiden ervan door opleiders is intensief en tijdrovend. In werkpakket 6 van het project Non Satis Scire wordt

beoogd deze werkdruk te verlichten. De gekozen weg is die van het inzetten van zelftoetsen in het kader van dit ontwikkelings- en begeleidingsproces. Uitgangspunt is dat de inzet van zelftoetsen het proces meer doelgericht en efficiënter kunnen maken. Ook omdat door middel van zelftoetsen feedback wordt verzameld die concreet, expliciet, objectief en ‘zonder oordeel’ is , die ook inhoudelijk aan het leerproces kan bijdragen.

Rol van zelftoetsen bij competentieontwikkeling Ervaringsleren vanuit het werkplekleren in de lerarenopleiding wordt over het algemeen benaderd vanuit het concept ‘reflectie’ (Korthagen, 20021). In een op reflectie gebaseerde leercyclus ligt de nadruk op het be-reflecteren van ervaringen, en het van daaruit interpreteren, analyseren en construeren van een mogelijke oplossing. We duiden dit in het vervolg aan met ‘het reflectiemodel‘ van docentprofessionalisering. Een voorbeeld daarvan is weergegeven in Figuur 1. Ook in de leercyclus van Kolb (1984) speelt reflectie en centrale rol (Figuur 2).

Figuur 1: Reflectie model van Korthagen

Figuur 2: Kolb’s model van ervaringsleren

Een alternatieve mogelijkheid is een op metingen en/of feedback gebaseerde leercyclus. Hierbij ligt de nadruk op het verzamelen van zo veel mogelijk ‘feitelijke’ informatie over het eigen docentgedrag, om op basis daarvan het eigen docentgedrag te verbeteren en bepaalde competenties verder te ontwikkelen. We duiden dit in deze tekst verder aan als ‘het optimalisatiemodel’ van docent professionalisering. Dit is weergegeven in Error! Reference source not found.. Een manier zo’n in Error! Reference source not found. genoemde ‘periodieke meting’ te realiseren is bijvoorbeeld door het verzamelen van zogenaamde 360o feedback of door elektronische zelftoetsen. Het gaat in het bovenstaande om een contrasterende beschrijving van twee ‘ modellen’ ter typering van de verschillende mogelijkheden. Uiteraard is het verschil in de praktijk meestal niet zo zwart-wit. Dat is ook niet waar het hier om gaat. Wat we hier naar voren willen halen is doel, mogelijkheden en belang van (elektronische) zelftoetsen in het kader van competentieontwikkeling van leraren. Figuur 3: Optimalisatie model

1

Bron: http://www.icto.ic.uva.nl/surf/nl_portfolio/Handboek/Hoofdstukken/4-Werken_met_portfolio.htm

Zelftoetsen als meting in het optimalisatie model

Focus Effecten bij leerlingen Docentgedrag Docentkenmerken & gedrag

Oriënterende waarde

Informatie bron Leerling (perceptie) (Leerling) perceptie Zelfperceptie

Indicatie verander richting

Type 1: Effectmeting Type 2: Gedragsmeting Type 3: Zelfevaluatie

Veranderimpuls

In het optimalisatiemodel is de periodieke meting cruciaal. De metingen die in het optimalisatiemodel worden gebruikt, kunnen van verschillende typen zijn (zie Tabel 1). Het kan bijvoorbeeld gaan om meting van de effecten van het eigen gedrag. Concreet in het geval van een leraar bijvoorbeeld het meten van leerling-variabelen zoals het welbevinden, de motivatie, de leervoortgang, de cijfers (type 1). Maar het kan ook gaan om het verzamelen van gegevens over het eigen docentgedrag, gemeten door de ogen van bijvoorbeeld de leerlingen (type 2). Dit is verwant met de eerder genoemde ‘360 graden feedback’. Ook een verslag van een door een collega of begeleider uitgevoerde lesobservatie kan worden opgevat als een gedragsmeting. Een laatste concreet voorbeeld van type 2 is het afnemen van de vragenlijst ‘Roos van Leary’ onder de leerlingen, waarbij het eigen gedrag ‘door de ogen van de leerlingen’ in kaart wordt gebracht. Ten slotte is het ook mogelijk dat de zelftest een ‘zelfperceptie betreft’ (type 3). Bijvoorbeeld de vragenlijst ‘quick scan’ docentcompetenties. Of, een video-opname van een les die door de docent zelf wordt bekeken. De opbrengsten voor het leerproces kunnen mede afhankelijk van het type verschillen. In de pilots zijn 3 mogelijke bijdragen aan het competentieontwikkelingsproces naar voren gekomen die zijn opgenomen in de laatste 3 kolommen van Tabel 1. In schema:

++ + 0

+ ++ +

0 + ++

Tabel 1: Typen zelftoetsen en hun kenmerken.

Het leveren van een veranderimpuls en het indiceren van een veranderrichting zijn directe bijdragen aan het leerproces. Naast een dergelijke directe bijdrage aan het leren kunnen zelftoetsen een belangrijke oriënterende waarde hebben, omdat zij in veel gevallen een reeks van kennelijk gewenste en ongewenste gedragingen en kenmerken opsommen, die voor een beginnende leraar het professionaliseringsveld helder in kaart brengen. Vooral lijsten van het type 3 (zelfevaluatie) lenen zich goed voor een brede oriëntatie van de beginnend leraar, omdat ze breed kunnen zijn opgezet en docentgedrag en docentkenmerken tot onderwerp hebben

Theoretische achtergronden Het afnemen van een zelftoets kan worden gezien als het verzamelen van feedback, in die zin dat de met de toets verzamelde gegevens als informatiebron met feedback vergelijkbaar zijn. We gebruike feedback daarom als metafoor van waaruit we de effecten van zelftoetsen lang theoretische weg in kaart proberen te brengen. Feedback is een kritische component in ‘self-regulated learning’ (Butler & Winne, 1995; Hattie & Timperley, 2008; van der Kleij, Timmers & Eggen, 2011). In het algemeen

wordt verondersteld dat feedback een gunstig effect heeft op de competentie ontwikkeling. Kluger en DeNisi (1996) constateren in hun grote meta studie (n=>2000) dat feedback over het algemeen het leren bevorderd, maar in ca. 1/3 van de gevallen niet. Hun conclusie is dat de effectiviteit van feedback afhangt van de mate waarin de aandacht gericht blijft op de taak. Naarmate de interventie meer de aandacht op het zelf richt, en weg van de taak, wordt er minder geleerd (zie ook Hattie & Timperley, 2008). Uiteraard zijn diverse karakteristieken van de taak ook mede bepalend voor het leereffect. Dit resultaat lijkt in het voordeel te spreken van het optimalisatiemodel omdat hierbij extern gevalideerde informatie over de taakuitvoering wordt verzameld. In een reflectiemodel is die er minder, waardoor er een groter risico is dat de reflectie primair op het zelf wordt gericht zonder concrete gerichtheid op de taakuitvoering,en daardoor vermoedelijk minder effectief zal zijn. Ook Smither, London en Reilly (2005) geven aan dat er een ruime variatie is in de door middel van feedback gerealiseerde leereffecten en/of gedragsveranderingen. Zij verwachten dat dat gedragsverbetering c.q. competentieontwikkeling vooral zal optreden als: 1. de lerende positief staat tegenover het ontvangen van feedback, 2. de lerende positief reageert op de feedback, 3. 4. 5. 6.

de feedback aangeeft dat er een verandering noodzakelijk c.q. wenselijk is, de lerende (daaruit) concludeert dat het eigen gedrag zal moeten veranderen, de lerende gelooft dat een betekenisvolle verandering haalbaar is, de lerende zich toepasselijke doelen stelt om het eigen gedrag te reguleren en gericht bij te stellen, 7. de lerende daadwerkelijk actie onderneemt gericht op de verdere ontwikkeling van competenties en verbetering van de performance. Figuur 4: criteria voor het 'landen' van feedback

In het kader van zelfdiagnostische vragenlijsten impliceert dit dat een lerende in ieder geval gemotiveerd moet zijn om de lijst af te nemen, de zin er van in moet zien, en de bereidheid moet hebben de uitkomst ter harte te nemen (criteria 1 en 2). De drie typen metingen uit Tabel 1 verschillen vermoedelijk met betrekking to hun inherent vermogen om de noodzaak van een verandering te indiceren (criterium 3), en de mate waarin zijn benadrukken dat deze verandering een persoonlijke gedragsverandering vereist (criterium 4). We veronderstellen dat een zelftoets van het type 3 (zelfevaluatie) o.a. door het subjectieve karakter en het ontbreken van ‘de stem van de leerling’, weinig dwingend is met betrekking tot gedragsverandering. Zelftoetsen van het type 2 (gedragsmeting) en vooral type 1 (effectmeting) impliceren naar verwachting een sterkere prikkel tot gedragsverandering. Type 1 raakt aan de primaire doelen van het onderwijs, en levert naar verwachting de sterkste prikkel. Bij type 2 is er een directe verwijzing naar mogelijke veranderdoelen (criterium 6) en mogelijk acties (criterium 7). Een en ander is compact samen gevat in de laatste 3 kolommen van Tabel 1.

Inzet van de zelftoetsen Seifert, Yukl en McDonald (2003) geven aan dat verwacht mag worden dat alleen het ‘op papier’ ontvangen van de feedback niet effectief is. Ook op basis van de criteria van Smither et al. wordt verwacht dat leren van een uitsluitend ´papieren´ vragenlijstresultaat niet erg effectief is. Er gaat naar verwachting slechts een betrekkelijk zwakke veranderprikkel van uit; veel zwakker dan van een levendige presentatie door een coach2, en zeker zwakker dan van directe feedback door bijvoorbeeld leerlingen. Ten tweede is er bij ´papieren feedback´ geen garantie voor een diepe verwerking van het 2

Onder coach wordt hier verstaan degene die verantwoordelijke is voor de competentieontwikkeling op de aspecten waar de zelftoets op betrekkin heeft. Dit kan zijn de coach/mentor/ECD/ SPD (afhankelijk van de opleiding) of de docent van een vak waarbinnen de afname van de zelftoets wordt aangeraden of opgelegd.

zelftoetsresultaat. Dat kan bij een coach wel gemakkelijk worden gerealiseerd, maar mogelijk ook door follow-up vragen als afsluitend onderdeel van een elektronische vragenlijst worden ingebouwd. Ook Luthans en Peterson (2003) geven aan dat verwacht mag worden dat juist de combinatie van de verzamelde feedback met coaching effectief is. Hierbij speelt naast het bevorderen van een ‘diepe verwerking’ van de feedback ook een rol dat in de coaching aandacht kan worden besteed aan het ontwikkelen van gedragsalternatieven in reactie op de feedback (criterium 4 en 5). Het belang van het stellen van haalbare doelen (critera 5 en 6) wordt onderstreept door Bandura & Schunk, (1981). Dit impliceert dat een zelftoets die de student suggereert dat hij op een bepaald aspect van zijn functioneren als docent volkomen uitvalt, of die de student wijst op een ‘gebrek’ dat in zijn ogen niet veranderbaar is, niet tot gedragsverandering zal gaan leiden. Ook hier is de betrokkenheid van een coach een middel om de student tot het inzicht te brengen dat er sprake is van een verandermogelijkheid, en het exploreren van manieren om een verandering te realiseren. Dit in relatie tot voor de student haalbare doelstellingen.

Kenmerken van de student Lerenden verschillen in hun leervoorkeuren, leercompetenties, en disposities ten aanzien van leren. Sommige lerenden zijn geneigd en in staat tot effectieve competentieontwikkeling in een reflectiemodel. Andere lerenden hebben hier wellicht moeite mee, maar kunnen goed uit de voeten met een optimalisatie model. Ook verwachtingen, werkbelasting en gepercipieerde legitimiteit in de context van de opleiding spelen een rol. Mogelijk zijn bèta studenten relatief minder geneigd en bereid tot open reflectie op basis van innerlijke gewaarwordingen, analyse en beleving, en voelen zij zich meer vertrouwd met het ´hardere´ - op meten gebaseerde - optimalisatiemodel. Runhaar, Sanders en Yang (2010) concluderen dat ‘occupational self-efficacy3’ en ‘learning goal orientation4’ positief samenhangen met het reflecteren over de eigen praktijk en het vragen van feedback daarover. Op basis hiervan vermoeden we dat deze twee studentvariabelen ook samenhangen met de criteria 1 en 2 (vragen van/ positief reageren op feedback). Hierbij speelt dan vermoedelijk ook de ‘learning goal orientation’ van de lerende een rol, waarover Runhaar et al. concluderen dat deze de relatie tussen ‘occupational self-efficacy’ en geneigdheid tot reflectie en aanvaarden van feedback medieert. Een en ander leidt bijvoorbeeld tot de hypothese dat een student met een lage self-efficacy en/of een lage ‘gerichtheid op leren’, niet effectief geholpen wordt door een zelftoetsafname die hem confronteert met een (in zijn ogen) ‘aanzienlijk gebrek’ in het functioneren als beginnend docent. Immers, we vermoeden dat zo’n student een lage bereidheid heeft om de feedback te accepteren, te verwerken en om eventuele gedragsaanpassingen uit te voeren en via reflectie persoonlijk te verankeren. Naast heb bovenstaande suggereren Morrison, Ross, Gopalakrishnan en Casey (1995) dat lerenden ook onderling verschillen in de mate waarin zij geneigd zijn geboden feedback ´diep te verwerken´. Voor andere studenten mogen we vewachten dat zelftoetsen krachtig kunnen bijdragen aan het leren en gedragsverandering.

Gedragsverandering versus competentieontwikkeling Om behalve van gedragsverandering ook van competentiegroei te kunnen spreken, moet het gedrag worden losgeweekt van de situatie (situationeel geabstraheerd), en worden gerelateerd aan de eigen 3

Zelfeffectiviteit (self-efficacy): het vertrouwen van een persoon in de eigen bekwaamheid om met succes invloed uit te oefenen op zijn of haar omgeving, bijvoorbeeld door een bepaalde taak te volbrengen of een probleem op te lossen. http://nl.wikipedia.org/wiki/Zelfeffectiviteit 4 Leerdoelorientatie: De aard en het type van de doelen die de lerende zich stelt t.a.v. het leren in brede zin. Voorbeelden zijn: begripsgericht, toepassingsgericht, certificaat gericht. Zie ook http://en.wikipedia.org/wiki/Goal_orientation.

kennis en waarden (persoonlijk geïntegreerd). Hiervoor is een persoonlijke integratie nodig, waarvoor reflectie het aangewezen middel lijkt. Dit kan worden toegevoegd als 8e en 9e criterium die samen met de criteria van Figuur 4: criteria voor het 'landen' van feedbackFiguur 4 de criteria voor competentieontwikkeling op basis van zelftoetsen vormen. 8. de lerende staat positief tegenover het situationeel abstraheren en persoonlijk integreren noodzakelijk voor? Gedragsverandering 9. de lerende is in staat (heeft de middelen en omstandigheden) om de gedragsverandering situationeel te abstraheren en persoonlijk te integreren Figuur 5: criteria voor competentievorming

Op basis van Runhaar, Sanders en Yang (2010) verwachten we dat deze kenmerken positief samenhangen met ‘occupational self-efficacy5’ en ‘learning goal orientation.

FORMAT en gebruiksrichtlijn Onderstaand stappenplan kan worden gebruikt bij het productief inzetten van zelftoetsen bij competentieontwikkeling en porfolio 1. Exploreer met de student(en) hun bereidheid feedback te ontvangen, hun self-efficacy als docent, en hun ‘learning goal orientation’ en geneigdheid tot reflectie; Bij lage self-efficacy als docent is er sprake van een ‘risico student’ en kom je direct in situatie 2B 2. Stel vast welk issue voor die student (groep studenten) met een zelftoets kan worden aangepakt. a. Exploreer met de student(en) hun pedagogisch didactische kennis ten einde vast te stellen of zij in staat kunnen worden geacht op basis van de uitkomst van de voorgenomen zelftoets, zelfstandig of met hulp productieve vervolgacties te ontwerpen; b. Zijn er ‘risicostudenten’ die zouden kunnen concluderen dat er geen verbetering mogelijk is? In zo’n geval dient er een gesprek plaats te vinden, en geen zelftoets. 3. Stel vast hoe en wanneer de resultaten van de zelftoets kunnen worden besproken, en hoe daarbij zal worden bewaakt dat diepe verwerking van het zelftoetsresultaat plaats vindt, en dat vervolgacties worden ingezet. 4. Stel vast hoe en wanneer de effecten van de vervolgacties worden besproken, be-reflecteerd en van de situatie geabstraheerd en persoonlijk geïntegreerd worden gericht op competentie(verhoging). N.B. Dit kan dus per student verschillen, en moeten verschillen! 5. Voer het plan uit / laat het uitvoeren door de student. 6. Bespreek de vervolgacties na.

Referenties Korthagen, (2002). Kolb (1984) Butler, D.L. & Winne, P.H. (1995) . Feedback and Self-Regulated Learning: A Theoretical Synthesis. Review of Educational Research, 65(3) 245-281. Kluger, A. N., & DeNisi, A. (1996). The effects of feedback interventions on performance: A historical review, a meta-analysis, and a preliminary feedback intervention theory. Psychological Bulletin, 119(2), 254-284. 5

Zelfeffectiviteit (self-efficacy): het vertrouwen van een persoon in de eigen bekwaamheid om met succes invloed uit te oefenen op zijn of haar omgeving, bijvoorbeeld door een bepaalde taak te volbrengen of een probleem op te lossen. http://nl.wikipedia.org/wiki/Zelfeffectiviteit

Smither, J. W., London, M., & Reilly, R. R. (2005). Does performance improve following multisource feedback? A theoretical model, meta-analysis, and review of empirical findings. Personnel psychology, 58, 33–66. Seifert, C. F., Yukl, G., & McDonald, R. A. (2003). Effects of multisource feedback and a feedback facilitator on the influence behavior of managers toward subordinates. Journal of Applied Psychology, 88(3), 561-569. Luthans, F., & Peterson, S. J. (2003), 360-degree feedback with systematic coaching: Empirical analysis suggests a winning combination. Hum. Resour. Manage., 42: 243–256. Bandura, A. & Schunk, D. H. (1981) Cultivating competence, self-efficacy, and intrinsic interest through proximal self-motivation. Journal of Personality and Social Psychology, 41(3), 586-598. Runhaar, P., Sanders, K., & Yang, H. (2010). Stimulating teachers' reflection and feedback asking: An interplay of self-efficacy, learning goal orientation, and transformational leadership. Teaching and Teacher Education, 26(5), 1154–1161. Hattie, J., & Timperley, H. (2007). The power of feedback. Review of Educational Research, 77(1), 81112. Morrison, G.R., Ross, S.M., Gopalakrishnan, M., & Casey, J. (1995). The Effects of Feedback and Incentives on Achievement in Computer-Based Instruction. University of Memphis. Contemporary Educational Psychology, 20(1), 32–50. van der Kleij, F.M., Timmers, C.F., & Eggen, T.J.H.M. (2011). Leeropbrengst van feedback in computergestuurde toetsen; wat is effectief?. http://toetswijzer.kennisnet.nl/html/feedback/Feedback_in_CBA.pdf