Leraar als Persoon Productevaluatie voor het Ruud de Moor Centrum.
Jos van Kuijk | Stéfanie André Maart 2009
ITS – Radboud Universiteit Nijmegen
Deze uitgave is te bestellen bij het ITS, 024 - 365 35 00.
CIP-GEGEVENS KONINKLIJKE BIBLIOTHEEK DEN HAAG Kuijk, Jos van. Leraar als Persoon. Productevaluatie voor het Ruud de Moor Centrum / Jos van Kuijk & Stéfanie André - Nijmegen: ITS ISBN 978 – 90 - 5554 - 376 - 2 NUR 840 Projectnummer: 34000346 2009 ITS, Radboud Universiteit Nijmegen Behoudens de in of krachtens de Auteurswet van 1912 gestelde uitzonderingen mag niets uit deze uitgave worden vermenigvuldigd en/of openbaar gemaakt door middel van druk, fotokopie, microfilm of op welke andere wijze dan ook, en evenmin in een retrieval systeem worden opgeslagen, zonder de voorafgaande schriftelijke toestemming van het ITS van de Radboud Universiteit Nijmegen. No part of this book/publication may be reproduced in any form, by print, photoprint, microfilm or any other means without written permission from the publisher.
ii
Evaluatie - Leraar als Persoon
Voorwoord Het Ruud de Moor Centrum is een onderdeel van de Open Universiteit dat tot doel heeft als expertise- en kenniscentrum voor professionalisering van onderwijsgevenden op de werkplek te dienen. In deze rol van kenniscentrum heeft het Ruud de Moor Centrum diverse diensten en producten ontwikkeld om leraren in de dagelijkse praktijk te ondersteunen. Het Ruud de Moor Centrum heeft deze rol gekregen van het ministerie van Onderwijs, Cultuur en Wetenschap. Door naar het veld te luisteren en vraaggestuurd te werken probeert het Ruud de Moor Centrum bij te dragen aan de ontwikkeling van leraren. De nadruk ligt hierbij op de professionalisering van leraren. Één van de producten die het Centrum als bijdrage aan de professionalisering heeft ontwikkeld en waar het hierover gaat is de Leraar als Persoon (LaP). De Leraar als Persoon (LaP) is een ontwikkelingsgericht assessment, een serie van vragenlijsten op verschillende gebieden die leraren en leraren in spé bewust kunnen maken van zichzelf als persoon en zichzelf als leraar. De vraag is nu door wie de LaP gebruikt wordt en wat deze gebruikers ervan vinden? Om dit te onderzoeken heeft het Instituut voor Toegepaste Sociale wetenschappen (ITS) in opdracht van het Ruud de Moor Centrum een onderzoek uitgevoerd naar de Leraar als Persoon. Zowel de vraag- als de aanbodkant van het product zijn onderzocht door met de projectleiders te praten en een gebruikersonderzoek uit te voeren met een internetenquête. De resultaten hiervan vindt u in dit rapport. Wij willen hier in ieder geval de projectleider van de Leraar als Persoon, Marieke Dresen en Jo Knarren (programmamanager) en Rob Martens (onderzoekscoördinator) bedanken voor de waardevolle input en informatie omtrent het product LaP. Ook alle leraren en aankomend leraren die de gebruikersvragenlijst hebben ingevuld willen we bedanken. Zonder hen was dit onderzoek niet mogelijk geweest. We hopen dat deze evaluatie bijdraagt aan inzicht in de Leraar als Persoon (LaP) en mogelijkheden voor het gebruik ervan. Verbreding van de gebruikersgroep en van gebruikersmogelijkheden is immers het doel van het Ruud de Moor Centrum. Nijmegen, maart 2009 Stéfanie André, Jos van Kuijk
Evaluatie - Leraar als Persoon
iii
iv
Evaluatie - Leraar als Persoon
Inhoud
Voorwoord
iii
1 Wat is de Leraar als Persoon? 1.1 Historie Leraar als Persoon 1.2 Doel van de Leraar als Persoon 1.3 Wat is de Leraar als Persoon? 1.4 Eerdere evaluaties 1.5 Toekomst Leraar als Persoon
1 1 3 3 4 5
2 Voor wie is de Leraar als Persoon bedoeld? 2.1 Doelen 2.2 Resultaten LaP vragenlijsten 2.3 Samenvatting
7 7 7 9
3 Door wie wordt de Leraar als Persoon gebruikt? 3.1 Beschrijving respondenten 3.2 Oordeel over de LaP
11 11 12
4 Samenvatting en conclusies
19
Referenties
21
Bijlage 1 - Overzicht vragenlijsten Bijlage 2 - Voorbeeld vragenlijst
23 24
Evaluatie - Leraar als Persoon
v
vi
Evaluatie - Leraar als Persoon
1 Wat is de Leraar als Persoon?
1.1 Historie Leraar als Persoon Leraar als Persoon (LaP) is onderdeel van een groter project, het project assessment en coaching van het Ruud de Moor Centrum. Binnen het grote project hoort LaP bij de formatieve ontwikkelingsgerichte assessments in de virtuele leer- en werkomgeving. Het product Leraar als Persoon is ontwikkeld door het Ruud de Moor Centrum in samenwerking met de faculteit psychologie van de Open Universiteit Nederland en e-HRM, een organisatie die zich bezig houdt met internettoepassingen (Knarren & van der Klink, 2006). Hoe is het ontwikkeld? Vanaf 2003 is een groot aantal leraren en lerarenopleidingen bevraagd over welke aspecten van het leraarschap van belang zijn en wat men wilde bij een formatief assessment. In eerste instantie was de LaP vooral bedoeld voor gebruik bij zijinstromers Het bleek dat men vooral huiverig was voor de ‘zachte‘ kant van het leraarschap (houdingsaspecten). Het Ruud de Moor Centrum wilde bewustwording op gang brengen, gebaseerd op het belang van de leraar als persoon en men wilde een spiegel voorhouden aan (aankomende) leraren. In het voortraject is ook de Stichting Beroepskwaliteit Leraren (SBL) betrokken geweest. Ook is literatuursearch verricht en relevante literatuur is geanalyseerd op aspecten die van belang zijn bij het leraarschap. Hieruit kwam een breed scala van persoonseigenschappen en opvattingen naar voren die bruikbaar was. Als model is uiteindelijk gekozen voor de ‘ui’ van Korthagen – de diepere lagen van bekwaamheid. Voorstel: plaatje van ‘ ui’ van Kothagen Op basis van de verkregen informatie op congressen (o.a. Velon) en bij opleidingen zijn in samenwerking met de faculteit psychologie van de Open Universiteit bestaande testen geselecteerd en soms aangepast op de doelgroep. Al deze vragenlijsten of testen samen vormen het product. Begin 2004 is een projectplan ontwikkeld en half juli 2004 was een prototype ontworpen voor de LaP. In de periode van juli tot en met november 2004 heeft men de digitale instrumenten ontworpen voor de ‘diepere lagen van bekwaamheid’ waartoe de LaP behoort. Dit wil zeggen dat deze versie zich richtte op: de persoon: ‘wie ben ik’ opvattingen: ‘wat vind ik’ motivatie: ‘wat wil ik’ Evaluatie - Leraar als Persoon
1
De eerste vragenlijsten zijn uitgetest en op basis van die resultaten is de lijst bijgesteld (Sluijsman & Dresen, 2004). Van november 2004 tot medio 2005 is de vragenlijst verder getest en begin 2006 is de lijst op verzoek van het veld opnieuw uitgebreid met een aantal testen. Er is bovendien een klankbordgroep opgericht om te bekijken of de LaP (o.a. tekstueel) begrijpbaar was. Elk jaar is bij intermediairs (soort ambassadeurs) in scholen en opleidingen nagevraagd wat men van de LaP vond en hoe deze gebruikt werd. In de scholen en op opleidingen is ook door het Ruud de Moor Centrum een training gegeven aan coaches over hoe de LaP gebruikt kan worden. Ook hierdoor bleef het Centrum op de hoogte van het gebruik van de LaP en kreeg men inzicht in mogelijkheden voor verdere ontwikkeling. Vanaf ongeveer 2007 werkt het Ruud de Moor Centrum samen met SBL in het project Leerkracht in Beeld. Dit is een onderdeel van de site van het Ruud de Moor Centrum waar (toekomstige) leraren via een keuzeproces geattendeerd worden op hulpmiddelen en instrumenten. De LaP is een van de instrumenten waarnaar verwezen wordt. Vanaf 2007 wordt het Ruud de Moor Centrum ook geacht zich meer te richten op vraagsturing. Dit wil zeggen dat het ontwikkelen van instrumenten meer met (cofinanciering vanuit) het veld moet plaatsvinden. In enkele vraaggestuurde projecten ven het Ruud de Moor Centrum staat de LaP dan ook op het programma. Tot 2008 was er enkel een integrale terugkoppeling van de ingevulde testen bij het de LaP. Dit wil zeggen pas nadat alle testen waren gedaan, kreeg men de resultaten. De afname duurde ongeveer 2 tot 3 uur en men kreeg een terugkoppeling als er meegedaan werd aan een evaluatie van het instrument. De resultaten van deze gegevens zijn door het Ruud de Moor Centrum nog niet echt geanalyseerd. Wij komen daar later op terug. Keuze voor het gebruik maken van specifieke onderdelen van de LaP was tot september 2008 niet mogelijk in verband met normering van de lijsten en de terugkoppeling besloeg dan ook het gehele spectrum. Na de verschillende testfases hebben inmiddels meer dan 1500 leraren het instrument doorlopen. Op basis van de ingevulde vragenlijsten wordt het instrument steeds geijkt. Vanaf 2008 zijn er opnieuw testen toegevoegd en zijn de verschillende onderdelen van elkaar losgekoppeld. Dit wil zeggen dat men (vanaf september 2008) onderdelen kan invullen en ook alleen op deze onderdelen een terugkoppeling kan krijgen. De invultijd van 2 à 3 uur voor de hele lijst vormt daarmee ook geen probleem meer. De driedeling is op verzoek van scholen en opleidingen verlaten en de onderdelen hebben nu betrekking op ‘wat wil ik’ en ‘ wat kan ik’.
2
Evaluatie - Leraar als Persoon
1.2 Doel van de Leraar als Persoon Het doel van de LaP is bewustwording op gang te brengen en een beeld te verschaffen van de persoonlijke kwaliteiten, opvattingen en motivatie als leraar (Knarren & van der Klink, 2006). Op basis hiervan ziet de gebruiker de eigen mogelijkheden en kan het achterliggend doel, het ter hand nemen en het sturen van de eigen ontwikkeling of professionalisering, bereikt worden. Daarnaast kunnen alle deelaspecten van het leraarschap worden vergeleken met de ‘gemiddelde leraar’ in Nederland, omdat de Leraar als Persoon ook in een benchmarkfunctie voorziet. Hiermee wil het Ruud de Moor Centrum ondersteuning bieden bij de professionalisering van leraren. De doelgroep is dan ook zeer breed van stagiaires, lio’s, aanstaande en beginnende leraren tot zij-instromers en ervaren leraren. Ook opleiders op school of werkveldcontactpersonen kunnen gebruik maken van de LaP. Een belangrijk aspect aan het product is dat er geen kosten aan verbonden zijn. Het moet voor elke leraar mogelijk zijn om zich verder te ontwikkelen. Hierdoor is het bijvoorbeeld mogelijk de eigen loopbaan beter vorm te geven en de vorm van de loopbaan te laten afhangen van de eigen wensen en talenten. Het Ruud de Moor Centrum vindt het belangrijk dat de manier van werken wordt onderschreven door leraren en dat de assessments een positieve bijdrage leveren aan de professionalisering van beginnende leraren. Dit doen zij doordat via de LaP de leraar met zijn persoonlijke kwaliteiten, leert vanuit persoonlijke ervaringen. Het Ruud de Moor Centrum benadrukt telkens het belang van duurzaam beoordelen en dat niet alleen voorafgaand aan het assessment, maar vooral ook daarna coaching plaatsvindt. Kort gezegd: ‘na een goede introductie, actief aan de slag gaan met de LaP en dan niet alleen de vragenlijst in vullen, maar er ook over spreken, met bijvoorbeeld een docentbegeleider’. Het RdMC is daarbij geïnteresseerd in welke wijze van coaching of begeleiding het meest effectief is. Het Ruud de Moor Centrum stelt nadrukkelijk dat de LaP geen beoordelingsinstrument is, het is een ontwikkelingsinstrument.
1.3 Wat is de Leraar als Persoon? De LaP is een serie gevalideerde online tests waarmee de (aanstaande) leraar door middel van feedback en een totaalrapportage een (zelf)beeld krijgt van de persoonlijke kwaliteiten, opvattingen over onderwijsaspecten en motivatie (Knarren & van der Klink, 2006). De vragenlijsten worden digitaal aangeboden en gaan in de huidige vorm in op vragen als: ‘wat kan ik’ en ‘wat wil ik’. Er zijn bijvoorbeeld vragenlijsten over empathie, Evaluatie - Leraar als Persoon
3
persoonlijkheid, stressbestendigheid en interpersoonlijk handelen. De (aankomende) leraar schrijft zich in op de website van het Ruud de Moor Centrum http://portal.rdmc.ou.nl/lap/ en krijgt daar een gebruikersnaam en een wachtwoord. Als eerste wordt er een intake vragenlijst afgenomen. Zodra deze is ingevuld is het mogelijk om de andere vragenlijsten in te vullen. Er zijn 26 vragenlijsten in de thema’s ‘wat wil ik’ en ‘wat kan ik’. Een overzicht van de 26 vragenlijsten is te vinden in bijlage 1. Voordat er met een vragenlijst begonnen wordt, wordt uitleg gegeven over de inhoud, de antwoordmogelijkheden en het aantal vragen. Voor een voorbeeld van een vragenlijst verwijzen wij naar bijlage 2. Nadat de (aankomend) leraar een vragenlijst heeft ingevuld wordt er feedback gegeven. Feedback kan er bijvoorbeeld als volgt uit zien: Motivatie: Terugkoppeling Extrinsieke motivatie Vergeleken met collega's scoort u laag/hoog op extrinsieke motivatie. De motivatie is voor een klein/groot deel gelegen in arbeidsvoorwaardelijke zaken zoals werktijden, baanzekerheid, salariëring, en/of vakanties, enzovoorts. Intrinsieke motivatie Vergeleken met collega's scoort u laag/hoog op intrinsieke motivatie. De motivatie is voor een klein/groot deel gelegen in het plezier waarmee het werk wordt uitgevoerd en het maatschappelijke belang ervan.
Na het afronden van alle vragenlijsten wordt een totaaladvies gegeven.
1.4 Eerdere evaluaties Het Ruud de Moor Centrum heeft zelf in de loop van de tijd gebruikersevaluaties uitgevoerd. Hieruit bleek onder meer welke aspecten van hun beroep (aankomende) leraren belangrijk vinden en welke eigenschappen zij belangrijk vinden voor een leraar. Ook zijn verschillende elementen van de verschillende versies van de LaP geëvalueerd zoals de duidelijkheid en het nut van de feedback. Gebruikers van de LaP moesten bovendien, voordat ze een terugkoppeling kregen, een evaluatie invullen. Uit deze evaluatie blijkt onder andere dat slechts een klein deel van de respondenten (12 %) de gemeten eigenschappen (ten dele) irrelevant vindt. Het taalgebruik wordt over het algemeen goed en duidelijk gevonden en de extra uitleg vindt bijna 80 % relevant. Deze gebruikersevaluatie wordt in hoofdstuk 2 gebruikt om uitspraken te doen over de gebruikersgroep van de LaP.
4
Evaluatie - Leraar als Persoon
1.5 Toekomst Leraar als Persoon De Leraar als Persoon bestaat uit 26 vragenlijsten waaronder een evaluatie van het product LaP. Nog niet al deze vragenlijsten zijn gevalideerd. Dit omdat er nog niet voor alle testen voldoende vragenlijsten zijn ingevuld om als referentie te dienen, of omdat de ingevulde vragenlijsten nog niet zijn omgezet naar een nuttig referentiekader. Het ijken van de vragenlijsten zal één van de belangrijkste doelen voor de toekomst van de LaP zijn. Daarnaast moet er volgens het Ruud de Moor Centrum meer bekendheid aan de LaP en assessments voor leraren door het Ruud de Moor Centrum worden gegeven. Dit is een andere doelstelling voor de toekomst. Verder is het streven erop gericht de LaP meer te integreren in de schoolorganisatie. Onder welke condities dit het meest effectief kan plaatsvinden zou daarbij onderwerp van onderzoek kunnen zijn. Boven alles, is het Ruud de Moor Centrum van mening dat bevorderd moet worden dat er in de school ‘iets’ met de resultaten van de LaP gedaan wordt in het kader van een breder persoonlijk ontwikkelingsperspectief. Dit is goed voor de school en voor de leraar.
Evaluatie - Leraar als Persoon
5
6
Evaluatie - Leraar als Persoon
2 Voor wie is de Leraar als Persoon bedoeld?
In paragraaf 2.1 wordt dieper ingegaan op de doelen die het Ruud de Moor Centrum nastreeft met betrekking tot de gebruikerspopulatie. In paragraaf 2.2 laten enquêteresultaten zien dat het Ruud de Moor Centrum voor een deel hier in slaagt.
2.1 Doelen De intentie van het Ruud de Moor Centrum bij het aanbieden van de Leraar als Persoon als virtueel self-assessment, is bijdragen aan de professionalisering van de (aankomende) leraar. Het product is in principe gericht op alle (potentiële) leraren. Iedere leraar kan er zijn voordeel mee doen, als hij of zij weet hoe hij of zij tegenover het leraarschap staat en welke persoonlijke kenmerken, kwaliteiten en verwachtingen hij of zij heeft of juist nog kan ontwikkelen. Het Ruud de Moor Centrum raadt aan, om gebruik te maken van de LaP als onderdeel van een breder persoonlijk ontwikkelingsplan al dan niet in de virtuele leer- en werkomgeving die het Ruud de Moor Centrum aanbiedt. De resultaten van de LaP vragenlijsten kunnen bijvoorbeeld besproken worden met een coach of een andere leraar. Voorop staat echter dat de resultaten van de LaP-vragenlijsten voor de individuele leraar zijn. Om bij de digitale vragenlijsten te kunnen is een gebruikersnaam en wachtwoord nodig. Er wordt expliciet gewezen op het niet rond laten slingeren of uitlenen van deze gebruikersnaam en dit wachtwoord, omdat de resultaten voor de individuele leraar zijn. Deze individuele leraar zal dan ook telkens zelf moeten beslissen of en zo ja, met wie hij de resultaten wil delen.
2.2 Resultaten LaP vragenlijsten De resultaten van de LaP vragenlijsten zelf worden gebruikt om de vragenlijst te ijken. Op deze plek geven wij een aantal karakteristieken van de gebruikers. Hierbij maken we gebruik van een door het Ruud de Moor Centrum afgenomen enquête onder gebruikers van de LaP. Voordat gebruikers het eindoordeel van de assessment te zien krijgen, moesten ze namelijk een enquête invullen ter evaluatie van de LaP.
Evaluatie - Leraar als Persoon
7
Figuur 2.1 - Leeftijdsverdeling gebruikers LaP LaP gebruikers naar leeftijd (percentage) 25 20 15 10 5 0 tot 27
28-34
35-41
42-48
49-55
56-62
Leeftijd in jaren
Allereerst zijn een aantal achtergrondkenmerken van belang. In figuur 2.1 is de leeftijdsverdeling van de gebruikers weergegeven. We zien dat een groot deel van de gebruikers tussen de 42 en 55 jaar oud is. Na het 55ste jaar wordt de LaP niet zo veel meer gebruikt. Van de gebruikers is meer dan de helft van het vrouwelijk geslacht (68 %). Wat overeenkomt met het gegeven dat de meeste gebruikers in de leeftijdscategorieën: 42-48 en 48-55 zitten, is dat de meeste gebruikers zeggen ervaren leraren te zijn (zie figuur 2.2). De helft van de gebruikers voelt zich dus een ervaren leraar. Een kwart is startende leraar en een kwart is student, leraar in opleiding.
Figuur 2.2 - Ervaring als leraar van gebruikers LaP Ervaring als docent (percentages) 60 50 40 30 20 10 0 student
startende docent
ervaren docent
Als we naar de schooltypen kijken in figuur 2.3 dan blijkt dat ruim 66 % van de gebruikers actief is in het voortgezet onderwijs. Ongeveer 23 % is actief in het basisonderwijs. De overige 11 % is actief in het mbo, speciaal onderwijs of breed voortgezet 8
Evaluatie - Leraar als Persoon
onderwijs. Verder valt op dat de meeste leraren die gebruik maken van de LaP actief zijn op het vmbo.
Figuur 2.3 - Gebruikers naar schooltype LaP-gebruikers naar schooltype (percentages)
An de rs
BO M
O /V W O HA V
BO VM
ba sis o
nd er wi js
50 45 40 35 30 25 20 15 10 5 0
Uit de evaluaties blijkt verder dat ruim 7 % van de gebruikers het programma ook had willen gebruiken als ervoor betaald had moeten worden. Van dezelfde groep gebruikers is 20 % bereid om meer dan 35 euro voor het programma te betalen als het betaald had moeten worden. Dit verschil komt waarschijnlijk voort uit het feit dat, programma’s zoals de LaP binnen de school worden gebruikt en dus ook door de school voor meerdere leraren aangeschaft kunnen worden. De meeste gebruikers besteden ongeveer 2 à 3 uur aan het programma. Dit komt goed overeen met de geschatte tijdsinvestering die het Ruud de Moor Centrum van te voren geeft.
2.3 Samenvatting Het Ruud de Moor Centrum streeft er naar dat de LaP breed inzetbaar is. Dat het op een breed scala aan schooltypen en door veel soorten leraren wordt gebruikt, blijkt uit de enquêtegegevens. Wat opvalt, is dat men zou verwachten dat het grootste deel van de gebruikers jong is. De nieuwe generatie die is opgegroeid met de computer en internet zal eerder aan innovatieve projecten als de LaP meedoen. Dit blijkt hier niet het geval. Een groot deel van de gebruikers is ouder dan 42 jaar. Het is zeker een goede zaak, dat ook de zittende leraren worden getrokken door het instrument. Dit bewijst de brede inzetbaarheid.
Evaluatie - Leraar als Persoon
9
Hoe wordt er door de gebruikers over de LaP geoordeeld? Daarvoor heeft het ITS in samenwerking met het Ruud de Moor Centrum een enquête via internet afgenomen onder de gebruikers. De resultaten van deze enquêtes worden gepresenteerd in hoofdstuk 3.
10
Evaluatie - Leraar als Persoon
3 Door wie wordt de Leraar als Persoon gebruikt?
3.1 Beschrijving respondenten In totaal zijn 31 van de aangeschreven respondenten (totaal 155) gestart met de vragenlijst, 16 van hen hebben ook op de meeste vragen antwoord gegeven. Het is jammer dat de respons op de vragenlijst zo laag is. Om deze reden hebben wij besloten om alle antwoorden die door deze 31 respondenten gegeven zijn, mee te nemen in de analyse. Hierdoor kan het aantal respondenten per tabel verschillen. Dit betekent echter ook dat er voorzichtig moet worden omgegaan met conclusies die getrokken worden uit deze gegevens. Eerst beschrijven we in deze paragraaf de respondentgroep, in de volgende paragraaf wordt het oordeel van de gebruikers over de LaP weergegeven. Van de respondenten bleek 31 % man te zijn en 69 % van het vrouwelijke geslacht. De respondenten waren voornamelijk tussen de 20 en de 31 (43 %). Er waren ook enkele dertigers bij (13 %) en veertigers (13 %). De overige 25 % was tussen de 50 en de 59 jaar oud. Iets meer leraren (53 %) dan leraren in opleiding hebben de vragenlijst ingevuld. Twee van de 31 respondenten waren zij-instromers en van de leraren hadden er vier een eerste- of tweedegraadsbevoegdheid. De schooltypen waarin de leraren en leraren in opleiding werkzaam zijn, zijn weergegeven in tabel 3.1.
Tabel 3.1 - Schooltypen waarin werkzaam (N=10) Kennismaking via… Primair onderwijs Vmbo theoretisch Mbo Havo/vwo
Aantal* 4 3 2 4
* Meer antwoorden mogelijk.
Uit tabel 3.1 blijkt dat de gebruikers van de LaP ongeveer gelijk verdeeld zijn over vier schooltypen, primair onderwijs, vmbo tl, het mbo en de havo en het vwo. De leergebieden waarover de bevoegdheden verdeeld waren zijn: exacte vakken, mens en maatschappij vakken, talen en beroepsgerichte vakken. De leraren werken tussen de
Evaluatie - Leraar als Persoon
11
twee en 36 jaar in het onderwijs. De LaP wordt dus zowel door beginnende leraren, als door ervaren leraren gebruikt. Van de leraren was er een PABO-docent, de leraren in opleiding volgen een opleiding voor een tweedegraads bevoegdheid.
3.2 Oordeel over de LaP Naast naar een aantal persoonlijke kenmerken is uiteraard gevraagd naar de mening van de gebruikers over het product Leraar als Persoon. Allereerst is het belangrijk te weten hoe men van de LaP gehoord heeft. Gebruikers konden meerdere antwoorden invullen. Zoals te zien in tabel 3.2, hoorden de meeste gebruikers van de LaP via de lerarenopleiding en een ander groot deel via de school. Scholen en lerarenopleidingen lijken dus een goed startpunt voor het Ruud de Moor Centrum om meer informatie over hun producten te verspreiden.
Tabel 3.2 - Kennismaking met de LaP (N=32) Kennismaking via… Andere website Collega De school De lerarenopleiding Cursus
Percentage* 3 6 45 48 6
* Meer antwoorden mogelijk.
Het gemak waarmee de LaP vindbaar is op de site van het Ruud de Moor Centrum is een ander kenmerk dat van belang is. Meer dan 90 % van de respondenten gaf aan de LaP zeer makkelijk te vinden is of dat zij een directe link hebben naar het product. Ook de bekendheid van de LaP is onderzocht. Uit figuur 3.1 blijkt dat de meeste respondenten het product eenmaal gebruikt heeft. Ongeveer een vijfde deel van de gebruikers heeft het product meerdere malen gebruikt.
12
Evaluatie - Leraar als Persoon
Figuur 3.1 - Bekendheid met de LaP (N=31)
Percentage
Hoe goed kent u de LaP? 80 70 60 50 40 30 20 10 0 vaker mee gewerkt
eenmaal mee gewerkt
nauwelijks mee gewerkt
Om een oordeel over de LaP te krijgen is een elftal stellingen voorgelegd. Op deze stellingen kon men op een zevenpuntsschaal van zeer oneens tot zeer eens antwoorden. Zes stellingen waren positief geformuleerd en vijf negatief. Dit om antwoordpatronen te voorkomen. Voor analyse zijn de negatief geformuleerde items gespiegeld zodat alle elf in een richting staan. De zes stellingen over positieve aspecten van de LaP waren: het werken met de LaP is leuk, LaP helpt mij inzichten te verwerven, het werken met de LaP is interessant, de vormgeving van de LaP is aantrekkelijk, de uitleg over het gebruik van de LaP is goed, het werken met de LaP is plezierig. In figuur 3.2 zijn voor de positief geformuleerde eigenschappen aangegeven hoeveel procent van de respondenten het hier (zeer) mee eens was. De negatief geformuleerde stellingen waren: LaP sluit slecht aan bij de dagelijkse onderwijspraktijk, het is lastig om een goed overzicht van de LaP te krijgen, LaP is niet vernieuwend, het werken met LaP kost me veel tijd en LaP is niet zinvol. Waarbij we opmerken dat als het werken met LaP veel tijd kost dit niet hoeft te betekenen dat dit een negatief aspect is. Deze vijf stellingen zijn, zoals vermeld, gespiegeld waardoor we het percentage (zeer) mee eens op alle stellingen in één figuur (figuur 3.2) kunnen laten zien.
Evaluatie - Leraar als Persoon
13
Figuur 3.2 – Oordeel op elf aspecten van de LaP (N=19)
is zinvol
kost weinig tijd
is vernieuwend
geeft goed overzicht
sluit goed aan op praktijk
is plezierig
geeft goede uitleg
is aantrekkelijk
is interessant
geeft inzichten
60 50 40 30 20 10 0 is leuk
Percentage mee eens
De Leraar als Persoon...
Uit figuur 3.2 blijkt dat de LaP op geen van de aspecten door meer dan 50 procent van de respondenten als (zeer) positief wordt beoordeeld. Het meest positief is men over de goede uitleg. Op ongeveer gelijke hoogte staan vervolgens het inzicht dat geboden wordt, het interessante van de LaP, het aantrekkelijke, het goede overzicht ervan en het vernieuwende en het zinvolle van de LaP. Ongeveer 40 procent is over deze aspecten (zeer) positief. Wat minder positief zijn respondenten in hun oordeel over het feit dat de LaP weinig tijd kost, dat deze leuk is en of deze als plezierig wordt ervaren. De schaal ‘intrinsieke motivatie’ bevat een aantal items uit het bovenstaande overzicht (werken met de LaP is : leuk, interessant en plezier) 1. Op deze intrinsieke motivatie-schaal scoren de gebruikers van de LaP met een 4,6 redelijk hoog (1 =laag, 7=hoog). Kost het respondenten moeite om met de laP te werken? Ruim de helft van de respondenten gaf aan een beetje tot weinig moeite te hebben bij het werken met de LaP. Een minderheid (20 procent) heeft er wel (enige) moeite mee en een even grote groep is hierover neutraal. Kortom enige verdeeldheid hierover. Kennelijk is de laP redelijk makkelijk in het gebruik, maar vergt hij wel enige concentratie.
1 De betrouwbaarheid van deze schaal is 0,96.
14
Evaluatie - Leraar als Persoon
De gebruikers van de LaP scoren gemiddeld een 6,02 op de onderliggende dimensie ‘cognitive load’. Dit betekent dat de meeste gebruikers redelijk makkelijk kunnen werken met de LaP. Verwachtingen De verwachtingen van de respondenten vallen grofweg uiteen in vier categorieën. De meeste respondenten gaven aan te verwachten dat er een beeld van zichzelf geschetst zou worden (9), een aantal dat ze het voor een formeel doeleinde ging gebruiken zoals een sollicitatie of een functioneringsgesprek (3), geen verwachtingen (3) en één respondent gaf aan inzicht in het eigen functioneren te krijgen. Ongeveer de helft van de respondenten is van mening dat de verwachtingen die men van het gebruik van de LaP had ook zijn uitgekomen. Uit de antwoorden op de open vraag bleek dat respondenten het soms moeilijk vonden dat ze met ervaren leraren werden vergeleken. Een respondent verwoorddde dat als volgt: “De vragenlijst was zeer groot, maar voor beginnende docent (in opleiding) is de LaP slecht bruikbaar. De vragenlijst gaat er namelijk uit van ervaren docent, je wordt vergeleken met ervaren docenten”. Een opsplitsing naar ervaren en beginnende leraren binnen de benchmark functie lijkt daarmee op zijn plaats. Frequentie gebruik De meeste leraren gebruiken de vragenlijst slechts één keer (zie ook figuur 3.1). Ongeveer de helft van de respondenten is echter wel van plan de LaP in de toekomst nog een keer te gebruiken. Positieve en negatieve aspecten aan de LaP Uit de antwoorden op de open vragen kwam naar voren dat de positieve punten van de LaP vooral de overzichtelijkheid en compleetheid zijn. Een gebruiker zegt hierover: “Een bruikbaar overzicht van de sterke en zwakke kanten van mijzelf in het werk. Duidelijk waar mijn leervragen liggen”. Het geeft de gebruikers een goede spiegel van hun eigen goede en minder goede eigenschapen. De verbeterpunten voor de LaP zijn vooral het beeld dat geschetst wordt. Sommige gebruikers herkenden zich niet in het beeld en vonden dat de bewoording van de gebruikers te generaliserend waren. Ook ten aanzien van de vraagstelling (minder extreem, meer items, betere vragen) worden verbeteringen gemeld. Bijdragen van de LaP aan eigen ontwikkeling Uit tabel 3.3 blijkt dat het gebruik van de LaP bijdraagt aan verschillende aspecten van de ontwikkeling van de (aankomend) leraar. Het meest draagt de LaP bij (zeer
2 De schaal ‘cognitive load’ loopt van 1=veel moeite, 9=weinig moeite. Evaluatie - Leraar als Persoon
15
veel / veel) aan de persoonlijke ontwikkeling en aan het inzicht in het eigen functioneren. De LaP draagt minder bij aan andere aspecten zoals vakinhoudelijke kennis en de kwaliteit van handelen op school.
Tabel 3.3 – Bijdrage van gebruik LaP aan …. (in procenten) (N=15) Helemaal Nauwe- Een beetje niet lijks uw eigen persoonlijke ontwikkeling? uw eigen vakinhoudelijke kennis? uw eigen pedagogische/didactische kennis en vaardigheden? een verbetering van de kwaliteit van uw handelen in contacten met leerlingen? een verbetering van de kwaliteit van uw handelen in de school? meer inzicht in uw eigen functioneren
Veel
Zeer veel
n.v.t.
7 20
20 20
33 40
33 13
7 -
7
13
20
27
27
7
7
7
33
33
20
7
-
7 7
40 13
20 33
33 33
13
-
Waarom gebruiken leraren de LaP en hoe is die verder gebruikt? Het overgrote deel van de gebruikers heeft LaP ingezet als onderdeel van hun opleiding. Een aantal omdat zij er zelf veel interesse in hadden de LaP te gebruiken (“Leek mijn leuk en was nieuwsgierig”). Ruim 70 % van de gebruikers heeft de LaP ingevuld en deze daarna op school besproken. In de nadere toelichting hierop wordt aangegeven dat de besprekingen soms plaatsvinden met een leidinggevende en soms met een begeleider. Het zoeken naar sterke en zwakke punten en het zelfbeeld zijn hierbij centrale onderwerpen. Een klein deel van de respondenten heeft de LaP gebruikt maar er verder niets mee gedaan of er iets anders mee gedaan (voor sollicitatiegesprek, voorgelegd aan stagebegeleider). Verwachtingen van de LaP voor de toekomst De helft van de respondenten vindt dat er in de toekomst meer selectief gebruik moet worden gemaakt van de LaP en eveneens de helft is van mening dat de LaP een gesprek vereist over de resultaten (zie tabel 3.4). De LaP hoeft voor slechts een kleine minderheid in de schoolorganisatie te worden ingebed. Verder werd aangegeven dat de LaP slechts een momentopname is en dus niet als een definitief oordeel gebruikt kan worden en dat de LaP niet reëel genoeg is. Hier lijken verbeteringen mogelijk.
16
Evaluatie - Leraar als Persoon
Tabel 3.4 – Verwachtingen over de toekomst van LaP (N=14) Toekomstige verwachting De Lap moet meer ingebed worden in de schoolorganisatie Er moet meer selectief gebruik gemaakt worden van onderdelen van de LaP De Lap vereist een gesprek over de resultaten Anders
Percentage mee eens 14 50 50 14
Alternatieve instrumenten die door respondenten worden gebuikt om hun kwaliteiten en opvattingen te achterhalen zijn de cirkelanalyse, leerlingenenquêtes, 360 graden assesments, het BIO-bekwaamheidsdossier en de competentiemeter.
Evaluatie - Leraar als Persoon
17
18
Evaluatie - Leraar als Persoon
4 Samenvatting en conclusies
De Leraar als Persoon is een product dat wordt aangeboden door het Ruud de Moor Centrum. Leraren en studenten aan lerarenopleidingen kunnen de LaP gebruiken als virtueel hulpmiddel bij hun ontwikkeling. Het Ruud de Moor Centrum ondersteunt daarmee de individuele professionalisering van leraren en docenten. In dit laatste hoofdstuk wordt een korte samenvatting gegeven over wat de LaP is, hoe deze is ontwikkeld en wat de resultaten van de evaluatie waren. De LaP is een virtueel instrument dat gebruikt kan worden om een beeld over zichzelf te krijgen. Dit beeld bestaat uit twee onderdelen: ‘wie ben ik’ en ‘wat kan ik’. Voor beide onderdelen van dit beeld zijn verschillende vragenlijsten ontwikkeld. Door deze vragenlijsten via de computer in te vullen, wordt er een beeld over de gebruiker gevormd. Aan de ene kant worden er wensen en verwachtingen weergegeven en aan de andere kant competenties. Per onderdeel, maar ook na het invullen van de gehele vragenlijst, krijgt de gebruiker feedback en een ‘oordeel’ op basis van de ingevulde vragen. De LaP is tot stand gekomen in een samenwerking tussen het Ruud de Moor Centrum, de faculteit psychologie van de Open Universiteit en e-HRM. Diverse testen zijn uitgezocht en getoetst op hun geschiktheid. Alle testen samen geven een duidelijk beeld van de persoon en de leraar. Er is onder andere gewerkt vanuit de vakliteratuur en navraag op congressen en op opleidingen wat de competenties en onderdelen van het leraarschap waren die mensen bij zichzelf wilden onderzoeken. Na een aantal testronden is de huidige LaP hieruit voort gekomen. Als voldoende mensen een bepaald onderdeel van de LaP hebben ingevuld, kan de database met al deze gegevens als benchmark functioneren. De ingevulde vragenlijsten kunnen dan vergeleken worden met de door andere leraren en studenten ingevulde vragenlijsten. Voor de toekomst wil het Ruud de Moor Centrum dat de LaP door meer studenten en leraren gebruikt gaat worden. De resultaten uit dit onderzoek kunnen daarbij mogelijk helpen. Uit de internetenquête komt heel duidelijk een tweezijdig beeld naar voren. Allereerst dat er een groot verschil is in de perceptie van studenten en leraren. De studenten hadden het gevoel dat zij onnodig negatief werden afgebeeld, omdat hun scores met die van leraren werden vergeleken. Het is bijvoorbeeld heel natuurlijk om als student eerder verlegen of onzeker voor de klas te zijn, dan als (ervaren) leraar. Het zou daar-
Evaluatie - Leraar als Persoon
19
om goed zijn als het Ruud de Moor Centrum hiermee rekening houdt bijvoorbeeld met een dubbele benchmark. Gebruikers kunnen zich dan met zowel studenten als met leraar vergelijken. Over het algemeen blijken de gebruikers positief te zijn over de LaP. De LaP verschaft de gebruiker een redelijk goed en duidelijk beeld. Toch is niet iedereen het hier mee eens. Meerdere gebruikers merkten op dat de LaP een te negatief beeld geeft en dat het jammer is dat de feedback die gegeven wordt zo extreem is. Dit is waarschijnlijk ten dele inherent aan het systeem en kan vermoedelijk niet makkelijk veranderd worden. Toch kan extra nuance in de LaP geen kwaad. Tenslotte blijkt dat de LaP goed gebruikt kan worden bij de professionalisering van leraren en de ontwikkeling van studenten in opleiding voor leraar. De gebruikers leren over zichzelf en weten vaak zelf welke resultaten goed bij hen passen en welke niet. Zo kan de uitslag gecorrigeerd worden. Daarnaast kan het resultaat sterke en zwakke punten van de gebruiker laten zien, waarmee de gebruiker aan de slag kan. Hierdoor kan de (aankomend) leraar zichzelf ontwikkelen. We kunnen concluderen dat de LaP een interessant en zinvol instrument wordt gevonden dat aan de basis kan staan een verdere ontwikkeling en professionalisering van de (aankomend) leraar. Op een aantal punten zijn verbeteringen wenselijk. Te noemen zijn dan: een benchmark voor leraren én een benchmark voor studenten; een meer genuanceerde feedback.
20
Evaluatie - Leraar als Persoon
Referenties
Knarren, J. & Klink, M. van der. (2006). Leraar als Persoon. In: Productcatalogus Ruud de Moor Centrum 2006. Sluijsman, D. & Dresen, M. (2004). Projectplan deelproject 3. Formatieve assessments in de virtuele leer en werkomgeving. Ruud de Moor Centrum.
Evaluatie - Leraar als Persoon
21
22
Evaluatie - Leraar als Persoon
Bijlage 1 - Overzicht vragenlijsten Bij het invullen van de LaP vragenlijsten kan er door de gebruiker op elk moment gestopt worden. Per vragenlijst, wordt van te voren vermeld hoeveel tijd deze gemiddeld kost. Op de voortgangspagina is de volgende tabel te vinden. In de eerste kolom staat de titel van de vragenlijst, in de tweede kolom de status (al dan niet afgerond) en in de derde kolom de geplande tijd die per vragenlijst nog besteedt zou moeten worden om de gehele LaP af te ronden.
Tabel 1 - Overzicht vragenlijsten, status en geplande tijd Onderdeel Intake Doel-oriëntatie Conflicthantering Interpersoonlijke relaties Empathie Emotie management Leiderschap Creativiteit Stressbestendigheid Persoonlijkheid Communicatie collega's Communicatie ouders Time management Coping Klassen management Werkgroepen Vernieuwingen Beheersingsoriëntatie Core Self-evalutie Motivatie Motivatie Leraar Onderwijsopvattingen Onderwijsperspectieven Loopbaan-orientatielijst Satisfactie LaP evaluatie
Status
Geplande tijd geen geen geen geen geen geen 10 min. 5 min. 5 min. geen 5 min. geen 5 min. geen 5 min. geen geen geen 60 min. 5 min. geen 10 min. 15 min. 5 min. geen 5 min.
Om het programma te voltooien dient u nog ongeveer 2 uren en 15 minuten te besteden.
Evaluatie - Leraar als Persoon
23
Bijlage 2 - Voorbeeld vragenlijst Motivatie Met deze test is het mogelijk na te gaan wat uw motivatie is om voor een baan als leraar te kiezen of deze te blijven uitoefenen. De volgende 19 uitspraken bevatten mogelijke redenen om als leraar te werken. Wilt u aangeven hoe belangrijk elk van deze redenen voor u is om deze baan uit te oefenen. Selecteer het cijfer waarvan u denkt dat dit het best uw opvatting weergeeft. De betekenis van de cijfers is als volgt: 1: helemaal oneens, 2 oneens, 3 beetje oneens, 4, beetje eens, 5 eens, 6 helemaal eens. 1
2
3
4
5
1. Deze baan geeft een goede zekerheid. 2. Deze baan heeft prettige werktijden. 3. Er zijn betrekkelijk lange vakanties. 4. Het vak waarin ik lesgeef, vind ik leuk. 5. Ik vind het leuk om met jongeren te werken. 6. Ik vind het prettig jongeren te helpen om verder te komen. 7. Het werk is tamelijk gevarieerd. 8. Het stelt me in staat mijn beroep uit te oefenen. 9. Ik vind het prettig om voor een groep les te geven. 10. Het is sociaal gezien een waardevolle baan. 11. Ik ben goed in mijn vak. 12. Ik kan een baan als leraar krijgen in elk ander deel van het land. 13. Mijn beroep vind ik belangrijk. 14. Mijn vak is voor de leerlingen een belangrijk vak. 15. Door leraar te zijn, draag ik bij aan de verbetering van de samenleving. 16. Het leraarschap kan in de toekomst leiden tot andere banen. 17. Andere mensen moedig(d)en me aan om leraar te blijven / worden. 18. Het kan me helpen om een baan als leraar in een ander land te krijgen. 19. Mijn ervaringen als leerling gaven mij een positief beeld over deze baan.
24
Evaluatie - Leraar als Persoon
6
Evaluatie - Leraar als Persoon
25