Hoe studentevaluaties bijdragen aan de professionalisering van lerarenopleiders

Hoe studentevaluaties bijdragen aan de professionalisering van lerarenopleiders

Samenvatting

Fleur Deenen, Drieam, Eindhoven Jeannette Geldens, Kempelonderzoekscentrum Helmond Anne Khaled, Universiteit van Utrecht en Hogeschool Utrecht Voor succesvolle onderwijsverbeteringen is het van belang dat lerarenopleiders zich professioneel ontwikkelen. Lerarenopleiders vervullen een sleutelrol in de kennis en beroepsontwikkeling van onderwijsgevenden, daarom is er groeiende aandacht voor het professionaliseren van lerarenopleiders. Verondersteld wordt dat lerarenopleiders veel leren van de evaluaties van hun eigen studenten, die zitten immers vol feedback over hun opleidingspraktijk. Toch is er nog maar weinig onderzoek gedaan naar professionalisering door middel van studentevaluaties (zoals blokevaluaties, kwaliteitskringen en individuele gesprekken met studenten) bij lerarenopleidingen. Door middel van een vragenlijst met gesloten en open vragen en een semigestructureerd groepsinterview is onderzocht in welke mate en op welke manier studentevaluaties bijdragen aan de competentieontwikkeling van lerarenopleiders in lerarenopleidingen Primair Onderwijs. Op basis van de onderzoeksresultaten is een belangrijke conclusie dat verschillende soorten studentevaluaties van invloed zijn op de competentieontwikkeling van lerarenopleiders. Hoe directer (just-in-time) en persoonlijker (in face-to-facegesprekken) de feedback is, hoe meer invloed de feedback volgens lerarenopleiders heeft op de competentieontwikkeling. Het onderzoek leidt tot aanbevelingen die lerarenopleidingen kunnen benutten voor hun professionaliseringsbeleid en kunnen bijdragen aan de kwaliteitsverbetering van het opleidingsonderwijs.

Inleiding In het kader van kwaliteitsverbetering in het onderwijs is het van belang dat docenten in het Hoger Beroepsonderwijs zich voortdurend professioneel ontwikkelen (Delvaux et al., 2013; Van Veen, Zwart, Meirink, & Verloop, 2010). Dit geldt ook voor lerarenopleiders verbonden aan lerarenopleidingen Primair Onderwijs. Professionele ontwikkeling is belangrijk voor lerarenopleiders omdat zij behoren tot een beroepsgroep die een sleutelrol vervult in de kennis en beroepsontwikkeling van alle onderwijsgevenden. De Onderwijsraad gaf dan ook in 2007 niet voor niets een belangrijk advies uit met als titel 'Leraarschap is eigenaarschap' (Onderwijsraad, 2007). In het Hoger Beroepsonderwijs wordt veelvuldig gebruik gemaakt van studentevaluaties, onder andere in de vorm van vragenlijsten, informele gesprekken en kwalitatieve sessies (Harvey, 2003; Richardson, 2005). Het doel van de studentevaluaties is tweeledig; naast verantwoording voor de kwaliteit van het onderwijs gaat het ook om het verbeteren van de kwaliteit van onderwijs (Isoré, 2009; Harvey, 2003; Kember, Leung, & Kwan, 2002; Seldin, 1997). Ons onderzoek focust op het verbeteren van de kwaliteit van onderwijs. Er wordt gekeken naar het verbeteren van de kwaliteit van lerarenopleidingen door lerarenopleiders te professionaliseren aan de hand van data afkomstig van studentevaluaties. Onderzoek naar het effect van studentevaluaties op de professionele ontwikkeling van lerarenopleiders is van belang omdat deze professionalisering wordt gezien als middel om de kwaliteit Tijdschrift voor Lerarenopleiders, 36(2) 2015

35

van het onderwijs positief te beïnvloeden en daarmee het leren van aanstaande leraren te verhogen (Delvaux et al., 2013; Van Veen et al., 2010). Hoewel er groeiende aandacht is voor het professionaliseren van lerarenopleiders (o.a. Swennen, 2012; Melief, Rijswijk, & Tigchelaar, 2012) en er veelvuldig gebruik wordt gemaakt van studentevaluaties in het Hoger Onderwijs, is het tot nu toe nog onduidelijk of studentevaluaties een bijdrage leveren aan het verbeteren van het onderwijs (Dunkin & Barnes, 1986; Kember et al., 2002; Marsh, 1987; Seldin, 1997) en de professionele ontwikkeling van lerarenopleiders. Het doel van dit onderzoek was dan ook kennis en inzicht verkrijgen in de mate waarin en de wijze waarop studentevaluaties bijdragen aan de competentieontwikkeling van lerarenopleiders van lerarenopleidingen Primair Onderwijs. In dit artikel gaan we eerst kort in op enkele centrale begrippen als competentieontwikkeling en studentevaluaties. Vervolgens wordt de onderzoeksopzet uitgewerkt en worden de resultaten besproken en bediscussieerd. Dit leidt tot enkele aanbevelingen met betrekking tot het professionaliseren van lerarenopleiders.

Competentieontwikkeling In dit onderzoek gaan we specifiek in op de competentieontwikkeling van lerarenopleiders in het Hoger Beroepsonderwijs. Competentieontwikkeling omvat de processen en activiteiten die expliciet zijn ontworpen om de kennis, houding en vaardigheden van lerarenopleiders te versterken of te verbeteren om vervolgens het leren van aanstaande leraren te verbeteren (Guskey, 2003). Uit onderzoek blijkt dat voor een effectieve competentieontwikkeling de betekenisvolheid en het eigenaarschap Voor een dat de lerarenopleiders bij hun leren en ontwikkelen ervaren, van effectieve compedoorslaggevend belang zijn (Popeijus & Geldens, 2009). De tentieontwikkeling zijn beroepsgroep VELON ziet competenties van lerarenopleiders als betekenisvolheid en concretisering voor de professionele ontwikkeling (Melief et al., eigenaarschap door2012). Melief et al. hebben in de beroepsstandaard voor lerarenslaggevend. opleiders (VELON) vier competenties uiteengezet: Opleidingsdidactisch bekwaam, Agogisch bekwaam, Organisatorisch en beleidsmatig bekwaam en Ontwikkelingsbekwaam. Opleidingsdidactisch bekwaam heeft betrekking op relevante leerinhouden en de vormgeving van leerprocessen. Agogisch bekwaam betreft een veilig en uitdagend leerklimaat en communicatie. Bij Organisatorisch en beleidsmatig bekwaam gaat het om het inrichten van de leerwerkplek en de organisatie van de lerarenopleiding. En Ontwikkelingsbekwaam heeft betrekking op reflectie en het onderhouden van de eigen professionaliteit. Deze vier competenties geven aan welke kennis, vaardigheden en houding lerarenopleiders moeten beheersen en worden in dit onderzoek gebruikt als referentiekader voor de (individuele) professionele ontwikkeling van lerarenopleiders.

Studentevaluaties Studentevaluaties zijn volgens Marsh (1987) meer bruikbaar, accuraat en valide dan andere metingen van onderwijsprestaties van lerarenopleiders en hebben het voordeel dat studenttevredenheid direct wordt gemeten (Ramsden, 1991). In het Hoger Onderwijs wordt bij studentevaluaties ook wel over studentfeedback gesproken (Harvey, 2003; Seldin, 1997). De feedback van studenten die in de studentevaluaties naar voren komt verwijst in dit onderzoek naar de meningen geuit door studenten over het onderwijsaanbod dat zij ontvangen (Harvey,

36

Hoe studentevaluaties bijdragen aan de professionalisering van lerarenopleiders.

In het Hoger Beroepsonderwijs wordt veelvuldig gebruik gemaakt van studentevaluaties.

2003) en over de kennis en vaardigheden van de lerarenopleider. Het gaat hierbij om studentevaluaties die zowel formeel als informeel plaatsvinden en directe of gemedieerde feedback bevatten van studenten aan docenten. Er is nog weinig bekend over welke studentevaluaties worden gebruikt door lerarenopleiders en op welke wijze deze worden ingezet voor de competentieontwikkeling. Om dit te onderzoeken zijn onderstaande onderzoeksvragen geformuleerd. Hoofdvraag: In welke mate en op welke manier dragen studentevaluaties bij aan de competentieontwikkeling van lerarenopleiders in lerarenopleidingen Primair Onderwijs? Deelvragen: 1 Welk type studentevaluaties gebruiken lerarenopleiders voor hun competentieontwikkeling? 2 Welke waarde hechten lerarenopleiders aan het gebruik van studentevaluaties voor hun competentieontwikkeling? 3 Welke competenties van de beroepsstandaard voor lerarenopleiders worden door middel van studentevaluaties ontwikkeld? 4 Op welke wijze worden studentevaluaties volgens lerarenopleiders gebruikt voor hun eigen competentieontwikkeling?

Hoe zijn we te werk gegaan? Om antwoorden op deze onderzoeksvragen te verkrijgen hebben we een vragenlijst met gesloten en open vragen uitgezet bij 46 lerarenopleiders binnen de lerarenopleiding Primair

Tijdschrift voor Lerarenopleiders, 36(2) 2015

37

Onderwijs. Aanvullend heeft een semigestructureerd groepsinterview plaatsgevonden met zes lerarenopleiders waarin is gezocht naar verklaringen voor de resultaten uit de vragenlijst. Bij het opstellen van de vragen voor de vragenlijst is gebruik gemaakt van de literatuur over soorten studentevaluaties (Harvey, 2003; Richardson, 2005) en de competenties voor lerarenopleiders (Melief et al., 2012). Er heeft tevens een gesprek plaatsgevonden met drie sleutelfiguren van een lerarenopleiding om te achterhalen welke soorten studentevaluaties van toepassing zijn op de lerarenopleiding. Op basis hiervan zijn de blokevaluatie, de kwaliteitskring, een evaluatie tijdens en/of na de les, een evaluatie na afsluiting van een blok en individuele gesprekken met studenten meegenomen in de vragenlijst. Voor afname van de vragenlijst vond een pilot plaats om na te gaan of alle vragen goed werden begrepen, waarna de vragenlijst werd bijgesteld. De definitieve vragenlijst bestaat uit een algemeen en een specifiek deel. In het algemeen deel werden vragen gesteld over de variabelen leeftijd, geslacht, aantal jaren ervaring en vaksectie. Het specifieke deel ging in op de variabelen uit de onderzoeksvraag, namelijk studentevaluaties en competentieontwikkeling. In het specifieke gedeelte werd eerst gevraagd welke soort studentenevaluaties werden ingezet. Vervolgens werden onder meer vragen gesteld over de mate waarin deze studentevaluaties van invloed zijn op de competentieontwikkeling van lerarenopleiders in het algemeen, middels een vierpuntschaal van 'helemaal niet van invloed' tot 'heel erg van invloed'. Voor valide gebruik van competenties bij een zelf-beoordelingsvragenlijst zijn meerdere gedragsindicatoren nodig met concrete beschrijvingen van kennis, vaardigheden en attituden (Khaled et al., 2014). Daarom werd er gebruik gemaakt van meerdere stellingen per competentie, zoals 'De informatie uit de studentevaluatie zorgt ervoor dat ik nadenk over het gebruik van verschillende didactische methodieken en deze indien nodig aanpas'. Hierop konden de respondenten reageren in een vierpuntschaal van 'helemaal niet van toepassing op mij' tot 'heel erg van toepassing op mij'. Op basis van deze concrete beschrijvingen kon worden nagegaan of er een verband is tussen de studentevaluaties en de verschillende VELON competenties (Melief et al., 2012). De vragenlijst bevatte ook twee vragen over de waarde die de lerarenopleiders hechten aan studentevaluaties. Hieraan is een open invulmogelijkheid toegevoegd zodat lerarenopleiders kunnen toelichten waarom die volgens hen al dan niet benut zouden moeten worden voor competentieontwikkeling van lerarenopleiders. Dit zou volgens lerarenopleiders namelijk een effect kunnen hebben op de mate waarin studentevaluaties van invloed zijn op hun competentieontwikkeling. Bij de gehele vragenlijst werd uitgegaan van de perceptie van lerarenopleiders. Delvaux en collega's (2013) beweren dat de perceptie van de docent cruciaal is voor het actuele gedrag van de docent. Uiteindelijk hebben 36 van de 46 lerarenopleiders de volledige vragenlijst ingevuld. Alle vaksecties waren hierbij vertegenwoordigd. De data uit de vragenlijst hebben we geanalyseerd met een statistische test (Friedman) waarmee we konden bepalen in welke mate studentevaluaties de competentieontwikkeling beïnvloeden. Om de resultaten te kunnen interpreteren en verklaren werd een groepsinterview gehouden met zes lerarenopleiders. Deze lerarenopleiders zijn gekozen op basis van een doelgerichte steekproef. Onder deze lerarenopleiders waren personen met een hoog en een laag gemiddelde op de vragenlijst. Wat betekent dat zij studentevaluaties als veel of weinig van invloed ervaren op hun competentieontwikkeling. Samen met de lerarenopleiders werd gekeken op welke wijze studentevaluaties worden gebruikt voor de ontwikkeling van competenties. 38

Hoe studentevaluaties bijdragen aan de professionalisering van lerarenopleiders.

Het groepsinterview werd gehouden aan de hand van een topiclijst met interviewvragen. Voor de verklaring van de resultaten uit de vragenlijst werden vragen gesteld als: "Herkennen jullie dit?" en "Kunnen jullie dit verklaren?". Om te achterhalen op welke wijze de studentevaluaties worden gebruikt voor de competentieontwikkeling en welke competentie dan wordt ontwikkeld, werd gevraagd naar concrete voorbeelden. Deze concrete voorbeelden werden verzameld en enkele voorbeelden werden tijdens het groepsinterview besproken. Het groepsinterview werd geanalyseerd middels een combinatie van inductief en deductief coderen en verliep in vier stappen (Van Lanen, 2010). Bij de eerste stap werd de tekst opgedeeld in fragmenten. Hierbij is gekozen om de fragmenten samen te laten vallen met de vragen uit het interview. In de tweede stap werden de fragmenten verdeeld over vier componenten: waarde, studentevaluatie, competentieontwikkeling en wijze waarop. Deze termen zijn afkomstig van de deelvragen. Bij stap drie werd gekeken naar de uitspraken binnen de vier componenten. Hier werd een code toegekend die de uitspraak kenmerkte. Dit werd aangeduid als 'kenmerk' (zie Tabel 1). Bij de component 'competentieontwikkeling' werd bijvoorbeeld onderscheid gemaakt tussen de vier competenties voor lerarenopleiders afkomstig uit de theorie (deductief). Bij de component 'studentevaluatie' werd onderscheid gemaakt tussen de verschillende soorten studentevaluaties afkomstig uit de theorie (deductief). Bij de componenten 'waarde' en 'wijze waarop' is gekozen voor kenmerken direct afgeleid uit het interview (inductief). De componenten 'competentieontwikkeling' en 'studentevaluatie' zijn eveneens aangevuld met kenmerken afgeleid uit het interview (inductief). Ten slotte werd er bij de vierde stap gezocht naar concepten waarmee een relevante uitspraak eenduidig kon worden omschreven. Dit werd aangeduid als 'elementen'. De elementen verwijzen naar de concrete betekenis die lerarenopleiders geven aan kenmerken.

Tabel 1 Codeerschema groepsinterview met vier componenten en hun kenmerken Component 1. Waarde

Kenmerk 1.1 Waarde hechten 1.2 Geen waarde hechten 1.3 Benutten studentevaluaties 1.4 Benutten blokevaluaties en kwaliteits kring a

2. Studentevaluatie

2.1. Gesprekken/persoonlijk contact2 2.2. Kwaliteitskring/blokevaluatie b

3. Competentieontwikkeling

3.1. Onderscheid intentioneel en incidenteel 3.2. Verschil in competenties 3.3. Opleidingsdidactisch bekwaam 3.4. Agogisch bekwaam 3.5. Organisatorisch- en beleidsmatig bekwaam 3.6. Ontwikkelingsbekwaam

4. Wijze waarop

4.1. Actie onafhankelijk van studentevaluatie 4.2. Ad hoc 4.3. Systematisch

a. De kwaliteitskring en blokevaluatie zijn twee afzonderlijke studentevaluaties, echter zijn de antwoorden in het groepsinterview veelal op beiden gericht. Kwaliteitskring en blokevaluatie zijn om deze reden opgenomen als één kenmerk. b. Onder gesprekken en persoonlijk contact worden alle vormen van persoonlijke feedback verstaan. Dit bevat onder andere studentevaluaties tijdens en/of na de les, evaluaties na een blok en individuele gesprekken.

Tijdschrift voor Lerarenopleiders, 36(2) 2015

39

Hieruit is een codeerschema ontstaan. Om de betrouwbaarheid en kwaliteit van de analyse te waarborgen werd de interbeoordelaarsbetrouwbaarheid berekend. Een medecodeerder heeft 8 van de 47 fragmenten gecodeerd aan de hand van het opgestelde codeerschema (>10% van het totaal aantal fragmenten). Om de begripsvaliditeit te waarborgen werd een omschrijving van de componenten en kenmerken gegeven aan de medecodeerder in een codeboek. Voor de interbeoordelaarsbetrouwbaarheid is over de gezamenlijk gecodeerde fragmenten een Cohen's kappa berekend. De interbeoordelaarsbetrouwbaarheid van de analyse van het groepsinterview bleek zowel op component- (Cohen's kappa = 1), kenmerk- (Cohen's kappa = .871) als elementniveau (Cohen's kappa = .857) voldoende (Cohen's kappa > .80) (Cohen, 1960).

Wat zijn we te weten gekomen? In de vragenlijst en het groepsinterview is gezocht naar antwoorden op de onderzoeksvragen. We beschrijven hier de resultaten aan de hand van de deelonderzoeksvragen. Doordat het groepsinterview een kwalitatieve aanvulling is op de kwantitatieve resultaten van de vragenlijst, beschrijven we de resultaten van de vragenlijst en groepsinterview gezamenlijk. Welk type studentevaluaties gebruiken lerarenopleiders voor hun competentieontwikkeling? Uit de vragenlijst kwam naar voren dat alle vijf onderscheiden studentevaluaties door lerarenopleiders worden gebruikt voor hun competentieontwikkeling. Lerarenopleiders gebruiken 1) de blokevaluatie, 2) de kwaliteitskring, 3) een evaluatie tijdens en/of na de les, 4) een evaluatie na afsluiting van een blok en 5) individuele gesprekken met studenten. In het groepsinterview werd aanvullend een onderscheid gemaakt tussen persoonlijk contact met studenten (studentevaluaties 4 en 5) en de blokevaluaties (studentevaluatie 1) en kwaliteitskringen (studentevaluatie 2) die plaatsvinden door de jaarcoördinator van de opleiding in samenwerking met de kwaliteitszorgcoördinator. Welke waarde hechten lerarenopleiders aan het gebruik van studentevaluaties voor hun competentieontwikkeling? In de vragenlijst geeft 94% van de respondenten aan waarde te hechten aan feedback afkomstig van studentevaluaties. Verder vindt 92% dat de feedback afkomstig van studentevaluaties benut zou moeten worden voor de competentieontwikkeling. Hiervoor geven zij bij de open vraag in de vragenlijst de volgende redenen: 1 Studentevaluaties geven belangrijke informatie (feedback/kwaliteiten/verbeterpunten) over het handelen van lerarenopleiders, wat kan bijdragen aan het efficiënt sturen van de eigen competentieontwikkeling. 2 De stem en invloed van de student zijn belangrijk om goed onderwijs te kunnen bieden, omdat zij de doelgroep zijn waarvoor lerarenopleiders werken. 3 Studentevaluaties kunnen leiden tot verbetering van het aanbod. 4 Studentevaluaties geven een goed beeld van hoe de docent functioneert, ze kijken vanuit een ander perspectief naar de kwaliteit van de lerarenopleider en nemen dus dingen waar die anderen en de docent niet waarnemen. 5 De mening van studenten is cruciaal om de betekenisvolheid van het door de lerarenopleider geboden onderwijs te bepalen.

40

Hoe studentevaluaties bijdragen aan de professionalisering van lerarenopleiders.

Drie van de 36 lerarenopleiders plaatsen bij deze open vraag in de vragenlijst vraagtekens bij het feit dat studentevaluaties benut zouden moeten worden voor de competentieontwikkeling van lerarenopleiders. Opmerkingen die worden geplaatst bij het benutten van student evaluaties voor de competentieontwikkeling zijn ondermeer: 1 Er moet sprake zijn van zorgvuldige afname, interpretatie en nuancering van de gegevens voor zuivere feedback. 2 Studentevaluaties moeten niet worden gezien als het benige middel voor de competentieontwikkeling en ook niet als hoofdmiddel. 3 Het eigenaarschap van de competentieontwikkeling moet bij de lerarenopleiders blijven liggen. In het groepsinterview komt naar voren dat feedback uit blokevaluaties en kwaliteitskringen benut wordt voor de algemene ontwikkeling van modules in de vaksectie en minder aanzet tot actie voor de individuele competentieontwikkeling van de lerarenopleiders. Indien lerarenopleiders met studenten in gesprek gaan levert dit volgens hen meer specifieke en directe feedback op, omdat men beter door kan vragen in gesprekken. Op basis hiervan kunnen de lerarenopleiders meteen actie ondernemen en werken aan hun competentieontwikkeling: "Ik denk eerlijk gezegd dat de blokevaluaties en kwaliteitskringen niet altijd voldoende informatie geven als het gaat over je eigen competenties. Deze evaluaties zeggen niet altijd iets over je functioneren, maar meer over de lesinhoud, toetsing en dat soort zaken. Ik haal persoonlijk de meeste feedback uit de gesprekken." (lerarenopleider S.) Welke competenties van de beroepsstandaard voor lerarenopleiders worden door middel van studentevaluaties ontwikkeld? In Tabel 2 (p. 42) geven we weer in welke mate de studentevaluaties volgens lerarenopleiders van invloed zijn op de competentieontwikkeling. In de vragenlijst is een vierpuntsschaal gebruikt waarbij 1 'helemaal niet van invloed' is en 4 'heel erg van invloed'. Een laag gemiddelde betekent dat de betreffende studentevaluatie weinig van invloed is op de competentieontwikkeling en een hoog gemiddelde betekent dat de betreffende studentevaluatie veel van invloed is op de competentieontwikkeling van lerarenopleiders. In deze tabel is bijvoorbeeld zichtbaar dat informele gesprekken met studenten, evaluaties tijdens en/of na de les en evaluaties na afsluiting van een blok meer van invloed zijn op de competentieontwikkeling dan blokevaluaties en kwaliteitskringen. Om te kunnen spreken van wel of geen significante verschillen in de gemiddelden van Tabel 2 is een Friedman's test uitgevoerd. Hieruit blijkt dat er significante verschillen zijn in de invloed van de verschillende studentevaluaties op de competentieontwikkeling van lerarenopleiders (zie Tabel 3, p. 42). Alle soorten studentevaluaties dragen bij aan de competentieontwikkeling, maar niet in dezelfde mate. Zo blijkt na een post-hoc test dat blokevaluaties en kwaliteitskringen volgens lerarenopleiders significant minder van invloed zijn op de competentieontwikkeling dan informele gesprekken met studenten, evaluaties tijdens en/of na de les en evaluaties na afsluiting van een blok. Daarnaast blijkt dat evaluaties tijdens en/of na de les volgens lerarenopleiders significant meer van invloed zijn op de competentieontwikkeling dan evaluaties na afsluiting van een blok (zie Tabel 4, p. 42). Er wordt echter geen verschil gevonden in het effect van de studentevaluaties op de ontwikkeling van de verschillende competenties. Dit wil zeggen dat studentevaluaties niet meer van Tijdschrift voor Lerarenopleiders, 36(2) 2015

41

Tabel 2 Invloed van studentevaluaties op de competentieontwikkeling van lerarenopleiders: gemiddelden en standaarddeviaties a Competentieontwikkeling algemeen

Opleidingsdidactisch bekwaam

Agogisch bekwaam

Organisatorisch- en beleidsmatig bekwaam

Ontwikkelingsbekwaam

M

(SD)

M

(SD)

M

(SD)

M

(SD)

M

(SD)

Student-evaluaties in het algemeen

2.78

(.72)

2.84

(.54)

2.74

(.53)

2.76

(.57)

2.83

(.60)

Blokevaluatie

2.78

(.72)

2.69

(.68)

2.56

(.77)

2.67

(.83)

2.60

(.78)

Kwaliteitskring

2.86

(.87)

2.81

(.86)

2.47

(.91)

2.78

(.99)

2.69

(.83)

Informele gesprekken met studenten

3.37

(.69)

3.22

(.68)

3.25

(.77)

3.11

(.67)

3.00

(.69)

Evaluatie tijdens en/of na de les

3.56

(.65)

3.53

(.56)

3.22

(.87)

3.20

(.68)

3.17

(.82)

Evaluatie na afsluiting van een blok

3.31

(.79)

3.10

(.77)

2.77

(.91)

2.97

(.86)

2.97

(.86)

a. Vetgedrukte waardes zijn significant meer van invloed bij een significantie niveau van α < .05, N =36

Tabel 3 p-waarden Friedman toets

Studentevaluaties als gepaarde metingen

a

Competentieontwikkeling algemeen

Opleidingsdidactisch bekwaam

Agogisch bekwaam

Organisatorisch en beleidsmatig bekwaam

Ontwikkelingsbekwaam

p = .000

p = .000

p = .000

p = .009

p = .000

a. α ≤ .05, N =36

Tabel 4 p-waarden Friedman Post-hoc toets

Blokevaluaties

a

Blokevaluaties

Kwaliteitskring

Informele gesprekken

Evaluatie tijdens en/of na de les

Evaluatie na een blok

X

p = .206

p = .000

p = .000

p = .003

Kwaliteitskring

p = .206

X

p = .005

p = .000

p = .009

Informele gesprekken

p = .000

p = .005

X

p = .083

p = .763

Evaluatie tijdens en/of na de les

p = .000

p = .000

p = .083

X

p = .005

Evaluatie na een blok

p = .003

p = .009

p = .763

p = .005

X

a. De p-waarden geven aan of er wel of geen significante verschillen zijn tussen de studentevaluaties na Bonferroni correctie. α ≤ .005. N=36

invloed op de ene competentie dan op de andere competentie. In het groepsinterview werd gezocht naar een verklaring hiervoor. Uit een systematische analyse van het groepsinterview bleek dat lerarenopleiders denken dat dit komt omdat zij op lesniveau met alle competenties tegelijk bezig zijn en zij hun competentieontwikkeling als één geheel beschouwen: "Ik vind het eigenlijk ook wel logisch. Zeker als je het op lesniveau zou bekijken dan ben je met alle competenties tegelijkertijd bezig, dus kun je ze ook heel moeilijk scheiden." (lerarenopleider R.) Op welke wijze worden studentevaluaties volgens lerarenopleiders gebruikt voor hun eigen competentieontwikkeling? In het groepsinterview gaven de lerarenopleiders aan dat de vervolgacties naar aanleiding van studentevaluaties onafhankelijk zijn van het soort studentevaluatie. Ze hebben een eigen methodiek of voorkeur om feedback om te zetten in competentieontwikkeling. Vaak leidt de combinatie van verschillende studentevaluaties tot bepaalde acties die kunnen worden onderscheiden in ad hoc acties en systematische acties. Een voorbeeld van een ad hoc actie is een nieuwe didactische werkvorm uitproberen in de volgende les. Daarnaast volgen er naar aanleiding van studentevaluaties ook systematische acties zoals reflecteren na afloop van iedere les, bij een collega kijken, overleg met collega, literatuur bestuderen, werkgroepje vormen of een studiedag volgen.

Wat kunnen we concluderen? Het doel van dit onderzoek was kennis en inzicht verkrijgen in de mate waarin en de wijze waarop studentevaluaties bijdragen aan de competentieontwikkeling van lerarenopleiders van lerarenopleidingen Primair Onderwijs. Op basis van de onderzoeksresultaten kunnen we concluderen dat alle genoemde studentevaluaties bijdragen aan de competentieontwikkeling van lerarenopleiders, maar echter niet in dezelfde mate. Persoonlijke gesprekken met studenten zoals een evaluatie tijdens en/of na de les, een evaluatie na afloop van een blok of informele gesprekken dragen volgens lerarenopleiders significant meer bij aan de competentieontwikkeling van lerarenopleiders dan feedback uit blokevaluaties en kwaliteitskringen. We concluderen dat lerarenopleiders overwegend meer waarde hechten aan deze persoonlijke gesprekken met studenten dan aan blokevaluaties en kwaliteitskringen voor hun eigen competentieontwikkeling. Daarnaast blijkt uit dit onderzoek dat een evaluatie tijdens en/of na de les volgens lerarenopleiders significant meer bijdraagt aan de competentieontwikkeling dan een evaluatie na afsluiting van een heel blok. Er is Hoe directer echter geen verschil gevonden in de invloed van de studentevalua(just-in-time) en ties op de verschillende competenties. We concluderen dat lerarenpersoonlijker (faceopleiders hun eigen methodiek of voorkeur hebben om feedback to-face) de feedback om te zetten in competentieontwikkeling, ongeacht het soort is, hoe meer invloed studentevaluatie. Vaak leidt een combinatie van verschillende hij heeft. studentevaluaties tot het gebruik van bepaalde type vervolgacties in de vorm van ad hoc of systematische acties. Een algehele conclusie die we kunnen trekken is dat hoe directer (just-in-time) en persoonlijker (in face-to-face-gesprekken) de feedback uit studentevaluaties is, hoe meer invloed de feedback volgens de percepties van lerarenopleiders heeft op de competentieontwikkeling van lerarenopTijdschrift voor Lerarenopleiders, 36(2) 2015

43

leiders. Deze conclusie ligt in lijn met onderzoek van Hattie en Timperley (2007) die aangeven dat de effectiviteit van feedback afhangt van het soort feedback dat wordt gegeven en de timing daarvan. Vooral wanneer het gaat om een proces is directe feedback (meteen na de les) van belang (Hattie & Timperley, 2007). Daarnaast gaf Richardson (2005) in zijn reviewstudie over studentfeedback aan dat het belangrijk is dat studentfeedback zo snel mogelijk na de activiteit moet worden verzameld. Het voordeel hiervan is dat studenttevredenheid dan direct wordt gemeten (Marsh, 1987; Ramsden, 1991), waardoor meteen acties kunnen worden ondernomen. Een aanvullende reden voor het feit dat studentevaluaties tijdens en/of direct na de les, evaluaties na afsluiting van een blok en individuele gesprekken meer invloed hebben op de professionalisering dan blokevaluaties en kwaliteitskringen kan te maken hebben met een grotere mate van eigenaarschap en vooral betekenisvolheid (Popeijus & Geldens, 2009) die lerarenopleiders ervaren. Mogelijk ervaren lerarenopleiders de blokevaluaties en kwaliteitskringen minder betekenisvol omdat ze minder controle en eigenaarschap hebben over hoe deze studentevaluaties eruit zien en hoe deze worden ingezet. Daarbij komt de feedback uit deze studentevaluaties bij de vaksectie terecht en betrekken lerarenopleiders dit niet op zichzelf. Dit kan ertoe leiden dat de blokevaluaties en kwaliteitskringen minder effectief zijn voor de competentieontwikkeling van lerarenopleiders. De vraag is daarmee of de huidige opzet van blokevaluaties en kwaliteitskringen voldoende effectief kunnen bijdragen aan de competentieontwikkeling van individuele lerarenopleiders. Opvallend is ook dat lerarenopleiders geen verschil ervaren in de invloed van studentevaluaties op de verschillende competenties. Lerarenopleiders bevestigden in het groepsinterview het feit dat er in de vragenlijst geen significante verschillen werden gevonden tussen de verschillende competenties. Ze geven aan het lastig te vinden om de verschillende competenties te onderscheiden en beschouwen de competentieontwikkeling als één geheel. In vervolgonderzoek kan worden nagegaan in hoeverre lerarenopleiders onderscheid kunnen maken in de te onderscheiden competenties voor hun ontwikkeling. Het is van belang dat lerarenopleiders de verschillende competenties kunnen onderscheiden. Lerarenopleiders kunnen dan de feedback afkomstig van studentevaluaties gericht gaan analyseren op de te onderscheiden competenties en vervolgens gericht gaan werken aan specifieke competenties die aandacht behoeven.

Kanttekeningen en suggesties voor vervolgonderzoek Ten aanzien van dit onderzoek zijn enkele kanttekeningen te plaatsen die mogelijk van invloed zijn geweest op de resultaten. Zo was er sprake van een relatief kleine groep lerarenopleiders (N=36) van één hogeschool. Toekomstig onderzoek met grotere docentgroepen van verschillende hogescholen en kwantitatieve data-analyses zouden kunnen leiden tot generaliseerbare uitkomsten. In dit onderzoek is de combinatie van kwantitatief en kwalitatief onderzoek krachtig. De kwalitatieve gegevens ondersteunen de kwantitatieve gegevens met betekenisvolle verklaringen voor resultaten uit de vragenlijst. Dit kan positief van invloed zijn op de inhoudelijke kwaliteit en betrouwbaarheid van de conclusies en aanbevelingen (Johnson & Onwuegbuzie, 2004). Mogelijk was er sprake van een selectieve groep lerarenopleiders omdat enkele lerarenopleiders van de hogeschool de vragenlijst niet hebben ingevuld. De kans op een selectieve groep geldt ook voor de geïnterviewde lerarenopleiders, omdat deze op grond van de ingevulde vragenlijsten zijn geselecteerd en benaderd. Het feit dat het in dit onderzoek gaat om de eigen ontwikke44

Hoe studentevaluaties bijdragen aan de professionalisering van lerarenopleiders.

ling van de lerarenopleider kan tot gevolg hebben dat lerarenopleiders de vragenlijst voorzichtig hebben ingevuld, ondanks het feit dat vooraf is aangegeven dat anonimiteit zou worden gewaarborgd. Om de verschillende studentevaluaties op een effectieve manier praktisch inzetbaar te maken in de lerarenopleiding, is nader onderzoek nodig naar de wijze waarop lerarenopleiders bepaalde studentevaluaties aanpakken. Hoe voer je als lerarenopleider bijvoorbeeld een kwalitatief hoogwaardig evaluatiegesprek met studenten? Tevens kan nader onderzoek worden gedaan naar de wijze waarop lerarenopleiders specifieke competenties adequaat kunnen ontwikkelen op basis van feedback uit studentevaluaties. Het vaststellen van een effectieve aanpak kan vervolgens leiden tot competentieontwikkeling bij lerarenopleiders en kwaliteitsverbetering van het opleidingsonderwijs.

Aanbevelingen voor lerarenopleidingen De kennis en inzichten die voortkomen uit dit onderzoek kunnen bijdragen aan het professionaliseren van lerarenopleiders. Op grond van de conclusies wordt aanbevolen om als lerarenopleiding na te gaan in hoeverre evaluaties tijdens en/of na de les, evaluaties na afsluiting van een blok en individuele gesprekken met studenten op dit moment een plaats krijgen in de evaluatie van het opleiHet is lastig dingsonderwijs. Het is aan te bevelen om deze studentevaluaties om de competenties structureel vorm te geven en in te bedden in het professionalisete onderscheiden, maar ringsbeleid van de lerarenopleiding. Daarnaast is het van belang voor het eraan werken om het eigenaarschap van lerarenopleiders te verhogen bij blokis die analyse juist evaluaties en kwaliteitskringen door hen meer te betrekken bij de belangrijk! ontwikkeling en evaluatie van deze studentevaluaties. Door lerarenopleiders meer te betrekken bij de ontwikkeling en evaluatie van blokevaluaties en kwaliteitskringen kan voor lerarenopleiders het eigenaarschap en ervaren van betekenisvolheid ervan, worden vergroot. Studentevaluaties waarbij meer eigenaarschap wordt ervaren hebben immers meer invloed op de competentieontwikkeling van lerarenopleiders. Het is tevens van belang dat lerarenopleiders de verschillende competenties kunnen onderscheiden. Lerarenopleiders kunnen dan de feedback afkomstig van studentevaluaties gericht gaan analyseren op de te onderscheiden competenties en vervolgens gericht gaan werken aan specifieke competenties die aandacht behoeven.

Referenties Cohen, J.A. (1960). A coefficient of agreement for nominal scales. Educational and Psychological Measurement, 20, 37-46. Delvaux, E., Vanhoof, J., Tuytens, M., Vekeman, E., Devos, G., & Petegem, P. van. (2013). How may teacher evaluation have an impact on professional development? A multilevel analysis. Teaching and Teacher Education, 36, 1-11. doi:10.1016/j.tate.2013.06.011 Dunkin, M., & Barnes, J. (1986). Research on teaching in higher education, in: M.C. Wittrock Tijdschrift voor Lerarenopleiders, 36(2) 2015

(Ed.) Handbook of Research on Teaching. New York: Macmillan. Guskey, T.R. (2003). What makes professional development effective? Phi Delta Kappan, 80, 748-750. Harvey, L. (2003) Student Feedback [1]. Quality in Higher Education, 9(1), 3-20. doi:10.1080/ 13538320308164 Hattie, J., & Timperley, H. (2007). The power of feedback. Review of educational research,

45

77(1), 81-112. doi: 10.3102/00346543029 8487 Isoré, M. (2009). Teacher evaluation: Current practices in OECD countries and a literature review. OECD education working paper. Johnson, R.B., & Onwuegbuzie, A.J. (2004). Mixed Methods Research: A Research Paradigm Whose Time Has Come. Educational researcher, 33(14), 14-26. doi:10.3102/0013189 X033007014 Kember, D., Leung, D.Y.P., & Kwan, K.P. (2002). Does the use of student feedback questionnaires Improve the overall quality of teaching? Asessment & Evaluation in Higher Education, 27(5), 411-425. doi:10.1080/02602930220 00009294 Khaled, A.E., Gulikers, J.T.M., Tobi, H., Biemans, H.J.A., Oonk, C., & Mulder, M. (2014). Exploring the validity and robustness of a competency self-report instrument for vocational and higher competence-based education. Journal of Psychoeducational Assessment. 1-12. doi: 10.1177/0734282914523913

Richardson, J.T.E. (2005). Instruments for obtaining student feedback: a review of the literature. Assessment & Evaluation in Higher Education, 30(4), 387-415. doi:10.1080/ 02602930500099193. Seldin, P. (1997). Using student feedback to improve teaching. In D. DeZure (Ed.) To improve the academy, 16, 335-346. Geraadpleegd op: http://digitalcommons.unl. edu/ podimproveacad/393 Swennen, A. (2012). Van oppermeesters tot docenten hoger onderwijs. De ontwikkeling van het beroep en de identiteit van lerarenopleiders (proefschrift). Nijmegen: Uitgeverij Verloren. Veen, K. van, Zwart, R., Meirink, J., & Verloop, N. (2010). Professionele ontwikkeling van leraren. Een reviewstudie naar effectieve kenmerken van professionaliseringsinterventies van leraren. NWO-PROO, ICLON/Expertisecentrum Leren van Docenten.

Lanen, M. van (2010). Inductief en deductief analyseren bij kwalitatief; het geheel is meer dan de delen. Kwalon, 1, 36-43. Geraadpleegd op www.boomlemmatijdschriften.nl/tijdschrift/ KWALON/2010/1/KWALON_2010_015_00 1_008 Marsh, H.W. (1987). Students' evaluations of university teaching: research findings, methodological issues, and directions for future research. International Journal of Educational Research, 11, 253-378. doi:10.1016/08830355(87)90001-2 Melief, K., Rijswijk, M., van, & Tigchelaar, A. (2012). Beroepsstandaard voor lerarenopleiders 2012: de verantwoording. Utrecht: VELON. Geraadpleegd op: http://www.velon.nl/uploads/ tekstblok/bijlagen/verantwoording_ beroepsstandaard_2012.pdf Onderwijsraad. (2007). Leraarschap is eigenaarschap (Advies). Den Haag: Onderwijsraad. Popeijus, H.L., & Geldens, J. (Eds.). (2009). Betekenisvol leren onderwijzen in de werkplekleeromgeving. Antwerpen/Apeldoorn: Garant. Ramsden, P. (1991). A performance indicator of teaching quality in higher education: The course Experience Questionnaire. Studies in Higher Education, 16(2), 129-150. doi:10.1080/03075079112331382944

46

Hoe studentevaluaties bijdragen aan de professionalisering van lerarenopleiders.