Mondelinge feedback bij zelfstandig werken

KO RT L O P E N D O N D E RW I J S O N D E R Z O E K

Vormgeving van leerprocessen

Mondelinge feedback bij zelfstandig werken

IVLOS en Onderwijskunde

Mondelinge feedback bij zelfstandig werken

Stimuleren en begeleiden van de leerprocessen van leerlingen is een belangrijke taak van docenten, zowel in traditioneel als in meer vernieuwend onderwijs. Een onmisbaar middel daarbij is het geven van feedback. Op verzoek van zes scholen voor voortgezet onderwijs die werken aan vernieuwend onderwijs, is de wetenschappelijke kennis over feedback op een rij gezet. Dit leverde een overzicht op van visies, vormen en kenmerken. Feedback wordt momenteel minder gezien als eenmalige reactie en meer als onderdeel van voortgezette interactie en coaching. Daarna is op vier scholen bij twaalf docenten en hun leerlingen in het 3e en 4e leerjaar (van vmbo t/m gymnasium) de praktijk in kaart gebracht van het geven en ontvangen van mondelinge feedback tijdens het zelfstandig werken aan een taak. De docenten blijken zeer betrokken bij hun leerlingen en primair gericht op geven van positieve feedback en rekening houden met de individuele leerling. Observaties laten, ongeacht het vakgebied of de onderwijservaring van de docent, een breed repertoire van feedbackactiviteiten zien, met een accent op benoemen van wat de leerling goed doet. De leerlingen waarderen de feedback van hun docenten positief, en bevestigen dat het accent vaak ligt op wat goed is. Het onderzoek leidt tot een aantal aanbevelingen, waaronder: - meer aandacht geven aan wat enigszins wordt onderbelicht, zoals de aanpak bij het werken aan een taak en de eisen die worden gesteld aan het resultaat; - meer de leerlingen zelf aan het woord laten over hoe ze dingen aanpakken en waar ze tegenaan lopen; dit biedt de docent meer inzicht in het denkproces en het begrip bij de leerling; - als schoolteam een gezamenlijke concrete visie op feedback ontwikkelen, ervaringen uitwisselen, en van elkaar leren. Dit rapport beschrijft een rijk arsenaal van feedbackpraktijken en mogelijkheden. Het onderzoek heeft ook instrumenten opgeleverd waarmee het handelingsrepertoire van een docent bij het geven van feedback in kaart kan worden gebracht. Deze instrumenten kunnen aanleiding geven tot discussie, reflectie en beleid en kunnen bijdragen aan verdere professionalisering van docenten op dit terrein.

74

Mondelinge feedback bij zelfstandig werken Interactie tussen docenten en leerlingen in het VO

Yvette Sol Karel Stokking

Mondelinge feedback bij zelfstandig werken Interactie tussen docenten en leerlingen in het VO

Yvette Sol Karel Stokking

CIP-GEGEVENS KONINKLIJKE BIBLIOTHEEK, DEN HAAG Sol, Y.B., Stokking, K.M. Mondelinge feedback bij zelfstandig werken. Interactie tussen docenten en leerlingen in het VO Y.B. Sol & K.M. Stokking. Utrecht: IVLOS en Afdeling Onderwijskunde, Universiteit Utrecht ISOR-rapportnummer: 09.01

ISBN 978-90-6709-080-3

Alle rechten voorbehouden. Niets uit deze uitgave mag worden verveelvoudigd, opgeslagen in een geautomatiseerd gegevensbestand, of openbaar gemaakt, in enige vorm of op enige wijze, hetzij elektronisch, mechanisch, door fotokopiën, opnamen of op enige andere manier, zonder voorafgaande schriftelijke toestemming van de uitgever. All rights reserved. No part of this publication may be reproduced, stored in a retrieval system, or transmitted, in any form or by any means, electronic, meahnical, photocopying, or otherwise, without the prior written permission of the publisher.

Copyright © Universiteit Utrecht, 2009

Dit onderzoek is gefinancierd uit het budget dat het ministerie van OC&W jaarlijks beschikbaar stelt aan de LPC ten behoeve van Kortlopend Onderwijsonderzoek dat wordt uitgevoerd op verzoek van het onderwijsveld.

2

Inhoud

Woord vooraf

5

Samenvatting

7

1

Inleiding

9

2

Opzet en uitvoering van het onderzoek

11

2.1 Inleiding

11

2.2 De stappen en fasen in het onderzoeksproces

11

2.3 De scholen, schoolleiders, docenten en leerlingen

14

Feedback: geven en nemen

19

3.1 Wat is feedback? Vormen en omschrijvingen

19

3.2 Feedback als interventie: veelbelovend maar ongewis

23

3.3 Feedback bezien vanuit verschillende invalshoeken

24

3.4 Feedback als “boodschap” en de rol van betekenisgeving

39

3.5 Nogmaals: feedback als veelbelovend maar ongewis

46

3.6 Aanwijzingen voor docenten

49

Gebruikte instrumenten en procedures

51

4.1 Inleiding

51

4.2 Conceptmap schoolleiders

51

4.3 Vragenlijst communicatie en beleid

52

4.4 Conceptmap docenten

52

4.5 Vragenlijst docenten vooraf

52

4.6 Vragenlijst leerlingen vooraf

55

4.7 De video-opname

62

4.8 Vragenlijst leerlingen direct na de opname

63

4.9 Selectie van fragmenten voor het interview

64

4.10 Stimulated recall interview

66

4.11 Scoring van feedbackactiviteiten per fragment

67

4.12 Eindgesprek met de docent

70

4.13 Conceptmap en vragenlijst docenten achteraf

71

3

4

3

5

Feedback bij 12 docenten en hun leerlingen: intenties, gedrag, percepties 5.1 Rapportage stap voor stap en toelichting

73 73

5.2 Samenvattende conclusies

107

Resultaten per school in relatie tot het onderwijsconcept

111

6.1 Inleiding

111

6.2 De onderwijsconcepten van de scholen

111

6.3 De conceptmaps van de schoolleiders en de docenten

114

6.4 Het feedbackgedrag volgens de docenten per school

118

6.5 Leerlingpercepties van het feedbackgedrag per school

121

6.6 Geobserveerd en gescoord feedbackgedrag per school

126

6.7 Leerlingpercepties van ontvangen feedback per school

129

6.8 Samenvattende conclusies

131

7

Conclusies

135

8

Aanbevelingen

143

6

Literatuur

147

Bijlagen 1. Informatie aan de docent 2. Opdracht conceptmap schoolleiders 3. Vragenlijst schoolleiders 4. Opdracht conceptmap docenten 5. Vragenlijst docenten voorafgaand aan opname 6. Vragenlijst leerlingen vooraf, selfefficacy 7. Idem, motivatie 8. Idem, feedback geven (resultaatgericht en procesgericht) 9. Idem, taakgebied geven van feedback 10. Idem, taakgebied volgen van het leerproces 11. Vragenlijst leerlingen direct na opname, waardering feedback 12. Scoringsformulier observatie feedbackgedrag 13. Opdracht tweede conceptmap docenten 14. Vragenlijst opbrengsten deelname docenten

151

4

Woord vooraf

In het voortgezet onderwijs wordt op diverse scholen gewerkt vanuit een vernieuwend onderwijsconcept dat afwijkt van het traditionele onderwijs. In dit vernieuwende onderwijs worden meer en ook andere rollen en vaardigheden van docenten gevraagd. Zij dienen niet alleen inhoudelijke kennis te hebben, maar worden ook geacht begeleider en coach te zijn van leerlingen in hun leerproces en hen te begeleiden bij de ontwikkeling van bepaalde vaardigheden. Een belangrijk onderdeel van coachen is het geven van feedback. Op verzoek van één van deze vernieuwende scholen, de Werkplaats Kindergemeenschap in Bilthoven, mede gedaan namens vijf andere min of meer vergelijkbare scholen, is tussen mei 2008 en maart 2009 een onderzoek uitgevoerd naar de manier waarop docenten mondeling feedback geven in de specifieke situatie waarin leerlingen zelfstandig aan het werk zijn. Aan het onderzoek is deelgenomen door de schoolleiders en een aantal docenten en leerlingen van de volgende scholen: de Werkplaats Kindergemeenschap in Bilthoven, het Via Nova college in Utrecht, het Arend Roland Holst college te Hilversum, scholengemeenschap Huizermaat. te Huizen, Unic te Utrecht en het Amadeus lyceum te Vleuten. De schoolleiders van deze scholen zijn bevraagd over het onderwijsconcept op hun school, hun visie op feedback en wat ze op dit vlak van hun docenten verwachten. Daarna zijn op vier van de scholen bij in totaal twaalf docenten gegevens verzameld over hun opvattingen over en intenties bij het geven van feedback in het algemeen en is naar aanleiding van specifieke feedbacksituaties (opgenomen op video) gesproken over de intenties en afwegingen die aan hun concrete handelen ten grondslag lagen. Bij elke deelnemende docent heeft een aantal leerlingen vragen beantwoord over het feedbackgedrag van de betreffende docent, zowel in het algemeen (voorafgaande aan de opname) als met betrekking tot de verkregen feedback in de opgenomen situatie (direct na afloop). De verzamelde gegevens zijn met elkaar in verband gebracht en individueel mondeling en daarna in de vorm van een schriftelijk verslag aan elke docent teruggekoppeld. 5

Voor de docenten betekende de deelname aan het onderzoek dat zij heel nabij werden gevolgd, uitvoerig werden bevraagd, en feedback kregen op hun handelen, zowel van hun eigen leerlingen als van de onderzoekers. Graag bedanken wij de schoolleiders voor het in ons gestelde vertrouwen en de plezierige samenwerking. Veel dank gaat uit naar de docenten die hebben meegewerkt aan dit onderzoek. We zijn hen zeer erkentelijk voor de manier waarop wij als onderzoekers hebben mogen meekijken in hun dagelijkse onderwijspraktijk. We vonden het een voorrecht hun visies en opvattingen, hun concrete gedrag en achterliggende intenties in kaart te mogen brengen. De openheid naar ons als onderzoekers en hun enorme betrokkenheid bij hun leerlingen en het onderwijs hebben op ons veel indruk gemaakt. Tot slot bedanken we ook graag de leerlingen die aan het onderzoek hebben meegewerkt en langs die weg hun docenten feedback hebben gegeven. Dit onderzoek is uitgevoerd als samenwerkingsproject van het IVLOS en de afdeling Onderwijskunde (Faculteit Sociale Wetenschappen), beide van de Universiteit Utrecht. Utrecht, april 2009

6

Yvette Sol en Karel Stokking

Samenvatting

Tegenwoordig wordt van docenten verwacht dat zij leerlingen begeleiden bij hun leerproces. Op scholen met een vernieuwend onderwijsconcept is dit een belangrijk aandachtspunt, en een belangrijk middel daarbij is feedback. Op vier scholen voor voortgezet onderwijs is bij 12 docenten en hun leerlingen in het 3e of 4e leerjaar, variërend van vmbo tot gymnasium, de praktijk van het geven en ontvangen van mondelinge feedback in kaart gebracht in situaties waarin leerlingen zelfstandig werken aan een taak. Onderzocht is: hoe de docenten feedback zien, wat ze ermee beogen en hoe ze denken dat ze het doen; hoe de docenten volgens de leerlingen gewoonlijk feedback geven en hoe leerlingen zouden willen dat het gebeurt; hoe de docenten in een bepaalde situatie - een uur in de klas of het domein of leerplein waarin de leerlingen zelfstandig werken aan een taak - concreet feedback geven; hoe de docent na afloop aankijkt tegen de problemen van de leerlingen, de feedback die hij geeft, en het verloop van de interactie; hoe de betreffende leerlingen de verkregen feedback hebben ervaren; hoe de docenten reageren op de feedback die zij op hun beurt krijgen van de onderzoekers over hun eigen antwoorden en die van hun leerlingen en over een aantal observaties van hun gedrag; en hoe hun feedbackrepertoire zich kenmerkt en eventueel verder zou kunnen worden ontwikkeld. De schoolleiders vinden dat feedback kan en moet worden gegeven op inhoud, aanpak, uitvoering, resultaat en houding of gedrag, en dat feedback primair positief en betrokken moet zijn, vertrouwen moet geven en de kwaliteiten van de leerling moet benoemen. Dit komt overeen met de opvattingen van de docenten (als groep). Hun denken en doen ten aanzien van feedback hangt samen met het onderwijsconcept op hun school (op de ene school duidelijker dan op de andere) maar de verschillen tussen docenten zijn groter dan die tussen scholen. De docenten blijken te beschikken over een breed en rijk repertoire van feedbackactiviteiten, maar met persoonlijke accenten en mede afhankelijk van de specifieke taak en de kenmerken van de leerlingen. Docenten zijn bij het geven van feedback sterk gericht op de leerling. Ze zijn betrokken op hun leerlingen en willen maatwerk leveren. Feedback moet volgens hen worden gegeven in persoonlijk contact, in een situatie van vertrouwen en met voldoende tijd en aandacht, rekening houdend met het niveau en het zelfvertrouwen van de individuele leerling, en bevestigen van wat goed gaat en wat de leerling kan. 7

In het concrete feedbackgedrag van de docenten is hun gerichtheid op het geven van positieve feedback duidelijk zichtbaar. Ze geven zowel resultaatals procesgerichte feedback en ook aanvullende instructie en uitleg, maar gaan naar verhouding niet zo veel in op waar het werk aan moet voldoen en wat er nog niet goed is of gaat. Zij reageren op problemen van leerlingen die iets niet begrijpen en (daardoor) niet verder kunnen, en hun feedback is erop gericht dat de leerlingen het begrijpen en weer verder kunnen. Vergeleken met de kennis over feedback zoals beschreven in de literatuur, kan worden gezegd dat docenten soms mogelijk teveel feedback geven (waardoor leerlingen deze niet meer effectief kunnen verwerken), maar anderzijds ook enigszins eenzijdig kunnen zijn, in die zin dat bepaalde vormen van feedback worden onderbenut. Dit betreft: leerlingen zelf vragen hun probleem precies te omschrijven; benoemen van de standaard (waaraan het werk moet voldoen); als docent hardop voordoen van een goede aanpak; benoemen van de goede oplossing; geven van feedback op het proces en expliciet benoemen van de relatie tussen aanpak, proces en resultaat; en nagaan en bevorderen dat de feedback wordt gebruikt. De leerlingen zijn over het algemeen tevreden over de feedback die ze van hun docenten krijgen. Zij vinden deze positief, duidelijk, terecht, leerzaam en bruikbaar. Zij signaleren wel dat het accent vaak ligt op wat goed is of gaat (maar bij sommige docenten juist op wat niet goed is of gaat), en zien wat minder procesgerichte dan resultaatgerichte feedback. Mogelijk zijn zij zelf meer gericht op resultaatgerichte feedback (doe ik het goed), en wellicht is procesgerichte feedback ook een meer natuurlijk onderdeel van de verdere interactie en wordt het daardoor minder opgemerkt. De leerlingen willen gemiddeld dat hun docenten meer of vaker diverse vormen van feedback geven dan nu gebeurt, maar dit verschilt wel tussen docenten. Enkele belangrijke aanbevelingen zijn om feedback nadrukkelijk te zien als onderdeel van een proces van interactie met de leerling en daarvoor voldoende tijd te creëren; om meer zicht te krijgen op het denken en leren van leerlingen door hen daarover vragen te stellen en meer aan het woord te laten; om leerlingen ook vragen te stellen over de feedback: hoe deze overkomt, wat ze ermee kunnen, en wat je als docent zou willen dat ermee gebeurt (en dus ook leerlingen gelegenheid te geven naar aanleiding van de feedback vragen te stellen en het geleerde vervolgens toe te passen). Op het niveau van de school wordt aanbevolen om een gezamenlijke visie op feedback te ontwikkelen, expliciteren en concretiseren, en te bevorderen dat docenten onderling hun aanpakken en ervaringen uitwisselen en van elkaar kunnen leren en zo hun handelingsrepertoire kunnen versterken. Het onderzoek heeft ook instrumenten opgeleverd waarmee de feedbackpraktijk in kaart kan worden gebracht, bij zowel docenten als leerlingen. 8

1

Inleiding

De context van het onderzoek Dit rapport beschrijft de uitgangspunten en resultaten van een kortlopend onderwijsonderzoek dat van september tot en met december 2008 is uitgevoerd op een aantal scholen in het midden van het land. Dit onderzoek is aangevraagd door de Werkplaats Kindergemeenschap in Bilthoven mede namens het Via Nova College (Utrecht), Unic (Utrecht), Scholengemeenschap Huizermaat (Huizen), het Arend Roland Holst college, afdeling Quest (Hilversum) en het Amadeuslyceum (Vleuten). 1 Deze scholen zijn bezig een meer of minder vernieuwend onderwijsconcept te realiseren dat afwijkt van het traditionele klassikale onderwijs. Binnen deze vernieuwende onderwijsconcepten komt meer nadruk te liggen op het leveren van maatwerk en het stimuleren van talent in brede zin, met aandacht voor de motivatie en het leerproces van de leerling. Daarnaast is er meer aandacht gekomen voor de ontwikkeling van vaardigheden van leerlingen, zoals plannen, kiezen, presenteren, reflecteren, elkaar feedback geven, samenwerken en onderzoeken (Sol & Stokking, 2008). In lijn met het onderwijsconcept en de verandering in beoogde leerdoelen is ook de leeromgeving en het curriculum op een aantal van deze scholen aangepast en zijn de leerlingen ingedeeld in leerdomeinen en stamgroepen. De grenzen van vakken en klassen zijn veelal doorbroken, bijvoorbeeld door te werken met thema’s, leergebieden, projecten en prestaties. Naast instructietijd (vaak in de vorm van workshops) werken leerlingen zelfstandig op een leerplein of in een domein. In dit nieuwe onderwijs worden meer en ook andere rollen en vaardigheden van docenten gevraagd. Zij dienen niet alleen inhoudelijke kennis te hebben maar worden ook geacht (leerproces)begeleider en coach van leerlingen te zijn en hen te begeleiden bij de ontwikkeling van bepaalde vaardigheden (Sol & Stokking, 2008). Een belangrijk onderdeel van coachen is het geven van feedback. Volgens onderzoek vormt goede feedback een krachtig middel om leerprocessen te stimuleren. Tegelijkertijd blijkt uit onderzoek dat het geven en ontvangen van 1

De scholen worden in dit onderzoek in willekeurige volgorde aangeduid met de letters A t/m F. De gebruikte letters komen niet overeen met de volgorde van de namen hier in de tekst of de gebruikte letters voor de scholen in eerder onderzoek.

9

feedback een gevoelig proces is en dat feedback ook negatieve effecten kan genereren. Feedback kan op verschillende manieren worden omschreven. In hoofdstuk 3 wordt uitgebreid ingegaan op de achtergronden en vormen van feedback en worden resultaten uit eerder onderzoek beschreven.

Het specifieke focus binnen dit onderzoek In overleg met de aanvragers is een specifiek focus gekozen, namelijk het geven van mondelinge feedback van een docent aan een leerling of een groepje leerlingen in de situatie waarin leerlingen zelfstandig aan het werk zijn en de docent als expert aanwezig is en rondloopt. Het gaat hierbij om een open situatie waarin interacties tussen de docent en een of meer leerlingen kunnen ontstaan op initiatief van de docent of van de leerling(en). In dit onderzoek wordt systematisch aandacht besteed aan factoren die van belang kunnen zijn bij het geven van goede feedback. Daarnaast wordt ingegaan op de manier waarop kan worden bevorderd dat de feedback door leerlingen kan worden benut en daardoor bijdraagt aan hun leerproces. De aanvragers willen ook laten onderzoeken hoe het repertoire van docenten op dit vlak kan worden versterkt, in lijn met de in dit vernieuwende onderwijs beoogde leerprocessen en leerdoelen bij leerlingen. De onderzoeksvragen zijn: 1. Hoe geven de docenten op dit moment feedback, en hoe verhoudt dit zich tot a) hun kennis, opvattingen en vaardigheden op dit vlak, b) het vernieuwende onderwijsconcept van de school, c) de wensen van de leerlingen, en d) de kennis over kenmerken van effectieve feedback? 2. In hoeverre baseren de docenten hun feedback op het volgen van het leren en de ontwikkeling van de (individuele) leerlingen, en hoe kan de afstemming van de feedback daarop worden verbeterd? 3. Op welke wijze(n) kunnen docenten leren meer en beter gebruik te maken van feedback om het leren en de ontwikkeling van leerlingen te bevorderen, passend bij het onderwijsconcept van de school? Hoofdstuk 2 beschrijft de stapsgewijze opzet van het onderzoek en de deelnemende scholen, schoolleiders, docenten en leerlingen. Hoofdstuk 3 geeft een overzicht van kennis over feedback uit theorie en onderzoek. Hoofdstuk 4 beschrijft en verantwoordt de gebruikte instrumenten. De hoofdstukken 5 en 6 geven de resultaten van het onderzoek weer, bij de twaalf deelnemende docenten resp. de vier deelnemende scholen. In de hoofdstukken 7 en 8 staan de conclusies en de aanbevelingen, voor schoolleiders en voor docenten. 10

2

De opzet en uitvoering van het onderzoek

2.1

Inleiding

In dit hoofdstuk zal aan de hand van een stappenplan worden weergegeven op welke manier het onderzoek is opgezet en wanneer en in welke tijdsvolgorde de verschillende activiteiten hebben plaatsgevonden. Tevens geeft dit stappenplan een globaal overzicht van de gegevens die bij de verschillende doelgroepen (schoolleiders, docenten en leerlingen) zijn verzameld. In hoofdstuk 4 wordt uitgebreid ingegaan op de keuze van het gebruikte instrumentarium. Hier staat het gevolgde onderzoeksproces centraal en worden de keuzes toegelicht die op bepaalde momenten zijn gemaakt. In dit hoofdstuk wordt tevens aandacht geschonken aan de kenmerken van de deelnemende scholen, de manier waarop de schoolleiders over dit onderzoek communiceren binnen hun school en de manier waarop ze in een later stadium de resultaten willen benutten. Er wordt tevens ingegaan op de werving en selectie van de docenten en de aantallen leerlingen die per docent hebben deelgenomen aan het onderzoek.

2.2

De stappen en fasen in het onderzoeksproces

In figuur 1 is het hele onderzoeksproces weergegeven en is te zien dat het proces in vier fasen is onder te verdelen (A t/m D). De looptijd van de kern van de gegevensverzameling (de stappen 2 tot en met 11) was vier maanden (september tot en met december 2008). Voorafgaand is in de maanden mei en juni gesproken met elke schoolleider over de motivatie om deel te nemen aan het onderzoek en zijn de mogelijkheden daartoe besproken in relatie tot de andere ontwikkelingen in de school op dat moment (trainingen voor docenten, andere onderzoeken, belasting van de docenten, e.d.). Tevens is informatie uitgereikt om docenten te informeren over het onderzoek en zijn de criteria voor de selectie van de docenten toegelicht (zie ook 2.2. (stap 1)). Tijdens deze periode zijn ook de instrumenten ontwikkeld. Aangezien de tijd en middelen voor dit onderzoek beperkt waren, is in goed onderling overleg met de aanvragers besloten de verzameling van gegevens te beperken tot vier scholen en in totaal 12 docenten (drie per school). 11

Bij de definitieve keuze van de vier scholen is rekening gehouden met de ontwikkelingen op de school op dat moment en de bereidheid van docenten uit de leerjaren 3 en 4 om mee te werken aan dit onderzoek. Stappen

Fasen A

B

Onderzoeksactiviteiten C

D

Stap 1

→

Gesprek schoolleiding, selectie docenten

Stap 2

→

Conceptmap schoolleider, beleid opbrengst

Stap 3

→

Gesprek docenten per school, conceptmap 1

Stap 4

→

Afname vragenlijst docenten vooraf

Stap 5

→

Afname vragenlijst leerlingen vooraf

Stap 6

→

Video-opname van een lessituatie

Stap 7

→

Afname vragenlijst leerlingen na opname

Stap 8

→

Selectie van videofragmenten

Stap 9

→

Stimulated recall interview

Stap 10

→

Scoren van geselecteerde fragmenten

Stap 11

→

Eindgesprek met docent

Stap 12

→

Terugrapportage aan docent

Stap 13

→

Vragenlijst docenten achteraf, conceptmap 2

Stap 14

→

Gesprek met schoolleiding

Figuur 1: Overzicht van onderzoeksactiviteiten per stap en per fase

12

In september 2008 is gestart met een bijeenkomst met alle betrokken schoolleiders (stap 2). Hen is gevraagd een conceptmap te maken: een schema waarin alle woorden en begrippen die voor hen te maken hadden met het geven van feedback worden opgeschreven en geordend (zie ook bijlage 2). Zij moesten hierbij uitgaan van het schoolconcept en de ideale situatie, of met andere woorden: zoals zij als schoolleider zouden willen dat docenten feedback geven. Tevens is de schoolleiders gevraagd aan te geven op welke manier zij de communicatie rondom dit onderzoek ter hand zouden nemen en de uitkomsten van dit onderzoek zouden gaan benutten in de school. Centraal in het onderzoek stond fase B: de video-opname van concrete interactiesituaties tussen de docent en zijn of haar leerlingen (stap 6) met direct daaropvolgend de vragen aan de leerlingen over hoe ze de feedback hebben ervaren (stap 7). Voorafgaand aan deze opname zijn in fase A gegevens verzameld bij de docenten (stap 4) en bij de groepen leerlingen die aanwezig zouden zijn op het moment dat de opnamen zouden worden gemaakt (de potentiële feedbackontvangers) (stap 5 ). Het tijdspad tussen de stappen 4 en 5 en de opname bedroeg steeds 1 tot 2 weken. In fase C heeft de selectie van de videofragmenten plaatsgevonden (stap 8) en zijn zo snel mogelijk daarna in een volgende afspraak de geselecteerde fragmenten aan de docent getoond (stap 9). Aan het eind van fase C zijn in een gesprek met de docent en de onderzoekers (stap 11) de eerste gegevens aan de docent teruggekoppeld. Het ging hierbij specifiek om het terugkoppelen van de uitkomsten van de leerlingvragenlijsten (gegevens die voorafgaand aan en direct na afloop van de video-opname zijn verzameld) en het overzicht van de scoring van de geselecteerde fragmenten door de onderzoekers (stap 10). Tevens is in dat gesprek een toelichting gevraagd op de eerste conceptmap. Deze eindgesprekken zijn eind december 2008 afgerond. In figuur 3 is te zien in welke weken de verschillende docenten zijn gestart en wat de looptijd van de verschillende individuele trajecten is geweest. De gegevens voor de individuele terugrapportage aan de docent zijn verwerkt in januari 2009 en in februari in de vorm van een persoonlijk verslag opgestuurd aan de docenten (stap 12). De laatste gegevens (de stappen 13 en 14) zijn in maart 2009 verzameld.

13

2.2

De scholen, schoolleiders, docenten en leerlingen

De deelnemende scholen De scholen geven alle vier op hun eigen wijze vorm aan nieuwe onderwijspraktijken. Drie van de vier scholen hebben de inrichting van de leeromgeving aangepast aan de ingezette onderwijsvernieuwing (werken met meerdere docenten in verschillende rollen op een grotere groep leerlingen op leerpleinen). Voor één school betreft de onderwijsvernieuwing een specifieke afdeling binnen de school, gericht op een aparte groep havovwo leerlingen uit de eerste drie leerjaren. Het is uit deze afdeling dat drie docenten van deze school hebben meegedaan aan dit onderzoek. Twee andere scholen hebben leerlingen op school van vmbo-t tot en met vwo. De laatste school is een vmbo-school met verschillende niveaus (basis, kader, theoretisch). De vier scholen richten zich naast het vergroten van de kennisbasis van leerlingen op het aanleren van vaardigheden (plannen, samenwerken, kiezen, reflecteren, presenteren). Op elke school is er aandacht voor het stimuleren van de zelfstandigheid van leerlingen en op drie van de vier scholen wordt beoogd leerlingen min of meer onderwijs op maat te bieden. Zie Figuur 2. School

A

B

C

D

Indeling leerlingen In groepjes gericht op samenwerken In leerdomeinen en/of stamgroepen

+ -

+ +

+ +

+ +

Rollen en taken docenten Specifieke docentrollen Werkzaam in domeinen

-

+ +

+ +

+ +

Onderwijsaanbod Lessen volgens traditioneel rooster Ingeplande workshops Authentieke, contextrijke taken Thema’s/leergebieden Domeingebonden werktijd

+ -

+ + + +

+ +/+ +

+ + + +

Fig. 2: Overeenkomsten en verschillen tussen de deelnemende scholen op een aantal kenmerken.

14

De schoolleiders van de deelnemende scholen In overleg met de hoofdaanvrager is op voorhand ervoor gekozen docenten uit de leerjaren 3 en/of 4 te werven vanwege het feit dat alle deelnemende scholen over deze leerjaren beschikken en de determinatie van leerlingen in die leerjaren veelal min of meer is afgerond. Tevens is besproken dat het voor het onderzoek interessant zou kunnen zijn te variëren in de mate waarin docenten ervaring in het onderwijs hebben. Verondersteld wordt immers vaak dat meer ervaren docenten over een ander (beter, rijker?) feedbackrepertoire beschikken, maar het is de vraag of dat zo is. Tevens is besproken dat het zinvol leek bij de werving de docenten te spreiden over alpha-, beta- en gammavakken, omdat mogelijk de aard van het vak en de typen opdrachten die specifiek zijn voor dat vak van invloed kunnen zijn op de manier waarop docenten feedback geven. De schoolleiders gaven aan binnen de gestelde criteria de docenten te hebben gekozen op basis van belangstelling en interesse (scholen A, C en D). Bij school B heeft de schoolleiding in overleg met de experts de keuze gemaakt. Het is ook op deze laatste school dat de docenten voor hun deelname aan het onderzoek werden gecompenseerd in tijd. De schoolleiders verschilden in de manier waarop ze over dit onderzoek communiceerden binnen hun school en de manier waarop ze later de resultaten wilden benutten. Hieronder volgt per school een kort verslag over de manier waarop de communicatie binnen school is aangepakt en wat de ideeën zijn om de resultaten later optimaal te kunnen benutten binnen de school (gegevens gebaseerd op uitkomsten vragenlijst september 2008) . De schoolleider van school A heeft zowel het eigen management als de onderwijs- en ontwikkelgroep (OOG) als ook individuele docenten geïnformeerd over dit onderzoek. De OOG-leden zullen worden geïnformeerd over de resultaten en de resultaten zullen toegankelijk worden gemaakt voor belangstellenden op de jaarlijkse workshopdag. De schoolleider is van plan de resultaten te laten doorwerken in de onderwijsen ontwikkelgroep. Overwogen wordt de schoolleiding, de teams en/of de secties te informeren. Een goede terugrapportage die bovendien is gefaseerd (eerst terugkoppeling aan de OOG-leden en dan samen bepalen wat een goede strategie is) lijkt een voorwaarde om op de school de onderzoeksresultaten optimaal te kunnen benutten. De schoolleider van school B heeft de schoolleiding, de experts en de drie docenten geïnformeerd. Hij gaat ervan uit dat tijdens het onderzoek het gesprek al op gang zal komen, omdat docenten en leerlingen immers zichtbaar worden gevolgd. Via het creëren van draagvlak in de teams door de teamleiders zal besproken worden op welke manier bepaalde aspecten verder vorm zullen krijgen. Feedback is al een speerpunt in diverse teams. 15

De schoolleider van school C (teamleider) heeft zowel het managementteam als de teamleden geïnformeerd over het onderzoek. De resultaten van het onderzoek zullen in de vergadering van de afdeling worden besproken en tevens worden meegedeeld aan het managementteam. De schoolleider vindt het belangrijk dat de resultaten worden vertaald in een zo concreet mogelijke werkwijze. Hij wil het onderwerp feedback op de agenda zetten en het thema minimaal twee keer per jaar terug laten komen. De schoolleider van school D (teamleider) heeft het onderzoek gecommuniceerd in het managementteam en het onderzoek aangestipt in het onderzoeksteam op school. Aan de hand van de resultaten van dit onderzoek zullen speerpunten worden geformuleerd en individuele leervragen van docenten worden gekoppeld aan dit onderzoek. Een ontwikkeld instrument kan eventueel als kwaliteitsinstrument aangeboden worden aan alle docenten. De onderzoeksresultaten zullen worden benut door tijd in te ruimen voor een presentatie en een uitwisseling. Verder leren zal worden bevorderd door het formuleren van persoonlijke en teamdoelen. De schoolleiders van de overige twee scholen (waarvan geen docenten direct meedoen) verwachten de resultaten naast de schoolpraktijk te kunnen leggen om te zien waar deze verbeterd kan worden (school E) of te kijken welke opbrengsten relevant zijn voor de school (school F). De resultaten zouden kunnen dienen als standaard om de kwaliteit van feedback aan af te meten (school E) of in de teams kunnen worden gekoppeld aan eigen speerpunten (school F). De toepasbaarheid van de resultaten en de aansluiting bij de dagelijkse praktijk van de docent worden door beide schoolleiders als belangrijke voorwaarden gezien om de resultaten optimaal te kunnen benutten in de school. De deelnemende docenten De docenten geven aan te zijn benaderd door de schoolleiding en zijn gevraagd mee te werken. Allen deden op basis van vrijwilligheid mee. De informatie over het onderzoek die door de onderzoekers van te voren was verstrekt aan de schoolleiding heeft het grootste deel van de docenten vooraf bereikt (zie bijlage 1). Een deel van de docenten werd tijdens het startgesprek door de onderzoekers voor het eerst geïnformeerd over de inhoud en opzet van het onderzoek. In het startgesprek werd mondeling toelichting gegeven, werd het stappenplan doorgenomen en werden de benodigde afspraken ingepland. In Figuur 3 is een overzicht opgenomen van algemene kenmerken van de deelnemende docenten en het per docent verschillende tijdpad van de verzameling van gegevens. 16

School

Docent

m/v

Vak

Onderwijs-

Jaren

Werkzaam in

Werkzaam in

Startdatum

Looptijd

ervaring

werkzaam

afdelingen

leerjaren

onderzoek

Onderzoek

(week)

(in weken)

op deze school A

1

M

Wiskunde

weinig

2

Vmbo/havo

1,2,3,4

37

6

A

2

M

Geschiedenis

gemiddeld

9

Vmbo/havo/vwo

1,2,3,4,5,6

37

7

A

3

V

Engels

veel

15

Havo/vwo

3,4 en 5

37

6

B

4

M

Latijn

veel

16

Vwo/gymn.

3, 4

49

3

B

5

M

Biologie

gemiddeld

11

Havo/vwo/gymn.

4,5,6

41

5

B

6

M

Economie

weinig

5

Vmbo/vwo

3, 4

41

5

C

7

V

Frans

weinig

1

Havo/vwo

1,2,3

44

6

C

8

V

Wiskunde

veel

2

Havo/vwo

1,2,3

44

6

C

9

V

Techniek

gemiddeld

3

Vmbo/havo/vwo

1,2,3

44

6

D

10

M

Economie

veel

1

Vmbo

3

47

4

D

11

V

Economie

weinig

2

Vmbo

4

47

4

D

12

V

Biologie/

gemiddeld

3

Vmbo

3

47

4

Engels

Figuur 3: Overzicht kenmerken van docenten en tijdpad onderzoek * Mate van ervaring: weinig: ≤ 5 jaar; gemiddeld: > 5 en ≤ 15 jaar; veel: > 15 jaar.

17

De leerlingen die hebben meegewerkt aan dit onderzoek De docenten hebben zelf gekozen op welk tijdstip en bij welke groep leerlingen zij gefilmd wilden worden. De hele betreffende groep leerlingen heeft vooraf een vragenlijst ingevuld, omdat op voorhand niet duidelijk was welke leerlingen later tijdens de opnamen feitelijk feedback zouden krijgen. Bij één docent (docent 11) is de vragenlijst vooraf afgenomen bij een andere groep leerlingen dan waarbij de opname is gemaakt. In Figuur 4 staat een overzicht per docent waarin is te zien bij welk type leerlingen de opname zijn gemaakt en hoeveel leerlingen de vragenlijst vooraf en achteraf hebben ingevuld.

School A

B

C

D

Docent 1

Schooltype

Leerjaar

Aantal

leerlingen

leerlingen

vooraf

Aantal achteraf

Havo

4

19

18

2

Havo

4

17

18

3

Havo

3

22

21

4

Vwo (gymn.)

3

48

28

5

Havo

4

22

10

6

Vmbo-t

4

13

10

7

Havo/Vwo

3

15

5

8

Havo/Vwo

3

42

5

9

Havo/Vwo

3

9

15

10

Vmbo (b,k,t)

3

20

4

11

Vmbo (b,k,t)

4

23

9

12

Vmbo (b,k,t)

3

74

6

Figuur 4: Overzicht kenmerken en aantallen leerlingen per docent Tot zover de beschrijving van de opzet en uitvoering van het onderzoek. In het volgende hoofdstuk gaan we eerst in op het begrip feedback en wat daarover in theorie en onderzoek bekend is.

18

3

Feedback: geven en nemen

3.1 Wat is feedback? Vormen en omschrijvingen Feedback in technische processen De term feedback wordt gebruikt in heel verschillende contexten. Feedback in de zin van terugkoppeling gebeurt bijvoorbeeld in een systeem van centrale verwarming. De thermostaat staat afgesteld op een bepaalde temperatuur (de norm) en zorgt ervoor dat de ketel werkt tot die temperatuur is bereikt en dan afslaat, om weer te gaan werken als de temperatuur meer dan (bijvoorbeeld) een halve graad Celsius onder de norm zakt. De thermostaat stuurt dan een signaal (de feedback) naar de ketel dat die weer aan het werk moet gaan. Een dergelijke “regelkring” is erop gericht een bepaalde normwaarde te handhaven: de temperatuur moet gelijkblijven. Een andere context is die van een industrieel productieproces, waarin een product aan bepaalde, nauw omschreven specificaties moet voldoen. Deze fungeren als kwaliteitseisen die zijn vastgelegd binnen het bedrijf. Producten zullen altijd wel iets afwijken van de gestelde norm (de afmeting van een onderdeel is bijvoorbeeld een fractie te groot), maar door voortdurende controle wordt een te afwijkend exemplaar gesignaleerd en kan dit uit het productieproces worden verwijderd. Dit kost uiteraard geld, maar het niet opmerken en verwijderen van een foutief product brengt risico’s met zich mee en kan ook geld kosten. Het percentage foutieve producten hangt af van hoe scherp de norm is gesteld. Als het nauw luistert (bijvoorbeeld omdat de veiligheid of gezondheid in het geding is) zal de ingestelde tolerantie voor fouten laag zijn en kan het foutenpercentage sterk gaan oplopen. Dat is dan een signaal dat machines opnieuw moeten worden afgesteld (of zelfs dat nieuwe, meer nauwkeurige machines moeten worden aangeschaft). Een bedrijfseconoom kan uitrekenen tot welk percentage “uitval” het productieproces ongemoeid kan worden gelaten en wanneer het proces moet worden stilgezet om het probleem te verhelpen. Deze feedback is er op gericht het percentage fouten en de kosten te verlagen (negatieve terugkoppeling). Feedback in het onderwijs In het onderwijs is feedback erop gericht iets te doen toenemen (positieve terugkoppeling), namelijk dat wat leerlingen of studenten leren. Er is bovendien lang niet altijd sprake van een precieze norm die moet worden bereikt (temperatuur bij centrale verwarming) of die niet moet worden 19

overschreden (percentage fouten bij productieprocessen). Waar het gaat om het beheersen van kennis kan wel sprake zijn van zo’n norm (volledige beheersing), maar bij het ontwikkelen van vaardigheden of het in staat zijn tot prestaties gaat het vaak om een streefrichting. Het kan dan zogezegd altijd beter: mensen kunnen zich voortdurend verbeteren. Vormen van feedback Leerlingen die een toets maken of aan een werkstuk werken, kunnen op drie manieren feedback verkrijgen. Zij kunnen tijdens het werken aan de taak merken dat het goed of juist niet goed gaat (feedback vanuit de taak). Soms zal dit pas blijken als de taak helemaal is uitgevoerd: het resultaat blijkt dan niet te voldoen (bijvoorbeeld het gemaakte apparaat werkt niet). Een tweede manier om feedback te verkrijgen is doordat de leerling zelf actief nadenkt over de uitvoering en het resultaat (in wording). In dit geval dringt de feedback zich niet als het ware vanuit de taak zelf op, maar is reflectie nodig om iets te signaleren en tot een conclusie te komen (zelf gegenereerde feedback). De derde manier is dat iemand anders ziet of heeft gezien hoe je werkt, hoe het gaat (vordert, juist is, de goede kant op gaat) en wat je hebt gemaakt, en dat aan je meedeelt (feedback van een ander). In het onderwijs is de feedbackgever vaak een docent, maar het kan ook een andere leerling zijn (peer-feedback), of, in de praktijkcomponent van beroepsopleidingen, een patiënt of klant of opdrachtgever. De rollen kunnen ook worden omgedraaid: docenten (al dan niet in opleiding) kunnen ook de ontvangers van feedback zijn, waaronder feedback van hun leerlingen. Behalve dat de bron van de feedback kan verschillen (taak, zelf, ander), kan ook het medium of kanaal waarlangs de feedback wordt verkregen variëren: mondeling, schriftelijk (op papier) of digitaal, en verbaal of non-verbaal (dit laatste in face-to-face situaties via bijv. intonatie, mimiek en gebaren, en schriftelijk en digitaal met afbeeldingen, grafieken en specifieke symbolen). Feedback kan zowel individueel worden gegeven als aan een groep, en zowel op initiatief van de feedbackgever als in reactie op vragen of problemen van leerlingen. Samengevat: feedback kan variëren naar bron, kanaal, ontvanger (individu of groep) en initiatiefnemer (docent of leerling(en)). Objecten van feedback We richten ons hier verder op feedback van een docent (of medeleerling) aan een leerling (of een groepje leerlingen), op eigen initiatief dan wel naar aanleiding van een vraag of probleem van de leerling, bij een bepaalde taak. De leerling werkt aan die taak of heeft daaraan gewerkt, en de feedback kan zich dan richten op een of meer objecten: de aanpak die de leerling volgt (of 20

heeft gevolgd), het proces of verloop, en het tussentijdse of uiteindelijke resultaat: de (deels) gemaakte opgave of het (deels) gemaakte werkstuk. De feedback kan behalve op de taak (aanpak, uitvoering, resultaat) ook worden gericht op de leerling zelf en zijn of haar houding, motivatie of gedrag. In de praktijk van het onderwijs kan de taak waar het om gaat veel uitmaken, zowel in het soort problemen waar een leerling tegenaan kan lopen als in de feedback die kan of zou moeten worden gegeven. Taken kunnen verschillen in de hoeveelheid kennis die nodig is om de taak uit te voeren, de mate waarin de aanpak of procedure die moet of kan worden gevolgd, vastligt, en de vraag of slechts één antwoord of oplossing goed is of dat meerdere goed kunnen zijn (zie Baxter & Glaser, 1998; Pellegrino, Baxter & Glaser, 1999). Hierbij zullen zich ook verschillen kunnen voordoen tussen schoolvakken: bij het ene vak zijn taken gemiddeld kennisintensiever dan bij het andere, en bij het ene vak kunnen vaker verschillende aanpakken worden gevolgd en vaker meerdere uitkomsten goed zijn dan bij het andere. Docenten zullen mede daardoor kunnen verschillen in hun feedbackrepertoire. Feedback: omschrijvingen en zienswijzen Tot slot van deze inleidende paragraaf vragen we ons af hoe “feedback” kan worden omschreven. Zonder het belang van een formele definitie te willen overschatten, is het goed om hier bij stil te staan. In de literatuur komen namelijk heel verschillende omschrijvingen voor. Askew en Lodge (2000) maken een verhelderend onderscheid tussen feedback als “gift”, als “ping-pong” en als “dialoog”. Bij feedback als gift is sprake van eenrichtingverkeer: de feedbackgever reageert op of geeft informatie aan de feedbackontvanger, vaak in de vorm van een beschrijving en/of beoordeling van diens prestatie op een taak. Dergelijke feedback kan bijdragen aan het leerproces maar kan ook gewoon geen effect hebben of juist het leren blokkeren. Het wordt in feite aan de ontvanger overgelaten de feedback te verwerken en er al dan niet iets zinvols mee te doen. Feedback als ping-pong doet zich voor als de feedback uitnodigt tot een reactie van de ontvanger. De feedback zal hier vaak meer dan in de vorige situatie zijn gericht op het bevorderen van reflectie op de taak en de eigen prestatie en/of het bevorderen van de motivatie om te werken aan de taak. Bij feedback als dialoog zal het beoordelende aspect minder centraal staan en zijn beide betrokkenen vooral gericht op het uitwisselen van persoonlijke betekenistoekenningen en het gezamenlijke leerproces. Dit leerproces betreft dan zowel de onderhanden taak en de uitvoering daarvan als de manier waarop beide partners die waarnemen en waarderen en wat beiden in hun interactie met hun inbreng bedoelen.

21

Van de Ridder e.a. (2008) maken een vergelijkbaar onderscheid, tussen feedback als informatie (eenrichtingverkeer), feedback als reactie (met interactie tussen gever en ontvanger), en feedback als cyclus (waarbij de ontvanger de feedback gebruikt ter verbetering van de prestatie en daarop opnieuw feedback krijgt). Hoewel in situaties waarin feedback een onderdeel is van een dialoog of van coaching het beoordelende aspect niet hoeft te domineren, gaat het bij taken, zeker bij taken van lerenden in een onderwijscontext, altijd wel ook om bepaalde eisen of standaarden waaraan moet worden voldaan (en hebben leerdoelen daar juist vaak betrekking op). Dit betekent tegelijk dat feedback ook de functie heeft bij te dragen aan leren en verbetering. Een definitie die al deze ingrediënten bevat is die van Ramaprasad (1983): “Feedback is information about the gap between the actual level and the reference level of a parameter which is used to alter the gap in some way”. Deze formele definitie is in haar formulering heel algemeen en kan daardoor in veel contexten worden toegepast. Een andere omschrijving, specifiek voor onderwijs, is die van Sadler (1989). Deze bevat precies dezelfde elementen: “the learner has to (a) possess a concept of the standard (or goal, or reference level) being aimed for, (b) compare the actual (or current) level of performance with the standard, and (c) engage in appropriate action which leads to some closure of the gap.” Feedback heeft een doel Iemand die feedback ontvangt, zal daaraan zelf betekenis geven. Feedback hoeft niet te worden gegeven met de intentie bij te dragen aan leren en verbetering om door de ontvanger wel zo te worden waargenomen en gebruikt. Bij feedback in onderwijssituaties, door een docent (of een medeleerling) aan een leerling, mogen we er echter vanuit gaan dat degene die feedback geeft dat doet met die intentie. In navolging van Van de Ridder e.a. (2008) voegen we daarom deze intentie aan de omschrijving toe. Al met al ontstaat dan de volgende omschrijving: Feedback is een reactie op een prestatie op een taak met een standaard, gericht op leren en verbetering. Een korte toelichting op de woorden ‘prestatie’ en ‘standaard’ is wenselijk. De prestatie kan betrekking hebben op een resultaat (antwoord, (voorlopig) product), maar ook op een handeling of aanpak (de manier waarop eraan is of wordt gewerkt), en daarbij niet alleen voor zover zichtbaar maar juist ook het denkproces, de kennis die wordt gebruikt en de afwegingen die worden gemaakt. Kortom: denkproces, zichtbare activiteit, (voorlopig) resultaat. De reactie kan overigens, behalve direct door de prestatie zelf, uiteraard ook worden geinitieerd door een vraag of een probleem van een leerling.

22

De standaard heeft primair betrekking op de beoogde kwaliteit van de uitvoering of het resultaat van de taak. Bij het geven van feedback in een onderwijssituatie kan de actuele prestatie ook worden vergeleken met een eerdere prestatie van dezelfde leerling, om te benadrukken of samen na te gaan in hoeverre de leerling (al) is vooruitgegaan. Een derde mogelijkheid is dat de prestatie van een leerling wordt vergeleken met die van andere leerlingen, bijvoorbeeld de andere leerlingen in de groep. Feedback die zo’n vergelijking benadrukt, wordt in het algemeen gezien als onwenselijk (want die leidt af van de taak waar het om gaat).

3.2 Feedback als interventie: veelbelovend maar ongewis Er zijn waarschijnlijk weinig soorten hulpmiddelen of activiteiten in onderwijs, opleidingssituaties en “human resource management” waarnaar zoveel onderzoek is verricht en waarover zo juichend is geschreven als feedback. Zie bijvoorbeeld een recent artikel van Hattie en Timperley (2007), met als kenmerkende titel “The power of feedback”. Van tijd tot tijd verschijnen overzichtsstudies en “meta-analyses” waaruit feedback soms inderdaad naar voren komt als een krachtig middel voor het bevorderen van leerresultaten, maar soms ook niet. In zulke publicaties worden grote aantallen onderzoeken vergeleken die verschillen in context, doelgroep, taak en feedbackvorm, en in de kwaliteit van het onderzoek zelf. Het effect van feedback waarnaar men zoekt, is dan al snel een gemiddelde over onvergelijkbare grootheden en daardoor weinig zinvol. Ter illustratie beschrijven we drie studies. De auteurs daarvan waren steeds op zoek naar factoren die samenhangen met cognitieve leerresultaten. Fraser, Walberg, Welch en Hattie (1987) gaven een synthese van enkele duizenden onderzoeken waarin 26 zeer verschillende aspecten van onderwijs waren onderzocht. Feedback behoorde, samen met enkele geheel andere activiteiten, tot de top-4 van meest effectieve interventies. Wang, Haertel en Walberg (1993) analyseerden ruim 100 overzichtsartikelen en meta-analyses. Zij vergeleken 28 categorieën van factoren, variërend van “classroom management” tot demografische kenmerken van de omgeving van de school. In deze studie scoorde feedback in het midden, samen met “student and teacher academic interactions” (kennelijk werd feedback gezien als eenrichtingverkeer en niet als “academic interaction”). Scheerens (2007) vergeleek 12 brede categorieën van schoolfactoren en 15 onderwijsvariabelen op klasniveau. Bij de “schoolfactoren” eindigde “reïnforcement en feedback” op de laatste plaats, bij de variabelen op klasniveau kwam “feedback/controle” uit op de tiende plek. 23

Uit deze voorbeelden blijkt dat het middel feedback er soms wel maar soms ook niet zo positief uitkomt. Wie zulke studies leest, ziet echter ook dat de onderzochte factoren, waaronder feedback, nogal verschillend en vaak slechts globaal worden aangeduid. Dat maakt hun waarde betrekkelijk. Er zijn ook studies verricht waarin de onderzochte factoren nauwkeuriger zijn omschreven. Twee voorbeelden, die verderop nog worden besproken, zijn de studies van Bangert-Drowns e.a. (1991) en Kluger en DeNisi (1996). In beide studies bleek dat feedback weliswaar gemiddeld een duidelijk positief effect heeft, maar in een derde deel van de gevallen geen of zelfs een negatief effect. Hierbij moet wel worden aangetekend dat de meeste onderzoeken die in deze studies zijn vergeleken, plaatsvonden in laboratoriumsituaties en/of betrekking hadden op kleine afgebakende taken waarvoor kennis en/of vaardigheden nodig zijn die in vrij korte tijd kunnen worden geleerd, waardoor het effect van feedback daarop gemakkelijk experimenteel kan worden onderzocht. De generaliseerbaarheid daarvan naar de diverse soorten leertaken en situaties in de onderwijspraktijk is twijfelachtig. Dit neemt niet weg dat het effect van feedback kennelijk ongewis is. Het is dus zaak er dieper in te duiken.

3.3 Feedback bezien vanuit verschillende invalshoeken We zagen dat onderzoek naar feedback uiteenlopende uitkomsten te zien geeft, zelfs bij vergelijking van studies en meta-analyses die elk voor zich toch beogen tot een overzicht van dit kennisgebied te komen. Als verklaringen voor deze diversiteit noemden we al de verschillen tussen de onderzoeken zelf (in opzet en in kwaliteit) en het feit dat feedback kan voorkomen in allerlei situaties, bij zeer verschillende doelgroepen en taken en in uiteenlopende vormen. Om hier toch meer grip op te krijgen, kiezen we een andere insteek. Bij nadere beschouwing heeft het er namelijk veel van weg dat de diversiteit in publicaties over feedback voor een deel wordt veroorzaakt doordat auteurs, vaak impliciet, schrijven vanuit een bepaalde invalshoek of met het oog op een bepaalde context waarbinnen het middel feedback wordt ingezet. Concreet: een docent kan bij het denken over en geven van feedback dit zien als formatieve beoordeling, als reactie op of informatie over een prestatie (antwoord, werkstuk), als proces van communicatie en interactie, en als onderdeel van begeleiding of coaching. Deze opties representeren min of meer de ontwikkeling die zich de laatste 40 jaar heeft voorgedaan, waarbij men het beoordelen van werk van leerlingen steeds meer is gaan zien als integraal onderdeel van het onderwijsleerproces. 24

In alle gevallen kan feedback bovendien worden geïnterpreteerd als een “boodschap” met verschillende mogelijke betekenissen, voor de gever en voor de ontvanger.

Feedback als formatieve beoordeling (assessment) Beoordelingen van prestaties van leerlingen in het onderwijs gebeuren vaak alleen “voor een cijfer”. Dit is een beoordeling achteraf, na het leerproces, op wat de leerling heeft geleerd resp. op dat moment beheerst (weet, kan of presteert). Dit wordt ook wel een summatieve beoordeling genoemd. Zulke beoordelingen zijn niet (primair) bedoeld om bij te dragen aan verder leren, en doen dat ook vaak niet of amper (wat zegt een cijfer immers over wat je als leerling moet doen om je te verbeteren?). Daarvoor zijn de zogenoemde formatieve beoordelingen: beoordelingen tijdens het onderwijsleerproces die juist tot doel hebben het leren te ondersteunen. Zulke beoordelingen kunnen de docent inzicht geven in wat de leerlingen al wel en wat ze nog niet beheersen, en mogelijk ook in waar het specifiek aan schort (diagnostische functie, foutenanalyse). De docent kan dan het leren ondersteunen door het onderwijs aan te passen. Formatieve beoordelingen kunnen ook aan de leerlingen worden gecommuniceerd, in de vorm van feedback, zodat zij zelf er hun voordeel mee kunnen doen. Twee korte kanttekeningen. De eerste is dat in de literatuur en ook in het onderwijs verschillende termen enigszins door elkaar heen worden gebruikt. Zo ook met ‘beoordelen’, ‘toetsen’ en ‘evalueren’. We sluiten ons aan bij de keuze om ‘evalueren’ te gebruiken als het gaat om het bepalen van de kwaliteit van het onderwijs, en ‘toetsen’ en ‘beoordelen’ voor het bepalen van de prestaties of leerresultaten van de leerlingen. Daarbij duidt ‘toetsen’ op het gebruik van kennistoetsen waarbij de antwoorden goed of fout zijn (eventueel na te kijken door een computer), en ‘beoordelen’ op het inschatten van de waarde van meer complexe prestaties (waarvoor een menselijke beoordelaar nodig is). In het hedendaagse onderwijs werken leerlingen vaak aan taken of opdrachten die op meer manieren kunnen worden aangepakt en waarbij meer antwoorden of oplossingen goed kunnen zijn. In dat geval gaat het om ‘beoordelen’. De tweede opmerking is dat beoordelingen niet alleen invloed kunnen hebben op het leren van leerlingen doordat de docent en/of de leerlingen de resultaten daarvan gebruiken. Leerlingen kunnen ook van beoordelingssituaties leren tijdens het werken aan de taken zelf, en ook doordat een verwachte beoordeling er toe leidt dat het leren al vooraf daarop wordt 25

gericht (de manier waarop zal worden getoetst, het soort vragen dat zal worden gesteld, heeft bij veel leerlingen, als ze dit van te voren weten, grote invloed op hoe ze gaan leren). Hier gaat het over de eerste optie: bijdragen aan leren met behulp van de resultaten van beoordeling. Kenmerkend aan de kijk op feedback, opgevat als communicatie over de uitkomsten van een formatieve beoordeling, is dat feedback dus geacht wordt te zijn gebaseerd op beoordeling. Eind 80-er jaren hebben drie studies de aftrap gegeven voor meer aandacht voor het op die manier geven van feedback door docenten aan hun leerlingen (in het Engels ook wel aangeduid met classroom assessment, ter onderscheiding van het gebruik in het onderwijs van extern ontwikkelde gestandaardiseerde toetsen, zoals vooral in de VS heel lang gebruikelijk is geweest). Deze trendsettende publicaties waren die van Natriello (1987), Crooks (1988) en Sadler (1989). Het artikel van Natriello (1987) bevatte al meteen alle basis-ingrediënten van deze benadering, gerangschikt als stappen in een cyclisch proces. We lopen hieronder deze stappen langs, en voegen hier en daar overwegingen toe (ook andere dan die door Natriello zijn genoemd). 1.Bepalen van de doelen van de formatieve beoordeling Deze stap wordt vaak overgeslagen (zowel in de theorie als in de praktijk), mogelijk omdat men denkt dat het vanzelf spreekt waarom men beoordeelt en feedback geeft. Er zijn echter uiteenlopende doelen in het geding: plaats bepalen, beslissingen nemen, motivatie stimuleren, leren bevorderen. In het onderwijs lopen deze doelen waarschijnlijk vaak enigszins door elkaar heen. Dit zou afbreuk kunnen doen aan elk doel afzonderlijk. 2.Ontwerpen van geschikte taken Wie wil kunnen beoordelen wat leerlingen weten en kunnen, moet hen taken geven waaraan dat kan worden afgelezen. Leertaken zijn echter vaak minder eenduidig in hoe ze moeten of kunnen worden uitgevoerd en ook in hoe ze kunnen worden beoordeeld. Dat maakt formatief beoordelen en feedback geven moeilijk. Zowel docenten als leerlingen kunnen daardoor de neiging hebben zich te concentreren op het resultaat (in plaats van het proces) en op meer eenduidige taken (goed of fout). Een ander aspect is dat taken zo moeten zijn ontworpen dat relevante verschillen tussen leerlingen daarmee zichtbaar kunnen worden. 3.Vaststellen van beoordelingscriteria Aan prestaties op taken zijn meerdere aspecten te onderscheiden, dus moet duidelijk zijn welke aspecten in de beoordeling zullen worden betrokken. Heel concreet: wordt bij een werkstuk voor geschiedenis of natuurkunde ook op de kwaliteit van het schrijven gelet? En gaat het ook om de manier 26

waarop eraan is gewerkt? Docenten kunnen geneigd zijn in hun beoordeling (en feedback) ook (hun indruk van) de inzet van de leerling mee te nemen, en andere aspecten die niet direct met de leerprestatie zelf te maken hebben. Hoe objectief is hun oordeel daarover? Hoe inzichtelijk is een beoordeling die mede daarop is gebaseerd voor de leerling? De criteria bepalen mede de taak waarom het gaat, en leerlingen zouden vooraf moeten weten welke criteria belangrijk zijn. Docenten kunnen criteria echter niet ongelimiteerd expliciteren (neem bijvoorbeeld de kwaliteit van een onderzoek of een werkstuk: hoe het criterium “diepgang” te omschrijven?). Het vooraf verstrekken van expliciete criteria kan bovendien averechtse effecten hebben, als leerlingen deze als afvinklijstje gaan gebruiken (als ik daarop heb gelet, moet het goed zijn). 4.Vaststellen van standaarden Bij beoordelen zijn niet alleen criteria nodig (aandachtspunten) maar ook standaarden: normen voor wanneer een prestatie voldoende is, of goed. In het onderwijs zijn zulke standaarden vaak deels inhoudelijk (de mate van beheersing van de betreffende kennis of vaardigheid) en deels vergelijkend (rekening houdend met het niveau van de groep). Dit laatste wordt vaak ongewenst geacht, omdat de beoordeling van de prestatie van een leerling daardoor afhankelijk wordt van de samenstelling van de groep waar de leerling in zit en de beoordeling daardoor niet eerlijk is en ook niet informatief (wat weet en kan de leerling nu?). In de praktijk echter valt er niet helemaal aan te ontkomen en is het realistisch daarmee enigszins rekening te houden. Het heeft immers weinig zin om eisen te stellen waaraan slechts weinigen kunnen voldoen (het vervolgonderwijs komt dan zonder studenten te zitten en de samenleving zonder beroepsbeoefenaren). Een probleem is wel dat het bepalen van de standaarden in de praktijk voor een belangrijk deel in handen ligt van de individuele docent, en de ene docent is strenger dan de andere. Daar komt nog bij dat de ene docent meer gedifferentieerd beoordeelt en waardeert dan de andere. Dit is natuurlijk geen nieuws: het is in Nederland al uitgebreid gedocumenteerd in het boek “Vijven en zessen” (De Groot, 1969). Ook nemen docenten vaak informatie over en indrukken van een leerling mee in hun oordeel (voorgeschiedenis, inzet of goede wil, mate van zelfvertrouwen, e.a.), waardoor de band van het oordeel met de feitelijk geleverde prestatie nog losser kan worden en de feedback mede (maar voor een moeilijk te peilen deel) een pedagogische functie krijgt. 5.Verzamelen van gegevens over de prestaties van de leerlingen Traditioneel vond beoordeling in het onderwijs grotendeels plaats door het toetsen van kennis. Door dat per periode meermalen te doen, kunnen toevalsfluctuaties (elke keer is een momentopname) worden uitgemiddeld. 27

Tegenwoordig worden ook opdrachten gegeven en werken leerlingen aan projecten, presentaties en werkstukken. Enerzijds kan een docent daardoor een breder beeld krijgen van de ontwikkeling van een leerling, anderzijds wordt het niet eenvoudiger te bepalen welke kennis of vaardigheid met welke opdracht of welk type opdracht wordt of kan worden getoetst. 6.Beoordelen van de prestaties Mensen zijn als beoordelaars onderhevig aan verschillende processen die de kwaliteit van hun oordelen verminderen, en docenten vormen daarop geen uitzondering. Aandacht daarvoor is belangrijk, want beoordelingen die door leerlingen worden ervaren als niet terecht of onbegrijpelijk zullen in mindere mate bijdragen aan het verdere leerproces. 7.Geven van feedback Volgens Natriello is het geven van feedback nadrukkelijk een aparte stap. De docent kan meerdere zaken signaleren maar zal deze vaak niet allemaal willen of kunnen inbrengen en moet dan beslissen waarop hij of zij reageert, en op welke manier. 8.Monitoren van de uitkomsten Natriello voegt deze stap toe vanwege het belang van evaluatie van de formatieve beoordeling en de daarop gebaseerde feedback. Anders gezegd: docenten zouden moeten nagaan of zij hun doelen hiermee realiseren. Evaluatie kan betrekking hebben op hoe zij het beoordelen en geven van feedback aanpakken en organiseren (zoals Natriello bedoelt) maar ook op elke keer dat feedback wordt gegeven afzonderlijk: begrijpt de leerling de feedback, kan hij er iets mee, kan hij daardoor weer verder? Natriello beschrijft onderzoeken waaruit bleek dat feedback in de vorm van cijfers de aandacht richt op onderlinge vergelijking tussen leerlingen, terwijl feedback in de vorm van inhoudelijke opmerkingen, specifiek en op maat, door leerlingen meer wordt betrokken op hun eigen aandeel in de prestatie. Daarnaast heeft feedback ook een affectieve waarde of lading. Het artikel van Natriello (1987) was getiteld “The impact of evaluation processes on students” en zette alle belangrijke stappen bij formatieve beoordeling van leerlingprestaties op een rij. Een jaar later verscheen een artikel van Crooks (1988), met als titel “The impact of classroom evaluation processes on students”. Dit ging dieper in op formatieve beoordeling door docenten, als integraal onderdeel van het onderwijsleerproces. Crooks inventariseerde de concrete vormen daarvan: met door de docent zelf gemaakte toetsen, toetsen als onderdeel van het lesmateriaal, schriftelijke vragen en oefeningen, mondelinge vragen, “and a wide variety of other performance activities”. Hij benoemde ook de verschillende niveaus waarop zich effecten daarvan kunnen voordoen: het in een les of 28

lessenserie of rond een taak activeren van voorkennis, het richten van de aandacht, het benadrukken van leerdoelen en standaarden, het bevorderen van een actieve leerstrategie, het bevorderen van motivatie, het terugkoppelen van het resultaat en geven van correctieve feedback, en het helpen van de leerling om de eigen voortgang zelf te monitoren. Op grond van de door hem bestudeerde onderzoeken kwam Crooks tot de conclusie dat formatieve beoordeling door docenten krachtige directe en indirecte impact kan hebben, maar dat die impact zowel positief als negatief kan zijn, en dat formatieve beoordeling dus heel doordacht moet worden ingezet. Het effect van feedback is mede afhankelijk van de aard van de taak, de aard van het antwoord of prestatie van de leerling, het vertrouwen dat de leerling in de eigen prestatie heeft, de timing van de feedback, de mate waarin de feedback specifiek is en op maat wordt gegeven, de mate waarin de aandacht wordt gericht op de (verdere) ontwikkeling van de leerling, en de mate waarin feedback regelmatig wordt gegeven. Effecten op motivatie zijn vaak specifiek voor een taak of een inhoudsdomein. Weer een jaar later verscheen een artikel van Sadler (1989), die nog weer verder inzoomde op het belang van de aard van de taak die de leerling moet uitvoeren, de manier waarop docenten prestaties kunnen beoordelen, en het uiteindelijke doel dat formatieve beoordeling moet dienen. Sadler constateert dat ondanks regelmatige accurate feedback vaak geen verbetering optreedt van de kwaliteit van het werk van leerlingen. Volgens hem gaat het bij formatieve beoordeling over beoordeling van de kwaliteit van prestaties van leerlingen, met het oogmerk hun vaardigheden verder te ontwikkelen. Docenten hebben voor het beoordelen een begrip nodig van kwaliteit dat past bij de taak. De leerling moet dit begrip van kwaliteit ook ontwikkelen, zodat hij of zij de eigen taakuitvoering al tijdens het proces kan volgen en beoordelen en over een repertoire beschikt van te ondernemen acties voor als er moet worden bijgestuurd. Onderwijs zou hierop moeten zijn gericht: dat leerlingen hun eigen werk op kwaliteit kunnen beoordelen. Docenten vinden het vaak lastig de standaard precies te omschrijven. Bij het beoordelen van de kwaliteit van complexe prestaties speelt altijd een aantal beoordelingscriteria een rol, die deels niet scherp zijn en waarvan per beoordeling slechts een deel manifest wordt. Dit laatste komt doordat criteria vaak pas naar boven komen als er niet aan wordt voldaan. Een voorbeeld: tijdens het lezen van een werkstuk ben je er als docent niet steeds op gericht na te gaan of de zinnen grammaticaal juist zijn geformuleerd, maar zodra je een zin tegenkomt die dat niet is, wordt dit criterium geactiveerd. Het ontwikkelen van vaardigheden vergt oefening en feedback. In de kern betreft feedback het aangeven van de standaard, het terugkoppelen van de 29

huidige prestatie, de vergelijking tussen die twee, en het suggereren van acties die de afstand tussen huidige prestatie en standaard kunnen terugbrengen. Hoe complexer echter de taak, hoe waarschijnlijker het is dat er meer manieren zijn om aan de standaard te gaan voldoen, en dan zal feedback meer moeten inhouden dan dat. Dat het belangrijk is, zoals Crooks en Sadler aangaven, dat leerlingen zelf de kwaliteit van hun werk leren beoordelen, is sindsdien regelmatig onderstreept. Leerlingen zouden hun houding moeten veranderen van “voldoen aan wat de docent wil zien” in “zelf nadenken over hoe het beter kan”. Feedback zou daartoe moeten worden gevolgd door een dialoog (interactie) over de taak, de aanpak, het resultaat en de standaard, en de relaties daartussen (Smith & Ragan, 1993; Straub, 1996, 1997). Sadler (1998) voegde hieraan toe dat leerlingen daartoe ook moeten leren hoe ze de feedback van de docent moeten interpreteren. De manier waarop de feedback wordt gecommuniceerd is enorm belangrijk, waarbij ook nog eens meespeelt dat het gaat om communicatie tussen twee ongelijke partijen (docent en leerling). In een communicatieproces kennen beide partijen aan elkaars uitingen betekenissen toe, waarbij zowel de inhoud als de onderlinge relatie een rol speelt en de deelnemers geneigd zijn alle onderdelen van de boodschap met elkaar in samenhang te brengen.

Feedback als reactie en als informatie Het denken over leerprocessen en de beïnvloeding daarvan werd aanvankelijk gedomineerd door het behaviorisme. Leren werd gezien als het sterker worden van verbindingen tussen een stimulus en een respons. De grondgedachte (bij Thorndike in de 30-er jaren; we volgen hier de beschrijving van Roossink, 1990) was dat als een respons na een stimulus wordt gevolgd door een beloning, de verbinding tussen die stimulus en die respons wordt versterkt (het principe van reïnforcement). In de 50-er jaren werd dit uitgewerkt door Skinner in onderzoeken naar operante conditionering. Hij ging, onder invloed van de cybernetica, in plaats van reïnforcement de term feedback gebruiken, en richtte zich vooral op geprogrammeerde instructie. Het belangrijkste principe daarbij voor het versterken van het geven van het goede antwoord was het verschaffen van kennis over de resultaten: dat een antwoord goed is of dat een hoge score is gehaald. In het onderwijs werd dit eerst gezien als reïnforcement maar later als vorm van terugkoppeling (feedback), waaraan in de loop van de tijd meer functies werden toegekend: versterkend, motiverend en informatief.

30

Bij de overgang van een behavioristische naar een cognitieve benadering van leren, in de 60-er jaren (o.a. bij Bruner en Ausubel), ging men de functie van feedback vooral zien als informatie (of het antwoord correct is of niet, of de prestatie al voldoet aan de norm of nog niet). Ook begon men toen te benadrukken dat externe feedback van de docent op termijn plaats zou moeten maken voor interne feedback: het vervullen van de evaluerende en corrigerende functie door de leerling zelf. De eerder genoemde studies van Bangert-Drowns e.a. (1991) en Kluger en DeNisi (1996) zijn in feite de eerste twee overzichtsstudies naar feedback vanuit de cognitieve benadering, en de recente publicatie van Shute (2008) past ook in deze tradtie. We vatten hun bevindingen en inzichten samen. Bangert-Drowns e.a. (1991) geven aan dat in onderwijssituaties feedback meestal doelbewust wordt gegeven, en kan zijn gericht op de correctheid van de uitvoering en het resultaat van de taak, op de affectieve beleving en motivatie van de leerling, en op meta-cognitieve aspecten (maken van keuzes, planning, controle en evaluatie door de leerling). Ook kan feedback verschillen in specificatie, met of zonder uitleg, aanvullende instructie, e.d. De uitgevoerde studie betrof geen onderwijs- maar kennistoetssituaties, met gevarieerde taken (het goede antwoord kunnen geven, kennis kunnen toepassen) en vragen (multiple choice, aanvul- of korte antwoordvragen). De gegeven feedback was al dan niet voorzien van een cijfer. Bangert-Drowns e.a. vonden over het algemeen zwakke effecten van feedback, terwijl in 18 van de 58 bestudeerde onderzoeken het effect zelfs negatief was. Feedback die louter bestond uit informatie over of het antwoord goed of fout was, had gemiddeld vrijwel geen effect, feedback waarbij het goede antwoord werd genoemd of begeleiding werd gegeven had wel een positief effect. De voornaamste functie van feedback bij het genoemde type taken is het corrigeren van fouten, en de omvang van de feedback bleek daarbij niet van belang. De auteurs zijn van mening dat feedback leren kan bevorderen mits deze “mindfully” wordt ontvangen: de ontvanger moet willen weten waarom iets goed of fout is. Feedback kan actieve leerlingen ondersteunen bij zelfsturing door informatie te verstrekken die voor het leren strategisch nuttig is. Het is echter lastig te bepalen aan welke kenmerken feedback moet voldoen om optimaal effect te hebben, want kenmerken komen niet geïsoleerd voor maar in allerlei combinaties. Kluger en DeNisi (1996) merken op dat een flinke beperking aan onze kennis over de effectiviteit van interventies, zoals feedback, bij verbeteren van prestaties, is gelegen in het feit dat deze effectiviteit sterk kan

31

verschillen tussen typen taken en we daarover nog weinig weten, om te beginnen welke ordening in typen taken in dit verband vooral relevant is. Des te belangrijker is het te vermelden dat de taken die aan de orde waren in de zeer vele onderzoeken die Kluger en DeNisi in hun studie meenamen, bijna allemaal laboratoriumtaken waren (bijvoorbeeld het uitvoeren van een bepaalde handeling, het onthouden van bepaalde informatie, het reageren op bepaalde stimuli, e.d.) en voor ruim de helft taken die binnen een bepaald, kort tijdsbestek moesten worden uitgevoerd. De meeste feedback betrof de prestatie op de taak (goed/fout, score), en niet het leren van de taak (bijvoorbeeld door feedback te geven op de aanpak). Kenmerken van feedback die samenhingen met positieve effecten waren bijvoorbeeld het geven van de juiste oplossing, het nalaten van prijzen, en het stimuleren van het stellen van doelen. Kenmerken die samenhingen met negatieve effecten hadden met name betrekking op bedreiging van de zelfachting (self-esteem) en op ontmoediging. Kluger en DeNisi presenteren een Feedback Intervention Theory (FIT) met als centrale hypothesen dat mensen meerdere doelen nastreven die liggen op verschillende hiërarchisch geordende niveaus, en dat feedback als belangrijk effect heeft dat het de aandacht richt op een bepaald niveau. Ze onderscheiden drie niveaus: dat van het (leren) uitvoeren van de taak, dat van de motivatie voor de taak, en dat van de eigen persoon (het ‘zelf’). De auteurs stellen dat de aandacht normaal is gericht op het middelste niveau, want bezig zijn met zichzelf (het bovenste niveau) vinden mensen over het algemeen niet leuk, en aandacht voor de taak (het laagste niveau) is vaak niet nodig omdat het uitvoeren van de taak min of meer vanzelf gaat. Het is voor mensen wel belangrijk om hun zelf te beschermen, en feedback wordt dan ook vaak goed opgemerkt, omdat deze daarvoor bedreigend kan zijn. Kluger en DeNisi geven aan dat effecten van specifieke en procesgerichte feedback kunnen worden begrepen doordat feedback de aandacht richt op het niveau van de taak. Het van een ander krijgen van feedback (in plaats van deze zelf te genereren) is echter wel makkelijk. Zulke feedback kan leiden tot meer leren, maar ook tot minder leren, namelijk als de lerende zich erop gaat richten om meer van zulke (leerzame) feedback van een ander te krijgen. Goede feedback kan zo ook leiden tot passiviteit. De FIT biedt ook een verklaring voor het feit dat het geven van een cijfer vaak geen goede vorm van feedback is, want een cijfer appelleert aan vergelijking met andere leerlingen, richt de aandacht daardoor gemakkelijk op de eigen persoon en leidt daarmee af van de taak. Ook het negatieve effect van feedback die door de ontvanger wordt ervaren als sterk controlerend, is met behulp van de FIT te duiden, namelijk door aan te

32

nemen dat zulke feedback de intrinsieke motivatie verlaagt. Een derde voorbeeld: feedback die is voorzien van uitleg richt de aandacht op de taak. Kluger en DeNisi gaan ook in op de manieren waarop ontvangers op feedback kunnen reageren. Zij kunnen hun gedrag veranderen (harder werken en/of hun aanpak aanpassen (slimmer werken)), hun persoonlijke standaard veranderen (de lat voor zichzelf lager, of juist hoger leggen), de feedback verwerpen (bijvoorbeeld als niet geloofwaardig of niet op hen van toepassing), en zich helemaal afkeren van de taak (hun committent staken). Shute (2008) geeft als definitie van “formatieve feedback”: informatie die wordt gecommuniceerd naar een lerende, bedoeld om zijn of haar denken of gedrag te veranderen met het oog op verbetering van het leren. Shute stelt vast dat de uitkomsten van onderzoek naar de effecten van feedback nog steeds sterk wisselend zijn, en sterk afhankelijk van specifieke combinaties van kenmerken van taken, lerenden (waaronder hun motivatie) en situaties. Shute heeft haar studie gericht op de resultaten van experimentele onderzoeken naar vormen van feedback, en daarmee op feedbackvormen die goed experimenteel manipuleerbaar zijn. Kenmerken van feedback die over het algemeen een negatief effect hebben, zijn: feedback die (te) kritisch of controlerend is, feedback in de vorm van cijfers, feedback die weinig specifiek is (vage feedback), feedback die (te) veel informatie bevat, en feedback die wordt gegeven terwijl de leerling bezig is om de taak uit te voeren (het probleem op te lossen) en door de feedback wordt gestoord. Shute voegt aan dit laatste toe dat het bij taken die bestaan uit het (leren) uitvoeren van bepaalde procedures op korte termijn effectief kan zijn om direct feedback te geven, maar op langere termijn juist minder effectief, omdat de transfer (toepassing in andere situaties) dan geringer is. (Mogelijk draagt het niet meteen feedback geven ertoe bij dat lerenden leren om problemen die zich voordoen zelf op te lossen en dit daardoor ook in nieuwe situaties beter kunnen). Shute oppert dat het niet direct geven van feedback (“vertraagde feedback”) ook verschillende motivationele effecten kan hebben: het kan als frustrerend worden ervaren, maar ook als de eigen autonomie respecterend en bevorderend. Vormen van feedback die blijkens de studie van Shute vaak een positief effect hebben, zijn: meer specifieke informatie geven dan alleen goed/fout, het goede antwoord geven, en aangeven waarom iets goed of fout is. Als verklaringen voor positieve effecten van feedback bespreekt Shute enkele cognitieve mechanismen. Door informatie te geven over de afstand tussen prestatie en standaard wordt de onzekerheid over hoe goed je het doet, verminderd, en daarmee ook de cognitieve belasting (want minder onzekerheid is minder belastend). Verder kan specifieke informatie nuttig 33

zijn voor het corrigeren van misconcepties, procedurele fouten en ongeschikte aanpakken. De overige voorbeelden van interventies die volgens Shute vaak positieve effecten hebben, verbreden de scope van feedback in engere zin naar coaching en tutoring: de aandacht richten op essentiële aspecten van een taak; uitleggen van belangrijke begrippen; geven van hints, cues en prompts; het probleem vereenvoudigen; geven van aanpaksuggesties; voordoen (modelleren); en geven van aanvullende instructie. Tegen deze achtergrond is de aanbeveling van Shute om feedback niet mondeling te geven, vreemd. Immers: coaching en tutoring vragen juist om mondelinge interactie. Shute heeft deze aanbeveling waarschijnlijk direct overgenomen van Kluger en DeNisi. Die vonden bij nonverbaal gegeven feedback een gemiddeld groter positief effect dan bij verbaal gegeven feedback. Dat is echter gezien de in hun studie vooral betrokken kleine laboratoriumtaken op het vlak van waarnemen, onthouden en reageren ook niet verwonderlijk. Kluger en DeNisi vonden ook niet voor niets geen effect van feedback bij echt complexe taken, want effectief feedback geven daarop vergt waarschijnlijk juist vaak een interactieproces van enige duur. Het is vooral deze cognitieve traditie van onderzoek naar feedback die heeft bijgedragen aan de inventarisatie van kenmerken van feedback die meer of minder effectief (zouden) zijn. De waarde daarvan is betrekkelijk: feedback heeft in de praktijk allerlei kenmerken tegelijk, en leerlingen en situaties hebben dat ook.

Feedback als proces van communicatie en interactie In de hiervoor beschreven behavioristische en cognitief-psychologische benaderingen werd feedback onderzocht als eenmalige actie en daarmee als eenrichtingverkeer. Daarnaast is feedback door onderzoekers vanuit de sociale psychologie benaderd in termen van communicatie en interactie. Een toonaangevende publicatie hierover is die van Ilgen, Fisher en Taylor (1979). Zij gaven aan dat feedback over de effectiviteit van iemands gedrag al heel lang is onderkend als essentieel voor leren en motivatie in “performance-oriented organizations” (scholen en arbeidsorganisaties). Zij stellen dat al veel literatuur beschikbaar is, maar nog weinig algemene kennis is verkregen over de effecten van feedback. Zij schrijven dit toe aan het feit dat feedback zelf al een gecompliceerde stimulus is en daarnaast ook nog met veel andere factoren samenhangt, waardoor het bijna onmogelijk is de effecten van gegeven feedback op zich vast te stellen. 34

Zij stellen voor feedback te zien als onderdeel van de interpersoonlijke interacties die nodig zijn voor leren. Ze benaderen feedback als speciaal geval van het algemene proces van communicatie waarbij een zender een boodschap overbrengt aan een ontvanger. Het speciale van feedback is dat de boodschap informatie bevat over de ontvanger. De waarneming, de acceptatie en de reactie van de ontvanger op de feedback worden beïnvloed door kenmerken van de zender, de boodschap en de ontvanger zelf (waarbij de kenmerken van de zender en van de boodschap door de ontvanger vaak min of meer als één geheel zullen worden waargenomen). De auteurs geven vervolgens een overzicht van wat er tot dan toe bekend is over de invloed van kenmerken van de zender, de boodschap en de ontvanger, op de processen (bij de ontvanger) van waarneming en acceptatie van de boodschap, de geneigdheid daarop te reageren en de intentie daarbij. We vatten de resultaten kort samen, maar we houden de vier processen (waarneming, acceptatie, reactiegeneigdheid, intentie) niet strikt gescheiden, omdat ze vaak door elkaar heen zullen lopen. Het belangrijkste kenmerk van de zender is diens geloofwaardigheid (uiteraard in de ogen van de ontvanger, in termen van o.a. deskundigheid en betrouwbaarheid), met name voor de acceptatie van de boodschap. Belangrijk bij de boodschap is dat deze voor de ontvanger betekenisvolle en nieuwe informatie bevat over eerder gedrag (presteren), die van belang is voor het leerproces (als de boodschap gerichte informatie bevat over de uitvoering van de taak) en voor de motivatie voor de taak (de inzet). Kenmerken van de boodschap die hieraan kunnen bijdragen zijn de timing, de mate waarin de boodschap positief of negatief is, de frequentie waarmee feedback wordt gegeven, de mate waarin de feedback wordt ervaren als controlerend, en de consistentie en specificiteit van de boodschap. Ook is van belang de mate waarin de boodschap bevordert dat de ontvanger verwacht de prestatie te kunnen verbeteren en dan positieve feedback te zullen krijgen. Ten aanzien van de eerste drie kenmerken (timing, balans positief/negatief, frequentie) zijn de onderzoeksresultaten niet eenduidig. Deze kenmerken zijn wel van belang, maar er kan niet in het algemeen worden aangegeven wat qua timing, balans tussen positief en negatief, en frequentie, optimaal is. Belangrijke kenmerken van de ontvanger zijn de mate waarin de ontvanger erop vertrouwt dat zijn of haar inzet tot resultaat zal leiden (tegenwoordig “self-efficacy” genoemd), de intrinsieke motivatie (gevoed door ervaringen van competentie en autonomie), en de ervaring van de bij de taak gestelde doelen (de mate waarin deze worden ervaren als specifiek, uitdagend, en niet opgedrongen). Ook hier zijn weer beide “functies” van feedback die de auteurs onderscheiden te herkennen: inzet bevorderen en richting geven. 35

Ook Larson (1984) benadert feedback als proces en hij voegt aan de door Ilgen e.a. (1979) genoemde functies van feedback de functies toe van het geven van informatie over de mate waarin de eigen doelen worden bereikt en voor sociale vergelijking (waar sta ik in vergelijking met anderen). Volgens hem ontbreken bij veel taken objectieve prestatiecriteria en zijn anderen daardoor de voornaamste bron van feedback. Het geven van feedback is echter een complexe handeling. De prestatie waarop feedback moet worden gegeven, is niet altijd duidelijk. Verder vallen lage prestaties vaak meer op dan hoge, waardoor de neiging ontstaat om weinig positieve feedback te geven, maar zijn mensen terwille van de onderlinge relatie juist terughoudend om negatieve feedback te geven. Ook speelt een rol hoe goed de feedbackgever de ontvanger kent en daardoor de gevolgen van de feedback kan inschatten. Larson vraagt ook aandacht voor de effecten van het geven van feedback op de feedbackgever zelf. Deze moet de prestaties waarop feedback moet worden gegeven, volgen en krijgt daardoor meer zicht daarop. Ook kan de feedbackgever het gevoel ontwikkelen invloed en controle op anderen te kunnen uitoefenen. Verder zal het geven van feedback aan hen die (al) hoog presteren weinig zichtbaar invloed uitoefenen, waardoor de feedbackgever de indruk kan krijgen dat zij in hoge mate zichzelf sturen en dus zijn feedback niet nodig hebben. Zulke cognitieve processen bij de feedbackgever kunnen gevolgen hebben voor de mate waarin en de manier waarop deze feedback geeft. Het gezichtspunt van de invloed van het geven van feedback en de zichtbare reacties daarop op de feedbackgever zelf, is nog weinig onderzocht. Reynolds, Martin en Groulx (1996) onderzochten de patronen van zichtbaar gedrag bij feedbackontvangers (in dit geval basisschoolleerlingen) die voor de feedbackgevers (leerkrachten) aanleiding zijn om te concluderen dat zij iets hebben begrepen (en de feedbackinteractie dus kan worden afgerond). Zij vonden de volgende: veranderingen in gezichtsuitdrukking en houding, een begrip toepassen in een nieuwe situatie, spontaan zelf dingen aanpassen (en niet zomaar overnemen), een procedure toepassen in een nieuwe situatie, met vertrouwen verkortingen in procedures hanteren, iets aan een ander kunnen uitleggen, actief en gericht aan de slag gaan (de eigen aandacht richten). In aanvulling op de eerder besproken studie van Crooks (1988) kwamen Black en Wiliam (1998) met een nieuw overzicht van het voorkomen en de effecten van processen van formatieve beoordeling door leraren in hun klassen. Omdat in hun publicatie formatieve beoordeling inmiddels helemaal werd gezien als onderdeel van het onderwijsleerproces, bespreken we deze 36

hier (in plaats van in de eerdere paragraaf over formatieve beoordeling waarin de studie van Crooks is opgenomen). Black en Wiliam (1998) benadrukken het belang van open en gevarieerde taken, die bijdragen aan het gewenste leren en zicht geven op het presteren en de ontwikkeling van leerlingen. Om het (verdere) leren van leerlingen te kunnen ondersteunen, moeten leraren zicht hebben op hoe leerlingen hun vak (kunnen) leren. Waar het vervolgens om gaat is de kwaliteit van de interactie tussen leraar en leerling(en). De manier waarop de leerlingen de feedback ontvangen, zal mede afhangen van hun doeloriëntatie (zijn ze gericht op leren, of meer op presteren), de mate waarin de feedback appeleert aan de taak dan wel de persoon van de leerling, de motivatie van de leerling (zijn self-efficacy en attributies), en zijn opvattingen over leren. Effecten van feedback kunnen bovendien verschillen tussen leerlingen die laag en zij die hoog presteren. In hetzelfde jaar verscheen het boek van Torrance en Pryor (1998), waarin verslag wordt gedaan van minitieus onderzoek naar feedback-interacties tussen leerkrachten en leerlingen in basisscholen (in Engeland). Volgens Torrance en Pryor zijn effecten van feedback “overschat en onderverklaard”. Feedback sec kijkt terug, naar wat een leerling heeft gedaan (gepresteerd). De leerling moet de feedback die hij van de leerkracht krijgt, zien te duiden. Dat is niet eenvoudig, omdat leerkrachten zich vaak niet duidelijk uitdrukken waardoor hetgeen ze zeggen gemakkelijk verkeerd kan worden begrepen. De interactie is echter intrinsiek complex en ambigu, want de communicatie bevat meerdere lagen van betekenis: die van de taal, die van de onderlinge sociale relaties (inclusief de verdeling van macht), en die van de constructie van kennis. (Vergelijk Sadler (1998) die verwijst naar een publicatie van Gere (1980), waarin dezelfde drie lagen in communicatie worden genoemd: de linguïstische, de relationele en de inhoudelijke). Bij de leerling is dan ook nog sprake van diverse persoonlijke affectief-motivationele processen. Tegen deze achtergrond vatten we hier samen welke docentgedragingen Torrance en Pryor in hun onderzoek aantroffen in de context van het geven van feedback: observeren van leerlingen die aan het werk zijn, bekijken van gemaakt werk, vragen stellen naar begrip, vragen wat een leerling doet of heeft gedaan, vragen waarom een leerling iets (op die manier) deed, aangeven van criteria waaraan de taak moet voldoen, aangeven van standaarden, kritiek uiten op een aspect van het werk, informatie geven, corrigeren, suggereren van een alternatief, evaluatieve feedback geven op de taak, de aanpak, de inzet etc., en met de leerling bespreken hoe deze verder kan of moet gaan.

37

Feedback als onderdeel van coaching Torrance en Pryor (1998) gaan nog een stap verder. Feedback kijkt volgens hen niet alleen terug, maar ook vooruit, namelijk naar wat de leerling nu kan gaan begrijpen. Daardoor wordt de leerling betrokken in het proces en komt een vorm van samenwerking op gang (in de “zone van naaste ontwikkeling”). Effectieve feedback legt minder nadruk op de geleverde prestatie, in de zin van of een antwoord goed of fout is, maar op de leerling zelf, op wat die heeft begrepen en waar kansen liggen voor verder leren. Torrance en Pryor spreken over het integreren van het individuele leerproces in de sociale situatie en het stimuleren van de leerling om te vertellen over zijn eigen denken. Feedback kan in deze benadering niet worden beschreven in termen van een aantal effectief gebleken aanpakken, maar wel als open, interactief proces dat ergens naar zou kunnen leiden. De grens tussen louter feedback geven en coachen is niet scherp te trekken, vooral bij mondelinge feedback in interactiesituaties (Graesser e.a., 1995; King, 2000; Chi e.a., 2001; Wittwer e.a., 2006). Ook Askew en Lodge (2000) en Carnell (2000) zijn deze opvatting toegedaan. Carnell voegt eraan toe dat een echte “leerdialoog” vergt dat voldoende tijd beschikbaar is en dat de neiging om leerlingen te controleren achterwege wordt gelaten. Mory (2004) noemt feedback, in deze constructivistische visie, een natuurlijk resultaat van interacties tussen de lerende, zijn denkconstructies en de leeromgeving, en feedback is ook volgens hem in deze visie een onderdeel van coaching. Deze constructivistische visie is door Collins, Brown en Newman (1989) uitgewerkt in hun model van “cognitive apprenticeship”. In dit model zijn belangrijke taken of instrumenten van docenten bij coaching: het voordoen (van het benodigde of gewenste proces van nadenken en probleemoplossen), het geven van hints, aanpaksuggesties, hulp en feedback (inclusief uitleg, verklaringen en voorbeelden), en het stellen van vragen (mede om leerlingen te ondersteunen hun denken te articuleren). Belangrijk is ook dat de docent zijn hulp geleidelijk vermindert, want leerlingen moeten leren het zelf te doen. In Nederland is deze benadering bij het coachen van leerlingen in het voortgezet onderwijs bij het zelfstandig werken aan een taak onder andere uitgewerkt door Veenhoven (2004). Daarvan is gebruik gemaakt bij de ontwikkeling van instrumenten voor dit onderzoek (zie verder hoofdstuk 4).

38

3.4 Feedback als “boodschap” en de rol van betekenisgeving Inleiding In het voorgaande is het begrip feedback steeds verder verruimd. Van feedback als bekrachtiger (reïnforcement) van een respons (behavioristisch) werd feedback informatie die moet worden verwerkt (cognitivistisch), daarna onderdeel van een proces van interactie en communicatie, om te eindigen met feedback als onderdeel van coaching. Bij mondelinge feedback in een ruimte met leerlingen (een klas, domein of leerplein) zullen vooral beide laatste benaderingen van toepassing zijn: feedback als onderdeel van communicatie en van coaching. Dit neemt niet weg dat elk moment dat een docent feedback geeft, de docent kan worden gezien als feedbackgever en de leerling als feedbackontvanger. De docent zal met de feedback een bepaalde bedoeling hebben en een boodschap met een bepaalde betekenis willen geven, en de leerling zal deze boodschap (moeten) interpreteren. Bij het geven van betekenis door een leerling aan verkregen feedback kunnen ook kenmerken van de taak, de prestatie, de feedbackgever en de context daarop invloed uitoefenen. De invloed van zulke kenmerken kan op twee manieren worden geanalyseerd: aan de hand van kenmerken zoals die objectief kunnen worden vastgesteld, en met behulp van kenmerken zoals die (subjectief) worden waargenomen en ervaren door de ontvanger. Sommige kenmerken kennen beide gedaanten: objectief en subjectief. Dit is bijvoorbeeld het geval met kenmerken van de taak, bijvoorbeeld of slechts één antwoord of oplossing goed is of meerdere, en of vooraf wel of niet expliciete criteria en standaarden zijn gegeven. Zulke kenmerken kunnen vrij eenvoudig worden vastgesteld maar kunnen wel door leerlingen verschillend worden waargenomen en ervaren en ook op die manier worden onderzocht. Lastiger wordt het al met taakkenmerken als duidelijkheid, omvang en complexiteit: die zijn wel objectief onderzoekbaar maar alleen met behulp van speciaal ontwikkelde coderingen, en zullen waarschijnlijk in hogere mate door leerlingen verschillend worden ervaren. Kenmerken van taken in termen van of ze interessant of uitdagend zijn, ten slotte, zijn helemaal subjectief van aard. Een vergelijkbare variatie doet zich voor bij de prestatie (deels objectief: het aantal goed beantwoorde vragen, de omvang en volledigheid van een werkstuk, e.a., en deels subjectief: het viel mee of niet, de leerling verwacht een goede beoordeling of niet), de feedbackgever (objectief: de docent heeft de leerling wel of niet aan het werk gezien; subjectief: de docent is in de ogen van de leerling als feedbackgever meer of minder geloofwaardig), en de context (objectief en subjectief: is er na ontvangst van de feedback wel of niet gelegenheid om er vragen over te stellen of de feedback te benutten). 39

Bij het interpreteren van feedback zullen dergelijke kenmerken van de taak, de prestatie, de feedbackgever en de context in de ogen van de ontvanger vaak min of meer één geheel vormen met de feedback zelf. Dit zal vrijwel zeker het geval zijn met kenmerken van de feedbackgever, omdat een feedbackontvanger bij het geven van betekenis aan de boodschap in ieder geval de ingeschatte geloofwaarheid en bedoelingen van de feedbackgever zal betrekken (verg. Ilgen e.a., 1979). Zulke verwevenheid van de perceptie van de feedbackgever en van de feedbackboodschap doet zich bijvoorbeeld voor als de feedbackgever de indruk wekt controle te willen uitoefenen op de feedbackontvanger, in plaats van deze ruimte te geven om zelf te bedenken hoe hij of zij de prestatie kan verbeteren (verg. Straub, 1996, 19997). De rol van affectieve processen bij de feedbackontvanger Bij het geven van betekenis aan feedback staat de boodschap centraal, en daarop gaan we straks nader in. Er is echter nog een andere factor die een grote invloed uitoefent, en dat is de feedbackontvanger zelf. Ontvangers van feedback, waaronder leerlingen, verschillen onderling, op allerlei kenmerken. Sommige kenmerken hebben te maken met cognitieve processen. Zo noemden we eerder de cognitieve capaciteit van de ontvanger als een belangrijke variabele bij het waarnemen en interpreteren van feedback. Andere kenmerken van ontvangers die het effect van feedback meebepalen, betreffen voorkeuren. Zo kan een deel van de leerlingen graag feedback van een ander willen ontvangen, terwijl anderen een voorkeur hebben voor feedback die door henzelf wordt gegenereerd (Herold en Fedor, 2003). Voor de eersten is het belangrijk dat externe feedback beschikbaar is, terwijl de laatsten geneigd zijn aan hun eigen oordeel meer waarde te hechten dan aan het oordeel van iemand anders. Daarnaast spelen ook affectieve processen een rol, vooral als de feedback negatief is. Ilgen en Davis (2000) vatten enkele belangrijke van deze affectieve processen samen. Zij stellen dat een prestatie van een leerling op een taak, of het nu gaat om de aanpak en uitvoering of om het resultaat, nu eenmaal wel of niet aan bepaalde standaarden voldoet, en dat in het laatste geval, als de prestatie (nog) onvoldoende is, de leerling zich daarvan bewust moet worden om zich te kunnen verbeteren. Anders gezegd: als het niet goed is, moet je vertellen dat het niet goed is. Dat vinden mensen meestal niet leuk, en docenten maken daarop geen uitzondering. Zij kunnen daardoor geneigd zijn de negatieve boodschap af te zwakken, vaag te houden of in te kleden. De ontvanger, de leerling, vindt het ook niet prettig om een negatieve boodschap over zijn prestatie te krijgen, want die wordt gemakkelijk ervaren als pijnlijk en bedreigend voor het zelfconcept, de zelfachting en het zelfvertrouwen. 40

Ilgen en Davis (2000) stellen dat ontvangers van negatieve feedback eerst kiezen of ze afhaken of hun prestatie willen verbeteren, en in het tweede geval of ze verbetering willen bereiken door hun inzet te verhogen of hun aanpak te veranderen. (Vergelijk de eerder beschreven drie niveaus in de FIT-theorie van Kluger en DeNisi, 1996). Ontvangers, zoals leerlingen, zullen zich alleen richten op verbetering als ze het gevoel hebben daarop zelf invloed te kunnen uitoefenen. Hierbij spelen processen van causale attributie een belangrijke rol: waaraan worden succes en falen toegeschreven? Leerlingen die hun falen toeschrijven aan omstandigheden of aan eigenschappen van zichzelf die zij toch niet kunnen veranderen, zullen er niet snel toe komen zich (opnieuw) in te zetten. Docenten kunnen in hun feedback invloed uitoefenen op de attributies van hun leerlingen, door te benadrukken dat de taak echt kan worden geleerd. Daarnaast is belangrijk welk doel leerlingen nastreven: gaat het hen (alleen) om een betere prestatie in termen van vergelijking met andere leerlingen, of willen ze de taak zelf beter onder de knie krijgen? Uit veel onderzoeken blijkt dat leerlingen met een prestatie-oriëntatie zich minder of minder snel verbeteren dan leerlingen met een oriëntatie op leren. 2 Ook op deze doeloriëntaties van hun leerlingen kunnen docenten invloed uitoefenen, niet alleen in de feedback die zij geven op een prestatie, maar om te beginnen al bij de omschrijving van de taak. In beide gevallen is het over het algemeen wenselijk het leren van kennis en vaardigheden centraal te stellen en niet het feit dat de prestaties worden beoordeeld en dat leerlingen daarbij onderling kunnen worden vergeleken. Een derde affectief proces dat samenhangt met het zelfconcept betreft de self-efficacy: het vertrouwen bij de leerling dat hij de taak kan leren en kan uitvoeren. Deze self-efficacy is zowel (mede-) oorzaak als gevolg van het eigen presteren. Wie de ervaring heeft soortgelijke taken aan te kunnen, zal met vertrouwen aan de nieuwe taak beginnen. De feedback die wordt verkregen, zal vervolgens invloed (kunnen) hebben op de self-efficacy voor volgende taken. Ilgen en Davis (2000) wijzen erop dat de eerste prestatie op een (nieuwe) taak het startpunt vormt van een “performance history” en dat elke volgende prestatie zal worden waargenomen en beoordeeld in het licht van de eerdere prestatie(s). Dit geldt natuurlijk niet alleen voor de leerling maar ook voor de docent. 2

Bereiter (1990) oppert nog een derde oriëntatie die leerlingen op school kunnen hebben, namelijk op het verrichten van schoolwerk als werk, als taken die je als leerling (nu eenmaal) moet uitvoeren. Over de effecten van een dergelijke oriëntatie is weinig bekend. Zie ook Williams e.a. (2002) voor een daarmee verwante uitwerking van basisvaardigheden waarover leerlingen op school zouden moeten beschikken.

41

Een nog ander voorbeeld van een affectief proces dat door bepaalde feedback kan worden beïnvloed, doet zich voor als, zoals boven al genoemd, een feedbackgever met de feedback duidelijk controle lijkt te willen uitoefenen op het denken en het gedrag van de feedbackontvanger. In dat geval kan de ontvanger zich aangetast voelen in zijn behoefte aan autonomie (verg. Deci & Ryan, 2000). Al met al is het dus vrij cruciaal hoe feedback wordt ingepast in de ‘affectieve boekhouding’ van de feedbackontvanger. Een feedbackgever zal, indien een prestatie niet aan de standaard voldoet, bij het geven van feedback een balans moeten zien te vinden tussen enerzijds de ontvanger confronteren met dit negatieve oordeel en deze zelf verantwoordelijkheid laten nemen voor het nog onvoldoende presteren, en anderzijds de ontvanger behoeden voor te sterke aantasting van het zelfvertrouwen. In de praktijk zullen bij ontvangers van feedback meerdere kenmerken en processen tegelijkertijd een rol spelen, cognitieve en affectieve. Nease, Mudgett en Quiňones (1999) rapporteren bijvoorbeeld dat mensen met een hoge self-efficacy herhaalde negatieve feedback minder accepteren dan mensen met een lage self-efficacy, terwijl mensen met een lage self-efficacy herhaalde positieve feedback minder accepteren. Dit kan worden begrepen vanuit de theorie die stelt dat mensen graag vasthouden aan hun bestaande zelfbeeld en daardoor feedback die daarmee niet strookt eerder zullen verwerpen (consistentietheorie). Een alternatieve theorie zegt dat mensen hun zelfbeeld graag willen versterken (versterkingstheorie) en dus positieve feedback eerder zullen accepteren en negatieve feedback zullen proberen te vermijden omdat die bedreigend is voor hun zelfachting. Volgens Dauenheimer, Stahlberg en Petersen (1999) is de consistentietheorie vooral van toepassing op cognitieve reacties op feedback en de versterkingstheorie op affectieve reacties. Mogelijk relevante kenmerken van de feedbackboodschap zelf In het voorgaande is, verspreid over de besproken benaderingen, een aantal kenmerken van feedback aan de orde geweest. Van een deel daarvan zijn uit onderzoeken, waarin feedback is opgevat als (eenmalige) informatie, (gemiddeld) positieve effecten bekend, meestal afgemeten aan de prestatie op een volgende, vergelijkbare taak. Daarbij gaat het echter grotendeels om kenmerken en taken die relatief gemakkelijk onderzoekbaar zijn: kenmerken die goed experimenteel manipuleerbaar zijn en taken die in korte tijd uitvoerbaar zijn en eenduidig met goed of fout beoordeelbaar zijn. In het (hedendaagse) onderwijs zijn veel taken meer open van aard, en is het geven van feedback ingebed in een proces van interactie en coaching. 42

Over de effecten van een aantal andere kenmerken zijn nog weinig of geen resultaten uit onderzoek bekend, maar wordt in de literatuur wel aannemelijk gemaakt dat van feedback met zulke kenmerken positieve effecten kunnen worden verwacht. Daarbij gaat het dan niet alleen of niet zozeer om verwachte effecten op een volgende prestatie, maar met name ook om effecten op denkstrategieën, motivatie en zelfregulatie. In zulke publicaties wordt feedback meestal opgevat als proces, en gaat het minder om terugkoppeling van de prestatie (sec) als wel om feedback gericht op leren. Bij een aantal kenmerken is bekend of lijkt aannemelijk dat zij niet eenduidig goed zijn, in de zin van: hoe meer, hoe beter, en zelfs niet in de zin van: baat het niet, schaadt het niet, maar dat het belangrijk is om ze te doseren. Goede feedback is dan mede een kwestie van maat en balans. Verder geldt waarschijnlijk voor veel kenmerken dat hun impact mede afhankelijk is van het type taak waar het om gaat en van individuele kenmerken van de ontvanger. Tot slot is een aantal kenmerken meer of minder vatbaar voor het ontstaan van misverstanden, waarbij de feedbackgever iets anders bedoelt of beoogt dan de ontvanger begrijpt. Dit kan zich voordoen doordat formuleringen voor meer interpretaties vatbaar zijn (wat bij gebruik van taal gemakkelijk kan voorkomen), maar bijvoorbeeld ook doordat een leerling niet beschikt over bepaalde voorkennis (waar de docent op dat moment wel vanuit ging) of affectief reageert op een manier die de docent niet heeft voorzien. Hieronder volgt een samenvatting van kenmerken en vormen van feedback. Voorafgaand: context en timing a. Eenmalige reactie of onderdeel van interactieproces Feedback op een prestatie of vraag of probleem van een leerling kan een eenmalige reactie zijn maar ook aanzet tot verdere interactie. Feedback zal vaak meer effect kunnen hebben als er voldoende tijd beschikbaar is en als de leerling op de feedback kan reageren, er vragen over kan stellen, en de feedback kan benutten voor verbetering of bij een volgende taak. b. Publiek of persoonlijk Afhankelijk van de taak, de leerling en de feedback, kan het uitmaken of de feedback wordt gegeven in aanwezigheid van andere leerlingen of niet. c. Timing Bij korte eenvoudige taken wordt directe feedback aanbevolen. Bij andere taken is dit minder duidelijk en mede afhankelijk van de situatie. Als een leerling bijvoorbeeld nog bezig is ergens over na te denken, kan snel gegeven feedback storend zijn. Als feedback echter wordt gegeven als de betreffende taak niet meer aan de orde is en de leerling de feedback niet meer kan en zal benutten, komt de feedback als mosterd na de maaltijd. 43

Aandacht voor de taak 1. Geven van een cijfer, informatie over goed/fout, beschrijving. Docenten geven vaak cijfers, maar die staan vaak in het teken van onderlinge vergelijking tussen leerlingen en richten daarmee de aandacht op de eigen persoon en minder op de taak en de prestatie. Om die reden wordt feedback louter als cijfer als weinig zinvol gezien, en ook omdat je aan een cijfer niet kunt aflezen wat je verkeerd hebt gedaan of nog niet beheerst. Ook het louter meedelen of een antwoord of oplossing goed of fout is, komt uit de literatuur als niet heel zinvol naar voren. Feedback zou beschrijvend van aard moeten zijn. Het is echter de vraag of cijfers per sé slecht zijn. Bij leerlingen die gaan voor een goed cijfer (op zich, niet voor een beter cijfer dan anderen) kan een cijfer positieve invloed hebben op hun motivatie. 2. Over de persoon en/of over de taak (uitvoering en resultaat). In de literatuur wordt vrij algemeen gesteld dat feedback betrekking moet hebben op de taak (c.q. de geleverde prestatie) en niet op de persoon van de leerling, omdat dat de aandacht afleidt van de taak en het beoogde leerproces. Ook hier is de vraag of aandacht voor de persoon van de leerling per sé slecht is. Als een docent aanvoelt dat een leerling eerst persoonlijke bevestiging en bemoediging nodig heeft om zijn aandacht weer op het schoolwerk te kunnen richten, zal goede feedback eerst daarop ingaan. Algemene kenmerken van de informatie (cognitieve belasting) 3. Hoeveelheid of omvang. Wat betreft de hoeveelheid feedback zijn de aanwijzingen eenduidig: geef niet te veel feedback (ineens). Leerlingen kunnen dat niet verwerken, en er zelfs door overweldigd worden en door de bomen het bos niet meer zien. 4. Duidelijkheid en consistentie. Volgens sommige auteurs is de feedback van docenten niet altijd duidelijk. Dit kan komen door beperkingen in hun inhoudelijke en vakdidactische deskundigheid, in hun kennisname van de prestatie en problemen van de leerling, en/of in hun bekwaamheid in het verwoorden van feedback (deels ook een kwestie van taalvaardigheid). Ook geven docenten in de loop van de tijd niet altijd consistente feedback (de ene keer tillen ze bijvoorbeeld minder zwaar aan bepaalde tekortkomingen of leggen ze andere accenten in wat ze belangrijk vinden dan de andere keer). Leerlingen die les krijgen van verschillende docenten kunnen ook te maken krijgen met verschillen in de feedback tussen docenten, bij vergelijkbare taken (bijvoorbeeld waar het gaat om de kwaliteit van hun schrijfwerk). 5. Specificiteit en concreetheid. Over het algemeen wordt aanbevolen dat feedback specifiek en concreet is, in plaats van vaag en abstract. 44

Toonzetting (affectieve lading) 6. Vriendelijkheid. Onderzoek naar het effect van de “toon” van de feedback lijkt uit te wijzen dat vriendelijk gegeven feedback beter wordt waargenomen en verwerkt. 7. Respect in plaats van controle. Volgens de auteurs die hierover hebben geschreven moet feedback leerlingen niet het gevoel geven dat de docent hen wil controleren. Dit raakt aan hun behoefte aan autonomie en kan hun motivatie verminderen. 8. Balans tussen positief en negatief. De duidelijkste negatieve effecten van feedback treden op waar deze sterk kritiserend is of zelfs erop uit is de ontvanger te kleineren of te ontmoedigen. Ook als negatieve feedback meer neutraal wordt gebracht, kan deze beter niet domineren. Wat niet goed is, moet wel worden benoemd, maar het principe om altijd ook positieve opmerkingen te maken en te benadrukken wat er goed was of ging, en om daarmee te beginnen, lijkt gezond. Leerlingen kunnen dan werken aan wat ze nog moeten leren op basis van wat ze al kunnen en vanuit het besef en de zekerheid van dat kunnen. Aandacht voor de standaard 9. Geven van het goede antwoord, benoemen van de standaard. Leerlingen moeten de standaard kennen, ze moeten weten waaraan hun werk moet voldoen. De standaard kan ook worden opgevat als doel, en het benoemen ervan, mits ervaren als uitdagend, kan de motivatie bevorderen. 10. Vergelijken van de prestatie met de standaard. Het is de vraag of de docent deze vergelijking expliciet moet maken. Vaak zal door het benoemen of in herinnering roepen van de standaard meteen duidelijk zijn hoe de prestatie zich daartoe verhoudt. Bij meer complexe taken zal de standaard meervoudig zijn, en kan het effectief zijn de prestatie te (helpen) analyseren op de aspecten van de standaard. 11. Vergelijken van de prestatie met een vorige prestatie. Feedback waarin wordt gewezen op vooruitgang wordt soms als motiverend gezien. Dan moet die vooruitgang er natuurlijk wel zijn, en ook reëel zijn. Feedback als mogelijke aanzet tot voortgezette interactie en evt. zelfsturing 12. Geven van nadere uitleg en voorbeelden 13. Leggen van de relatie tussen aanpak en resultaat 14. Het probleem vereenvoudigen en/of in stappen opdelen 15. Een denkproces of handeling voordoen (modelleren) 16. Geven van aanpaksuggesties 17. Geven van hints, cues en prompts 18. Geven van aanvullende instructie 45

19. Stellen van open vragen, bevorderen van reflectie en articulatie. Docenten kunnen vragen stellen die reflectie bevorderen en leerlingen stimuleren hun denken (problemen, conclusies) precies te verwoorden. 20. Geen van suggesties voor monitoring en evaluatie en stellen van doelen. Meerdere auteurs zien dit als uiteindelijke doel: dat de leerling leert zijn eigen presteren (en leren) te monitoren en te evalueren. Dit betekent dat de docent zich als feedbackgever overbodig maakt en inzet op de leerling die zijn eigen feedback organiseert of genereert. (Kennis van de standaard (9) is dan onmisbaar). Gezien vanuit het doel van zelfsturing, hoort hier dan ook bij dat de leerling wordt gestimuleerd zichzelf (nieuwe) doelen te stellen.

3.5 Nogmaals: feedback als veelbelovend maar ongewis In het begin beschreven we hoe feedback enerzijds vaak wordt gezien als een krachtige didactische interventie maar anderzijds uit onderzoeken blijkt dat feedback niet alleen positieve effecten heeft maar ook negatief kan uitpakken. We schreven dat toe aan de verschillen tussen onderzoeken in de aard van de onderzochte taken en situaties en dat wat onder “feedback” wordt verstaan (en verschillen in de kwaliteit van het onderzoek). Na het voorafgaande kunnen we deze overwegingen aanvullen. Ten eerste zijn in het hedendaagse onderwijs de taken en de activiteiten en prestaties van leerlingen naar aanleiding van die taken vaak niet zodanig dat sprake is van eenduidig goede of foute antwoorden of oplossingen. Het werken aan een taak is vaak een proces van enige duur, tijdens welke een leerling keuzes moet maken en op verschillende momenten en manieren een vergissing kan begaan of kan vastlopen. De “prestaties” van leerlingen waarop feedback zou kunnen worden gegeven zijn daardoor niet meer zo eenduidig. Dit is ook het geval als een leerling wel tot een goede oplossing komt, omdat er vaak meerdere wegen zijn waarlangs deze kan zijn bereikt, en een docent in zijn of haar feedback vaak ook het oplossingsproces zal willen betrekken. Ook zijn bij vrij veel taken meerdere goede oplossingen mogelijk, of kunnen oplossingen verschillen in kwaliteit. De beoordeling van de prestatie, die volgens de in het begin gegeven omschrijving van feedback aan het geven daarvan ten grondslag zou moeten liggen, is hierdoor ook minder eenvoudig geworden. De docent zal vaak het proces moeten reconstrueren en de kwaliteit van de aanpak, de gemaakte keuzes en het resultaat moeten afwegen. Om deze reconstructie en beoordeling te kunnen uitvoeren en om de boodschap duidelijk over te kunnen brengen zullen docent en leerling vaak moeten samenwerken, tijdens een proces van interactie en communicatie. 46

Ten tweede speelt, mede door de hiervoor genoemde veranderingen in taken en prestaties, de deskundigheid en bekwaamheid van de docent als beoordelaar en feedbackgever een grote rol. In de overzichtsstudies en meta-analyses die we hebben samengevat waarin feedback vaak betrekking had op eenmalige reacties op prestaties op taken met eenduidig goede of foute antwoorden of oplossingen, bleek de geloofwaardigheid van de feedbackgever een van de factoren die van invloed was op het effect van de feedback. Des te meer dan zal dit het geval zijn in de situatie zoals zojuist beschreven, waarin taken, prestaties en oordelen minder eenduidig zijn. Een docent zal zijn of haar vak goed moeten kennen, de kennis en vaardigheden die daarin centraal staan, en ook de manieren waarop leerlingen zich deze kunnen eigen maken en de problemen die daarbij kunnen optreden. Een docent zal ook goed moeten kunnen observeren en analyseren om zicht te krijgen op wat een leerling heeft gedaan en gedacht en hoe de kwaliteit van het (voorlopige) resultaat kan worden ingeschat. Een docent zal, ten derde, ook in staat moeten zijn de boodschap die hij of zij wil overbrengen zorgvuldig, duidelijk en precies te formuleren (hetgeen ook een beroep doet op een gedifferentieerde taalvaardigheid). Ten derde is het communicatieproces tussen docent en leerling over de taak en de uitvoering en het (voorlopige) resultaat daarvan, zoals we hebben gezien, intrinsiek complex en ambigu. Dit proces bevat meerdere lagen van betekenis: die van de taal, die van de onderlinge sociale relatie, en die van de constructie van kennis. De kwaliteit van de onderlinge interactie is hierdoor een belangrijke factor in het succes van de feedback. Docenten en leerlingen kunnen elkaar op allerlei manieren verkeerd begrijpen, en er kunnen zich gemakkelijk discrepanties voordoen tussen wat een docent met de feedback bedoelt en hoe een leerling de feedback interpreteert. Ten vierde hebben we gezien hoe bij de leerlingen, als ontvangers van de feedback, verschillende cognitieve, affectieve en motivationele processen een rol spelen bij het kennisnemen, begrijpen, accepteren en willen en kunnen benutten ervan. De Feedback Intervention Theory (FIT) van Kluwer en DeNisi stelt dat feedback de belangrijke functie heeft van het richten van de aandacht, en die aandacht kan uitgaan naar de taak en wat nodig is om die uit te voeren, naar de motivatie en inzet die daarvoor nodig is, en naar wat de feedback betekent voor de eigen persoon, het zelfbeeld en het gevoel van eigenwaarde. Feedback kan bedreigend zijn voor deze laatste, en mensen zullen volgens Kluger en DeNisi dan ook vaak goed opmerken dat zij feedback ontvangen. Volgens hen is de aandacht normaliter vaak gericht op het middelste niveau: dat van de motivatie voor de taak. Afhankelijk van de feedback en hoe die bij de ontvanger “landt”, kan de aandacht verschuiven naar het taakniveau of naar het zelfniveau. Het eerste 47

zal kunnen bijdragen aan het (beter) leren uitvoeren van de taak (resp. de kennis en vaardigheden die daarvoor nodig zijn), het laatste zal daarvan vaak afleiden. Van de in de vorige paragraaf (3.4) beschreven reeks kenmerken en vormen van feedback lijken feedback in de vorm van een cijfer (zie 1) en feedback die op de persoon is gericht (2) de kans te kunnen vergroten dat de aandacht wordt gericht op de eigen persoon in plaats van op de taak. Feedback die overkomt als controlerend (7) of als sterk negatief (8) en feedback waaruit blijkt dat amper sprake is van vooruitgang (11) kan de motivatie voor de taak doen afnemen. Ook feedback die heel omvangrijk is (3), die onduidelijk is (4) of wordt gepercipieerd als vaag (5) kan de motivatie negatief beïnvloeden. Feedback in de vorm van tutoring of coaching (12 t/m 19) kan de aandacht richten op de taak en leren. Ook hebben we een aantal affectieve processen beschreven die aan de verschillende manieren waarop mensen op feedback kunnen reageren ten grondslag liggen, waaronder de toeschrijving van succes en falen aan verschillende factoren (causale attributie), het doel waarop men is gericht (leren, presteren, gunstig afsteken tegen anderen), het zelfvertrouwen voor de taak (self-efficacy), en behoeften aan relatie, competentie en autonomie. Het belang van dergelijke affectieve processen, en ook van cognitieve processen (zoals het niet goed kunnen verwerken van te veel of te complexe informatie), vormt op zich ook een verklaring voor de wisselende effecten van feedback in de onderzoeksliteratuur. Ten aanzien van deze processen is namelijk sprake van grote individuele verschillen, zodat uitkomsten van onderzoek mede afhankelijk zijn van wie aan het onderzoek meedoen. Deze individuele verschillen spelen ook mee in hetgeen hierboven bij ten tweede en ten derde is beschreven: de perceptie van de geloofwaardigheid van de docent als feedbackgever, en de gevoeligheid voor misverstanden in communicatieprocessen. Ten vijfde komen we weer terug bij de opvatting over wat feedback is. In de studies die wisselende resultaten van feedback te zien gaven, ging het steeds om feedback als eenmalige reactie of informatie. Zodra feedback onderdeel is van een proces van interactie en communicatie zou de kans dat de feedback een negatief effect heeft, moeten kunnen afnemen, doordat misverstanden tussen docent en leerling of gevoelens die de feedback bij de leerling teweegbrengt, snel kunnen worden gesignaleerd en bijgestuurd. Anderzijds wordt het ook lastiger om de effecten van feedback te onderzoeken, en zullen minder snel uitspraken kunnen worden gedaan over dat feedback met bepaalde kenmerken tot meer (positieve) effecten zal leiden. Anders gezegd: waar feedback wordt gegeven in de context van een proces, zal het ook moeten worden onderzocht en beoordeeld in die context. 48

3.6 Aanwijzingen voor docenten Het voorgaande bevat meerdere aanknopingspunten voor docenten. Voorop staan de intentie en de beschikbare tijd: geef je (op dat moment) alleen feedback als korte reactie (waarna je je weer op een andere leerling of een andere activiteit richt) of ga je de interactie aan? Daarnaast is de vraag in hoeverre je specifieke problemen van een leerling bij een taak kunt signaleren, kunt bedenken hoe je de leerling verder kunt helpen, en dit kunt formuleren op een manier die door de leerling als duidelijk en ondersteunend kan worden ervaren. Dit vraagt vakdidactische deskundigheid, zicht op de leerling, en taalvaardigheid. Vanuit de leerling gezien gaat het er ook om dat de feedback(gever) als geloofwaardig wordt gezien, en daarbij spelen dezelfde aspecten een rol: deskundigheid, betrokkenheid, betrouwbaarheid, bekwaamheid. Bij het formatief beoordelen van een prestatie of het reageren op een vraag of probleem van een leerling tijdens het werk, is van belang dat de docent voldoende zicht krijgt op het (voorlopige) product en het proces (met name ook het denkproces bij de leerling): Wat heeft de leerling (tot nu toe) precies gedaan? Waar loopt hij of zij tegenaan? Hoe duidelijk weet de leerling wat de bedoeling is van de taak (aanpak en standaard)? Over welke benodigde voorkennis beschikt de leerling? Steeds spelen ook de kenmerken van de taak een rol. Dit betreft de plaats van de taak in de opbouw van het vakgebied en de leerlijn voor deze leerlingen (wat moeten ze ervan leren, qua kennis en vaardigheden, wat moeten ze ermee laten zien reeds te beheersen?), de typische problemen waar leerlingen bij deze taak tegenaan kunnen lopen (hierbij put de docent uit eerdere ervaringen hiermee), de mate waarin de taak de leerlingen aanspreekt (hun interesse heeft, hen uitdaagt) en de duidelijkheid van de standaard. Deze laatste bepaalt mede hoe gericht en effectief met de leerling kan worden gesproken over wat wel en (nog) niet goed is of ging. Veel docenten willen graag leerlingen op maat ondersteunen, ook, of juist, bij het geven van feedback. Dat vergt zicht op de voorgeschiedenis van de leerling met het vakgebied en het type taak (vindt de leerling het leuk of niet, ziet hij er het nut van in of niet, heeft hij er moeite mee of niet) en van de docent met de leerling (de onderlinge relatie). Ook is van belang te kunnen inschatten wat de leerling verwacht: hoe schat de leerling de eigen prestatie in, zal de reactie die de docent wil geven voor hem onverwacht zijn of niet, zal hij de reactie begrijpen en accepteren?

49

Op de achtergrond kunnen ook de affectieve processen die hiervoor zijn beschreven een belangrijke rol spelen: waaraan de leerling zijn succes en falen geneigd is toe te schrijven, zijn self-efficacy en doeloriëntatie ten aanzien van de school, het vak en de taak, zijn intrinsieke motivatie en behoeften aan relatie, competentie en autonomie. Betrokken docenten nemen dergelijke overwegingen in hun omgang met en reacties naar leerlingen mee, meer of minder bewust. Zij zullen zich niet op elk moment van alle hierboven genoemde aspecten bewust zijn, dat kan eenvoudig niet, en dat hoeft ook niet. Voorop staat dat de leerling verder kan, met de taak, met de docent, en met het vak. Juist door feedback te zien als onderdeel van de interactie met en coaching van de leerling, kan direct blijken of de boodschap wellicht niet goed overkomt (cognitief en/of affectief) en kan de docent zo nodig helpen bijsturen. In het gesprek met de leerling over de uitvoering van de taak is het zaak de leerling veel zelf aan het woord te laten: hoe ziet hij de taak en hoe ervaart hij de uitvoering en het resultaat ervan? Voor docenten is het belangrijk op te merken hoe de leerling op de feedback reageert. Wordt de feedback geaccepteerd of verworpen? Haakt de leerling af of wil deze zich verder inzetten? Ziet hij de feedback als bevestiging (in positieve of negatieve zin, met betrekking tot deze specifieke taak of de eigen capaciteiten)? Is de leerling tevreden, te snel tevreden of niet genoeg tevreden? Is de leerling geneigd de standaard c.q. zijn doel aan te passen, naar beneden of juist naar boven? Hoe gaat de leerling verder, zal hij zijn inzet veranderen of zijn manier om het werk aan te pakken of beide? Heeft de leerling nog vragen en krijgt hij ruimte om die te stellen? Heeft de leerling gelegenheid en wordt hij gestimuleerd om iets met de feedback te doen?

50

4

Gebruikte instrumenten

4.1

Inleiding

In dit hoofdstuk worden de instrumenten beschreven die zijn gebruikt tijdens dit onderzoek om gegevens bij schoolleiders, docenten en leerlingen te verzamelen. Bij de beschrijving van de instrumenten wordt de volgorde aangehouden van de stappen zoals aangegeven in hoofdstuk 2. De uitkomsten van het onderzoek bij de docenten en de leerlingen staan in hoofdstuk 5. De gegevens die zijn verzameld bij de schoolleiders worden (voor zover niet al vermeld in hoofdstuk 2) beschreven in hoofdstuk 6, in samenhang met het beoogde pedagogisch didactisch handelen van docenten op basis van het onderwijsconcept van de school. 4.2

Conceptmap schoolleiders

De schoolleiders hebben tijdens een gezamenlijke startbijeenkomst het verzoek gekregen een conceptmap te maken over het geven van feedback. Het betrof een vrij open opdracht (zie bijlage 2). De schoolleiders moesten zich laten leiden door bepaalde vragen en vervolgens bedenken, opschrijven en ordenen welke aspecten volgens henzelf bij het geven van feedback een rol spelen. De volgende vragen zijn hierbij voorgelegd: 1. Hoe wil je dat docenten feedback geven? Deze vraag was gericht op het verhelderen van het handelen van docenten. 2. Hoe zie je dat handelen in relatie tot het schoolconcept? Deze vraag was gericht op de doelen die men nastreeft als schoolleider. 3. Welke factoren spelen een rol bij het geven van feedback door docenten aan leerlingen? Deze vraag was gericht op de voorwaarden die een rol kunnen spelen. De analyse van de gegevens van deze conceptmaps komt terug in hoofdstuk 6.

51

4.3

Vragenlijst communicatie en beleid

De schoolleiders hebben vervolgens een vragenlijst ingevuld (zie bijlage 3). De vragen hadden betrekking op de aanpak van en ideeën over de communicatie over het onderzoek op hun school (vooraf, tijdens, en achteraf met betrekking tot de resultaten), op de keuze van de docenten en het wel of niet geven van compensatie in tijd voor hun deelname aan het onderzoek, en op de manier waarop ze de opbrengsten van dit onderzoek denken te gaan benutten en wat daarvoor van belang kan zijn. De uitkomsten van deze vragenlijst zijn verwerkt in hoofdstuk 2.

4.4

Conceptmap docenten

De docenten hebben tijdens een gezamenlijke bijeenkomst het verzoek gekregen een conceptmap te maken over het geven van feedback. Het betrof een open opdracht waarbij de docenten moesten bedenken, opschrijven en ordenen welke aspecten volgens henzelf bij het geven van feedback een rol spelen (zie bijlage 4). Ook werd hen gevraagd relaties tussen de verschillende aspecten aan te brengen.

4.5

Vragenlijst docenten vooraf

De docenten hebben tijdens het startgesprek vervolgens een vragenlijst ingevuld met een algemeen gedeelte, een gedeelte dat gaat over de eigen visie op en opvattingen over het geven van feedback, en een specifiek deel gericht op het handelen van docenten (zie bijlage 5). Algemene gedeelte Het algemene gedeelte bevatte open vragen gericht op algemene kenmerken (vak, werkzaam in afdeling en leerjaar, aantal jaren ervaring in het onderwijs, aantal jaren werkzaam op deze school, andere taken en werkdagen). Daarnaast bevatte dit gedeelte voorgestructureerde vragen over de verstrekte informatie over het onderzoek, de motivatie om mee te werken, de verwachtingen van deelname aan dit onderzoek, een eventuele eigen leervraag of aandachtspunt, de wijze waarop tot nu toe de eigen deskundigheid is opgebouwd en de vraag of er tussen docenten onderling wordt gesproken over het geven van feedback en in welke setting dat eventueel gebeurt.

52

In het gedeelte dat betrekking had op de eigen visie op en de opvattingen over het geven van feedback werden open vragen gesteld over de functie van feedback, de doelen die de docent nastreeft, de aspecten waarop de docent zich richt, de aspecten bij leerlingen waarmee de docent rekening houdt, wat de docent belangrijk vindt bij de timing in het geven van feedback, waarop de docent let in de bewoordingen naar een leerling, wat een docent na het geven van feedback belangrijk vindt, en op wiens initiatief feedback gegeven wordt. Tevens werd gevraagd naar voorbeelden en voorbeeldsituaties en naar belangrijke aandachtspunten bij het geven van feedback op deze school. Het specifieke gedeelte In het specifieke gedeelte van de vragenlijst over het geven van feedback werden aan docenten allereerst 11 voorgestructureerde uitspraken over hun huidige handelen (wat ze nu doen) voorgelegd. De antwoordmogelijkheden varieerden van helemaal niet tot helemaal wel (5 puntsschaal) bij de categorie: “Dit doe ik nu.”. Ook werd de docenten gevraagd dezelfde uitspraken te beantwoorden vanuit de vraag of ze dat belangrijk vinden om te doen (“Dit vind ik belangrijk om te doen.”). Ook hierbij varieerden de antwoordmogelijkheden van helemaal niet tot helemaal wel. Het gedeelte van de vragenlijst met deze uitspraken is tot stand gekomen na een inventarisatie van onderwijsconcepten, discussies met schoolleiders en docenten, en analyses en is eerder gebruikt in onderzoek naar het handelen van docenten op zes vernieuwende scholen in de regio Utrecht (Sol & Stokking, 2008). Aangezien in dat onderzoek de vragenlijst onderverdeeld was in zogenaamde “taakgebieden” (waaronder het taakgebied feedback) spreken we daar waar in dit onderzoek de items uit deze vragenlijst zijn gebruikt van het “taakgebied geven van feedback” om deze set uitspraken aan te duiden. Dit taakgebied was in het eerdere onderzoek onderdeel van een instrument dat als valide mag worden beschouwd. De 11 genoemde uitspraken bleken in dat onderzoek samen een betrouwbare schaal te vormen. Tevens bleek deze schaal te kunnen worden onderverdeeld in twee betrouwbare subschalen (Sol & Stokking, 2008). In dit huidige onderzoek naar het geven van feedback zijn de uitspraken van dit taakgebied voorafgaand aan de video-opname ook voorgelegd aan de leerlingen van de 12 docenten (zie paragraaf 4.6) . Zoals hierboven al gezegd bleken uit de analyses in het eerder uitgevoerde onderzoek de uitspraken op deze schaal onder te verdelen in twee subschalen. Dit zijn de subschaal geven van feedback en de subschaal 53

feedback benutten. Om te controleren of de afname ook in dit onderzoek leidt tot betrouwbare schalen is opnieuw per schaal de Cronbach’s alpha bepaald. Zie Tabel 1. De 11 items samen vormen een betrouwbare schaal, evenals de 4 items bij de subschaal benutten van feedback. Bij de subschaal geven van feedback bleek zich een probleem voor te doen bij zowel het handelen nu als het handelen ideaal (Cronbach’s alpha < .60). Om de betrouwbaarheid van deze subschaal te vergroten zijn in dit onderzoek twee items met een lage itemrest-correlatie (< .20) verwijderd. Het gaat om item 3 (door de feedback leren leerlingen hoe ze hun werk zelf kunnen beoordelen) en item 8 (in de feedback van de leraar geeft deze voorbeelden van hoe het beter kan). Tabel 1: Betrouwbaarheid taakgebied geven van feedback (docenten) (schalen en subschalen). Aantal items

Taakgebied geven van feedback Subschaal geven van feedback Subschaal feedback benutten

Cronbach’s alpha Handelen nu

Cronbach’s alpha Handelen ideaal

11

.67

.77

5 4

.67

.60 .70

Om na te gaan of de kortere versie van de subschaal en de oorspronkelijke langere versie hetzelfde meten, werd op de data in het eerder uitgevoerde onderzoek de correlatie berekend tussen de kortere en de langere versie. Deze correlatie bleek .97 voor zowel het handelen nu als het handelen ideaal (N=141). Op grond daarvan is besloten de kortere versie in dit onderzoek als subschaal te gebruiken. Vanwege de hoge correlatie gaan we er vanuit dat de verschillende versies hetzelfde meten en de gemiddelden onderling vergelijkbaar zijn. Met het verwijderen van de twee items werd de betrouwbaarheid van de subschaal geven van feedback bij het handelen ideaal voldoende ( .60, zie Tabel 1). De betrouwbaarheid van deze subschaal bij het handelen nu bleef echter negatief. Nadere analyse liet zien dat dit te wijten is aan te weinig spreiding in de data (sd =.15). Aangezien de Cronbach’s alpha over de ingekorte subschaal in het eerdere onderzoek bij 141 docenten .77 bleek te zijn, is besloten de ingekorte subschaal toch te gebruiken.

54

Om de representativiteit van de groep docenten uit dit onderzoek te kunnen bepalen in relatie tot de 141 docenten die in het eerdere onderzoek hebben meegedaan, hebben we de gemiddelden op de subschalen van deze groepen respondenten met elkaar vergeleken. De gemiddelde score van de 12 docenten in dit onderzoek op de subschaal geven van feedback is bij het handelen nu 3.9 tegen 4.0 bij de 141 docenten. Voor het handelen ideaal is de gemiddelde score van de 12 docenten 4.5 tegen 4.4 bij de 141 docenten. De gemiddelde score van de 12 docenten op de subschaal feedback benutten is bij het handelen nu 3.0 tegen 3.1 bij alle 141 docenten. Voor het handelen ideaal is de gemiddelde score van de 12 docenten gelijk aan de gemiddelde score van de 141 docenten (3.9). De gemiddelde scores van deze 12 docenten zijn dus vrijwel identiek aan de gemiddelde scores van de grotere groep docenten in het eerdere onderzoek. De aan dit onderzoek deelnemende docenten vormen dus een representatieve groep.

4.6

Vragenlijst leerlingen vooraf

De leerlingen hebben op verzoek van de docenten die deelnamen aan het onderzoek voorafgaand aan de opname een vragenlijst ingevuld. Naast een aantal algemene vragen (over geslacht, leeftijd, groep, afdeling) hebben de leerlingen een aantal vragen beantwoord met de betreffende leraar of het betreffende vak of leerdomein voor ogen. De vragenlijst was opgebouwd uit vijf onderdelen: A. Het zelfvertrouwen (self-efficacy) van de leerling ten aanzien van het vak B. De motivatie van de leerling ten aanzien van het vak C. Specifieke vragen over de manier waarop de docent nu feedback geeft en wat de leerlingen zouden willen dat de docent doet. D. Het taakgebied “geven van feedback”. Dit betreft het gebruik van een deel van een instrument uit een eerder onderzoek naar het handelen van docenten (zie ook 4.5) Het gaat om uitspraken over de manier waarop de docent nu feedback geeft (“past dit bij wat de leraar doet ”) en wat de leerlingen zouden willen dat de docent doet (“zou je willen dat de leraar dit doet?”). De antwoordmogelijkheden varieerden, net als bij het betreffende deel in de vragenlijst voor de docenten, van helemaal niet tot helemaal wel op een 5 puntsschaal. De uitspraken onder D zijn iets algemener geformuleerd en geringer in aantal dan de uitspraken besproken onder C. E. Het taakgebied “volgen van het leerproces“. Dit onderdeel van de vragenlijst maakt, net als het hiervoor beschreven taakgebied “geven van feedback”, ook deel uit van de uitgebreide vragenlijst over het handelen van docenten die in eerder onderzoek is gebruikt. 55

De verschillende onderdelen van de vragenlijst worden nu achtereenvolgens uitgebreider besproken. De betrouwbaarheid van de betreffende schalen en subschalen staan vermeld in Tabel 2. De uitspraken (items) zijn opgenomen in de bijlagen 6 tot en met 10. A:Het zelfvertrouwen (self-efficacy) van de leerling ten aanzien van het vak. In het eerste deel van de vragenlijst werd gevraagd naar het zelfvertrouwen van de leerlingen ten aanzien van dit vak of leerdomein. Hiervoor werd gebruik gemaakt van items uit de schaal self-efficacy van de Motivated Strategies for Learning Questionnaire (MSLQ; Garcia & Pintrich, 1996), in de Nederlandse vertaling van Severiens (2005). Deze schaal bestaat uit 8 uitspraken met daarbij 7 antwoordmogelijkheden, van ‘helemaal niet waar voor mij’ tot ‘helemaal waar voor mij’ (zie bijlage 6). Voorbeelden van uitspraken zijn: “Ik ben vol vertrouwen dat ik mijn opdrachten en toetsen bij dit vak (of leerdomein) heel goed ga maken. “De basisbegrippen van deze opdrachten bij dit vak (of leerdomein) krijg ik in ieder geval onder de knie.” B: De motivatie van de leerling ten aanzien van het vak Vervolgens werd de leerlingen gevraagd aan te geven waarom ze zich inspannen voor de opdrachten bij dit vak of leerdomein bij deze leraar. Dit gebeurde aan de hand van 16 uitspraken die zijn gebaseerd op items uit de Situational Motivation Scale (SIMS; Guay, Vallarand & Blanchard, 2000.) De uitspraken meten de motivatie ten aanzien van een taak door middel van zelfrapportage en zijn gebaseerd op vier intern consistente factoren: intrinsieke motivatie, geïdentificeerde regulatie, externe regulatie en amotivatie. Deze vier factoren vormen een continuüm in de mate waarin iemand het besef heeft het verloop van de actie of de taak zelf te kunnen beïnvloeden (self-determination). De factor “intrinsieke motivatie” vormt hiervan het hoogste niveau en “amotivatie” het laagste. Leerlingen die intrinsiek gemotiveerd zijn, voeren de taak uit voor het plezier en de voldoening die ontstaan uit het uitvoeren van de taak zelf. Leerlingen die leren op grond van externe regulatie zijn actief omdat dat van hen wordt verwacht. Leerlingen die de leerdoelen en de externe regulatie hebben geïnternaliseerd, doen dingen omdat zij daarvoor kiezen, omdat zij zelf denken dat het belangrijk is. Leerlingen die taken uitvoeren voor een beloning of om negatieve consequenties te vermijden zijn meer extern gereguleerd. Zowel de geïdentificeerde regulatie als de externe regulatie zijn te beschouwen als vormen van extrinsieke motivatie, maar op het continuüm

56

van toenemende interesse, autonomie en zelfregulatie is de geïdentificeerde regulatie een hogere vorm. Het begrip “amotivatie” wordt in dit verband gehanteerd als bij leerlingen de relatie tussen het eigen gedrag en de uitkomsten ontbreekt. Er is dan geen besef van het doel, de verwachting van een beloning of de gevoelde mogelijkheid de uitvoering van de taak te beïnvloeden. De antwoordmogelijkheden op deze items varieerden van “komt helemaal niet overeen” met waarvoor ik me inspan voor de opdrachten bij dit vak (of leerdomein) bij deze leraar tot “komt helemaal overeen”, op een zevenpuntsschaal (zie bijlage 7). C: Specifieke vragen over het geven van feedback Vanwege het feit dat dit onderzoek specifiek gaat over het geven van feedback is de bestaande vragenlijst over het handelen van docenten, waarbij het geven van feedback slechts een van de taakgebieden was, uitgebreid met 22 aanvullende uitspraken. Deze uitspraken zijn gebaseerd op literatuur over het geven van feedback (o.a. Kluger & DeNisi 1996; Sadler, 1989; Shute 2008). Opnieuw is gekozen zowel te vragen naar het huidige als het gewenste handelen (“past dit bij wat de leraar doet?” en ”wil je dat de leraar dit doet”), waarbij bij de antwoordmogelijkheden wederom variëren van “helemaal niet” tot “helemaal wel “op een vijfpuntsschaal (zie bijlage 8) In de constructie van de vragenlijst zijn de volgende inhoudelijke aspecten rondom het geven van feedback uitgewerkt in uitspraken of items. a. Het focus: de nadruk op leren (aanpak en het proces in relatie tot het doel) (items 6, 10, 17, 20) of op het (eind)resultaat (items 7, 9, en 13) b. Het criterium: gerelateerd aan een standaard (items 1, 2, 15 en 18), aan anderen (item 11), of aan de leerling zelf (item 21) c. De aansluiting bij het prestatieniveau, de capaciteiten en de inspanning van de leerling (item 16) d. De nadruk op of iets goed gedaan (items 3 en 19) of iets fout is gedaan (items 5 en 12)) c. Of de docent gevraagd of ongevraagd feedback geeft (items 14 en 22). e. Het verduidelijken van het nut van de opdracht (items 4 en 8). Nadat 324 leerlingen de vragenlijst hadden ingevuld zijn schaalanalyses uitgevoerd. Alle items samen bleken een betrouwbare schaal te vormen (de schaal feedback geven, zie Tabel 2 onder 3A en 3B). De inhoudelijke aspecten zoals hierboven beschreven, bleken niet per categorie te onderscheiden in afzonderlijke en betrouwbare schalen. Wel blijken op basis van de analyse van de gegevens twee betrouwbare subschalen te 57

onderscheiden die inhoudelijk als betekenisvol te duiden zijn, als we kijken naar activiteiten van de docent. Het gaat dan enerzijds om activiteiten die vooral betrekking hebben op het geven van feedback gericht op het resultaat en anderzijds om activiteiten die betrekking hebben op het geven van feedback gericht op het leerproces. De volgende items kunnen inhoudelijk gezien worden gerekend onder de categorie “feedback gericht op het resultaat”: 1, 2, 3, 5, 7, 9, 11, 12, 13, 15, 18,19. Deze items bleken samen een betrouwbare schaal te vormen indien deze wordt berekend over alle leerlingen. Op docentniveau bekeken waren de itemrestcorrelaties van de items 1 en 11 bij sommige docenten laag (<.30) of zelfs negatief. Deze items zijn daarom bij het samenstellen van de schaal buiten beschouwing gelaten. Item 19 bleek bij de interpretatie ambigu en inhoudelijk lastig in te delen. Er is voor gekozen ook dat item buiten beschouwing te laten. De analyses leidden uiteindelijk tot de samenstelling van een betrouwbare subschaal “feedback gericht op het resultaat“ met 9 items, namelijk de items: 2, 3, 5, 7, 9, 12, 13, 15 en 18 (zie Tabel 2 onder 3C en 3D). De volgende items kunnen inhoudelijk gezien worden gerekend onder de categorie “feedback gericht op het proces”: 4, 6, 8, 10, 14, 16, 17, 20, 21, 22. Deze bleken over het totale aantal leerlingen van alle docenten een betrouwbare subschaal te vormen (zie Tabel 2 onder 3 E en 3F). Op docentniveau bekeken verschilde de mate van betrouwbaarheid van de schaal per docent en was deze voor drie docenten te laag (α < .45) en bij vier docenten matig (.45 < α < .60) Dit verschil in mate van betrouwbaarheid bleek niet eenduidig te verklaren. Dit is opgelost door bij de docenten waarbij deze schaal een te lage betrouwbaarheid had enkele items weg te laten die niet goed in de schaal bleken te passen; dit bleek amper invloed te hebben op het schaalgemiddelde. D: Het taakgebied “Geven van feedback” Binnen dit taakgebied kunnen verschillende schalen worden onderscheiden: het taakgebied geven van feedback (alle items) en de subschalen geven van feedback (items 1, 2, 4, 6, en 7) en feedback benutten (items 5, 9, 10 en 11). De gegevens over de betrouwbaarheid van de schalen staan vermeld in Tabel 2 onder 4. De items zelf zijn opgenomen in bijlage 9. In lijn met de analyse van de gegevens bij de docenten is ervoor gekozen bij de subschaal geven van feedback de items 3 en item 8 te verwijderen. Om te bekijken of de ingekorte subschaal en de oorspronkelijke uitgebreidere versie hetzelfde meten werd op de data van het eerder uitgevoerde onderzoek de correlatie berekend tussen de uitgebreidere en de kortere versie van de schaal. Deze correlatie bleek .98 voor zowel het handelen nu 58

als het handelen ideaal (N=900). Vanwege deze hoge correlaties gaan we er vanuit dat de beide versies van de subschalen uit de verschillende onderzoeken hetzelfde meten en de gemiddelden onderling vergelijkbaar zijn. Om de representativiteit van de groep leerlingen uit dit onderzoek te kunnen bepalen in relatie tot de 900 leerlingen die in het eerdere onderzoek hebben meegedaan en dezelfde items uit deze vragenlijst hebben ingevuld, hebben we de gemiddelden van de subschalen van deze groepen respondenten met elkaar vergeleken. De gemiddelde score van de 324 leerlingen in dit onderzoek op de subschaal geven van feedback is bij het handelen nu 4.0 tegen 3.8 bij de 900 leerlingen. Voor het handelen ideaal is de gemiddelde score van de 324 leerlingen 4.3 tegen 4.2 van de 900 leerlingen. De leerlingen uit dit onderzoek schatten gemiddeld het handelen van hun docenten iets hoger in dan de 900 leerlingen bij hun docenten (141 docenten). De gemiddelde score van alle 324 leerlingen op de subschaal feedback benutten is bij het handelen nu 3.3 tegen 3.4 bij alle 900 leerlingen. Voor het handelen ideaal is de gemiddelde score van de 324 leerlingen 3.7 tegen 3.9 van de 900 leerlingen. Dit betekent dat de gemiddelde scores van deze 324 leerlingen op de subschaal feedback benutten iets lager liggen dan bij de 900 leerlingen uit het eerdere onderzoek. E: Het taakgebied “Volgen van het leerproces.” Zoals vermeld zijn ook de items uit dit taakgebied al gebruikt in eerder onderzoek (Sol & Stokking, 2008). Ook hierbij geven leerlingen tweemaal aan op een vijfpuntsschaal of de uitspraken passen bij wat de leraar doet (handelen nu) en of ze zouden willen dat de leraar dit doet (handelen ideaal). Dit onderdeel bevat 11 items (zie bijlage 10). Een overzicht van de mate van betrouwbaarheid van de schaal is te vinden in het overzicht in Tabel 2 onder 5.

59

Tabel 2: Overzicht van de aantallen items en de betrouwbaarheden van de schalen in de vragenlijst leerlingen voorafgaand aan de opname (N =324) K

Cronbach’s alpha

1 2

3

Zelfvertrouwen (MSLQ)

8

.93

Motivatie (SIMS) A

Intrinsieke motivatie

4

.88

B

Geïdentificeerde regulatie

4

.71

C

Externe regulatie

4

.73

D

Amotivatie

4

.82

Feedback geven specifieke vragen A

Feedback geven handelen nu

22

.91

B

Feedback geven handelen ideaal

22

.88

9

.84

9

.83

10

.82

10

.77

.90

C

Subschaal feedback geven gericht op resultaat handelen nu

D

Subschaal feedback geven gericht op resultaat handelen ideaal

E

Subschaal feedback geven gericht op het proces handelen nu

F

Subschaal feedback geven gericht op het proces handelen ideaal

4

5

60

Taakgebied geven van feedback A

Taakgebied geven van feedback handelen nu

11

B

Taakgebied geven van feedback handelen ideaal

11

.89

C

Subschaal geven van feedback handelen nu

5

.86

D

Subschaal geven van feedback handelen ideaal

5

.86

E

Subschaal feedback benutten handelen nu

4

.80

F

Subschaal feedback benutten handelen ideaal

4

.77

Volgen van het leerproces A

Taakgebied volgen handelen nu

11

.90

B

Taakgebied volgen handelen ideaal

11

.90

Correlaties tussen de onderdelen in de vragenlijst leerlingen vooraf In dit onderzoek is in de vragenlijst die leerlingen vooraf moesten invullen gebruik gemaakt van een onderdeel van een bestaand instrument over het geven van feedback (het taakgebied) en van een nieuw ontwikkelde set uitspraken over feedback op basis van specifieke literatuur. In zo’n situatie is het zinvol de soortgenootvaliditeit (onderlinge samenhang) te bepalen. Dit is gedaan met behulp van correlaties. Deze bleken rond de .60-.70 te zijn (Pearsons correlatie). Alle uitkomsten bleken significant bij p ≤ 0.01. Dit betekent dat alle (sub)schalen bijdragen aan het meten van aspecten van hetzelfde construct. De gevonden correlaties zijn ondergebracht in twee tabellen. In tabel 3 staan de correlaties vermeld tussen de (sub)schalen bij het handelen nu. In tabel 4 staan de correlaties tussen de (sub)schalen bij het handelen ideaal. Tussen haakjes staan de aantallen leerlingen vermeld. De nummering van de onderdelen komt overeen met de nummering in Tabel 2. Tabel 3: Correlaties tussen de onderdelen van de vragenlijst bij het handelen nu (leerlingen) Handelen nu

4A:Taakgebied Geven van feedback (alle items) 4C:Subtaakgebied Geven van feedback 4E.Subtaakgebied Benutten van feedback

3A: Schaal feedback geven (alle items) (N)

3C: Subschaal feedback geven gericht op het resultaat (N)

3E: Subschaal feedback geven gericht op het proces (N)

.77 (208)

.70 (230)

.75 (227)

.75 (214)

.71 (240)

.70 (235)

.65 (215)

.53 (240)

.67 (236)

Wat opvalt is dat het subtaakgebied benutten van feedback lager correleert met de subschaal feedback geven gericht op het resultaat dan met de subschaal feedback geven gericht op het proces. Dit verschil is nog duidelijker bij het handelen ideaal (zie hierna tabel 4). Dit zou erop kunnen wijzen dat docenten die vaak feedback geven op het proces relatief vaak ook aandacht geven aan het (doen) benutten van feedback.

61

Tabel 4: Correlaties tussen de onderdelen van de vragenlijst bij het handelen ideaal (leerlingen) Handelen ideaal

4B:Taakgebied Geven van feedback (alle items) 4D:Subtaakgebied geven van feedback 4F:Subtaakgebied benutten van feedback

3A: Schaal feedback geven (alle items) (N)

3C: Subschaal feedback geven gericht op het resultaat (N)

3E: Subschaal feedback geven gericht op het proces (N)

.60 (190)

.56 (227)

.62 (214)

.59 (194)

.64 (232)

.53 (219)

.47 (196)

.35 (236)

.55 (223)

Alle correlaties in tabel 3 (bij handelen nu) zijn hoger dan de correlaties in tabel 4 (bij handelen ideaal). Dit lijkt erop te wijzen dat de leerlingpercepties van het handelen nu van docenten consistenter zijn (meer met elkaar samenhangen) dan de wensen die de leerlingen hebben. Mogelijk speelt daarbij een rol dat het handelen van de docenten iets is dat alle leerlingen kunnen waarnemen (de leerlingen van dezelfde docent baseren zich op die ene docent), terwijl de wensen van de leerlingen individueel verschillend kunnen zijn (vandaar die lagere correlaties in tabel 4). Het lijkt erop dat de wensen van de leerlingen ten aanzien van feedback op resultaat niet sterk samenhangen met hun wensen ten aanzien van doen benutten van feedback. Dit patroon wordt niet alleen zichtbaar bij analyse van de gegevens over alle leerlingen, maar ook bij analyse van dezelfde gegevens per school.

4.7

De video-opname

In dit onderzoek gaat het specifiek om het geven van mondelinge feedback van docenten aan leerlingen die zelfstandig aan het werk zijn. Per docent is één opname gemaakt van een lesuur of een domeinuur. Omdat in enkele gevallen voorafgaand aan het zelfstandig werken enige instructie werd gegeven, varieert de duur van de opnamen van 45 tot 60 minuten.

62

De docent heeft vooraf zelf gekozen bij welke klas of welk domeinuur hij of zij opgenomen wilde worden. De afname van de vragenlijsten voorafgaand aan de opname werd op die groep leerlingen afgestemd. De opnamen zijn door de eerste auteur met een videocamera gemaakt. De docent droeg een draadloze zendmicrofoon bij zich, zodat ook het geluid goed opgenomen kon worden en de onderzoeker op een dusdanige afstand kon blijven met de camera dat de interactie tussen de docent en de leerlingen niet werd verstoord.

4.8

Vragenlijst leerlingen direct na de opname

Direct aansluitend aan de opname is aan de leerlingen die feedback hebben gekregen een vragenlijst uitgereikt. Aan de leerlingen werd gevraagd aan welke opdracht ze werkten, wat ze precies moesten doen, wat goed ging, of ze ergens moeite mee hadden en zo ja, waarmee; of ze een vraag aan de docent hebben gesteld en zo ja, welke; of de docent feedback heeft gegeven en zo ja, wat de docent heeft gezegd. Vervolgens moesten de leerlingen aangeven aan de hand van 20 uitspraken hoe ze de feedback hadden ervaren. Ze konden hierbij antwoorden op een vijfpuntsschaal van “helemaal niet” tot “helemaal wel” De uitspraken zijn gebaseerd op een procesgeoriënteerde benadering van feedback, waarbij aandacht wordt besteed aan zowel de manier waarop de zender of bron de boodschap brengt als de manier waarop de ontvanger de boodschap percipieert (Ilgen, Fisher, & Taylor, 1979; Shute, 2008)). De uitspraken zijn gebaseerd op verschillende te onderscheiden elementen in het feedbackproces: de perceptie en de acceptatie en bruikbaarheid van de feedback. Daarnaast is gevraagd waarop de feedback zicht richt (het object). Bij de uitspraken gericht op het in kaart brengen van de perceptie van de feedback is gevraagd of de feedback specifiek was (item 5), faciliterend (items 18, 19 en 20), doelgericht (gekoppeld aan einddoelen) (item 14), evaluatief (items 3 en 4) en of de feedback positief of negatief geformuleerd was (items 6 en 7). Bij de uitspraken gericht op de acceptatie en bruikbaarheid van de feedback is gevraagd of de feedback bruikbaar was (items 1 en 17), leerzaam (item 16), terecht (item 2) en motiverend (item 15). Zes uitspraken hadden betrekking op het object van de feedback (items 8 tot en met 13). De vragenlijst is in zijn geheel opgenomen als bijlage 11.

63

Tabel 5: Schalen vragenlijst leerlingen direct na de opname Items

Cronbach’s alpha (N=149)

Acceptatie en bruikbaarheid

1,2,3,5,6,16,17,18,19

.81

Aanwijzingen gericht op het proces

4,8,9,13,14,20

.68

Op basis van inhoudelijke argumentatie en met behulp van een principale componenten analyse met varimax rotatie over twee factoren, is gekozen voor een indeling in twee schalen. Daarin zijn alleen de items opgenomen waarbij de itemrestcorrelatie groter was dan .30. De items 7, 10, 11, 12 en 15 bleken niet goed in een schaal te passen. De uitkomsten van deze items worden op itemniveau verwerkt. Opgemerkt dient nog te worden dat de gegevens in dit onderzoek successievelijk zijn verzameld en geanalyseerd. Gaandeweg de analyses die tussentijds werden gedaan, bleek al dat op docentniveau de mate van betrouwbaarheid van met name de schaal aanwijzingen gericht op het proces per docent varieerde en hier en daar onvoldoende was. Dit heeft ons doen besluiten de schaal aanwijzingen gericht op het proces op docentniveau niet als schaal te gebruiken, maar de uitkomsten van de items alleen op itemniveau weer te geven. Op schoolniveau (per school over 3 docenten) bleek de schaal wel voldoende betrouwbaar te zijn.

4.9

Selectie van videofragmenten voor het interview

Voor de af te nemen interviews zijn videofragmenten geselecteerd waarin sprake was van een reactie van de docent op het werk (handeling, (tussen)resultaat of vraag om hulp) van een leerling tijdens het zelfstandig werken. Vier typen situaties konden zich voordoen: Situaties waarin de docent de interactie start: 1. De docent loopt rond en start de interactie door feedback te geven op waarneembaar handelen van leerlingen. 2. De docent loopt rond en start de interactie door het stellen van een vraag. Op het moment dat de leerlingen reageren ontstaat interactie waarin de docent leerlingen feedback kan geven op wat ze zeggen en/of op waar ze mee bezig zijn (dat wil zeggen: de manier waarop ze bezig zijn en/of het product waaraan ze werken)

64

Situaties waarin leerlingen de interactie starten: 3. De docent loopt rond en een leerling of een groepje leerlingen start de interactie door een gerichte vraag te stellen over een bepaald probleem (ze snappen iets niet, weten niet hoe iets aan te pakken). De docent kan daarna feedback geven op wat is benoemd of is gedaan. 4. De docent loopt rond en een leerling of een groepje leerlingen start de interactie door de docent te vragen wat hij of zij van iets vindt (een open vraag over bijvoorbeeld een product in wording). Bij de selectie van de fragmenten werd het fragment gestart op het moment dat de interactie tussen de docent en de leerling(en) begon, hoewel dat niet betekende dat direct al sprake was van feedback. Aangezien het in dit onderzoek gaat om het didactisch handelen is de feedback die uitsluitend gericht was op het gedrag of op de werkhouding bij de selectie van de fragmenten buiten beschouwing gelaten. Bij de selectie van de fragmenten is een spreiding aangebracht over de verschillende manieren van reageren van de docent, verschillende situaties en de evt. verschillende lagen in de opdracht (bijvoorbeeld bij wiskunde: het gebruik van een rekenmachine, de aanpak van een som, het begrip, het leerproces). Waar zich dezelfde soorten situaties, vragen en problemen en typen gegeven feedback voordeden, heeft de selectie van de fragmenten zich beperkt tot het slechts eenmaal selecteren van een dergelijk fragment, tenzij dit vanwege een gebrek aan variatie in didactische respons en/of een gebrek aan verschillende soorten situaties niet mogelijk was. Er werd nadrukkelijk naar gestreefd bij de selectie van de fragmenten om de breedte van het feedbackrepertoire van de docent tot zijn recht te laten komen. Dit betekende bijvoorbeeld dat eenzelfde probleem dat nogmaals ter sprake kwam bij andere leerlingen dan in de eerste situatie en waarbij de docent in de nieuwe situatie op een andere manier feedback gaf aan leerlingen dan in de eerste situatie als twee verschillende fragmenten werden geselecteerd. Tevens werd zoveel mogelijk gespreid over leerlingen. Op het moment dat de interactie afgerond was, stopte ook het fragment. De interactie betrof vaak niet alleen de feedback op zich, maar ging soms naadloos over in een gesprek waarbij de docent als tutor of coach optrad naar de leerling. Per docent zijn vijf of meer fragmenten geselecteerd (dit lukte alleen niet bij docent 7 omdat in de opname slechts vier verschillende feedbacksituaties aanwezig waren). Zie Tabel 6.

65

Tabel 6: Vak, aantal fragmenten en totale tijdsduur per docent Docent

4.10

Vak

Aantal fragmenten

Totale tijdsduur fragmenten in minuten

10

22

1

Wiskunde

2

Geschiedenis

7

8

3

Engels

8

19

4

Latijn

7

24

5

Biologie

6

22

6

Economie

8

17

7

Frans

4

18

8

Wiskunde

5

27

9

Techniek

7

15

10

Economie

7

21

11

Economie

5

28

12

Biologie/Engels

5

22

Stimulated recall interview

De stimulated recall interviews werden door de eerste auteur afgenomen, met uitzondering van de eerste drie interviews waarbij beide onderzoekers aanwezig waren. Het aantal dagen tussen de opname en het stimulated recall interview varieerde van 1 dag (2x), 3 dagen ((2x), 4 dagen (1x), 5 dagen (1x) tot 7 dagen (5x). In het begin van het gesprek werd aangegeven wat het doel was van dit gesprek (gegevens over achterliggende intenties verzamelen en toelichting vragen op het handelen dat op de videobeelden te zien was). Daarna werden door de onderzoeker vragen gesteld over de contextfactoren (vak, leerjaar, onderwijssetting), taakkenmerken (type, gestructureerdheid, gelaagdheid, eenduidigheid van de standaard) en de vooraf gegeven instructie (vorm, mate, relatie met leerdoelen). Vervolgens werden de fragmenten getoond op een beeldscherm en werden na afloop van elk fragment de volgende vragen gesteld: a. Wat was het probleem van de leerling? b. Wat deed je als docent (typering, bewust of onbewust, intenties, gebruikelijke manier van reageren)? c. Wat was de basis voor de reactie (kenmerken ven leerlingen, niveau, specifieke problemen, relatie) of waarom reageerde je zo? d. Wat was het effect bij de leerling (begrip, geholpen)? e. Waarom of naar aanleiding waarvan rondde je de interactie af?

66

Deze laatste vraag is toegevoegd naar aanleiding van onderzoek naar zichtbaar gedrag bij feedbackontvangers dat voor feedbackgevers aanleiding is te concluderen dat leerlingen iets hebben begrepen (Reynolds, Martin en Groulx, 1996; zie ook hoofdstuk 3) De interviews zijn opgenomen met geluidsapparatuur en integraal schriftelijk uitgetypt.

4.11

Scoring van feedbackactiviteiten per fragment

Op basis van de literatuur uit hoofdstuk 3 is gekeken welke verschillende docentactiviteiten onderscheiden kunnen worden tijdens situaties waarbij leerlingen zelfstandig aan het werk zijn en de docent de leerling(en) feedback geeft. Hierbij is uitgegaan van een brede range aan docentactiviteiten, waarbij de feedback in engere zin is uitgebreid naar coaching en tutoring. Dit sluit aan bij de realiteit in de klas of op het leerplein waarbij een situatie waarin feedback wordt gegeven onderdeel vormt van een dialoog tussen docent en leerling(en). De directe feedback staat vaak niet op zichzelf maar vormt onderdeel van of gaat naadloos over in een gesprek. De docentactiviteiten die hieronder worden beschreven zijn daarom gebaseerd op literatuur over feedback (Shute, 2008), coachen (Veenhoven, 2004), tutoring (Chi, 2001, Chi, Siler, Jeong, Yamauchi, & Hausmann, 2001; King, 2002), docentgedragingen (Torrance & Pryor, (1998) en cognitive apprenticeship (Collins, Brown & Newman (1989). Op basis van deze literatuur werd een scoringsformulier ontwikkeld om per docent docentactiviteiten met betrekking tot het geven van feedback en coachen te kunnen onderscheiden en categoriseren Het scoringsformulier werd ingedeeld in vijf categorieën met aanvankelijk in totaal 23 docentactiviteiten. De categorieën waren: A: geen feedback B: resultaatgerichte feedback C: procesgerichte feedback D: geven van aanvullende instructie E. overig

67

Ad A: bij de categorie geen feedback” werd de volgende docentactiviteit onderscheiden: 1. zelf overnemen of zelf oplossen als docent Ad B: bij de categorie “resultaatgerichte feedback” werden de volgende zeven docentactiviteiten onderscheiden: 2. aangeven of bevestigen wat er tot nu toe correct of succesvol is zonder informatie waarom iets goed is 3. idem met informatie waarom iets goed is 4. geven van suggesties wat er beter kan, wat nog ontbreekt/ wat er (nog) fout is zonder informatie waarom iets ontbreekt of fout is 5. idem met informatie waarom iets fout is of ontbreekt 6. aangeven wat de goede oplossing is zonder informatie waarom 7. idem met informatie waarom 8. aangeven wat de standaard is waaraan moet worden voldaan Ad C: de categorie “procesgerichte feedback” werd onderverdeeld in 10 docentactiviteiten: 9. de leerling stimuleren of vragen het probleem preciezer te omschrijven en te analyseren 10. vragen naar wat de leerling al heeft gedaan of hoever deze is 11. vragen naar bepaalde kennis 12. stellen van open vragen die het denkproces van bij de leerling stimuleren 13. het probleem verhelderen en/of vereenvoudigen door het op te delen in stappen 14. geven van hints, cues, prompts, voorbeelden 15. geven van suggesties hoe het beter kan 16. voordoen van de aanpak, het probleem, oplossingsproces modelleren 17. vragen of iets duidelijk c.q. begrepen is 18. geven van suggesties en/of voordoen van manieren om het proces zelf te monitoren en tussentijds evalueren. Ad D: de categorie “aanvullende instructie” werd onderverdeeld in drie docentactiviteiten 19. het verduidelijken of aanvullen van de eerder gegeven instructie 20. een begrip uitleggen 21. uitleg geven over een aanpak om tot een oplossing te komen. Ad E: de categorie “ overig” werd onderverdeeld in twee docentactiviteiten: 22. feedback geven op gedrag 23. bemoedigende opmerking maken 68

Deze 23 categorieën zijn verwerkt in een observatieformulier waarmee per fragment per categorie kon worden aangegeven of deze wel (code 1) of niet (code 2) voorkwam (zie bijlage 12). Deze manier van scoren had tot doel zicht te krijgen op het repertoire van elke docent (welke categorieën kwamen over vijf fragmenten bezien wel en niet voor?) als ook enigszins op de relatieve frequentie per categorie (hoe vaak over vijf fragmenten?). Beide onderzoekers hebben de eerste vijf fragmenten van de eerste drie docenten (dus in totaal 15 fragmenten) onafhankelijk van elkaar gescoord. Daarna is op verschillende manieren de interbeoordelaars overeenstemming berekend: a. per docent over alle 23 categorieën op de totalen per categorie van de vijf fragmenten samen (dus met per categorie een score van minimaal 0, maximaal 5), met behulp van een jury alpha (Cronbach’s alpha); de alpha’s voor deze drie docenten waren: .94, .85 en .91; b. idem, over de drie docenten samen (69 codes), met een Pearson correlatie; deze was .82; c. per docent per fragment over alle 23 categorieën (met per categorie een score van 0 of 1), met een jury alpha; hiervan waren 19 alpha’s voldoende (≥ .60) en 4 te laag (< .55). d. idem, over de drie docenten samen (345 codes), met een Pearson correlatie; deze was .61. De vier categorieën waarvan de alpha te laag was, zijn nader bekeken. De categorieën 1 (kwam amper voor) en 18 (bleek niet voldoende eenduidig interpreteerbaar) zijn weggelaten, en de scoringsafspraken bij de categorieën 4 en 6 konden worden aangescherpt waarna de alpha’s wel voldoende bleken (>. 70). Afgesproken is dat code 4 standaard positief gescoord diende te worden als code 5 positief gescoord werd. Dit leverde een jury alpha voor code 4 op .76 Tevens is afgesproken dat code 6 standaard positief gescoord diende te worden als code 7 positief gescoord werd. Dit leverde een jury alpha voor code 6 op .72 Als controle op de representativiteit van de geselecteerde fragmenten uit de totale gemaakte opname, is door een van beide onderzoekers aanvullend de hele les van docent 1 gescoord, met als fragmenten de vier delen van de betreffende les waaruit de opname bestond (de opname was daartussen steeds even gestopt omdat zich op dat moment geen voor dit onderzoek relevante docentactiviteiten voordeden). Beide scoringen (van de eerste vijf fragmenten en van de vier delen van de hele les) zijn behandeld als twee onafhankelijke scoringen en dit leidde tot een jury alpha van .76.

69

Naar aanleiding van de uitkomsten van de analyses is het scoringsformulier aangepast. Het aantal docentactiviteiten is volgens de boven beschreven aanpak teruggebracht tot 21. De scores van de eerste drie docenten zijn aangepast aan de nieuwe codeerafspraken. De fragmenten van de overige negen docenten zijn door beide onderzoekers onafhankelijk van elkaar gescoord. Bij verschil van scoring zijn de onderzoekers via discussie en zo nodig terugkijken (opnieuw observeren) tot consensus gekomen. De gescoorde docentactiviteiten zijn per docent per fragment aangebracht op het scoringsformulier en dit formulier is, samen met de uitkomsten van de vragenlijsten tijdens het eindgesprek met de docent besproken.

4.12

Eindgesprek met de docent

Het eindgesprek met de docent werd door beide onderzoekers gevoerd. Allereerst werd met de docent teruggekeken naar de eerste conceptmap en werd toelichting gevraagd waar bepaalde dingen voor de onderzoekers nog onduidelijk waren. Vervolgens schetsten de onderzoekers een beeld waarin zij de concerns en intenties van de docent probeerden te typeren op basis van een deel van de door hen verzamelde gegevens (conceptmap, vragenlijst over feedback en stimulated recall interview). Deze typering werd mondeling aan de docent overgebracht, waarna de docent de gelegenheid kreeg te reageren en aan te geven of hij of zij zich herkende in het geschetste beeld en of het beeld volgens de docent volledig was. Vervolgens werden de uitkomsten van de beide leerlingenvragenlijsten (vooraf en achteraf) op itemniveau en op schaalniveau besproken. De docent kreeg deze op papier uitgereikt. Vanuit de onderzoekers werd stilgestaan bij die items waarop de leerlingen opvallend hoog of laag hadden gescoord of waarbij de leerlingen aangaven duidelijk meer of minder te willen dan de docent deed. Hierbij werd een verschil tussen het gemiddelde van het huidige en gewenste gedrag aangehouden van tenminste 0,5. De docent kreeg opnieuw de gelegenheid te reageren. Verschillende uitkomsten werden vergeleken, waaronder de gemiddelde scores van de docent zelf op de subtaakgebieden Geven van feedback en Benutten van feedback in vergelijking met de gemiddelden van de leerlingen en van andere docenten uit eerder onderzoek op dezelfde schalen. Het scoringsprotocol van de videofragmenten werd uitgereikt met daarop aangegeven de frequenties van de verschillende feedbackgedragingen van de docent. Eventuele opmerkingen en aandachtspunten vanuit de onderzoekers werden gedeeld met de docent. De docent kreeg uitgebreid de gelegenheid te reageren. 70

Aan het eind van het gesprek werd aangegeven dat de mogelijkheid bestond om in januari op basis van een specifiek leerpunt nieuw gedrag uit te proberen en opnieuw een video-opname te laten maken en samen met de onderzoeker te bekijken. Uiteindelijk heeft geen docent van deze mogelijkheid gebruikgemaakt. Een aantal docenten gaf aan de integrale terugrapportage in het eindgesprek zo informatief te vinden dat ze er op eigen kracht zinvolle leerpunten aan konden ontlenen. Het eindgesprek is opgenomen met geluidsapparatuur en is integraal uitgetypt. De inhoud van het eindgesprek is samen met de gegevens van alle andere instrumenten verwerkt in een individuele terugrapportage die door de onderzoekers aan de docent per post is toegestuurd. In deze eindrapportage werd de docent ook geïnformeerd over zijn eigen scores in relatie tot de scores van de andere docenten die hebben meegedaan aan dit onderzoek.

4.13

Conceptmap en vragenlijst docenten achteraf

Tegelijkertijd met de individuele schriftelijke terugrapportage (zie 4.12) hebben de docenten het verzoek gekregen een tweede conceptmap te maken en nog een aantal vragen te beantwoorden. In een begeleidende brief werd een procedure van handelen uitgelegd. De docent werd verzocht eerst het verslag door te lezen en drie tot vijf dagen later opnieuw een conceptmap te maken over het geven van feedback. Vervolgens werd de docent gevraagd zelf de eerste en de tweede conceptmap te vergelijken en de volgende vragen schriftelijk te beantwoorden: 1. Wat valt je op als je de eerste en de tweede conceptmap met elkaar vergelijkt (denk daarbij aan de inhoud, het aantal begrippen, de plaats of volgorde van de begrippen en de relaties die je hebt gelegd)? 2. Welke betekenis geef je zelf aan de verschillen die je ziet? 3. Heeft het maken van deze tweede conceptmap bij jou nog aanvullende inzichten opgeleverd? 4. Indien ja bij vraag 3: zijn deze aanvullende inzichten voor jou nog aanleiding om er in je onderwijspraktijk iets mee te doen? Waar denk je aan?

71

Ter afsluiting zijn aan de docent nog zeven open vragen gesteld over zijn of haar ervaringen in dit onderzoek. Er werd gevraagd naar de verwachtingen aan het begin, de ervaringen bij het meedoen aan het onderzoek, het eventueel opgetreden leereffect, het meest waardevolle onderdeel, de betekenis voor de eigen onderwijspraktijk, tips voor de schoolleider om de resultaten van dit onderzoek te delen binnen de school, en tot slot werd de gelegenheid geboden de onderzoekers feedback te geven op basis van de opgedane ervaringen. De docenten hebben de tweede conceptmap en de ingevulde vragenlijst opgestuurd naar de onderzoekers.

72

5

Feedback bij 12 docenten en hun leerlingen: intenties, gedrag, percepties

5.1

Rapportage en toelichting

Dit hoofdstuk doet verslag van de opbrengsten van de verschillende stappen in het onderzoek. Dit gebeurt niet precies in de volgorde waarmee de stappen zijn uitgevoerd. Er is voor gekozen gegevens die bij elkaar horen direct na elkaar te plaatsen, zoals bijvoorbeeld de uitkomsten van de eerste leerlingenvragenlijst en de reactie van de docent daarop in het eindgesprek. De uitkomsten worden weergegeven in tabellen (op de linkerpagina) en bijbehorende tekst (op de rechterpagina). Zie Figuur 5 hieronder. Stap 3, 4

Typering variabelen Cognities van de docent

5

Leerlingenpercepties van het handelen van de docent Reacties van docent op uitkomsten vragenlijsten docent en leerlingen voorafgaand aan opname Type taken en leerdoelen in de opgenomen situatie Motivatie en self-efficacy t.a.v. de taken bij dit vak Intenties en percepties van leerlingengedrag van de docent Gedrag van de docent

11

9 en 5 9

10 7

11

11 13

Leerlingenpercepties van docentgedrag tijdens de opgenomen situatie Reacties van de docent op de scoring v.h. gedrag en de leerlingenpercepties Reacties docent op typering en aanbevelingen Cognities van de docent

Bronnen / instrumenten Conceptmap 1 en vragenlijst docenten vooraf Vragenlijst leerlingen voorafgaand aan de opname (m.u.v. motivatie en self-efficacy) Eindgesprek

11

Stimulated recall interview

12

Vragenlijst leerlingen voorafgaand aan de opname Stimulated recall interview

Tabel 7, 8a en 8b 9, 10

13A en 13B

Scoring van 5 geselecteerde fragmenten per docent Vragenlijst leerlingen direct na de opname

14A t/m 14D 15, 16

Eindgesprek

17

Eindgesprek

18A t/m 18D in tekst

Conceptmap 2 en vragenlijst

Figuur 5: Overzicht van de verdeling van de uitkomsten over de tabellen 73

Tabel 7: Elementen uit de eerste conceptmap van de docenten, en het al dan niet weergeven van feedback als proces D

Voorwaarden

1 2

Zicht op eigen kunnen, zelfvertrouwen

3 Geduld, concentratie

5

Veiligheid, band inbreng leerling, samenwerking Persoonlijk contact Smart, individueel

7

Inhoudelijk, pedagogisch Kennis, fouten

8

11

12

74

Toets bespreken

Inhoud, opdracht, vraag

Taak, samenwerking, houding Werk, gedrag

9

10

Situatie

Kennis, fouten

4

6

Inhoud

Eerst relatie, dan prestatie, rustig moment Vertrouwen, tijd geven, serieus nemen Rust, positieve insteek, durven aanspreken

Taak, timing, aanpak

Taak, gedrag, leerproces, groepswerk

Altijd en overal

Vormen, kenmerken, activiteiten Niet voorzeggen, vragen stellen, positief, zelf ontdekken Compliment geven, sturende vragen stellen, toelichting schrijven bij antwoorden toets, herhalen, analyseren van fouten, checken Humor, vragen stellen, complimenteren, herhalen Afstemmen, vragen stellen, interactie, reflectie kader schetsen, loslaten, verschillende rollen en strategieën als docent (Weder)vragen stellen, compliment geven, corrigeren, verwijzen, beoordelen, samenwerken, overleggen, erkennen Bevestigen, stimuleren, testen, vertrouwen geven, via persoonlijke verhalen Positief, constructief, analyseren, controleren, confronteren

Individueel of in groep. Bij eigen vak of niet. Altijd en overal

Mondeling, schriftelijk. Uitleg, begeleiden, bevestigen, corrigeren, gevraagd of ongevraagd Opbouwend, bewust maken, vragen stellen, uitwisselen, reflecteren, interactie, coachen

Toets bespreken

Luisteren, vragen stellen, uitleg geven, bespreken toetsen of taken, tips geven of extra opdrachten aanbieden, terugkijken, spiegelen Luisteren, kort negatieve punten benoemen, vragen naar verwachting en wens, niet zelf invullen, afsluiten en checken Leerlingen mee laten praten en denken, vragen stellen, uitleg geven, overleg. Contact maken, aanspreken, erkennen, samen signaleren

Individueel en in groepje. Tijdens mentorgesprek.

Doelen van feedback Herhalen Verduidelijken Begrip van de stof kweken

Feedback als Proces

ja

Kennis oproepen Groei zelfvertrouwen, motivatie vaardigheid

ja

ja

Uitleggen, corrigeren, verdiepen Reflecteren, stimuleren van ontwikkeling

ja

Groeien, bewust worden, leren van elkaar

ja

ja

ja

De conceptmaps die de docenten als eerste hebben gemaakt, gaan over voorwaarden voor en inhouden van feedback, situaties waarin feedback wordt gegeven, vormen, kenmerken en activiteiten, en doelen van feedback. De docenten verschillen enigszins in hoeveel en welke van deze zeven aspecten ze in hun concept maps opnamen (zie Tabel 7). Ook zijn er verschillen in hoe ze de aspecten invullen. Als voorwaarden voor het geven van feedback noemen de docenten vooral persoonlijk en individueel contact, onderling vertrouwen en voldoende tijd en aandacht. Dit wordt vooral genoemd door docenten op de scholen B en D. De inhouden van feedback hebben betrekking op a) de inhoud van de taak, de kennis waar het om gaat en fouten die worden gemaakt; b) de aanpak en samenwerking, en c) pedagogische aspecten zoals houding en gedrag. Bij een deel van de docenten is in de concept map de situatie waarin feedback wordt gegeven opgenomen. Enkelen geven aan altijd en overal feedback te geven, enkele anderen onderscheiden feedback aan individuele leerlingen en aan (of in) een groepje, nog weer anderen benoemen het bespreken van een gemaakte toets. Alle docenten namen in hun concept map specificaties op van de vormen en kenmerken van de feedback die ze geven en de concrete activiteiten die ze daarbij ondernemen. De meeste docenten (n=9) benadrukken dat feedback positief en constructief moet zijn, complimenten moet bevatten, leerlingen moet bevestigen in wat ze kunnen en vertrouwen geven, en dergelijke. Ook brengt een aantal docenten (n=7) tot uitdrukking dat leerlingen er actief bij moeten worden betrokken resp. als gelijkwaardige gesprekspartner moeten worden behandeld: niet als docent zelf invullen, vragen stellen, luisteren, zelf laten ontdekken, overleggen, mee laten praten en denken. Daarnaast wordt een scala aan activiteiten genoemd, zoals afstemmen, checken, controleren, beoordelen, confronteren, spiegelen, fouten analyseren, herhalen, uitleggen, tips geven, verwijzen. Ruim de helft van de docenten (n=7) heeft in de concept map een of meer doelen van feedback vermeld. Deze vallen enigszins uiteen in twee clusters: doelen die te maken hebben met het verduidelijken en doen begrijpen van de stof (vooral docenten op school A), en doelen in de sfeer van groei, ontwikkeling, reflectie en bewustwording (vooral docenten op school C). Ook ruim de helft (n=7) heeft in de concept map tot uitdrukking gebracht dat feedback een proces is (in de tijd, met een bepaalde volgorde). Na het maken van een concept map, hebben de docenten een vragenlijst ingevuld met een aantal vragen over hun kijk op en praktijk ten aanzien van feedback. De resultaten zijn in de twee nu volgende tabellen samengevat. Daarna worden de resultaten toegelicht. 75

Tabel 8a: Visies van docenten op feedback: intenties, aanpak, objecten en activiteiten (vragenlijst docenten voor de opname) D

Intenties, doelen

Aanpak, kenmerken

Objecten van feedback

Rekening houden met

1

Vergroten begrip, en toepassing , versterken van zelfvertrouwen Stimuleren van denken, begrip en leren Focus aanbrengen en verdiepen

Vragen stellen en beantwoorden, checken, individueel/ klassikaal Goed gedrag belonen, begrip controleren Tips geven, laten verwoorden, aandacht richten

Begrip, aanpak werkhouding en samenwerking

Niveau, zelfbeeld en zelfvertrouwen van leerlingen

Gedrag, zelfvertrouwen, leerproces

Niveau, situatie, zelfvertrouwen van leerlingen Verschillen tussen leerlingen, o.a. in denktempo Individuele verschillen (snelheid van begrip) Specifieke problemen

2

3

4

5

6

76

Stimuleren, motiveren, leren van fouten Stimuleren van kennis, aanpak, zelfvertrouwen, benutten van feedback Kennis en begrip, bijsturen, verdiepen

Belonen van positief gedrag, vragen, checken, antwoord en suggesties geven Via tussenstap komen tot antwoord, aansluiten, checken visualiseren

Kennis, vaardigheden, samenwerking, concentratie, stem, volume Voortgang en diepgang

Gedrag, manier van werken, producten, resultaten

Werkhouding, aanpak, opdracht

Niveau van de leerling, tijdsduur taalgebruik, reactie

Verwijzen naar

Initiatief

Rol, inbreng leerlingen Zelfstandigheid stimuleren en laten ontdekken

Boek, gegeven uitleg, parate kennis Kennis, ervaring

Gegeven uitleg, voorkennis, boek, antwoordenboek

Eigen initiatief of vraag Eigen inbreng

Eigen initiatief of vraag Via mail of mondeling Eigen initiatief of vraag Eigen initiatief of vraag

Zelfstandigheid, stimuleren, soms peerfeedback Zelfstandigheid, stimuleren. Eerst zelf nadenken en ander vragen Vraag zelf formuleren

Tabel 8b: Visies van docenten op feedback: intenties, aanpak, objecten en activiteiten (vragenlijst docenten voor de opname) (vervolg) D

Intenties, doelen

Aanpak, kenmerken

Objecten van feedback

Rekening houden met

7

Focus op ontwikkelpunten. Benutten van feedback. Zelfvertrouwen en begrip vergroten; aanpak, houding verbeteren Resultaten verbeteren, leren stimuleren, benutten van feedback

Aandacht richten, samen werken en reflecteren. Smart formuleren Ondersteunen, begeleiden,bevestigen, coachen, contact maken en afstemmen Terugkoppelen, toelichten, bewijzen

Resultaat, aanpak, prioriteiten, uitspraak, samenwerking, werkhouding

Context, leerjaar persoonlijke situatie, doelen

10

Leerlingen helpen in proces en motiveren

11

Zicht op eigen kunnen, stimuleren en motiveren. Stimuleren van het leerproces, succeservaringen laten opdoen

Wijzen op sterke en verbeterpunten, tips en voorbeelden geven, laten samenvatten Positieve punten benoemen, vragen stellen, luisteren, focus aanbrengen Contact maken, randvoorwaarden creëren, afstemmen, begeleiden

8

9

12

Verwijzen naar

Initiatief

Rol, inbreng leerlingen

Eigen initiatief of vraag Eigen initiatief, initiatief van collega of vraag

Actieve houding van leerling. Aanspreken op eigen verantwoordelijkheid Aanspreken op eigen verantwoordelijkheid voor leerproces. Zelf keuzes laten maken Actieve houding van de leerling, benutten van anderen

Niveau van leerling en de situatie

Opdracht, voorkennis, houding en inzet

Gedrag, werkstukken, aanpak, werkhouding

Algemene eisen aan alle leerlingen, individuele kenmerken

Afspraken, eisen, mogelijkheden, oplossingen, verwachtingen en resultaten

Resultaat, inhoud, proces, samenwerking en reflectie

Belevingswereld van leerling, leerstijl, aanpak

Gegeven instructie, tips

Eigen initiatief of vraag

Resultaat, werktempo, proces, welbevinden, verbeterpunten

Taalgebruik, privacy, uitstraling

Vergelijkbare situaties, groei

Eigen initiatief of vraag

Leerling om mening vragen

Vak, lesstof Welbevinden en succeservaringen, gedrag

Positieve insteek, taalgebruik, begrip, mate van zelfreflectie

Opdracht, situatie, gelezen stof, eigen leefwereld

Eigen initiatief of vraag

Samen reflecteren. Actieve houding van de leerling

77

De antwoorden op de open vragen in de vragenlijst die de docenten in het begin hebben ingevuld, kunnen, naast de concept map, worden gezien als een alternatieve manier om de eigen visie op feedback weer te geven. In dit geval werden de antwoorden enigszins gestuurd door de gestelde vragen. Die waren weliswaar open, maar vestigden wel de aandacht op bepaalde aspecten (zie voor de gebruikte vragenlijst bijlage 5). In Tabel 8 (8a en 8b) zijn de uitkomsten samengevat. Dit is gedaan op basis van de inhouden van de antwoorden op de vragen gezamenlijk, en dus niet per gestelde vraag. De op deze manier verkregen visies van de docenten op feedback, hebben betrekking op hun intenties en doelen, aanpak en kenmerken van feedback, objecten van feedback, waar de docenten bij het geven van feedback rekening mee houden en waar ze naar verwijzen, op wiens initiatief feedback wordt gegeven, en welke rol en inbreng de leerlingen hebben. Uit de verkregen resultaten van deze manier van bevragen, blijkt dat de doelen die de docenten hebben en de inbreng die ze van hun leerlingen verwachten, veel breder spelen dan met de concept map in kaart is gebracht. Net als bij de concept maps, blijkt echter opnieuw dat sprake is van nogal wat variatie tussen de docenten. Bij de intenties en doelen van de docenten met feedback, komen opnieuw de twee clusters terug die bij de concept maps zichtbaar werden. Een aantal docenten noemt cognitieve doelen (o.a. kennis, begrip, aanpak, resultaten) (n=6), en een aantal noemt affectieve doelen (stimuleren, motiveren, versterken zelfvertrouwen, verbeteren houding, succes laten ervaren) (n=8). Daarnaast noemen enkele docenten meer algemeen doelen die te maken hebben met het proces van denken, leren en verdiepen (n=2). Eén docent noemt een doel op metacognitief gebied (zicht op eigen kunnen). Drie docenten noemen (ook) het benutten van de feedback als doel. Wat betreft de aanpak en kenmerken van feedback komt een aantal activiteiten terug die ook al zichtbaar werden in de concept maps (tabel 7, vierde kolom): afstemmen, checken, controleren, toelichten, tips geven. Aanvullend worden nu genoemd: aandacht richten, focus aanbrengen, laten samenvatten, visualiseren, voorbeelden geven, vragen beantwoorden, via tussenstap komen tot antwoord, coachen, begeleiden, reflecteren, bewijzen, belonen, wijzen op verbeterpunten. Objecten van feedback hebben deels betrekking op aspecten van de taak: (vak)inhoud, kennis, stof, aanpak, vaardigheden, resultaat, product. Daarnaast worden motivationele, affectieve en sociale aspecten genoemd, zoals werkhouding, zelfvertrouwen, manier van werken, samenwerking, gedrag, proces, concentratie, werktempo. De meeste docenten noemen beide soorten aspecten.

78

Gevraagd waarmee ze bij het geven van feedback rekening houden, noemen de docenten opnieuw zowel cognitieve als affectieve aspecten: niveau, leerjaar, begrip, taalgebruik en tempo, naast zelfvertrouwen, zelfbeeld, belevingswereld, persoonlijke situatie en specifieke problemen. Ook hier weer noemen veel docenten beide soorten aspecten, Een enkele docent noemt ook het belang van privacy. Tweederde van de docenten gaf antwoord op de vraag waarnaar ze in hun feedback verwijzen. De meesten van hen (n=6) noemen verschillende typen bronnen, zoals het leerboek, de door de docent gegeven instructie en uitleg, de gemaakte afspraken, de gegeven opdracht, de gestelde eisen, en dergelijke. Enkele docenten (n=3) verwijzen (ook) naar de leerling zelf: zijn of haar parate kennis, voorkennis, ervaring en leefwereld. De vraag naar het initiatief bij het geven van feedback is door bijna alle docenten beantwoord door aan te geven dat dit zowel op eigen initiatief gebeurt als in reactie op een vraag van de leerling. Wat betreft de eigen rol en inbreng van de leerlingen: het belang daarvan wordt door de meeste docenten onderstreept, maar hun antwoorden lijken een enigszins verschillende kleur te hebben. Sommige docenten noemen het bevorderen van de zelfstandigheid van de leerlingen (n=3), waarbij de docent de primaire actor lijkt te zijn, anderen antwoorden in termen van aanspreken op de eigen verantwoordelijkheid en benutten van de actieve houding van leerlingen (n=3), en weer anderen lijken de leerlingen een nog iets grotere eigen rol toe te kennen door te antwoorden in termen van samen reflecteren, leerlingen om hun mening vragen en leerlingen zelf keuzes laten maken. Tot zover de beginsituatie van de docenten. Hierna lieten de docenten een aantal van hun leerlingen een vragenlijst invullen, namelijk de leerlingen die aanwezig zouden zijn tijdens de situatie die later zou worden opgenomen. De vragenlijst bevatte een aantal uitspraken over het handelen van hun docent. Het ging om de schalen over het geven en doen benutten van feedback, specifiek het geven van feedback gericht op het resultaat en gericht op het proces, en het volgen van het leerproces van de leerlingen. Steeds werd gevraagd wat de docent nu over het algemeen doet, en wat ze graag zouden willen dat de docent doet, dus hun ideaal. De antwoorden konden steeds worden gegeven op een schaal van 1 tot 5. De volgende tabel (tabel 9) vat de uitkomsten per docent samen. De gemiddelden op de betreffende vijf schalen staan daarna in twee grafieken weergegeven, een over het handelen nu, en een over het handelen ideaal. Daarna worden de resultaten toegelicht.

79

Tabel 9: Leerlingpercepties van het huidige en gewenste handelen van de docent (leerlingvragenlijst voor de opname) Docent (N=aantal leerlingen)

1 (15) 2 (14) 3 (21) 4 (41) 5 (22) 6 (11) 7 (13) 8 (37) 9 (9) 10 (17) 11 (22) 12 (54) X (324) Y (900)

Feedback geven (specifieke vragen)

Subschaal feedback gericht op het resultaat

Subschaal feedback gericht op het proces

Taakgebied geven van feedback

Subschaal taakgebied geven van feedback

Subschaal taakgebied feedback benutten

Taakgebied volgen van het leerproces

Nu 3.8 3.9 3.8 3.4 4.0 3.4 3.5 3.3 4.5 3.7 4.1 4.0 3.8 -

Nu 3.9 4.0 3.9 3.6 4.3 3.6 3.8 3.4 4.6 3.8 4.3 4.0 3.9 -

Nu 3.8 3.9 3.6 3.3 3.7 3.3 3.3 3.1 4.2 3.7 4.0 3.9 3.6 -

Nu 3.8 3.9 3.6 3.3 3.6 3.6 3.4 3.0 4.3 3.6 4.2 4.0 3.7 3.7

Nu 3.9 4.2 3.9 3.6 4.1 3.9 3.9 3.2 4.6 3.9 4.4 4.1 4.0 3.9

Nu 3.8 3.5 3.2 3.0 2.8 3.0 2.8 2.7 3.9 3.3 4.0 3.9 3.3 3.3

Nu 3.6 4.0 3.6 3.7 3.8 3.7 3.7 3.3 4.3 3.9 4.4 4.2 3.9 3.8

Ideaal 4.0 4.0 4.1 4.2 4.3 4.4 4.0 3.9 4.5 3.9 4.1 4.1 4.1 -

Ideaal 4.0 4.3 4.3 4.4 4.5 4.6 4.2 4.0 4.6 4.1 4.4 4.2 4.3 -

Ideaal 4.0 3.9 4.0 4.0 4.0 4.3 3.8 3.8 4.3 3.8 4.0 4.0 4.0 -

Ideaal 3.9 4.3 4.1 3.9 3.9 4.4 3.9 3.9 4.4 3.6 4.2 4.1 4.1 4.2

X= ongewogen gemiddelde van de leerlingen van alle 12 docenten. Y= gemiddelde van de 900 leerlingen van 141 docenten in eerder onderzoek.

80

Ideaal 3.9 4.5 4.3 4.1 4.3 4.4 4.3 4.0 4.6 3.8 4.5 4.2 4.3 4.3

Ideaal 3.9 4.0 3.9 3.6 3.3 4.1 3.2 3.6 3.7 3.4 3.9 3.9 3.7 3.9

Ideaal 3.7 4.3 4.1 4.1 4.2 4.4 3.9 3.8 4.3 3.9 4.4 4.3 4.1 4.2

Docenthandelen Nu 5

4,5

4

3,5

3

Subschaal feedback gericht op resultaat Subschaal feedback gericht op proces Subschaal TG geven van feedback Subschaal TG feedback benutten TG volgen van het leerproces

2,5 1

2

3

4

5

6

7

8

9

10

11

12

Figuur 6: Docent handelen nu op de verschillende subschalen

81

Docenthandelen ideaal 5

4,5

4

3,5

3

Subschaal feedback gericht op resultaat Subschaal feedback gericht op proces Subschaal TG geven van feedback Subschaal TG feedback benutten TGVolgenleerproces

2,5 1

2

3

4

5

6

7

8

9

Fig 7: Docenthandelen ideaal op de verschillende subschalen

82

10

11

12

Uit tabel 9 blijkt dat de leerlingen het handelen van hun docenten gemiddeld inschatten tussen ruim 3 en 4,5, maar dat feedback gericht op het proces (tussen 3,1 en 4,2) en het doen benutten van feedback (tussen 2,7 en 4,0) wat lager uitkomen. Figuur 5 maakt duidelijk de verschillen tussen de docenten zichtbaar. Een aantal docenten scoort vrij hoog (docenten 2, 5, 9, 11 en 12). Blijkens Figuur 6 verschilt het ideaal van de leerlingen ook tussen de docenten, maar minder. De Figuren tonen ook dat de docenten op school A onderling het minst verschillen, en die op de scholen B en C het meest. Figuur 5 laat zien dat meer feedback wordt gegeven op het resultaat dan op het proces en dat er nog niet veel aandacht is voor benutten van feedback. De docenten hebben de subschalen geven en benutten van feedback ook zelf ingevuld. Meestal kwam hun gemiddelde aardig overeen met dat van hun leerlingen. Sommige docenten onderschatten hun eigen handelen (1, 2, 3, 9, 11), anderen overschatten dat (vooral 4, 8, ook 5, 7). Veel docenten leggen hun eigen ideaal flink hoger dan hun handelen nu (1-3, 6, 8-12). Over het geheel lijken de leerlingen redelijk tevreden. Dat neemt niet weg dat ze op een aantal punten wel iets meer zouden willen, zie Tabel 10. Dit doet zich bij een deel van de docenten vrij duidelijk voor (de docenten 3, 4, 6 en 8), maar bij een aantal anderen amper (de docenten 1, 9, 10, 11, 12). Tabel 10: Verschillen tussen huidig en gewenst handelen van de docent, gezien vanuit de leerlingen Docent

Subschaal

Subschaal

Subschaal

Subschaal

Taakgebied

(N=aantal

feedback

feedback

taakgebied

taakgebied

volgen van

leerlingen)

op het

gericht op

geven van

feedback

het

resultaat

het proces

feedback

benutten

leerproces

Ideaal - nu

Ideaal - nu

Ideaal - nu

Ideaal - nu

Ideaal - nu

1 2 3 4 5 6 7 8 9 10 11 12

(15) (14) (21) (41) (22) (11) (13) (37) (9) (17) (22) (54)

0.1 0.3 0.4 0.8 0.2 1.0 0.4 0.6 0 0.3 0.1 0.2

0.2 0 0.4 0.7 0.3 1.0 0.5 0.7 0.1 0.1 0 0.1

0.1 0.3 0.4 0.5 0.2 0.5 0.4 0.8 0 -0.1 0.1 0.1

0.1 0.5 0.7 0.6 0.5 1.1 0.4 0.9 -0.2 0.1 -0.1 0

0.1 0.3 0.5 0.4 0.4 0.7 0.2 0.5 0 0 0 0.1

83

Tabel 11: De reacties van de docent in het eindgesprek op de uitkomsten van de leerlingvragenlijsten voor de opname D 1 2 3 4 5 6 7 8 9 10 11 12

Reacties docenten in eindgesprek Leerlingen willen bepaalde manieren van feedback geven graag meer of minder. Docent herkent en onderkent bepaalde dingen, maar wil zeker wel de ontwikkeling van het begrip en de voortgang (blijven) checken Hoge scores op bepaalde uitkomsten bij leerlingen komen volgens docent overeen met sterk focus op vakinhoud; scores van feedback gericht op leerproces zijn iets lager. Docent vraagt zich af wat dit betekent. Docent maakt onderscheid tussen verschillende uitkomsten, waarbij ze bepaalde dingen terzijde legt (was te vroeg in het jaar, of is niet belangrijk), maar ze ziet andere aspecten duidelijk als leerpunten Leerlingen nemen niet zoveel feedback waar. De situatie (grote ruimte, leerlingen nog onvoldoende kennen) is hier debet aan. De docent schat zijn eigen handelen hoger schat dan de leerlingen. Dat behoeft aandacht. Docent geeft op veel manieren feedback, maar de feedback gericht op het proces wordt door leerlingen niet herkend. Docent wil accent verschuiven naar meer vragen stellen en vragen of lln verder kunnen na interactie. Leerlingen willen een aantal manieren van feedback geven meer zien. Docent wijt lagere scores deels aan gebrek aan geschikte opdrachten, deels aan gebrek aan tijd Docent is nog in opleiding en kan idealen niet altijd realiseren door tijdgebrek en doordat er zoveel gebeurt. Ze wil proberen meer grip te krijgen op het volgen van het leerproces als basis voor feedback op maat. Docent was meer met de stof bezig dan met de relatie met de leerlingen. Dit heeft te maken met de groep leerlingen (slechte werkhouding). Strakke aanpak is nodig en beïnvloedt hoe je als docent overkomt. Docent behaalt hoge gemiddelde scores bij leerlingen en ziet daarin bevestiging van het feit dat ze ambitieus is en veel uit de leerlingen wil halen. Ze is blij dat leerlingen haar handelen positief scoren en waarderen. Het ideale handelen van de leerlingen ligt dichtbij het handelen nu, behalve bij het geven van feedback als ze fouten hebben gemaakt. Dit komt op school niet veel voor vanwege het werken met antwoordmodellen. Docent behaalt bij leerlingen hoge gemiddelde scores en is daar blij mee in het kader van het afronden van haar opleiding tot docent. Ze bevestigt dat haar eigen ambities bij het geven van feedback hoog liggen. Het ideaal van de leerlingen ligt dichtbij het handelen nu en ze scoort daarbij relatief hoog. Ze is zelf ambitieus en is blij met de uitkomsten.

* Zie de toelichting op de rechterpagina.

84

A*

B*

C*

D*

x x x x x x x x x x x x

We zagen hiervoor hoe de leerlingen het handelen van hun 12 docenten hebben ingeschat. In het eindgesprek met elke docent zijn de uitkomsten daarvan voorgelegd. De reacties per docent staan samengevat in Tabel 11. De reacties blijken globaal in vier categorieën te kunnen worden verdeeld, met elk drie docenten: A. De docent maakt expliciet eigen keuzes maar trekt ook lering uit het onderzoek. B. De docent verantwoordt zich en verwijst daarbij naar de context (de tijd van het jaar, de opdrachten, de leerlingen, de school). C. De docent ervaart de informatie als bevestigend voor haar kwaliteiten D. De docent ervaart de informatie als enigszins confronterend (het raakt aan eigen twijfel, aan het idee alles onder controle te hebben, of aan een hoge inschatting van het eigen handelen). Als we de hier gemaakte indeling vergelijken met de verschillen tussen het handelen nu en het handelen ideaal volgens de leerlingen, dan blijken de drie docenten in categorie B te behoren tot de docenten die op hun school relatief laag scoren op hun handelen nu (zie Figuur 5) en waarbij het verschil tussen nu en ideaal bij de leerlingen relatief groot is (zie Tabel 10), terwijl de drie docenten in categorie C blijken te behoren tot de docenten die relatief hoog scoren op hun handelen nu (zie Figuur 5) en waarbij het verschil tussen nu en ideaal minimaal is (zie Tabel 10). Het maken van vergelijkingen tussen de tot dusver gepresenteerde gegevens kan nog iets verder worden doorgetrokken. De vijf docenten die blijkens Figuur 5 relatief hoog scoren op hun handelen nu volgens de leerlingen, zijn allen docenten die in hun concept map hebben laten zien dat zij feedback opvatten als een proces (zie Tabel 7). Ook lijkt er enige relatie te zijn met het aandacht schenken aan voorwaarden en doelen van affectieve aard en het benadrukken van de eigen inbreng van de leerlingen (zie de Tabellen 7 en 8). Tot zover alle gegevens die zijn verzameld voorafgaand aan het maken van video-opnamen bij de 12 docenten en hun leerlingen. Die opnamen komen nu aan bod: de opgenomen situaties en de taken waaraan de leerlingen werkten (tabel 12), de intenties en percepties van de docent in deze situatie zoals verwoord in het interview na de opname (tabel 13), de scoring door de onderzoekers op basis van observaties van de gemaakte opnamen van een aantal concrete feedbackgedragingen van de docent (tabel 14), en de percepties van de leerlingen van die feedback (tabel 15).

85

Tabel 12: Taken en doelen in de opgenomen situaties en de self-efficacy en motivatie van de leerlingen t.a.v. de taak (vragenlijst leerlingen voorafgaand aan de opname)

D

vak

Type taak

Doel van de les / de tijd op het leerplein

1 2 3 4 5 6 7 8 9 10 11 12

Wisk. Gesch. Engels Latijn Bio. Econ. Frans Wisk. Techn. Econ. Econ. Engels

Werken aan opgaven uit boek Schema invullen (pittig) Folder, script, presentatie Vertaling en werkblad maken Werken aan opdrachten (pittig) Werken aan opgaven uit boek Oefenen voor presentatie Werken aan opgaven uit boek Model transportmiddel maken Werken aan opdrachten Werken aan opdrachten Werken aan opdrachten

Toepassen gebruik grafische rekenmachine Begripsontwikkeling, categorisering Informatie zoeken, spreken, samenwerken Leren vertalen en inhoud begrijpen Opdrachten afmaken of bespreken resultaat Toepassen nieuwe kennis en regels Oefenen van de uitspraak Bespreken van gemaakte toets Afmaken model transportmiddel (laatste les) Gelegenheid tot vragen stellen voor toets Gelegenheid na te praten over de stage Gestructureerd werken aan opdrachten

Gegevens leerlingen vooraf Self-efficacy Motivatie t.a.v. de t.a.v. de taak taak (1-7) (1-7); (N ) A B C D 5.0 (19) 4.0 4.8 4.6 3.8 4.8 (17) 4.1 5.0 4.9 3.2 5.2 (22) 3.9 5.1 5.2 2.8 4.6 (48) 3.6 4.7 4.1 3.2 5.2 (21) 4.9 5.0 4.3 2.5 4.8 (13) 3.8 4.8 4.1 2.6 6.0 (15) 4.7 5.2 4.8 2.5 4.8 (39) 3.4 4.6 4.8 3.5 6.5 (9) 6.2 5.3 4.8 2.5 4.9 (19) 4.6 5.2 4.4 3.5 * 5.4 (23) 4.8 5.7 4.8 2.6 5.4 (71) 5.1 5.2 5.1 4.0

A= intrinsieke motivatie; B= geïdentificeerde regulatie; C= externe regulatie; D= amotivatie. * gegevens betreffen niet dezelfde groep leerlingen als bij de opname

86

Tabel 12 biedt een overzicht van de activiteiten waarmee de leerlingen bezig waren tijdens de gemaakte video-opnamen. Soms ging het om het maken van opgaven uit het boek (bij wiskunde en economie, docenten 1, 6, 8). Bij de meeste andere docenten werkten leerlingen aan een opdracht die door de docent zelf was gemaakt. In enkele gevallen ging het om opdrachten waarbij leerlingen samenwerkten of elkaar hielpen (docenten 3 en 9), voor het overige werkten de leerlingen individueel. Bij een aantal docenten was het overigens gebruikelijk of werd door de docent verwacht dat leerlingen elkaar raadpleegden als ze ergens niet uit kwamen (alvorens het aan de docent te vragen). De aard van de taak c.q. het doel van de activiteit had meestal zowel te maken met het (verder) ontwikkelen van kennis als met het toepassen daarvan en het oefenen van procedures en vaardigheden (kennis en vaardigheden zijn vaak nauw verweven). De helft van de taken bestond uit het uitwerken van antwoorden of oplossingen op papier. Daarnaast kwamen voor: het gebruiken van een grafische rekenmachine (docent 1), het in groepjes bespreken van de opzet van een presentatie (docent 3), het maken van een tekening van een cel die was bekeken door een microscoop (docent 5), het oefenen van de uitspraak van woorden in een vreemde taal (docent 7), het maken van een driedimensionaal model van een transportmiddel (docent 9) en het bespreken van ervaringen tijdens een stage (docent 11). In enkele situaties ging het om het nabespreken van een gemaakte toets. Het zelfvertrouwen (self-efficacy) van de leerlingen ten aanzien van de taak en de motivatie voor de taak liepen uiteen, zowel per taak tussen de leerlingen als gemiddeld tussen de taken. Dit laatste is zichtbaar gemaakt in Tabel 12. De self-efficacy was gemiddeld het hoogst voor het uitspreken van woorden in een vreemde taal en het maken van een model van een transportmiddel, terwijl die voor de andere taken elkaar niet veel ontliepen. De motivatie was gemiddeld het hoogst (meest instrinsiek) voor het maken van het model en het laagst voor het bespreken van een gemaakte toets bij wiskunde. De laatste situatie betrof een groep leerlingen waarmee na een eerdere periode van slecht werken heel strakke afspraken waren gemaakt. De self-efficacy en de motivatie vertonen geen duidelijk verband met het vakgebied en ook niet met het schooltype (niet in deze tabel weergegeven). Wat waren volgens de docenten de problemen waar de leerlingen tegen aan liepen, wat beoogden ze met de feedback die zij gaven en waarmee hielden ze daarbij rekening? Daarover gaan de nu volgende tabellen 13A en 13B.

87

Tabel 13A: Intenties en percepties van leerlingengedrag door de docent en zelfreflectie in stimulated recall interview over de opname D 1

2

3

4

5

6

88

Het probleem van de leerling Niet begrijpen van de aanpak of het gebruik van de rekenmachine Betekenis van begrippen, onduidelijke instructie, controle antwoorden Iets was niet duidelijk, samenwerking lukte niet docent checkte voortgang Vertaling lukt niet; samenhang is onduidelijk Controle op voortgang; vraag over aanpak Nabespreking opdracht, vragen over stof of aanpak

Begrip van de stof, moeite met lezen tekst, aanpak

Intentie van de docent Doorvragen om lln. zelf te laten nadenken; stap voor stap uitleggen, geven van concrete voorbeelden Probeert open vragen te stellen, maar gaat snel over op sturende vragen en uitleg geven. Wil leerlingen laten nadenken en begrippen verduidelijken Leerlingen zelf problemen laten oplossen en prioriteiten laten stellen. Verduidelijken bij problemen. Bemoedigen, stimuleren ergens trots op te zijn Lln. activeren en op goede spoor zetten; niet teveel weggeven. Bewust maken van denkfouten. Logisch nadenken stimuleren. Confronteren (werkhouding). Leerling zelf werk laten beoordelen Manier van werken laten begrijpen en laten leren van fouten. Stimuleren eerst bij anderen hulp te vragen. Dingen concreet maken en verbanden leggen tussen hoofdstukken Wil d.m.v. stellen van vragen lln. naar juiste antwoord leiden, geeft hints, tips en corrigeert. Wil dat lln. denkstappen gaan maken. Benoemt verwachtingen en eisen

Basis voor de reactie Niveau, mate van zelfvertrouwen, profielkeuze van de leerlingen Sluit aan bij niveau Zet in op relatie en de zwakkere leerlingen

Effect bij de leerling Meer begrip

Reden afronding interactie Als is gecheckt of leerling het heeft begrepen

Meer begrip Bevestiging

Zelfvertrouwen van een leerling. Stem en intonatie van de leerling. Eisen van de opdracht. Niveau, snelheid in denken, mate van zelfvertrouwen, aanspreekbaarheid leerling. Relevantie vraag Niveau, mate van concentratie of zelfvertrouwen, relatie, specifieke problemen, bieden van uitdaging Type, aard en problematiek van de lln., behoeften relatie met de leerlingen

Weer zelf verder kunnen

Als leerling het begrepen heeft of de goede vragen stelt. Wil ook tijd verdelen Als ze het gevoel heeft dat leerlingen zelf weer verder kunnen

Meer begrip, weer verder kunnen of aan de slag gaan Meer begrip, weer verder kunnen, evt samen met anderen Meer begrip en inzicht bij leerling

Als het duidelijk is of als de leerling verder kan. Als leerlingen te veel achterlopen. Niet direct helpen. Als de leerling het begrepen heeft en verder kan. Als de leerling het eens is met hem (en niet gaat zitten mokken) Als leerling het begrepen heeft (let op blik). Checkt begrip bij twijfel

Zelfreflectie Soms vanwege tijdsdruk iets meer sturend dan hij zou willen. Wil graag op maat lln bedienen Neemt dingen snel over, gaat snel uitleggen. Leerpunt: leerlingen stimuleren door meer vragen te stellen Neemt rust en tijd voor lln; doet stapje terug. Leerpunt: soms luistermoment inlassen, minder direct reageren Leerpunt: soms ook alleen bevestiging geven. Mogelijk andere aanpak van moeilijk bereikbare leerlingen Niet te streng kijken

Aanpak en leggen van relaties is anders bij vmbo dan bij vwo leerlingen. Is benieuwd naar ervaring anderen

Tabel 13B: Intenties en percepties van leerlingengedrag door docenten en zelfreflectie in stimulated recall interview op gedrag opname D 7

8

9

10

11

12

Het probleem v.d. leerling Uitspraak Frans, schrijffouten Fouten in een gemaakte toets, aanpak Planning, werkstuk afmaken, ontevredenheid met resultaat Begrip, extra oefening, navraag stof komende toets Delen van goede/minder goede stage ervaringen Begrip, werkhouding

Intenties van de docent Wil uitspraak horen en verbeteren. Wil dat leerlinge fonetisch aantekeningen maken en oefenen Wil ingaan op wat goed ging en aanhaken bij probleem. Hakt som in stukjes en stelt vragen. Diept probleem uit. Benoemt stappen Leerling leren keuzes te maken, prioriteiten te stellen, dingen in perspectief te plaatsen, eigen werk te beoordelen, samen te werken Wil leerlingen denkstappen laten zetten en zelf tot het goede antwoord laten komen. Stimuleert uitleggen aan elkaar. Benadrukt dat fouten maken mag. Besteedt bewust aandacht en tijd aan lln. Benoemt en geeft ruimte aan emoties, bevestigt, geeft tips, wil lln. positief benaderen. Probeert lln. op goede spoor te zetten. Geeft tips en plaatst dingen in context. Stimuleert samenwerking, begrenst negatief gedrag

Basis voor de reactie Relatie, gedrag leerling, uitdaging

Effect bij de leerling Verbeterde uitspraak

Begrip leerling, mate van zelfvertrouwen, voortgang Fase in proces, thuissituatie, mate van zelfvertrouwen, problematiek van de leerling Niveau, werkhouding en taakgerichtheid

Meer begrip en inzicht

Type leerling, emoties, situatie, doel Niveau, mate van zelfvertrouwen, problematiek, relatie

Begrip over opties of antwoord op vraag Meer begrip en inzicht door extra uitleg en herhaling Ruimte voor leren doordat emoties afnemen Serieus aan het werk, begrip, zelfvertrouwen

Reden afronding interactie Als uitspraak goed is en leerlingen verder kunnen Als leerling het begrepen heeft (let op blik en houding). Checkt begrip Als leerling het begrepen heeft. Laat leerling soms echt zelf keuzes maken en wacht af Als leerling het begrepen heeft (let op de ogen) of verder kan. Checkt begrip bij twijfel Als het genoeg is of ze niet verder komt of als lln verder kunnen Als leerling verder kan of echt niet wil. Rondt interactie soms niet af

Zelfreflectie

Ruimte geven aan verhalen en emoties schept een band. Soms staat ook de inhoud centraal

89

Uit de tabellen 13A en 13B blijkt dat het probleem van de leerling dat aanleiding was voor de feedback, er steeds op neerkomt dat de leerling iets niet begrijpt, iets onduidelijk vindt of ergens mee vastloopt. Dat wat er niet duidelijk is, kan variëren: de betekenis van een begrip, de gegeven instructie, de te kiezen aanpak, een probleem tijdens de uitvoering, de planning. De docent kan ook uit zichzelf reageren, door te letten op de voortgang, het resultaat, gemaakte fouten, of de ervaring of beleving van de leerling. Gevraagd naar de intenties van de docent, komt een soortgelijke reeks intenties en activiteiten naar voren als eerder al in de tabellen 7 en 8: activeren, stimuleren, zelfstandigheid bevorderen, uitleggen, voordoen, voorbeelden geven, vragen stellen, bewustmaken, verbanden leggen, bevestigen, etc. Docenten blijken over een uitgebreid repertoire te beschikken en daarover te kunnen rapporteren. In hun feedback houden ze rekening met het niveau van de leerling, zijn of haar mate van zelfvertrouwen, de persoon van en de persoonlijke relatie met de leerling, de specifieke situatie of problemen van de leerling, de uitdaging die de leerling nodig heeft of aankan, de werkhouding, taakgerichtheid en concentratie, en soms worden ook het doel of de eisen van de opdracht genoemd. (Dit correspondeert met de antwoorden die de docenten gaven op de soortgelijke vraag over waar ze bij het geven van feedback rekening mee houden in de lijst met open vragen die ze eerder in het onderzoek hebben beantwoord). De effecten bij de leerling die de docenten beoogden, hebben vaak betrekking op toename van begrip of inzicht en het “weer verder kunnen” van de leerling. Soms worden ook genoemd bevestiging, zelfvertrouwen, afname van emoties die het leren in de weg staan. De redenen die worden genoemd om de interactie met een leerling af te ronden, zijn hiermee in overeenstemming: als de docent de indruk heeft dat de leerling het heeft begrepen, en als de leerling weer verder kan. Ook geven docenten aan dat ze de beschikbare tijd over de leerlingen willen verdelen. Docenten vinden het niet altijd eenvoudig te bepalen of de leerling het heeft begrepen (en weer verder kan); een aantal docenten meent dit te kunnen zien aan de blik en houding van de leerling, maar meerdere docenten zeggen ook actief te checken of de leerling het echt heeft begrepen. De helft van de docenten bracht tijdens het interview na afloop van de opname, tijdens welk gesprek een aantal fragmenten uit de opname werden bekeken, naar aanleiding van hetgeen werd besproken spontaan enkele persoonlijke reflecties in. Enkele docenten gaven aan dat zij vanwege tijdsdruk soms iets meer sturend waren dan zij zelf zouden willen of geneigd 90

zijn snel dingen over te nemen en (weer) te gaan uitleggen. Enkele andere docenten reflecteerden op de verschillen tussen vmbo- en vwo-leerlingen of op de balans tussen aandacht voor emoties en de onderlinge band en aandacht voor de inhoud. Verschillende docenten formuleerden een leerpunt voor zichzelf: leerlingen meer vragen stellen, meer luisteren en minder direct reageren, soms alleen bevestigen in plaats van kritisch zijn. De meeste van de hiervoor genoemde docenten die spontaan enkele reflecties inbrachten, bleken eerder (zie de tekst boven Tabel 10) hun eigen handelen tijdens het geven van feedback te onderschatten, vergeleken met de inschattingen van hun leerlingen, en/of hun eigen ideaal flink hoger te stellen dan hun eigen inschatting van hun huidige handelen. Het lijkt erop dat deze docenten er op zijn gericht dingen beter te doen dan ze nu doen. De gegevens die voortkomen uit de observaties door de onderzoekers van de eerste vijf fragmenten per docent, zijn opgenomen in de hierna volgende tabellen 14A t/m 14D.

91

Tabel 14 A: Gedrag van docenten: uitkomsten observatieformulier docentenactiviteiten bij het geven van mondelinge feedback tijdens zelfstandige werken: Resultaatgerichte feedback (over 5 fragmenten per docent) Docent Resultaatgerichte feedback Aangeven of bevestigen Zonder informatie wat er tot nu toe correct of waarom iets goed is succesvol is idem Met informatie waarom iets goed is Geven van suggesties wat Zonder informatie er beter kan / wat nog waarom iets ontbreekt of ontbreekt / wat (nog) fout is fout is Idem Met informatie waarom iets fout is of ontbreekt Aangeven wat de goede Zonder informatie oplossing is waarom Idem Met informatie waarom

1

2

3

4

5

6

7

8

9

10

11

12

3

3

4

5

4

3

4

4

5

3

3

5

46

3

5

2

1

3

3

2

1

3

2

2

27

3

2

2

2

4

4

4

3

2

1

3

2

32

3

2

2

2

4

4

4

3

2

1

1

2

30

2

4

2

2

1

3

2

1

1

2

20

2

4

2

2

1

2

2

1

1

1

18

1

3

2

3

1

2

2

3

20

21

17

12

22

17

21

11

17

193

Aangeven wat de standaard is waaraan moet worden voldaan Subtotaal

92

16

3 15

17

7

Tot.

Tabel 14 B: Uitkomsten observatieformulier docentenactiviteiten bij het geven van mondelinge feedback tijdens zelfstandige werken: Procesgerichte feedback (over 5 fragmenten per docent) Docent Procesgerichte feedback De leerling stimuleren of vragen het probleem preciezer te omschrijven of te analyseren Vragen naar wat de leerling al heeft gedaan of hoever deze is Vragen naar bepaalde kennis Stellen van open vragen die het denkproces bij de leerling stimuleren Het probleem verhelderen en/of vereenvoudigen door het op te delen in stappen Geven van hints, cues, prompts, voorbeelden Geven van suggesties hoe het beter kan Voordoen van de aanpak, het probleem oplossingsproces (modelleren) Vragen of iets duidelijk c.q. begrepen is

1

2

3

1

4

1

3

1

6

7

8

9

10

11

12

Tot.

3

3

2

2

1

17

3

1

3

1

29

4

1

5

28

3

1

3

4

3

1

1

5

2

2

1

3

2

2

2

4

4

3

4

4

3

3

1

3

3

2

2

5

37

4

2

2

2

2

3

4

5

3

3

3

33

3

4

3

4

3

5

1

5

4

2

4

38

1

2

4

1

1

1

2

2

1

1

2

2

20

1

2

2

1

1

3

1

3

1

3

1

2

3

3

2

1

16

20

17

9

28

23

18

22

237

4

1 Subtotaal

5

22

14

20

23

21

19

93

Tabel 14 C: Uitkomsten observatieformulier docentenactiviteiten: Geven van aanvullende instructie en overig (over 5 fragmenten per docent) Instructie

Docent

1

2

Verduidelijken of aanvullen van de gegeven instructie

3

4

5

1

6 1

1

2

4

4

1

2

2

2

1

2

Uitleg geven over een aanpak om tot een oplossing te komen

4

1

4

5

4

4

1

9

7

1

3

1

1

Subtotaal

8

3

Een begrip uitleggen

1

7

2

9 1

10

11

12

13

4 3

4

3

1

8

4

8

Tot.

3

21 21

3

55

1

3

14

Overig Feedback geven op gedrag

2

Bemoedigende opmerking maken

1

2

1

3

2

2

Subtotaal

2

1 3

2

1

1

2

2

2

12

3

2

3

5

26

10

11

12

Tot.

Tabel 14 D: Uitkomsten observatieformulier docentenactiviteiten: Totalen per categorie en overall (over 5 fragmenten per docent) Docent

1

2

3

4

5

6

7

8

9

Subtotaal categorie Resultaatgerichte feedback

16

21

17

12

22

17

21

15

17

7

11

17

193

Subtotaal categorie Procesgerichte feedback

22

14

20

23

20

17

9

28

21

23

18

22

237

8

6

6

4

11

8

2

11

6

8

3

8

81

45

41

43

39

53

42

32

54

44

38

32

47

511

Subtotaal categorieën Instructie + overig Totaal

94

Tabel 14A geeft weer hoe vaak de docenten in de gescoorde vijf fragmenten zeven resultaatgerichte vormen van feedback hebben laten zien. Het vaakst komt voor het aangeven of bevestigen van wat goed gaat of is (gemiddeld in 4 fragmenten per docent), het minst vaak wordt aangegeven wat de goede oplossing is of wat de standaard is waaraan moet worden voldaan (gemiddeld in 1,5 fragment per docent). Het geven van suggesties wat er beter kan zit hier tussenin (gemiddeld in 2,5 fragmenten per docent). De docenten verschillen in hoe vaak zij deze vormen van resultaatgerichte feedback hebben gegeven: van 7 keer in vijf fragmenten tot 22 keer. Met name de docenten op school D geven niet veel resultaatgerichte feedback. Tabel 14B betreft negen vormen van procesgerichte feedback. Daarvan komen het vaakst voor het geven van hints, cues, prompts en voorbeelden, en het stellen van open vragen die het denkproces bij de leerling stimuleren (beide gemiddeld in bijna 3 fragmenten per docent), en het minst vaak het voordoen van de aanpak (modelleren), het de leerling stimuleren of vragen het probleem preciezer te omschrijven of te analyseren, en het vragen of iets duidelijk is c.q. begrepen (alle drie gemiddeld in 1,5 fragment per docent). Ook hier verschillen de docenten, van 9 keer in vijf fragmenten tot 28 keer. Als procesgerichte vorm van feedback was aanvankelijk ook onderscheiden het geven van suggesties en/of voordoen van manieren om als leerling het proces zelf te monitoren en tussentijds te evalueren. Deze vorm kwam ongeveer 17 keer voor, dus gemiddeld in 1,5 fragment per docent, maar bleek niet voldoende eenduidig scoorbaar en is daarom weggelaten. Alle 16 gescoorde vormen van resultaatgerichte en procesgerichte feedback blijken regelmatig tot vaak voor te komen. Het getoonde repertoire per docent varieert tussen 13 en 16 vormen, en is dus breed te noemen. De interactie rond de feedback mondde regelmatig uit in het verduidelijken of aanvullen van de gegeven instructie (gemiddeld in 1 fragment per docent), het uitleggen van een begrip of het uitleg geven over een aanpak (beide gemiddeld in bijna 2 fragmenten per docent). Ook werd regelmatig feedback gegeven op het gedrag van een leerling, of werd een expliciet bemoedigende opmerking gemaakt (beide in gemiddeld 1 fragment per dcoent). Een en ander verschilde tussen de docenten (Tabel 14C). Diverse onderscheiden feedbackvormen bleken regelmatig samen voor te komen, elkaar af te wisselen of makkelijk in elkaar over te gaan. Dit verschilt enigszins per vak en type taak, maar is niet systematisch onderzocht. Tabel 14D vat de totalen per docent en categorie feedbackvorm samen. De docenten gaven iets vaker procesgerichte dan resultaatgerichte feedback. Hoe namen de leerlingen de feedback waar? Dat beschrijven we nu.

95

Tabel 15: Perceptie van de feedback per docent (vragenlijst leerlingen direct na de opname; 1= helemaal niet, 5= helemaal wel). Docent

1

2

3

4

5

6

7

8

9

10

11

12

Gem.*

Aantal leerlingen (N)

18

18

21

21

10

6

5

5

15

4

8

5

135

1. De feedback was duidelijk

4.3

4.8

4.0

4.4

4.8

4.7

3.4

4.8

4.3

4.3

5.0

4.6

4.5

2. Ik vond de feedback terecht

4.5

4.7

3.9

4.4

4.5

4.5

4.0

4.8

4.1

4.0

3.9

4.6

4.3

3. De feedback ging over wat goed ging of goed was gegaan

4.8

4.5

3.1

3.5

3.8

4.5

3.6

3.8

4.1

3.8

4.7

4.8

4.1

4. De feedback ging over wat nog niet goed was of ging

3.1

3.5

4.1

3.6

4.2

2.7

2.4

4.4

3.8

2.3

3.1

3.8

3.4

5. De feedback gaf precies aan wat goed ging, anders moest

4.2

3.8

3.5

3.7

4.1

4.5

3.2

4.2

4.1

2.8

3.6

4.6

3.9

6. De feedback kwam positief over

4.6

4.4

3.9

4.0

4.2

5.0

3.4

4.8

4.5

4.0

4.3

4.8

4.3

7. De feedback kwam negatief over

1.4

2.1

2.1

1.9

1.8

1.0

2.4

1.2

1.5

2.8

1.9

1.0

1.8

8. De feedback ging over de uitvoering van de opdracht

4.2

4.3

4.1

3.7

4.1

3.8

4.0

4.2

3.9

4.3

4.7

5.0

4.2

9. De feedback ging over de aanpak van de opdracht

3.6

4.4

4.1

3.9

3.1

3.8

3.2

4.6

3.6

4.3

3.1

4.8

3.9

10. De feedback ging over mijn werkhouding

2.8

2.4

2.3

2.5

1.4

1.0

1.4

2.0

2.3

3.0

3.6

4.6

2.4

11. De feedback ging over mijn persoon

2.1

2.2

2.0

1.7

2.0

1.0

2.0

2.0

2.1

3.0

4.5

3.6

2.4

12. De feedback ging over de samenwerking

3.6

2.9

3.9

1.8

1.7

1.3

1.6

2.0

3.0

2.3

2.5

4.5

2.6

13. De feedback ging over wat ik al had gemaakt

2.8

3.2

3.3

2.8

4.0

1.0

3.4

4.4

2.9

4.0

2.4

4.4

3.2

14. De fb maakte duidelijk waaraan opdracht moest voldoen

3.3

4.4

3.8

3.2

3.9

3.7

3.8

4.6

4.1

4.3

3.3

4.8

3.9

15.De feedback motiveerde me om verder te werken

3.7

3.8

3.5

3.4

3.4

3.8

2.8

4.2

4.3

3.8

3.0

4.6

3.7

16. De feedback was leerzaam

4.3

4.4

3.8

4.1

4.3

5.0

3.4

5.0

4.4

4.0

3.8

4.6

4.3

17. De feedback was bruikbaar

4.4

4.3

3.9

3.9

4.6

5.0

3.6

4.6

4.5

4.3

3.3

5.0

4.3

18. Door de fb. wist ik wat te doen om verder te kunnen

4.1

4.2

4.0

3.5

3.2

5.0

4.0

4.0

4.3

4.0

3.5

4.6

4.0

19.De feedback gaf me de kans mijn werk te verbeteren

4.1

4.0

3.8

3.9

4.3

5.0

4.4

4.4

4.5

3.3

3.4

5.0

4.2

20. Met fb gaf de leraar suggesties om mezelf te verbeteren

3.0

4.1

3.6

2.7

3.4

4.3

3.8

4.4

3.9

3.3

3.7

4.6

3.7

* gemiddelden zijn gewogen gemiddelden

96

Uit Tabel 15 blijkt dat de leerlingen over het geheel genomen positief zijn over de feedback die ze van hun docenten kregen. De feedback werd vaak duidelijk en terecht gevonden, leerzaam en bruikbaar, en leerlingen wisten vaak wat te doen om verder te kunnen en kregen de kans hun werk te verbeteren. De feedback kwam vaak positief over, en niet vaak negatief. De feedback ging gemiddeld iets vaker over wat goed was of goed ging, dan over wat nog niet goed was of goed ging, maar dit verschilde wel tussen docenten. Bij een aantal docenten lag het accent op het benoemen van wat goed was (de docenten 1, 2, 6, 7, 10, 11, 12), bij enkele anderen meer op het aangeven van wat niet goed was (de docenten 3 en 8). De feedback ging vrij vaak over de uitvoering van de opdracht (het meest bij de docenten 11 en 12). De standaard (waar de opdracht aan moest voldoen) werd door drie docenten (2, 8 en 12) meer benadrukt dan door de anderen. De feedback ging niet vaak over de eigen persoon of werkhouding, behalve bij de docenten 11 (die met individuele leerlingen sprak over hun stageervaringen en leerlingen die het moeilijk hadden gehad bevestigde en ondersteunde in wat ze goed hadden gedaan) en 12 (die te maken had met een klas waarmee strakke afspraken hadden moeten worden gemaakt). Al met al had de feedback bij elke docent gezien vanuit de leerlingen een eigen “profiel”. De uitspraken over acceptatie en bruikbaarheid (9 items: 1-3, 5, 6, 16-19) vormden een betrouwbare schaal (Tabel 16). Deze beoordeling door de leerlingen van de feedback varieerde van gemiddeld 3,6 tot 4,8. Tabel 16: Percepties van de acceptatie en bruikbaarheid van de feedback Docent 1 2 3 4 5 6 7 8 9 10 11 12

Acceptatie en bruikbaarheid α N Gem. Sd. .78 16 4.3 .52 .60 18 4.3 .37 .68 20 3.8 .38 .67 21 3.9 .59 .77 9 4.1 .66 .47 6 4.8 .20 .84 5 3.7 .79 neg. 5 4.5 .20 .91 15 4.3 .59 .76 4 3.8 .71 .92 5 3.6 1.23 .86 5 4.7 .42

Nu gaan we in op de reacties van de docenten op deze gegevens (tabel 17).

97

Tabel 17: Reacties docent in eindgesprek op scoring geobserveerde gedrag (v.o.) en percepties van de leerlingen (vr.l) D 1

2

3

4 5 6 7

8

9

10 11 12

98

Reacties op de scoring (observaties) van de eerste 5 fragmenten uit de gemaakte opnamen Hij zegt niet vaak waaraan het werk moet voldoen en wil dat meer bewuste aandacht geven. Hij stimuleert leerlingen niet veel om zelf het probleem te omschrijven. Hij zou meer kunnen doorvragen waar het probleem zit (v.o) Hij vindt het fijn en belangrijk te zien dat leerlingen de feedback als heel positief ervaren (vr.l) Hij ziet bevestigd dat hij inhoudelijk gericht is. Hij vertelt graag en vindt dat zelf niet verkeerd (v.o.). De feedback wordt door de leerlingen positief gewaardeerd. Hij concludeert dat dit aan inhoud is gerelateerd. De gemiddelden op de items gericht op het proces zijn lager. Hij vindt dit contrast opvallend (vr.l.) Ze wil leerlingen stimuleren met eigen oplossingen te komen; daardoor past het niet bij haar om een aanpak voor te doen (te modelleren). Ze bevestigt vaak dat iets wel of niet goed is en stelt vervolgens een vraag of geeft een suggestie i.p.v. aangeven waarom iets wel of niet goed is. (v.o.). Zij vindt het fijn en belangrijk te zien dat leerlingen de feedback als positief ervaren (vr.l) Leerlingen geven aan (vragenlijst vooraf en achteraf) dat hij niet zo vaak feedback geeft op het proces, terwijl dit uit de video-opname juist wel blijkt. Kennelijk ervaren de lln. de feedback niet op die manier (v.o. en vr.l) Hij geeft voortdurend feedback, op allerlei manieren en heeft een breed arsenaal tot zijn beschikking. Hij is tevreden over het feit dat hij zijn verwachtingen en de standaard helder aangeeft (v.o.) Meer nagaan of leerlingen iets kunnen met de gegeven feedback lijkt hem zinvol (vr.l.). Hij is blij dat hij in zijn feedback een breed repertoire ziet dat in lijn is met wat hij beoogt (v.o.) Ze geeft aan dat ze niet veel procesgerichte feedback heeft gegeven, maar dat dit komt door de taak (feedback op uitspraak) (v.o.) Ze heeft wel feedback gegeven op wat nog niet goed was of niet goed ging, maar dit wordt door de leerlingen minder herkend. Mogelijk geeft ze dermate vriendelijk feedback dat leerlingen dat niet als zodanig herkennen (vr.l.) Ze vindt het verheugend te zien dat de feedback die ze gegeven had niet eenvormig was, wat wel had kunnen worden verwacht gezien de specifieke situatie (individueel nabespreken van een toets), maar dat juist een breed repertoire zichtbaar wordt (v.o). Ze is blij dat de gegeven feedback positief wordt ontvangen, maar vindt het contrast met de uitkomsten uit de vragenlijst vooraf opmerkelijk (vr.l.). Ze stelt vast dat ze minder aandacht geeft aan kennis, ze kiest er bewust voor leerlingen veel te laten doen. Ze vraagt niet vaak of een leerling iets heeft begrepen, maar gaat daarvan uit en gaat dan weer door (v.o.). De feedback ging weinig over wat leerlingen hadden gemaakt, maar had betrekking op het afmaken van het werkstuk, gezien het naderende einde van de betreffende lessenserie (vr.l) Hij herkent zijn handelen duidelijk: alles stap voor stap opbouwen, zien waar de moeilijkheden liggen voor leerlingen en ingangen proberen te vinden waardoor ze verder kunnen (v.o.). Hij zet leerlingen graag aan het werk en geeft tips, maar dat vinden ze niet altijd even leuk (vr.l.) Ze herkent dat ze vaak benoemt wat goed gaat en doet dat heel bewust. Dit is voor leerlingen het vertrekpunt om te gaan werken aan wat nog niet goed gaat. Leerlingen krijgen inzicht in wat ze al wel kunnen en energie om aan de mindere punten te werken (v.o. en vr. l.). Ze herkent haar repertoire. Als ze haar eigen vak geeft (biologie) is ze wel gewend de feedbackactiviteiten die ze nu niet of minder doet te gebruiken (bijv.: voordoen van een aanpak, verduidelijken van de gegeven instructie, uitleg geven over een aanpak om tot een oplossing te komen (v.o.). Ze ervaart de hoge scores op de vragenlijst achteraf als een mooi compliment, zeker gezien de categorie leerlingen (vr.l.)

Zoals we hiervoor hebben gezien, zijn er verschillen tussen de docenten in het feedbackgedrag dat zij hebben laten zien tijdens de situaties die zijn opgenomen en door de onderzoekers zijn geobserveerd en gescoord, en in de percepties van hun leerlingen van de feedback die zij hadden verkregen. In de individuele eindgesprekken met de docenten zijn de eigen uitkomsten aan hen voorgelegd, en hun reacties daarop verschilden ook. Dit is te zien in Tabel 17, waarin hun voornaamste opmerkingen zijn samengevat. Deze kunnen als volgt worden getypeerd. Op het gedragsrepertoire zoals door de onderzoekers gescoord (zie ook de tabellen 14A t/m 14 D) reageerden drie docenten tevreden (de docenten 5, 6 en 8): zij zagen een breed repertoire en waren daar blij mee. Drie docenten herkenden hun handelen in het repertoire zoals gescoord, zagen dit als bevestiging van hun eigen handelen zoals zij dat kennen en zien (de docenten 2, 10 en 12). Vier docenten constateerden dat zij bepaalde vormen van feedback vaak of juist relatief weinig toepassen, herkenden dat ook, en gaven daarvoor een verklaring of nadere uitleg (de docenten 3, 7, 9 en 11). Deze uitleg kwam er steeds op neer dat ze zich deze accenten bewust zijn en daar ook redenen voor hebben. Eén docent (4) signaleerde dat de uitkomsten van de observatie door de onderzoekers vrij veel procesgerichte feedback laat zien, terwijl de leerlingen in zowel de vragenlijst vooraf als de vragenlijst direct na afloop (zie de tabellen 9 en 15) juist aangaven dat hij weinig zulke feedback geeft. Kennelijk nemen zijn leerlingen niet al zijn procesgerichte feedback waar of nemen zij deze niet op die manier waar. Ten slotte was er nog een docent (1) die in de observatiegegevens zag dat hij een paar vormen van feedback niet vaak toepast en zich voornam daaraan meer aandacht te gaan geven. Op de percepties van de leerlingen van de verkregen feedback (zie ook tabel 15) reageerden vijf docenten positief (1, 3, 8, 11, 12): zij waren daar blij mee en/of zagen dat als bevestiging van hun keuzen. Eén van hen (8) is blij dat de feedback door de leerlingen positief is ontvangen, maar vindt het contrast met de uitkomsten van de vragenlijst vooraf opmerkelijk. Drie docenten konden de uitkomsten van deze perceptievragenlijst niet meteen verklaren: de leerlingen namen niet veel procesgerichte feedback waar (docenten 2 en 4), resp. niet veel feedback op wat nog niet goed was (docent 7). Kennelijk herkenden (deze) leerlingen zulke feedback niet altijd. Twee docenten stelden vast dat de leerlingen niet alle kenmerken van hun feedback waarderen (docenten 9 en 10) maar zagen dit niet als probleem (hun gedrag was in hun ogen functioneel). Eén docent (6) heeft in het eindgesprek niet op de uitkomsten van de vragenlijst achteraf gereageerd.

99

Tabel 18 A: Typering docent door onderzoekers en reactie van docent tijdens eindgesprek, en aanbevelingen in verslag D

Typering docent door onderzoekers tijdens eindgesprek

Reactie van de docent tijdens eindgesprek

Aanbevelingen in het verslag

1

Duidelijk focus op zowel de vakinhoud als het contact met de leerling. Stelt veel vragen en streeft ernaar dat leerlingen zoveel mogelijk dingen zelf bedenken. Houdt rekening met de leerling die hij voor zich heeft en speelt in op verschillen

Herkent zich in de omschrijving. Geeft aan veel onbewust te doen. Pas als het even niet loopt, wordt hij zich bewust van de situatie. Hij is blij te horen dat de feedback bij leerlingen positief overkomt.

2

Duidelijk focus op de vakinhoud. Heeft per les een inhoudelijk doel, waarbij het erom gaat dat de leerlingen de stof begrijpen. Geeft korte instructie zodat de leerlingen vrij snel zelf aan het werk kunnen. Wil vervolgens graag zicht hebben op waar ze tijdens het werken mee bezig zijn en of ze het begrijpen. Daartoe loopt hij rond en stelt hij vragen. Zodra hij merkt dat de betreffende stof nog te moeilijk of te omvangrijk is, schakelt hij terug naar meer basale zaken of maakt hij kleinere stappen. Als hij vindt dat iets ook voor de andere leerlingen van belang is, pakt hij het klassikaal terug. Volgens de onderzoekers richt de docent zich duidelijk op drie dingen: 1. ze vindt het belangrijk aan te sluiten bij waar individuele leerlingen moeite mee blijken te hebben. 2. ze let erop voldoende vaak weer een stapje terug te doen om de leerlingen ruimte te geven zelf weer verder te gaan 3. ze richt zich op meerdere doelen en heeft duidelijk oog voor bijvoorbeeld het ontwikkelen van het samenwerken als vaardigheid.

De docent vult aan dat het bij het rondlopen ook erom gaat te controleren of de leerlingen de instructie wel goed hebben begrepen. Verder herkent hij zich in de gegeven schets.

Eventueel uitbreiden van het feedbackrepertoire, met name aangeven van de standaard, leerlingen stimuleren het probleem nader te omschrijven, ingaan op wat leerlingen al hebben gedaan, en tips geven hoe ze zich kunnen verbeteren. Proberen de leerlingen meer zelf over hun aanpak en begrip aan het woord te laten en bij het geven van feedback minder snel of minder vaak zelf uitleg te geven, en leerlingen door open vragen te stellen te stimuleren stappen te zetten in hun eigen leerproces van dat moment. Het teruggrijpen op wat leerlingen eerder al eens hebben gedaan, hoe ze eerder werk hebben aangepakt, hoe dat uitpakte en wat er nu anders is of zou kunnen (reflecteren op bijvoorbeeld de aanpak), zou een manier kunnen zijn om het leerproces van de leerlingen nog verder te stimuleren.

3

100

De docent herkent zich in deze schets, maar voegt nog toe dat ze ook wel op weg is naar een doel, een bepaald niveau. Ze benadrukt dat ze probeert in te gaan op die dingen die kinderen wel kunnen. Ze geeft aan dat de opgenomen situatie een vrij specifieke situatie was (begeleiden van samenwerking per groepje bij het voorbereiden van een mondelinge presentatie).

Tabel: 18 B: Typering docent door onderzoekers en reactie van docent tijdens eindgesprek, en aanbevelingen in verslag D 4

5

6

Typering docent door onderzoekers tijdens eindgesprek

Reactie van de docent tijdens eindgesprek

Aanbevelingen in het verslag

De docent heeft een gedifferentieerd beeld van de leerstof (de opbouw in het curriculum, de moeilijkheden die daarin zitten, de moeite die leerlingen hebben om bepaalde dingen te leren) en de leerlingen (hoe hard ze werken, of ze onzeker zijn en bevestiging nodig hebben of een andere aanpak nodig hebben). Hij maakt voortdurend afwegingen tussen de leerstof en de meest geschikte aanpak voor die leerling gegeven de tijd die hij heeft en de andere leerlingen die ook om aandacht vragen. Hij wil dat leerlingen zelf (blijven) denken en het zelf doen. Hij houdt daarbij rekening met verschillen tussen leerlingen. De docent stimuleert dat de leerling zelf moet nadenken, zoeken, vragen stellen en keuzes maken. Bij het begeleiden en geven van feedback heeft hij zowel aandacht voor de inhoud als voor het proces, en waar nodig ook voor de persoon van de leerling, kortom: maatwerk. Zijn optreden zoals te zien op de opname kan worden getypeerd als doelgericht, bijna zakelijk, wel respectvol, maar op basis van duidelijke afspraken, en onder het motto: laten we optimaal gebruik maken van elkaars tijd. Kortom: vrij strak. De onderzoekers signaleren verder dat hij de lat inhoudelijk vrij hoog legt.

De docent herkent deze beschrijving, maar geeft aan dat dit vrij onbewust gebeurt. Hij is zich bewust van het feit dat hij keuzes maakt, maar al pratend met de onderzoekers beseft hij dat hij niet bewust bepaalde dingen afweegt. Dat gaat intuïtief

Door aan te sluiten bij, oog te hebben voor en voort te borduren op wat een leerling al kan of eerder heeft gedaan krijgen leerlingen mogelijk het gevoel dat er meer wordt aangesloten bij hun leerproces. Het gaat dan om afstemming, timing en dosering van de feedback.

De docent herkent dit beeld: hij staat erom bekend dat hij hecht aan duidelijkheid en regels en zich houden aan afspraken. Hij zou het soms wat kunnen afzwakken om wat meer ruimte te geven aan anderen maar vindt het wel een heel handige eigenschap binnen het onderwijs, want het biedt kinderen duidelijkheid en voorspelbaarheid. Hij denkt dat het goed is om de lat hoog te leggen om de leerlingen die het wel begrijpen ook bezig te houden. De docent herkent zijn manier van handelen in de beschrijving. Hij geeft aan dat het bij deze leerlingen heel belangrijk is dat je ze aan het werk zet en dat kost veel tijd en energie. Hij geeft aan dat de leerlingen voor economie gelukkig redelijk goed presteren.

Het zou kunnen dat door de leerlingen soms iets meer ruimte te geven, zoals de docent zelf ook als mogelijkheid naar voren brengt, zij meer op eigen kracht gaan werken. Door zijn feedback iets meer te doseren (minder, minder snelle, of minder strakke feedback) zullen leerlingen mogelijk zijn aanwijzingen beter opnemen.

De docent hecht aan het stimuleren dat leerlingen zelf dingen doen. Hij wil graag bereiken dat leerlingen dingen begrijpen (begrippen, de tekst, de aanpak). Hij helpt ze door ze stapsgewijs naar het goede antwoord te leiden. Hij houdt daarbij op allerlei manieren rekening met individuele verschillen en hanteert een breed handelingsrepertoire dat in lijn is met wat hij beoogt.

Door iets meer variatie in typen opdrachten en werkvormen aan te brengen en gelegenheid te creëren om interactietijd te concentreren, ontstaat mogelijk meer gelegenheid om feedback te geven.

101

Tabel 18 C: Typering docent door onderzoekers en reactie van docent tijdens eindgesprek, en aanbevelingen in verslag D

Typering docent door onderzoekers tijdens eindgesprek

Reactie van de docent tijdens eindgesprek

Aanbevelingen in het verslag

7

De docent hecht aan de goede band met leerlingen. Ze wil aansluiten bij het niveau van de leerling en leerlingen actief betrekken bij de les en zelf over dingen na laten denken. Om te kunnen inspelen op de leerlingen wil ze weten waar de leerlingen zitten qua niveau. Ze checkt regelmatig of leerlingen het begrepen hebben (uitspraak of aanpak). Ze ziet leren in het perspectief van een ontwikkeling over langere tijd.

Bedenken van andere werkvormen waarmee leerlingen effectief kunnen oefenen zodat niet alles van de persoonlijke interactie van de docent met de leerlingen afhangt. Leerlingen kunnen dan ook buiten de directe interactie met en sturing van haar tot zelfstandig werken en leren komen.

8

De docent werkt graag heel gestructureerd, checkt bij leerlingen of ze dingen begrijpen en verder kunnen, houdt de vorderingen bij, doet zo nodig een stapje terug om op maat bij de leerling in te steken. Ze vindt het heel belangrijk om leerlingen zoveel mogelijk zelf dingen te laten inzien en te laten inzien dat het eindresultaat misschien wel niet correct is maar dat in het proces veel stappen wel goed zijn gezet. Ook is ze erop gericht een verkeerde aanpak te corrigeren, maar ook ongewenst gedrag. De docent hecht aan het stimuleren dat leerlingen zelf keuzes maken, zelf nadenken, zelf hun verantwoordelijkheid oppakken. Ze houdt rekening met individuele verschillen en begeleidt leerlingen gedurende het proces. Ze stimuleert dat leerlingen zichzelf verbeteren en streeft ernaar elke leerling een succeservaring te laten opdoen.

De docent geeft aan dat ze dit herkend. Ze ziet leerlingen graag als individu en wil graag dat ze zich op hun gemak voelen. Ze wil het liefst een persoonlijk logboek per leerling maken, maar daarvoor ontbreekt de tijd. Ze wil graag per leerling systematisch feedback geven, ook op fouten die regelmatig terugkomen in schriftelijk werk. Ze zou graag persoonlijke leerdoelen met leerlingen willen afspreken. De docent vindt deze schets heel herkenbaar. Ze voegt nog toe de aandacht voor samenhang tussen de vakken. Structuur zit in haar persoon en dat maakt dat ze het wel eens te goed wil doen. Ze wil leerlingen het gevoel geven dat ze het stap voor stap in de vingers kunnen krijgen. Ze wil hen bewust maken van en verantwoordelijk voor het proces. De docent herkent deze schets. Ze voegt toe dat ze leerlingen beoordeelt naar wat ze hebben laten zien tijdens het proces. Ze heeft oog voor wat het hele proces met de leerling als persoon doet en vindt het belangrijk dat leerlingen dingen in zichzelf overwinnen en iets hebben geleerd. Ze streeft ernaar dat leerlingen trots kunnen zijn op wat ze hebben gemaakt.

9

102

Aandacht richten op het relationele aspect in de interactie en nagaan hoe ze meer zicht kan krijgen op hoe haar feedback op leerlingen overkomt.

Mogelijk kan ze op basis van haar bekwaamheid in het geven van feedback een rol spelen in het team om dat wat uit dit onderzoek komt of wat zij op basis van dit onderzoek heeft ervaren verder de school in te brengen.

Tabel 18 D: Typering docent door onderzoekers en reactie van docent tijdens eindgesprek, en aanbevelingen in verslag D 10

11

12

Typering docent door onderzoekers tijdens eindgesprek

Reactie van de docent tijdens eindgesprek

Aanbevelingen in het verslag

De docent legt de nadruk op het actief betrekken van leerlingen bij de stof. Hij vindt het daarbij belangrijk persoonlijke aandacht te hebben, benadert de leerling positief en wil graag elke leerling op maat bedienen. Hij houdt rekening met niveauverschillen en schakelt terug als een leerling iets niet begrijpt en geeft concrete voorbeelden. Hij let op de manier waarop leerlingen dingen aanpakken, vraagt wat ze al hebben gedaan en stimuleert leerlingen zelf tot een antwoord te komen of elkaar te helpen. Hij checkt of een leerling de stof begrepen heeft. De docent vindt het belangrijk om tijd en aandacht te hebben voor de leerling, om rekening te houden met de persoon van de leerling en voor wat die op dat moment nodig heeft. Ze stelt veel vragen en wil leerlingen zelf aan het woord laten. Ze checkt of ze dingen hebben begrepen. Zo nodig geeft ze concrete voorbeelden, om dingen te verduidelijken. Ze geeft ruimte voor emoties van leerlingen maar begrenst deze zo nodig ook. Ze forceert dingen niet maar laat soms iets rusten om er op een ander moment weer op terug te komen.

De docent herkent in deze schets zijn eigen handelen en voegt nog een ander voor hem belangrijk aspect toe: humor (soms maakt hij gebruik van het vertellen van een mop als beloning voor het feit dat leerlingen hard doorwerken).

Proberen in de setting van een grote ruimte in overleg met collega’s en teamleiding manieren te bedenken waarmee goed zicht op het leerproces van individuele leerlingen kan worden verkregen, zodat het maatwerk dat hij kan en wil leveren beter tot zijn recht komt. Geen (vooral zo doorgaan).

De docent legt de nadruk op het maken van contact en kiest een positieve insteek. Ze wil leerlingen graag succeservaringen laten opdoen. Naast de aandacht voor de leerling als persoon is ze ook sterk gericht op de inhoud. Ze werkt systematisch met leerlingen aan het opbouwen van kennis en vaardigheden. Ze helpt leerlingen door bijvoorbeeld de opdrachten en zinnen in stapjes op te delen, vragen te stellen, tips te geven en te checken of leerlingen het begrepen hebben.

De docent herkent de schets. Als ze meer inhoudelijk bezig is, houdt ze ook rekening met wie er tegenover haar zit maar verplaatst ze zich meer in hoe de leerling denkt (over de vakinhoud). Haar manieren van reageren komen volgens haar wel overeen: checken of de leerling het begrepen heeft, vragen stellen, zo nodig voorbeelden geven in een andere context en weer terugkeren naar het probleem. De docent herkent zichzelf in deze schets en beaamt dat de positieve insteek voor haar erg belangrijk is, zeker bij deze klas. Ze investeert veel, maar krijgt er ook veel voor terug. Ze vond het zelf opvallend te zien dat ze zo geduldig was, dat ze zich kon blijven afsluiten voor alle impulsen die langskwamen en dat ze zich op de inhoud kon blijven focussen.

De docent zou een voorbeeld kunnen zijn voor andere docenten. Het zou interessant kunnen zijn voor de schoolleiding om gebruik te maken van haar aanpak, ervaring en expertise.

103

In het eindgesprek met elke docent hebben de onderzoekers zijn of haar persoonlijk focus getypeerd en heeft de docent daarop gereageerd (zie de Tabellen 18A t/m 18D). In deze typeringen, gebaseerd op de eerste conceptmap, de vragenlijst vooraf, en het interview naar aanleiding van de opgenomen situatie, kwamen zes thema’s herhaaldelijk terug. We benoemen deze hieronder, met daarachter de nummers van de docenten die zich daardoor relatief duidelijk lieten kenmerken. We willen hier laten zien welke thema’s dit zijn en hoe vaak ze voorkomen, en niet welke docenten precies bij welk thema horen (sommige docenten hadden mogelijk nog bij meer thema’s kunnen worden geplaatst). - de vakinhoud staat centraal in de aandacht (docenten 1, 2, 4, 5, 10, 12) - belangrijk is dat leerlingen de stof begrijpen (1, 2, 6, 7, 8, 10, 11, 12) - de docent werkt gestructureerd, checkt, corrigeert (2, 4, 5, 7, 8, 10, 12) - leerlingen moeten zelf nadenken en kiezen (1, 3, 4, 5, 6, 7, 8, 9, 10, 11) - de docent speelt in op verschillen tussen lln. (1, 3, 4, 5, 6, 7, 8, 9, 10, 11) - aandacht voor de leerling als persoon, de band met de leerling, opdoen van succeservaringen, ontwikkeling (2, 3, 5, 7, 8, 11, 12) Bij deze 12 docenten (resp. op deze vier scholen) staan het zelfstandig nadenken van de leerlingen en het als docent rekening houden met individuele verschillen tussen leerlingen kennelijk centraal in de aandacht. In hun reactie op de gegeven schets gaven alle docenten aan zich daarin te herkennen. Zeven docenten gaven nog een toelichting (3, 5, 6, 7, 8, 11, 12) en vier docenten gaven een aanvulling (2, 8, 9, 10). De aanvullingen betroffen het ook belangrijk vinden dat leerlingen de instructie goed hebben begrepen, de aandacht voor samenhang tussen de vakken, de aandacht voor het proces, en het gebruik van humor. Twee docenten gaven te kennen dat ze veel onbewust en intuïtief doen (1, 4). De adviezen die de onderzoekers in de persoonlijke schriftelijke verslagen over het doorlopen traject per docent hebben geformuleerd, betroffen in drie gevallen een evt. uitbreiding van het repertoire aan feedbackgedragingen (docenten 1, 3, 4), in drie gevallen een evt. gedeeltelijke verlegging van het eigen feedbackgedrag (2, 5, 8), in drie gevallen het werken aan bepaalde voorwaarden (6, 7, 10) en in twee gevallen het bijdragen aan professionele ontwikkeling van collega’s ten aanzien van feedback. Bij één docent is geen aanbeveling geformuleerd (deze docent was nog in opleiding en de opname betrof een specifieke situatie waarin met individuele leerlingen werd gepraat over hun soms moeilijke stage-ervaringen en de docent door haar feedback hen persoonlijk ondersteunde; ze toonde zich hierin zeer vaardig en betrokken, maar heeft door deze specifieke situatie haar repertoire ten aanzien van feedback op vakinhoudelijk gebied niet kunnen laten zien). 104

In stap 13 van het onderzoek hebben de docenten voor de tweede keer een conceptmap over feedback gemaakt, en een afsluitende vragenlijst ingevuld (zie ook hoofdstuk 2). Door vergelijking van de tweede conceptmap met de eerste kan zichtbaar worden hoe het denken van de docenten over het geven van feedback tijdens het onderzoek eventueel is veranderd. De antwoorden op de vragenlijst geven inzicht in wat de docenten zelf denken aan hun deelname te hebben gehad. We vatten hieronder beide samen. Acht docenten hebben een tweede conceptmap gemaakt. Bij de vergelijking door elke docent tussen de eerste en de tweede conceptmap kon deze aangeven welke verschillen opvielen. De antwoorden liepen uiteen: er is weinig verschil, er zijn meer aspecten, begrippen en nuances benoemd en meer verbindingen zichtbaar, er is een duidelijke chronologie aangegeven, er is meer aandacht voor feedback als proces, de doelen zijn duidelijker zichtbaar, er is meer inhoudelijk op het begrip feedback ingegaan. Op de vraag welke betekenis de docenten zelf aan het eventueel gevonden verschil gaven, antwoordden ze: “Mijn basis is uitgebreider en ik me bewust van mijn eigen handelen”, “Ik heb het proces en de relatie door het meewerken aan het onderzoek bewust in beeld gekregen”, “Ik heb minder moeite met het geven van feedback bij andere vakken”, “Ik ben nog lang niet uitgedacht over dit onderwerp, want er komen telkens elementen bij”, “Ik ben me meer bewust van de verschillende toepassingsvormen die er zijn bij het geven van feedback”, “ik heb meer begrip van feedback en wat ik ermee wil bereiken” en “ik ben meer over feedback gaan nadenken”. De meeste docenten gaven aan dat het maken van de tweede conceptmap op zich niet heel duidelijk tot aanvullende inzichten heeft geleid. Wel was het een goede manier om te reflecteren en daardoor zinvol om te doen. Op de vraag of de aanvullende inzichten aanleiding zijn om er in de onderwijspraktijk iets mee te doen, antwoordde een aantal docenten: meer voordoen van opgaven en meer herhalen, alert blijven op de relatie binnen het geven van feedback, bewust blijven stilstaan bij wat en hoe ik het doe, bewust inzetten van het samenvatten van de vraag van de leerling, leerlingen meer stimuleren zelf het antwoord te vinden en nagaan of leerlingen tevreden zijn met het antwoord of de uitleg en of ze zelf verder kunnen met de opdracht. Negen van de twaalf docenten hebben de afsluitende vragenlijst ingevuld. Terugkijkend naar hun verwachtingen vooraf geven deze docenten aan vooral te hebben meegedaan uit nieuwsgierigheid (bijvoorbeeld naar de vraag of ervaren docenten er anders uit zouden komen dan onervaren docenten), vanuit de wens iets te leren, en vanuit de wens te willen weten hoe de feedback door leerlingen wordt ervaren. Een enkeling was vereerd te zijn gevraagd door de schoolleiding. 105

Al deze docenten hebben zowel de deelname aan het onderzoek als de contacten met de onderzoekers als prettig, nuttig en/of leerzaam ervaren. Op de vraag of ze door het deelnemen aan dit onderzoek iets hebben geleerd, antwoorden alle zeven docenten positief. Ze benoemen daarbij aspecten die te maken hebben met wat het hen heeft opgeleverd (bewustwording, zicht krijgen op het eigen gedrag, zicht krijgen op de breedte van het eigen feedbackrepertoire en de eigen kwaliteiten en verbeterpunten) en aspecten die te maken hebben met wat het voor hen heeft betekend (positieve bevestiging door de feedback vanuit de leerlingen of vanuit de onderzoekers, terugkoppeling leidt tot minder onzekerheid over eigen handelen). Een aantal docenten benoemt concrete punten die te maken hebben met de manier waarop ze de tijd efficiënter kunnen benutten of hun repertoire kunnen uitbreiden, zoals: feedback meer gericht en op maat geven door eerst te vragen waarop iemand feedback wil hebben, leerlingen stimuleren iets met de feedback te doen, leerlingen meer zelf aan het woord laten en meer aandacht voor de relationele aspecten die bij het ontvangen van feedback een rol kunnen spelen. Alle docenten geven aan het stimulated recall interview (terugkijken naar de opname en naar aanleiding daarvan vragen beantwoorden) en/of het eindgesprek als de meest waardevolle onderdelen te hebben ervaren. Op de vraag of ze dingen anders zijn gaan doen in hun onderwijspraktijk, antwoordden de docenten gevarieerd. Deze variatie heeft een duidelijke relatie met de persoonlijke aandachtpunten die naar voren kwamen naar aanleiding van de uitkomsten in dit onderzoek. De volgende aspecten werden genoemd: meer naar leerlingen luisteren, duidelijker aangeven wat er aan de orde is, vragen waarop een leerling feedback wil hebben en na afloop vragen aan leerlingen of ze iets met de feedback kunnen, feedback laten herhalen en controleren of de feedback is overgekomen, minder alleen feedback op de inhoud te geven, zich bewuster zijn van het eigen handelen en altijd feedback geven bij het teruggeven van opdrachten. Op de vraag op welke manier meer docenten op de eigen school zouden kunnen profiteren van de resultaten van dit onderzoek, gaven de docenten de volgende suggesties: laten verzorgen van een presentatie door de onderzoekers in het team, de gemaakte opname aan collega’s laten zien en gezamenlijk bespreken (wat is herkenbaar, wat doe je zelf anders en waarom, wat valt op etc.), intervisie opzetten met betrekking tot het geven van feedback, een video maken van alle mogelijke soorten feedback, koppels maken van een docent die heel goed is in het geven van feedback en een docent die hier minder goed in is, en docenten die hebben meegedaan aan dit onderzoek een workshop laten organiseren, zodat de rest van het team wordt geïnformeerd. 106

5.2

Samenvattende conclusies

Bevraging vooraf van docenten en leerlingen De docenten geven zowel feedback op eigen initiatief als naar aanleiding van vragen en problemen van leerlingen. Ze geven feedback op inhoud, aanpak, uitvoering, resultaat, en houding en gedrag. Zij geven dus feedback op alle te onderscheiden categorieën “objecten” (verg. hoofdstuk 3). Gevraagd naar hoe ze feedback geven, noemen de docenten een breed scala aan activiteiten. Vrijwel alle in de literatuur genoemde manieren van feedback geven (verg. hoofdstuk 3) worden genoemd. De docenten houden bij het geven van feedback rekening met zowel cognitieve (niveau van de leerling, kennis en begrip) als affectieve aspecten (zelfvertrouwen, persoonlijke situatie) en streven naar zowel cognitieve (kennis, begrip, resultaten) als affectieve doelen (zelfvertrouwen, motivatie). De docenten hebben dus naast het cognitieve ook veel oog voor het belang van affectieve processen bij leerlingen (verg. hoofdstuk 3). De docenten vinden het belangrijk dat feedback wordt gegeven in persoonlijk contact met de leerling en in een situatie van vertrouwen en van voldoende tijd en aandacht, dat de feedback positief en constructief is en dat leerlingen er actief bij worden betrokken. Ze verschillen enigszins in de mate waarin ze feedback zien als proces en de mate waarin ze de leerling zien als gesprekspartner met een eigen kijk, inbreng en keuzen. Volgens de leerlingen geven hun docenten vrij veel en op gevarieerde wijze feedback, zij het iets meer gericht op het resultaat dan op het proces en met relatief minder aandacht voor het benutten van de feedback. Bij een aantal docenten komen hun eigen inschattingen van de mate waarin ze feedback geven overeen met de inschattingen van hun leerlingen, terwijl een deel van de docenten het eigen handelen, vergeleken met de inschattingen van de leerlingen, onderschat en een ander deel het eigen handelen overschat. De docenten die volgens hun leerlingen relatief veel feedback geven zijn voor een belangrijk deel docenten die feedback zien als proces, die bij het noemen van voorwaarden en doelen van feedback affectieve aspecten benadrukken en die de eigen inbreng van de leerlingen belangrijk vinden. De opgenomen situaties en de geobserveerde gedragingen De opgenomen situaties betroffen uiteenlopende vakken en taken. De taken waren bijna allemaal gericht op leren en oefenen, in overeenstemming met het afgesproken focus van het onderzoek: het geven van feedback terwijl leerlingen zelfstandig aan het werk zijn (bij één docent ging het om het nabespreken van een gemaakte toets). Bij alle taken ging het om zowel kennis als vaardigheden. 107

Uit de gemaakte opnamen (van meestal rond een uur) zijn per docent 5 tot 8 fragmenten geselecteerd (gemiddelde totale duur per docent 20 minuten) waarin docenten aan leerlingen (individueel of in een groepje) feedback gaven. De fragmenten duurden meestal 2-5 minuten. De meeste docenten gaven feedback terwijl zij rondliepen (bij enkele docenten kwamen de leerlingen naar de docent toe, o.a. bij de docent waarbij het ging om het nabespreken van een gemaakte toets). Het initiatief tot de interactie kwam zowel van de docenten als van de leerlingen. Per docent zijn de eerste vijf fragmenten systematisch geobserveerd (zie hoofdstuk 4). Uit de observaties blijkt dat de docenten samen alle vooraf onderscheiden zeven vormen van resultaatgerichte feedback en alle negen vormen van procesgerichte feedback toepassen. Resultaatgerichte vormen komen gemiddeld per docent per vorm voor variërend van in 1,5 fragment (geven van de goede oplossing, benoemen van de standaard) tot in 4 fragmenten (bevestigen van wat goed is). Procesgerichte vormen komen gemiddeld per docent per vorm voor variërend van in 1,5 fragment (voordoen/modelleren, leerlingen vragen het probleem preciezer te omschrijven) tot in 3 fragmenten (geven van hints en voorbeelden, stellen van open vragen die het denken stimuleren). De meeste docenten passen de meeste vormen toe. In de 5 gescoorde fragmenten geven de docenten in totaal variërend van 7 tot 22 keer resultaatgerichte feedback en van 9 tot 28 keer procesgerichte feedback, dus iets meer procesgerichte dan resultaatgerichte feedback. Daarnaast was sprake van verduidelijken of aanvullen van de gegeven instructie (gemiddeld per docent in 1 fragment), uitleggen van een begrip (in 2 fragmenten), uitleggen van een aanpak (in 2), feedback op gedrag (in 1) en maken van een bemoedigende opmerking (in 1). Bevraging achteraf van docenten en leerlingen In de interviews tijdens het bekijken van de opnamen gaven de docenten aan dat zij steeds feedback gaven in een situatie waarin een leerling iets niet begreep en/of niet goed wist hoe verder te gaan. De docenten benoemden diverse intenties en activiteiten (conform de variatie in hun repertoire). Zij hielden bij hun feedback op verschillende manieren rekening met de leerling waar het om ging (niveau, zelfvertrouwen, problemen, persoonlijke situatie). Het ging hen er steeds om dat de leerling het begrijpt en weer verder kan, en zij rondden de interactie af als zij de indruk hadden dat dit het geval was. Enkele docenten noemden tijdens het interview spontaan enkele leerpunten. Deze betroffen het meer vragen aan en luisteren naar leerlingen, en het vaker bevestigen dat iets goed is.

108

De leerlingen waardeerden, blijkens hun antwoorden in de direct na afloop ingevulde vragenlijst, de verkregen feedback over het algemeen positief (deze was duidelijk, terecht, leerzaam, bruikbaar) en wisten over het algemeen wat te doen om verder te kunnen. Hun percepties van de feedback gaven wel per docent een verschillend profiel te zien. De leerlingen namen procesgerichte feedback verhoudingsgewijs iets minder waar (of onthielden deze minder) dan resultaatgerichte feedback. Afrondende interpretaties Al met al lijken de docenten sterk gericht op de leerlingen en de verschillen tussen de leerlingen. Geven van feedback staat voor hen in het teken van persoonlijk contact, vertrouwen en aandacht. Feedback moet voor alles positief en constructief zijn. De docenten willen graag rekening houden met het niveau, het zelfvertrouwen en de persoonlijke situatie van de leerling. Ze vinden het belangrijk leerlingen er actief bij te betrekken. Ze zijn verheugd als leerlingen hun handelen positief waarderen. Het geven van positieve feedback en bevestiging kan de acceptatie van de feedback bevorderen (verg. hoofdstuk 3). Wel lijkt het benoemen van wat (nog) niet goed is en van de standaard verhoudingsgewijs iets minder te gebeuren. Kijkend naar de invalshoeken zoals beschreven in hoofdstuk 3, blijkt het geven van feedback (bij deze 12 docenten) in de onderzochte situaties niet heel sterk te zijn gebaseerd op een strikte beoordeling van een geleverde prestatie. Feedback blijkt meer een reactie op een probleem van of bij de leerling. Dit probleem is veelal dat een leerling iets niet begrijpt en (daardoor) niet verder kan. De feedback is er dan op gericht dat de leerling het wel begrijpt en weer verder kan. Mogelijk dragen zowel de hoge mate van gerichtheid op de leerling als de minder uitgesproken mate van gerichtheid op het beoordelen van prestaties aan de hand van een standaard eraan bij dat feedback zelden beperkt blijft tot het geven van een eenmalige reactie. De praktijk van het feedback geven van deze docenten in deze situaties is duidelijk een zaak van interactie en communicatie, met aspecten van tutoring en coaching. Aan de andere kant lijkt de praktijk nog enigszins beperkt waar het gaat om het bevorderen van zelfsturing. De meeste docenten willen wel de zelfstandigheid van hun leerlingen bevorderen en hen aanspreken op hun eigen verantwoordelijkheid, maar niet veel docenten lijken hun leerlingen te zien als gesprekspartners met een eigen kijk en eigen keuzen. Dat feedback in de vorm van voordoen/modelleren, de goede oplossing benoemen en de standaard aangeven relatief minder voorkomt, zou kunnen

109

betekenen dat het repertoire van de docenten op dit vlak nog iets minder ver is ontwikkeld (dan in het geven van positieve feedback en bevestiging). Dat leerlingen procesgerichte feedback iets minder lijken te herkennen en/of onthouden zou kunnen betekenen dat zij zelf meer zijn gericht op het (goede) resultaat dan op het proces of de aanpak. Het kan echter ook zijn dat procesgerichte feedback meer dan resultaatgerichte feedback min of meer is opgenomen in het doorgaande interactieproces tussen docent en leerling en daardoor minder opvalt. Dat bij tenminste één docent, die veel en intensief feedback geeft, de leerlingen de omvang van deze feedback achteraf minder hoog inschatten, kan mogelijk worden gezien als bevestiging van wat in de literatuur wordt beweerd, dat een docent ook teveel feedback kan geven. De feedbackpraktijk van de docenten verschilt niet duidelijk tussen de vakken, maar wel tussen typen taken en tussen leerlingen. Zoals een aantal docenten zelf ook aangaf, is feedback voor hen een kwestie van maatwerk. Ten slotte is duidelijk geworden dat de intenties, afwegingen en activiteiten van de docenten met betrekking tot het geven van feedback voor elke docent een eigen, persoonlijk profiel laten zien. Ook in dit opzicht is het geven van feedback kennelijk maatwerk. Het is dan ook de vraag of docenten ten aanzien van zo’n onderdeel van hun takenpakket of didactisch repertoire wel zinvol kunnen worden beoordeeld aan de hand van dezelfde meetlat. Ook beoordelen en verder ontwikkelen van de competenties van docenten is maatwerk.

110

6

Resultaten per school in relatie tot het onderwijsconcept

6.1

Inleiding

In dit hoofdstuk wordt gekeken naar de uitkomsten per school en de eventuele verschillen tussen de scholen en worden deze gegevens in verband gebracht met de onderwijsconcepten van de scholen. In eerder onderzoek zijn de onderwijsconcepten van de scholen onderzocht (Sol & Stokking, 2008). Deze bleken ten aanzien van een aantal belangrijke uitgangspunten sterke overeenkomsten te hebben, maar ook op een aantal punten te verschillen. In Figuur 8 wordt dit zichtbaar gemaakt. Dit overzicht is een uitbreiding van Figuur 2 (in hoofdstuk 2). We gaan in op het gewenste pedagogische en didactische handelen van docenten en die vaardigheden die te maken hebben met begeleiden, feedback geven en coachen. Daarna worden de conceptmaps van de schoolleiders over het geven van feedback besproken en worden deze vergeleken met die van de docenten. Vervolgens wordt een aantal in hoofdstuk 5 gepresenteerde uitkomsten bij docenten en leerlingen hier weergegeven op schoolniveau en worden deze (gemiddelde) resultaten per school waar mogelijk in verband gebracht met de onderwijsconcepten van de scholen.

6.2

De onderwijsconcepten van deze scholen

In Figuur 8 worden de onderwijsconcepten van de scholen in hoofdlijnen getypeerd, aan de hand van de volgende categorieën: het pedagogisch en didactisch leerklimaat, de beoogde leerdoelen en de inrichting van de leeromgeving. Deze indeling is gebaseerd op eerder onderzoek (Sol & Stokking, 2008) en waar nodig aangevuld. De scholen A t/m D zijn de scholen waarop de gegevens bij leerlingen en docenten zijn verzameld. De scholen E en F waren mede-aanvragers en volgden het onderzoek. Vanuit de onderwijsconcepten streven de scholen ernaar motiverend en activerend onderwijs te verzorgen, het curriculum in samenhang aan te bieden, ruimte te geven aan leerlingen om eigen keuzes te maken en gericht te zijn op leren vanuit interactie en samenwerking. In die zin zijn de scholen in hoge mate onderling vergelijkbaar. 111

School Pedagogisch -en didactische klimaat gericht op Bieden van uitdaging, kans op optimale ontplooiing Recht doen aan verschillen Stimuleren van zelfvertrouwen en reëel zelfbeeld Stimuleren van eigen verantwoordelijkheid en initiatief Stimuleren van zelfstandigheid Leren van elkaar Stimuleren van gemeenschapszin, respect en tolerantie Leerdoelen Behalen van diploma Ontwikkeling van kennis Ontwikkeling van vaardigheden Leren plannen Leren samenwerken Leren kiezen Leren reflecteren Leren presenteren Leren feedback geven Leeromgeving en curriculum Indeling leerlingen In groepjes gericht op samenwerken In leerdomeinen en stamgroepen Rollen en taken docenten Specifieke docentrollen Werkzaam in domeinen Onderwijsaanbod Lessen volgens traditioneel lesrooster Ingeplande workshops Thema’s/ leergebieden Authentieke, contextrijke taken Digitaal aanbod opdrachten Domeingebonden werktijd

A

B

C

D

E

F

+/-

+

+

+

+

+

+/+

+ +

+ +

+ +

+ +

+ +

+

+

+

+

+

+

+ + +

+ + +

+ + +

+ +

+ + +

+ + +

+ +

+ +

+ +

+ +

+ +

+ +

+/+ + + + -

+ + + + + +

+ + + + + -

+ + + + + +

+ + + + + +

+ + + + + +

+ -

+ +

+ +

+ +

+ +

+ +

+/-

+ +

+ +

+ +

+ +

+ +

+ -

+ + +/+ +

+ + + + +

+ + + + +

+ + + + +

+ + + + +

Fig. 8: Typering van de onderwijsconcepten van de aanvragende scholen 112

In de onderwijsconcepten van deze zes scholen zien we een aantal uitgangspunten centraal gesteld die afkomstig zijn uit verschillende bronnen (pedagogisch, cognitivistisch, constructivistisch, motivatiepsychologisch). Bij de leerlingen streeft men naar de ontwikkeling van zelfstandigheid, verdraagzaamheid, respect en verantwoordelijkheid, en vaardigheden voor zelfstandig leren en samenwerken. Bij de docenten gaat het om het vergroten van de aandacht voor het leerproces van de leerlingen en inspelen op verschillen, het bieden van meer keuzemogelijkheden, en het ontwikkelen van een meer begeleidende rol (Sol & Stokking, 2008). Rondom het pedagogische leerklimaat: -Bieden van veiligheid en structuur -Heldere afspraken maken over leefregels -Leerling verantwoordelijkheid leren dragen Rondom het aanbieden van lesstof: -Aanbieden van nieuwe lesstof -Geven van instructie -Reflecteren op de nieuwe lesstof -Heldere afspraken maken met leerlingen over opdrachten

Rondom het volgen van het leerproces van leerlingen: -Volgen van de uitvoering van taken -Volgen van het leerproces Rondom het begeleiden en feedback geven van leerlingen -Begeleiden bij de uitvoering van taken -Begeleiden van het leerproces van individuele leerlingen -Voeren van nabesprekingen -Voeren van begeleidingsgesprekken met leerlingen individueel -Geven van studiebegeleiding door interventie – en coachtechnieken -Leerlingen feedback geven op werk -Leerlingen feedback geven op gedrag -Leerlingen effectief coachen Rondom beoordelen van leerlingen -Voeren van voortgangsgesprekken -Voeren van beoordelingsgesprekken -Uitvoeren van assessments

Rondom het ontwikkelen van nieuwe taken -Schrijven van taken, ontwikkelen van opdrachten Rondom het samenwerken: -Begeleiden van groepsactiviteiten -Voeren van begeleidingsgesprekken met groepjes leerlingen -Begeleiden van het samenwerken -Leerlingen inzicht geven in rollen bij het samenwerken en hun functioneren daarin Rondom het zelfstandig leren: -Begeleiden bij zelfsturing -Coachen bij het leren plannen -Bevorderen van reflectie Rondom het begeleiden van vakoverstijgende vaardigheden: -Leerlingen stimuleren zelf keuzes te maken en daar verantwoordelijk voor te zijn. -Begeleiden van het keuzeproces van leerlingen Rondom het ingaan op verschillen: -Leveren van maatwerk -Tegemoet komen aan verschillen tussen leerlingen Rondom eigen professionele houding: -Zich verantwoorden in dialoog met leerlingen -Onderzoekende houding naar jezelf -Nadenken over relatie inhoud en activiteit

Fig. 9: Inventarisatie van gewenste taken en activiteiten van docenten. 113

In de hiervoor beschreven gewenste taken en activiteiten van docenten (zie Figuur 9) worden verschillende begeleidingstaken van docenten genoemd, waaronder het begeleiden van leerlingen bij het uitvoeren van taken, begeleiden van het leerproces, begeleiden bij het leren plannen en het zelf leren sturen van het leerproces, en begeleiden bij het samenwerken, het leren kiezen en het leren reflecteren. Uit dit overzicht blijkt ook dat docenten geacht worden verschillende soorten gesprekken met leerlingen te voeren en leerlingen feedback te geven gericht op verschillende aspecten, zoals het werk, het leerproces en de persoonlijke ontwikkeling. Als we in dit verband kijken naar de manier waarop het geven van feedback wordt opgevat, dan sluit dit aan bij de ruime visie op feedback zoals beschreven in hoofdstuk 3. Feedback heeft hier namelijk meerdere functies en dient meerdere doelen. Naast dat het kan dienen als bekrachtiger (de behavioristische invalshoek) of als bron van informatie die moet worden verwerkt (de cognitief-psychologische invalshoek), wordt feedback in de onderwijsconcepten van deze scholen ook gezien als onderdeel van een proces van interactie en communicatie en kan het tevens worden gezien als onderdeel van coaching (de constructivistische invalshoek, zie ook hoofdstuk 3). Bij mondelinge feedback in een ruimte (klas, domein of leerplein) met leerlingen die zelfstandig aan het werk zijn (het focus van dit onderzoek) zullen vooral beide laatste benaderingen van toepassing zijn: feedback als onderdeel van communicatie en van coaching.

6.3

De conceptmaps van de schoolleiders en de docenten

Aan de schoolleiders is gevraagd een conceptmap te maken over feedback. De schoolleiders moesten zich bij het maken van deze conceptmap laten leiden door drie vragen: 1. Hoe wil je dat docenten feedback geven? Deze vraag was gericht op het verhelderen van het gewenste handelen van docenten. 2. Hoe zie je dat handelen in relatie tot het schoolconcept? Deze vraag was gericht op de doelen die men nastreeft als schoolleider. 3. Welke factoren spelen een rol bij het geven van feedback door docenten aan leerlingen? Deze vraag was gericht op de voorwaarden die een rol kunnen spelen bij het geven van feedback. De inhoud van de conceptmaps van de schoolleiders wordt hierna aan de hand van de bovengenoemde vragen beschreven (zie Tabel 19). Een aantal schoolleiders gaf daarnaast ook vormen en objecten van feedback aan. 114

Tabel 19: Elementen uit de conceptmaps van de schoolleiders S

Beoogde doelen van feedback

Gewenst handelen van docenten

A

Verbetering

Complimenteren, straffen, non-verbale signalen

B

Verbetering, voortgang, verwerking. Uitdaging

Diagnosticeren, relateren aan standaard, het hoe en waarom aangeven, in perspectief plaatsen (korte en lange termijn), positief, vragen, betrokkenheid tonen, keuzes (laten) maken, verbinden, uitdagen Actief aanwezig zijn, afwijkend en positief gedrag bespreken, luisteren naar leerlingen, complimenteren, vertrouwen geven, navragen of het duidelijk is

Mondeling, schriftelijk, groep, individu en docent, leerlingen onderling

Inventariseren behoefte, aansluiten bij mogelijkheden, leerling keuzes bieden, kwaliteiten , wat goed gaat en voornemens benoemen, vragen stellen, checken, ruimte geven voor reactie en ontvangstbevestiging Sturen op kracht, positief

Eventueel vanuit andere leerlingen

C

Voorwaarden voor feedback

Goede structuur, organisatie en lesopbouw bieden, weten wat er leeft, duidelijk maken wat jij als docent onder feedback verstaat

D

E

F

Leerlingen leren te reflecteren

Verdieping, verbetering van het leerproces

Positief leerklimaat, goed kunnen luisteren, juist formuleren, goed observeren, integraal onderdeel leerproces Tijd nemen, structureel onderdeel leerproces, heldere doelen, maatwerk

Stimuleren van groei en ontwikkeling, verbeteren leerresultaten, effectief leerproces

Luisteren, samen analyseren wat ging goed, wat kan beter, leerpunten benoemen, samen kijken welke verbeteracties leerling nodig heeft, leerling analyse laten beoordelen

Vormen van feedback/ situaties nabespreken toets

Objecten van feedback Resultaat, voortgang, verzilvering Resultaat, werk, (leer)proces

Herhalen en les of toets en SO nabespreken

Persoon, inhoud, proces

Van docent naar leerling en andersom, leerlingen onderling Docent, leerling, groepje leerlingen

Prestaties en proces

115

De conceptmaps die de schoolleiders hebben gemaakt gaan over voorwaarden voor feedback, beoogde doelen, het gewenste handelen van docenten, vormen, situaties en objecten van feedback. De schoolleiders verschillen enigszins in de mate waarin ze deze vijf aspecten in hun conceptmaps hebben opgenomen. De verschillende aspecten in de conceptmaps worden hieronder samenvattend beschreven en vergeleken met de uitkomsten uit de eerste conceptmaps van de docenten. Als voorwaarden voor het geven van feedback noemen de schoolleiders vooral organisatorische en structurele aspecten (goede structuur, organisatie en lesopbouw, integraal onderdeel van het leerproces, tijd nemen, heldere doelen. positief leerklimaat, duidelijk maken wat je als docent onder feedback verstaat) en aspecten die met afstemmen te maken hebben (weten wat er leeft, goed kunnen luisteren, goed observeren, maatwerk). Deze laatste categorie sluit aan bij wat de docenten zelf aangaven in hun conceptmap (zie ook Tabel 7, hoofdstuk 5). De meer structurele aspecten werden door de docenten niet genoemd in hun conceptmap. Alle schoolleiders hebben een of meer doelen aangegeven. Net als bij de docenten vallen deze enigszins uiteen in twee clusters: doelen die te maken hebben met het verduidelijken van de stof (bewerkstelligen van verbetering en verwerking (schoolleiders A, B, D en E), uitdaging en verdieping (schoolleiders B en D) en doelen in de sfeer van voortgang, groei, ontwikkeling en reflectie (schoolleiders B, C en E). Het pedagogisch handelen dat de schoolleiders bij de docenten willen zien, betreft handelen vanuit een actieve, positieve en betrokken insteek, complimenten maken over wat goed gaat, vertrouwen geven, luisteren, kwaliteiten en kracht benoemen (n=6). Op het niveau van het benoemen van concrete activiteiten geven docenten dezelfde activiteiten weer in hun conceptmap. Specifiek didactisch handelen gewenst door de schoolleiders betreft: diagnosticeren, analyseren en benoemen (schoolleiders B en F), relateren aan de standaard, in tijdsperspectief plaatsen, verbinden en uitdagen (schoolleider B), navragen, herhalen en nabespreken (schoolleider C) en inventariseren, aansluiten bij de mogelijkheden en checken (schoolleider D). De meeste van deze activiteiten worden door docenten ook benoemd in hun conceptmap, behalve het relateren aan de standaard. De docenten die in hun conceptmaps aangaven dat feedback een proces is met een bepaalde volgorde plaatsten feedback in een bepaald perspectief in de tijd en beogen dat feedback bijdraagt aan een ontwikkelingsproces bij leerlingen. Een aantal schoolleiders (n=4) geeft aan te willen dat de docenten leerlingen actief betrekken in de interactie door leerlingen vragen te stellen, hen 116

keuzes te laten maken, samen te analyseren wat goed ging en wat beter kan, samen leerpunten en behoeften te benoemen, te checken of de leerling het heeft begrepen en aandacht te geven aan de reactie van de leerling. Dit zien we ook duidelijk terug in de conceptmaps van de docenten. Als we kijken naar de vormen van feedback, benoemen de schoolleiders dat de docent aan een leerling individueel of aan een groepje leerlingen feedback kan geven (n=2), dat leerlingen onderling elkaar feedback kunnen geven (n=4) en dat de leerling ook de docent feedback kan geven (n=1). Dit laatste zien we niet terug in de conceptmaps van de docenten. Als objecten of inhouden van feedback worden genoemd: resultaat, inhoud en prestaties (n=4), het proces (n=4) en de persoon (n=1). Dit komt overeen met wat de docenten aangaven. Zij noemen ook nog de samenwerking als object. Samenvattend kunnen we vaststellen dat de schoolleiders en de docenten in hun conceptmaps grotendeels dezelfde aspecten benoemen. Als voorwaarden voor het geven van feedback noemen beide groepen aspecten die te maken hebben met het afstemmen op de leerlingen Als doelen van het geven van feedback benoemen beide groepen zowel doelen die te maken hebben met de leerstof (verduidelijken, bewerkstelligen van verwerking, uitdaging en verdieping) als doelen in de sfeer van voortgang, groei, ontwikkeling en reflectie. Deze laatste doelen zijn meer gericht op het leerproces van de leerlingen, terwijl de eerste doelen meer gericht zijn op de inhoud en het resultaat. Beide groepen (zowel schoolleiders als docenten) beschrijven concrete handelingen die ze wenselijk achten in relatie tot de doelen. Het gaat daarbij om enerzijds pedagogisch handelen dat nauw samenhangt met het beoogde positieve leerklimaat (stimuleren van zelfvertrouwen, opbouwen van een reëel zelfbeeld, etc.) en anderzijds didactisch handelen dat erop is gericht zowel kennis als vaardigheden bij leerlingen te ontwikkelen (samenwerken, plannen, kiezen etc.). Hierbij is dus zowel aandacht voor de taak, het leerproces als de persoonlijke ontwikkeling van leerlingen in relatie tot anderen. Zowel de schoolleiders als de meeste docenten streven naar een actieve rol van de leerlingen. Zoals we hebben gezien verschilt echter de mate waarin leerlingen zelfstandig, actief en/of verantwoordelijk mogen of moeten zijn en mogen bijdragen aan de inrichting van hun eigen leerproces per docent, en ook per schoolleider. Zowel de schoolleiders als de docenten geven aan dat feedback zowel door de docent zelf als door leerlingen aan elkaar kan worden gegeven. Op een aantal scholen is het geven van feedback als een van de door docenten te 117

ontwikkelen vaardigheden benoemd. Docenten noemen niet specifiek de feedback die ze van leerlingen zouden kunnen krijgen. Wel noemt een aantal docenten in de vragenlijst vooraf dat ze aandacht besteden aan en oog hebben voor het samen reflecteren met de leerling. In grote lijnen komen de verzamelde gegevens bij de docenten en de schoolleiders dus met elkaar overeen als we beide groepen vergelijken. We hebben in hoofdstuk 5 kunnen zien dat de variatie in genoemde aspecten in de conceptmaps van docenten groot is. Dit geldt ook voor docenten van eenzelfde school, waardoor op basis daarvan niet per school een bepaalde typering gegeven kan worden van specifiek gewenst feedbackgedrag van docenten op die school. Ook de directe relatie tussen de genoemde aspecten in de concepmaps van de schoolleiders en de docenten van eenzelfde school ten aanzien van dat gewenste gedrag kan niet één op één worden gemaakt. Daarbij leveren de gegevens die aanvullend zijn verzameld bij de docenten aan de hand van open vragen in de vragenlijst vooraf een nog gedifferentieerder beeld per docent op en daarmee wordt de variatie tussen docenten op eenzelfde school zo mogelijk nog duidelijker zichtbaar (zie hoofdstuk 5). Vanuit de onderwijsconcepten van de scholen zijn zowel cognitieve als affectieve aspecten belangrijk en ligt zowel de nadruk op de inhoud als het leerproces en de persoonlijke ontwikkeling van leerlingen. Het blijkt dat elke docent in meer of mindere mate aandacht besteed aan deze aspecten. Dit betekent tevens dat ook wat dit betreft geen duidelijke typering per school van docenten of van (gewenst) docentgedrag is aan te geven.

6.4

Het feedbackgedrag volgens de docenten per school

De docenten hebben zelf voorafgaand aan de opname de items van het taakgebied “geven van feedback” ingevuld en daarmee aangegeven wat ze doen en wat ze belangrijk vinden. De uitkomsten van deze gegevens zijn vergelijkbaar met de gegevens van 141 docenten uit eerder onderzoek. Tabel 20 bevat beide en maakt dus een vergelijking mogelijk.

118

Tabel 20: Gegevens handelen nu en handelen ideaal volgens de docenten zelf op verschillende subschalen per docent en per school. *: gemiddelde uit eerder onderzoek (N=141) ;** gemiddelde is berekend over twee docenten.

Docent

School

Handelen nu

Vak

Gem. uit eerder onderzoek A 1 Wiskunde 2 Gesch. 3 Engels B 4 Latijn 5 Biologie 6 Economie C 7 Frans 8 Wiskunde 9 Techniek D 10 Economie 11 Economie 12 Engels

Subschaal Gem. taakgebied per school geven van feedback (4.0)* 3.4 4.2 3.8 3.8 3.9 3.9 4.0 4.0 4.0 4.0 4.0 4.2

3.8

3.9

4.0

4.1

Handelen ideaal

Subschaal Gem. taakgebied per school feedback benutten (3.2)* 1.8 2.8 2.3 4.0 3.3 2.8 3.5 3.5 3.5 3.3 1.8 3.8

2.3

3.4

3.5

3.0

Subschaal Gem. taakgebied per school geven van feedback (4.4)* 4.8 4.6 4.2 4.4 4.0 4.6 4.5 4.4 4.8 4.6

4.5

4.2**

4.6**

4.6

Subschaal Gem. taakgebied per school feedback benutten (3.9)* 4.3 3.5 3.8 3.5 3.8 3.8 4.5 4.0 3.5 4.5

3.9

3.7**

4.2**

4.0

119

In tabel 20 wordt zichtbaar dat het verschil tussen de gemiddelden van de scholen bij het handelen nu op de subschaal geven van feedback klein is, maar op de subschaal feedback benutten groter. Ten opzichte van eerder onderzoek scoren de docenten van de scholen A en B zichzelf gemiddeld net onder het gemiddelde op de subschaal geven van feedback. Op de subschaal feedback benutten scoren de docenten van school A en D zichzelf gemiddeld lager ten opzichte van de docenten van de andere scholen en ook lager ten opzichte van het gemiddelde uit eerder onderzoek. Bij het handelen ideaal liggen de gemiddelde scores van de docenten van de scholen A, C en D op de subschaal geven van feedback hoger dan die van school B en iets hoger dan het gemiddelde uit eerder onderzoek. Op de subschaal feedback benutten liggen de gemiddelde scores van de docenten van de scholen A, C en D gelijk op of iets hoger dan de gemiddelde score uit eerder onderzoek. Het gemiddelde van school B ligt daar iets onder. De verschillen tussen het gewenste handelen en het huidig handelen van de docenten per school zijn weergegeven in Tabel 21.: Tabel 21: Verschillen tussen huidig en gewenst handelen van de docenten (volgens de docenten zelf) per school School

School A School B School C School D

Subschaal taakgebied geven van feedback

Subschaal taakgebied feedback benutten

Ideaal - nu

Ideaal - nu

0.7

1.6

0.3

0.3

0.6

0.7

0.5

1.0

De docenten van school A hebben gemiddeld op deze subschalen de meeste ambitie om hun handelen te veranderen, in die zin dat ze gemiddeld bepaalde handelingen, zoals beschreven in de items, belangrijk vinden om (meer) te (gaan) doen. Het verschil tussen ideaal en nu bij de docenten van de scholen C en D is iets kleiner en bij de docenten van school B het kleinst.

120

6.5

Leerlingpercepties van het feedbackgedrag per school

In de vragenlijst voorafgaande aan de video-opname zijn verschillende gegevens bij leerlingen verzameld over het handelen van de docent. Hieronder wordt ingegaan op de uitkomsten op schoolniveau en worden gemiddelden met elkaar vergeleken. Daarnaast worden de gemiddelden ook vergeleken met de gegevens van 900 leerlingen uit eerder onderzoek waarbij deels dezelfde subschalen zijn gebruikt. Tabel 22: Handelen nu gemiddeld per school (vragenlijst leerlingen vooraf) * = gemiddelden uit eerder onderzoek bij 900 leerlingen op 6 scholen. Gemiddelde per school Schalen Subschaal feedback gericht op het

Gem. N=900*

A

B

C

D

266

-

4.0

3.8

3.6

4.0

260

-

3.7

3.4

3.3

3.9

275

3.8*

4.0

3.8

3.6

4.2

277

3.4*

3.5

2.9

2.9

3.8

273

3.8*

3.7

3.8

3.5

4.2

N

handelen nu

resultaat Subschaal feedback gericht op het proces Subschaal taakgebied geven van feedback Subschaal taakgebied feedback benutten Taakgebied volgen van het leerproces

De leerlingen van school D scoren hun docenten gemiddeld het hoogst als het gaat om het huidig handelen op de verschillende (sub)schalen, daarna volgen de scholen A, B en C. De gemiddelden van de docenten van de scholen A en D op de verschillende schalen liggen dichter bij elkaar dan bij de scholen B en C. De laagste score krijgen de docenten van de scholen B en C op de subschaal feedback benutten. Opvallend is dat drie van de zes docenten van deze scholen juist als enigen het benutten van feedback wel hadden vermeld bij hun intenties en doelen in de vragenlijst vooraf met open vragen (zie Tabel 8a en 8b). De verschillen tussen de gemiddelden (over drie docenten) per school zijn statistisch getoetst en blijken significant (bij p < .001). Ter illustratie worden de gemiddelden hierna ook weergegeven in een grafiek, direct gevolgd door een tweede grafiek met de gemiddelden van het handelen ideaal. De uitkomsten worden daarna verder besproken.

121

Docenthandelen nu volgens de leerlingen 5

4,5

4

3,5

3

Subschaal feedback gericht op resultaat Subschaal feedback gericht op proces Subschaal TG geven van feedback Subschaal TG feedback benutten TG volgen van het leerproces

2,5 A

B

C

Figuur 10: Docent handelen nu op de verschillende subschalen per school

122

D

Docenthandelen ideaal volgens de leerlingen 5

4,5

4

3,5

3

Subschaal feedback gericht op resultaat Subschaal feedback gericht op proces Subschaal TG geven van feedback Subschaal TG feedback benutten TG volgen van het leerproces

2,5 A

B

C

D

Figuur 11: Docent handelen ideaal op de verschillende subschalen per school

123

Als we kijken naar het handelen ideaal, zien we dat de lijnen in de grafiek van Figuur 11 meer horizontaal lopen dan bij het handelen nu (Figuur 10). Dit betekent dat de verschillen tussen de scholen kleiner zijn. Bij toetsing zijn de verschillen op de volgende (sub)schalen significant (bij p<.05): “feedback gericht op het resultaat”, “feedback benutten” en “volgen van het leerproces”. De gemiddelde scores op de subschaal geven van feedback zijn precies gelijk voor alle vier de scholen, dat wil zeggen dat de leerlingen van de verschillende scholen gemiddeld hetzelfde handelen van docenten willen zien (zie ook Tabel 23). Tabel 23: Handelen ideaal gemiddeld per school (vragenlijst leerlingen vooraf). * = gemiddelden uit eerder onderzoek bij 900 leerlingen. Gemiddelde per school Schalen

N

Gem. N=900*

handelen ideaal A

B

C

D

-

4.2

4.4

4.1

4.2 4.0

Subschaal feedback gericht op het resultaat

257

Subschaal feedback gericht op het proces

246

-

4.0

4.0

3.8

Subschaal taakgebied geven van feedback

269

4.2*

4.2

4.2

4.2

4.2

Subschaal taakgebied feedback benutten

275

3.9*

3.9

3.6

3.5

3.8

Taakgebied volgen van het leerproces

264

4.2*

4.0

4.2

3.9

4.2

We kunnen deze gemiddelden (zie de Tabellen 22 en 23) op de (sub)schalen vergelijken met de gemiddelden zoals verkregen in eerder onderzoek. We doen dit voor zowel het huidige als het gewenste handelen. Ten aanzien van het huidige handelen (Tabel 22) zien we dat school B op de subschaal geven van feedback conform het eerder gevonden gemiddelde scoort, de scholen A en D iets daarboven en school C iets eronder. Op de subschaal feedback benutten scoren de scholen A (iets meer) en D (duidelijk meer) dan het eerder gevonden gemiddelde. De scholen B en C scoren daaronder. Op het taakgebied volgen van het leerproces scoort school B conform het eerder gevonden gemiddelde en scoren de scholen A en C daaronder en D erboven. Bij het gewenste handelen (Tabel 23) blijkt dat de gemiddelde scores op de subschaal geven van feedback overeenkomen met die in het eerdere onderzoek. Op de subschaal feedback benutten scoren twee scholen gelijk (school A) of iets hoger (school D) dan het eerder gevonden gemiddelde en dbeide andere scholen (B en C) daaronder. Op het taakgebied volgen van

124

het leerproces scoren de scholen B en D conform het eerder gevonden gemiddelde en scoren de scholen A en C daar iets onder Behalve naar het handelen nu en het handelen ideaal elk apart, kunnen we ook het verschil tussen beide vergelijken tussen de scholen. Dan blijkt dat de gemiddelde scores van de leerlingen bij het handelen ideaal op alle scholen hoger liggen dan de gemiddelden bij het huidige handelen, behalve op sommige (sub)schalen bij school D. Zie ook Tabel 24. De leerlingen van school D geven aan alleen op de subschalen feedback gericht op het resultaat en feedback gericht op het proces iets meer te willen. De leerlingen van school A willen gemiddeld op alle subschalen iets meer, het meest op de subschaal feedback benutten. De leerlingen van de scholen B en C willen duidelijk op alle schalen gemiddeld meer van de betreffende docenten. Tabel 24: Verschillen tussen huidig en gewenst handelen per school gezien vanuit de leerlingen. * vergelijking met uitkomsten uit eerder onderzoek. Subschaal feedback op het resultaat

Subschaal feedback gericht op het proces

Subschaal taakgebied geven van feedback ( 0,4)*

Subschaal taakgebied feedback benutten (0,5)*

Taakgebied volgen van het leerproces (0,4)*

Ideaal - nu

Ideaal - nu

Ideaal - nu

Ideaal - nu

Ideaal - nu

0.2

0.3

0.2

0.4

0.3

0.6

0.6

0.4

0.7

0.4

0.5

0.5

0.6

0.6

0.4

0.2

0.1

0

0

0

School School A (50) School B (74) School C (59) School D (93)

125

Ook dit verschil tussen handelen ideaal en handelen nu volgens de leerlingen kunnen we weer vergelijken met de uitkomsten in het eerdere onderzoek bij 900 leerlingen. Deze uitkomsten zijn ook in Tabel 24 vermeld. Dan blijkt dat het gemiddelde verschil tussen het ideale en het huidige handelen van de docenten op school B overeenkomt met het verschil dat eerder werd vastgesteld op het subtaakgebied geven van feedback en het taakgebied volgen van het leerproces (0,4), maar dat het verschil op het subtaakgebied feedback benutten duidelijk groter is (0,7). Bij school C geldt dat het verschil bij het volgen van het leerproces gelijk is aan het eerder vastgestelde verschil, maar dat het op de subtaakgebieden geven van feedback en benutten van feedback groter is. Op de scholen A en B liggen de verschillen op de drie subschalen onder de verschillen die zijn gevonden in het eerdere onderzoek. Als we deze gegevens vergelijken met wat de docenten zelf aangaven (zie Tabel 21) op de subschalen geven van feedback en feedback benutten, dan valt op dat de docenten op de scholen A en D hun handelen meer willen verbeteren dan de leerlingen op deze scholen aangeven te wensen. De docenten van school C willen hun handelen aanpassen in ongeveer dezelfde mate als de leerlingen dat zouden willen zien. De docenten van school B zitten iets onder de mate waarin de leerlingen veranderingen willen bij het geven van feedback en er nog iets meer onder bij feedback benutten. Hierbij moet wel worden opgemerkt dat de gemiddelden bij de scholen B en C slechts konden worden berekend over twee docenten.

6.6

Geobserveerd en gescoord feedbackgedrag per school

Nu vergelijken we de vier scholen ten aanzien van de gegevens die zijn verzameld bij het scoren van de geselecteerde videofragmenten (Tabel 25). Bij de werving van de docenten zijn door de schoolleiding docenten geselecteerd die weinig, gemiddeld of veel ervaring hebben. Dit gegeven is ook in de tabel opgenomen. Het blijkt dat minder ervaren docenten gemiddeld niet te onderscheiden zijn van meer ervaren docenten in de mate waarin ze resultaatgerichte en procesgerichte feedback en aanvullende instructie geven. In de tabel is ook aangegeven om welk vak het ging en welk typen leerlingen uit welke leerjaren betrokken waren bij de opnamen die zijn gemaakt en waaruit de fragmenten zijn geselecteerd.

126

Tabel 25: De frequentie van gescoorde activiteiten bij de video-fragmenten. Resul-

leerling

taat gerichte

Proces Gerichte feedback

feedback

A

B

C

D

1

W

Wiskunde

Havo-4

16

2 3

G V

Gesch. Engels

Havo-4 Havo-3

21 17

4 5 6 7 8 9 10 11 12

V G W W V G V W G.

Latijn Biologie Economie Frans Wiskunde Techniek Economie Economie Engels

Gym-3 Havo-4

12 22 17 21 15 17 7 11 17

Vmbo-t-4

H/V-3 H/V-3 H/V-3 VMBO-3 VMBO-4 VMBO-3

Aanvullende Instruc-

Totaal

Typen

Totaal

Vak

Totaal

Docent

School

E*

tie

22 54

51

53

35

14 20 23 20 17 9 28 21 23 18 22

3 56

60

2 2 3 2 1

7

6

58

3 2

5

63

3 5

8

* E = ervaring in het onderwijs: W= weinig, ≤ 5 jaar; G= gemiddeld, 5-15 jaar; V= veel, > 15 jaar

Het blijkt dat de verschillen tussen de docenten onderling groter zijn dan tussen de scholen. Er is wel een verschil tussen de scholen in de mate waarin resultaatgerichte feedback wordt gegeven: dit gebeurt op school D minder dan op de andere drie scholen. Als we de frequentie van de procesgerichte feedbackactiviteiten per docent delen door de frequentie van de resultaatgerichte activiteiten vinden we een maat waarin de verhouding wordt weergegeven tussen procesgerichte en resultaatgerichte feedback. Indien de docent evenveel resultaatgerichte feedback geeft als procesgerichte feedback dan heeft de maat de waarde 1. Geeft de docent meer procesgerichte feedback dan vinden we een score >1, geeft de docent meer resultaatgerichte feedback dan is de score < 1. De uitkomsten staan in Tabel 26.

127

Tabel 26: De verhouding tussen procesgerichte en resultaatgerichte feedback per docent en gemiddeld over drie docenten per school (X= de verhoudingsmaat procesgericht / resultaatgericht). School A

School B

D

1

2

3

4

5

X

1.4

0.7

1.2

1.9

0.9

X

1.1

0.8

School C 6 1

School D

7

8

9

10

11

12

0.4

1.9

1.2

3.3

1.6

1.3

1.2

2.1

Drie docenten hebben minder resultaatgerichte feedback gegeven dan procesgerichte feedback (de maat is < 1) en één docent (docent 6) heeft evenveel resultaatgerichte feedback gegeven als procesgerichte feedback (de balans is gelijk aan 1). De andere docenten hebben meer procesgerichte feedback gegeven (de maat is > 1); de mate waarin verschilt per docent. De verschillen zijn relatief en slechts te interpreteren binnen de specifieke context van de opnames aangezien de gegevens zijn verzameld bij docenten die bij verschillende vakken leerlingen verschillende typen taken lieten uitvoeren en van verschillende leerlingen verschillende vragen en problemen voorgelegd kregen waarop ze als docent reageerden. Het verschil in gemiddelden is daarom slechts illustratief in die zin dat het iets zegt over de neiging van deze docenten in de gegeven situaties meer of minder procesgerichte feedback te geven. In Tabel 27 is een overzicht gemaakt waarin de hierboven genoemde gegevens zijn gezet naast de indeling in alpha-, beta- en gammavakken. Hieruit blijkt dat er geen duidelijk verband is te zien tussen de verhouding van procesgerichte en resultaatgerichte feedback en het type vak resp. vakkencluster. Ook wordt zichtbaar dat de hier gebruikte verhoudingsmaat bij verschillende docenten met eenzelfde vak bij hetzelfde type leerlingen kan verschillen (zie bijvoorbeeld bij de docenten 6, 10 en 11).

128

Tabel 27: De verhouding van proces- en resultaatgerichte feedback over verschillende clusters van vakken en typen leerlingen. Ervaring

Docent

Cluster

Vak

Type

Resultaat

Proces

Verhouding

leerling

gerichte

Gerichte

(proces /

feedback

feedback

resultaat)

α α α α ß ß ß

3 V Engels Havo-3 17 20 1.2 4 V Latijn Gym-3 12 23 1.9 7 W Frans H/V-3 21 9 0.4 12 G. Engels 17 22 1.3 VMBO-3 1 W Wiskunde Havo-4 16 22 1.4 5 G Biologie Havo-4 22 20 0.9 8 V Wiskunde H/V-3 15 28 1.9 9 G Techniek H/V-3 17 21 1.2 γ 2 G Gesch. Havo-4 21 14 0.7 γ 6 W Economie 17 17 1.0 Vmbo-t-4 γ 10 V Economie 7 23 3.3 VMBO-3 γ 11 W Economie 11 18 1.6 VMBO-4 * Ervaring: W= weinig, ≤ 5 jaar; G= gemiddeld, 5 - 15 jaar; V= veel, > 15 jaar

In Tabel 27 is te zien dat aan de vmbo-leerlingen gemiddeld genomen relatief veel procesgerichte feedback is gegeven en aan de havo-leerlingen ongeveer evenveel resultaatgerichte als procesgerichte feedback. De variatie in de verhouding hangt echter mede samen met de verschillen in het type taak waar het om ging.

6.7

Leerlingpercepties van ontvangen feedback per school

Tot slot is nagegaan of de leerlingpercepties van de verkregen feedback mogelijk ook variëren tussen de scholen. Deze gegevens zijn gebaseerd op de vragenlijst die leerlingen direct na afloop van de opname hebben ingevuld. De resultaten per uitspraak staan in Tabel 28. Daaruit blijkt dat alleen bij de feedback over de uitvoering van de opdracht, de werkhouding en de persoon van de leerling en de samenwerking, de scholen significant van elkaar verschillen. Feedback over de uitvoering, de werkhouding en de persoon kwam vooral voor op school D, feedback op de samenwerking het meest op school A en het minst op school B.

129

Tabel 28: Percepties bij leerlingen van de feedback gemiddeld per school (vragenlijst leerlingen direct na de opname) Gemiddelde per school Uitspraken (items)

Toetsing verschillen tussen scholen

A

B

C

D

N

df

F

p

1. De feedback was duidelijk

4.4

4.5

4.2

4.7

135

3.131

1.888

.135

2. Ik vond de feedback terecht

4.3

4.4

4.2

4.1

135

3.131

.640

.591

3. De feedback ging over wat goed ging of goed was gegaan

3.7

3.7

4.0

4.5

134

3.130

1.711

.168

4. De feedback ging over wat nog niet goed was of goed ging

3.6

3.6

3.6

3.1

136

3.132

.600

.616

5. De feedback gaf precies aan wat goed ging, anders moest

3.8

3.9

4.0

3.7

134

3.130

.269

.848

6. De feedback kwam positief over

4.3

4.2

4.4

4.4

135

3.131

.137

.914

7. De feedback kwam negatief over

1.9

1.7

1.6

1.9

133

3.129

.400

.753

8. De feedback ging over de uitvoering van de opdracht

4.2

3.8

4.0

4.7

135

3.131

2.715

<.05

9. De feedback ging over de aanpak van de opdracht

4.1

3.7

3.7

3.9

134

3.130

.904

.441

10. De feedback ging over mijn werkhouding

2.5

2.0

2.1

3.8

134

3.130

6.883

< .001

11. De feedback ging over mijn persoon

2.1

1.7

2.1

3.9

134

3.130

13.693

< .001

12. De feedback ging over de samenwerking

3.5

1.7

2.5

3.0

109

3.105

10.986

< .001

13. De feedback ging over wat ik al had gemaakt

3.1

2.8

3.3

3.4

133

3.129

.770

.513

14. De fb maakte duidelijk waaraan opdracht moest voldoen

3.8

3.5

4.2

3.9

136

3.132

2.025

.113

15.De feedback motiveerde me om verder te werken

3.7

3.5

4.0

3.7

136

3.132

.984

.403

16. De feedback was leerzaam

4.1

4.3

4.3

4.1

136

3.132

.416

.742

17. De feedback was bruikbaar

4.2

4.2

4.4

4.1

135

3.131

.404

.750

18. Door de fb. wist ik wat te doen om verder te kunnen

4.1

3.7

4.2

3.9

135

3.131

1.232

.301

19.De feedback gaf me de kans mijn werk te verbeteren

4.0

4.2

4.4

3.9

135

3.131

1.870

.138

20. Met fb gaf de leraar suggesties om mezelf te verbeteren

3.6

3.2

4.0

3.9

135

3.131

2.405

.070

130

De scholen zijn tot slot vergeleken op hun gemiddelde scores op schaalniveau. Dit betrof de uitspraken over acceptatie en bruikbaarheid (die in hoofdstuk 5 ook zijn vermeld voor alle docenten), en ook de mate waarin de feedback aanwijzingen bevatte voor het proces (de uitspraken die daarover gaan (4, 8, 9, 13, 14, 20) bleken niet per docent maar wel per school een grotendeels acceptabel betrouwbare schaal te vormen). Tabel 29 bevat de resultaten van deze vergelijking tussen de vier scholen. Tabel 29: Perceptie leerlingen van de feedback, gemiddeld per school Acceptatie en bruikbaarheid (9 items: 1-3, 5, 6, 16-19)

Aanwijzingen voor het proces (6 items: 4, 8, 9, 13, 14, 20)

α

N

Gem.

Sd.

α

N

Gem.

Sd.

Alle 12 docenten

.81

129

4.1

.61

.68

132

3.7

.78

School A

.77

54

4.1

.49

.67

55

3.7

.70

School B

.76

36

4.1

.64

.55

36

3.4

.80

School C

.86

14

4.2

.63

.74

25

3.8

.74

School D

.89

25

4.1

.95

.83

16

3.8

.99

De scholen verschillen niet in de gemiddelde beoordeling door de leerlingen van de acceptatie en bruikbaarheid van de verkregen feedback. De gemiddelden voor de docenten op school A verschillen minder onderling dan die op de overige scholen. Ten aanzien van de mate waarin de feedback aanwijzingen bevatte voor het proces, blijken de docenten op school B dit gemiddeld in wat mindere mate te doen dan de docenten op de andere drie scholen, maar dit verschil was niet statistisch significant.

6.8

Samenvattende conclusies

De onderwijsconcepten van de scholen De onderwijsconcepten van de scholen die deel hebben genomen aan dit onderzoek zijn in een bepaalde mate onderling vergelijkbaar als we kijken naar het pedagogisch en didactisch klimaat, de beoogde leerdoelen en de inrichting van de leeromgeving en het curriculum. Alle scholen streven ernaar activerend en motiverend onderwijs te bieden en ruimte te geven aan leerlingen om eigen keuzes te maken. Ze zijn daarbij gericht op het leren vanuit interactie en samenwerking en streven ernaar zowel bij te dragen aan de ontwikkeling van kennis en vaardigheden als aan de persoonlijke ontwikkeling van leerlingen.

131

Docenten op deze scholen worden geacht leerlingen op al deze aspecten te begeleiden en te coachen. De doelen daarbij verschillen enigszins per school, maar de beoogde begeleiding en coaching is voor alle betrokken scholen als volgt te typeren: naast het begeleiden bij de uitvoering van taken begeleiden docenten concreet leerlingen bij het aanleren van vaardigheden, zoals plannen, samenwerken en reflecteren, en coachen zij leerlingen bij het leren sturen van hun eigen leerproces. Het geven van feedback vervult hierbij een belangrijke sleutelrol, het heeft meerdere functies en dient meerdere doelen. Vanuit het onderwijsconcept van de scholen zijn zowel cognitieve als affectieve aspecten belangrijk en ligt zowel de nadruk op de inhoud als het leerproces als de persoonlijke ontwikkeling van leerlingen. De schoolleiders en de docenten leggen in hun conceptmaps hierin ieder voor zich bepaalde accenten. De conceptmaps van schoolleiders en docenten De doelen van het geven van feedback die de schoolleiders van de aanvragende scholen in hun conceptmaps benoemen, komen in grote lijnen overeen met de doelen die de docenten nastreven en zijn zowel gericht op de inhoud en het resultaat (verduidelijken van de stof, bevorderen van verbetering etc.) als op het proces (voortgang, groei en ontwikkeling). Ten aanzien van de voorwaarden voor het geven van feedback noemen schoolleiders zowel organisatorische en structurele aspecten als aspecten die te maken hebben met de afstemming tussen docenten en leerlingen. De laatste worden ook door docenten genoemd. Het gewenste pedagogisch-didactisch handelen bij het geven van feedback komt in de conceptmaps van schoolleiders en docenten op veel punten overeen. Dit geldt voor de manier waarop men de leerlingen actief wil betrekken bij het leren en hun eigen ontwikkeling. Ook noemen beide groepen dat feedback gericht kan zijn op de inhoud, het resultaat, het proces en de persoon. De overeenkomsten tussen de conceptmaps van schoolleiders en docenten worden vooral zichtbaar als we beide als groepen met elkaar vergelijken. Per school zijn er vaak tussen de docenten op die school wel de nodige verschillen. Het geven van feedback volgens de docenten De per school gemiddelde inschattingen van de docenten van hun eigen handelen op de subschaal over het geven van feedback verschillen tussen de scholen niet veel (van 3,8 tot 4,1). Op de subschaal feedback benutten zijn de verschillen tussen de scholen duidelijk groter (van 2,3 tot 3,5). Ook 132

zijn er verschillen tussen de scholen in het gemiddelde ideaal van de docenten, op beide genoemde subschalen, maar deze verschillen zijn niet heel groot (bij geven van feedback van 4,2 tot 4,6 en bij benutten van feedback van 3,7 tot 4,2). Op alle scholen ligt het gemiddelde van het handelen ideaal (de mate waarin de docenten het belangrijk vinden om te doen) hoger dan het gemiddelde van het handelen nu (de mate waarin zij menen het nu te doen). Dit verschil tussen ideaal en nu varieert wel tussen de scholen. De docenten op school A betonen zich hierbij het meest ambitieus, gevolgd door de docenten van de scholen C en D en ten slotte de docenten van school B. Het geven van feedback volgens de leerlingen van de docenten De leerlingen van de deelnemende docenten op school D schatten het handelen van hun docenten het hoogste in, gevolgd door de leerlingen op de scholen A, B en C. Met name de aandacht voor het geven van procesgerichte feedback en voor het benutten van feedback blijft volgens de gegeven van de leerlingen op de scholen B en C wat achter. Ten aanzien van wat de leerlingen graag zouden willen (het handelen ideaal) liggen de gemiddelden dicht bij elkaar. De gemiddelden op de subschaal geven van feedback zijn op alle vier scholen zelfs exact gelijk. Gelet op de gegevens van de leerlingen hoeven de aan het onderzoek deelnemende docenten van school D op het vlak van feedback niet meer te doen dan zij nu al doen. (Het handelen ideaal van de leerlingen komt vrijwel overeen met het handelen nu volgens de leerlingen). De leerlingen van de docenten van school A willen dat hun docenten wat meer aandacht geven aan het benutten van feedback. De leerlingen van de docenten op de scholen B en C willen duidelijk meer aandacht voor het benutten van feedback en ook meer aandacht voor het geven van feedback. Het geven van feedback zoals geobserveerd door de onderzoekers Per school zijn bij drie docenten elk vijf videofragmenten geobserveerd, dus in totaal 15 fragmenten per school. Het aantal docentactiviteiten in de categorie resultaatgerichte feedback varieerde per school van 35 tot 54 keer, het aantal in de categorie procesgerichte feedback van 56 tot 63 keer. Op school D werd minder resultaatgerichte feedback gegeven dan op de andere scholen, maar juist het meeste procesgerichte feedback. De verhouding tussen procesgerichte en resultaatgerichte feedback verschilde tussen docenten en ook gemiddeld tussen de scholen. Dit bleek niet toe te schrijven aan het vak, het type vak (vakkencluster), het type leerlingen (vmbo, havo, vwo) of het aantal jaren onderwijservaring van de

133

docent. Wel gaven de docenten van vmbo-leerlingen meer procesgerichte feedback dan resultaatgerichte feedback. De perceptie en waardering van de gegeven feedback bij de leerlingen Leerlingen hebben direct na afloop van de video-opnamen aangegeven hoe zij de verkregen feedback hebben ervaren. Ook hierbij is nagegaan in hoeverre hun antwoorden gemiddeld verschillen tussen de scholen. Op het niveau van de afzonderlijke docentactiviteiten bleken alleen bij de uitspraken over feedback op de uitvoering van de opdracht, de werkhouding en de persoon van de leerling, en de samenwerking, de scholen significant van elkaar te verschillen. Feedback op de uitvoering, de werkhouding en de persoon van de leerling kwam vooral voor op school D, feedback op de samenwerking het meest op school A en het minst op school B. Op het niveau van de te construeren schalen bleken de scholen niet significant te verschillen ten aanzien van de acceptatie en bruikbaarheid van de feedback volgens de leerlingen. Ten aanzien van de mate waarin de feedback aanwijzingen bevatte voor het proces, bleken de docenten op school B dit in iets mindere mate te doen dan de docenten op de andere drie scholen, maar dit verschil was niet statistisch significant.

134

7

Conclusies

Aan dit onderzoek lagen drie vragen ten grondslag. We herhalen ze kort: 1. Hoe geven de docenten feedback? Hoe hangt dit samen met hun opvattingen en intenties, het onderwijsconcept van de school, de wensen van de leerlingen, en de kennis over feedback? 2. In hoeverre baseren de docenten hun feedback op het leerproces van de leerlingen? 3. Hoe kunnen docenten leren meer en beter gebruik te maken van feedback? In dit hoofdstuk vatten we de antwoorden op de eerste twee vragen samen. Het antwoord op de derde vraag komt aan bod in hoofdstuk 8. Feedback: visies, vormen, effecten In technische processen is ‘feedback’ het terugkoppelen van resultaten met het oog op het bereiken en handhaven van een vooraf bepaalde waarde. Een voorbeeld is de feedback van de thermostaat naar de ketel van de centrale verwarming. Deze “kale” vorm van feedback is in het onderwijs van toepassing bij geprogrammeerde instructie, gebaseerd op het behaviorisme: terugkoppelen dat een antwoord juist is, bekrachtigt dit (“reïnforcement”). Onder invloed van de cognitieve psychologie kreeg feedback de betekenis van informatie. In reactie op een prestatie (in het onderwijs bijvoorbeeld een gemaakte toets) kan informatie worden gegeven, niet alleen over de prestatie zelf (bijvoorbeeld hoeveel en welke vragen goed zijn beantwoord), maar ook over de prestaties van anderen op dezelfde taak, over de geschiktheid van de gevolgde aanpak, etc. De ontvanger van de feedback wordt geacht deze informatie te verwerken. In het onderwijs is informatie over een geleverde prestatie van oudsher verstrekt in de vorm van een cijfer. Deze vorm van feedback is heel beperkt. Een cijfer kijkt terug, is slechts een maat voor wat de prestatie waard is (summatieve beoordeling), en bevat verder weinig informatie die kan worden gebruikt om ervan te leren. De afgelopen decennia heeft het inzicht veld gewonnen dat toetsing en beoordeling in het onderwijs vooral zinvol is als het een onderdeel is van het onderwijsleerproces en daaraan bijdraagt (formatieve beoordeling). Dit vergt dat leerlingen inzicht hebben in de criteria en standaarden waaraan hun werk moet voldoen en dat ze feedback krijgen waaruit blijkt in hoeverre hun werk daaraan voldoet. In deze visie wordt feedback gebaseerd op een duidelijke beoordeling. 135

In het voetspoor van de behavioristische en de cognitieve kijk op feedback is veel onderzoek gedaan naar de impact van feedback en naar kenmerken van feedback met positieve effecten op volgende prestaties. De uitkomsten daarvan zijn wisselend. Feedback kan sterk positieve effecten hebben maar ook averechts werken. Dit blijkt afhankelijk van kenmerken van de feedback zelf, maar ook van de taak, de specifieke prestatie, de feedbackgever (docent), de feedbackontvanger (leerling), en de context. In hoofdstuk 3 wordt hiervan een overzicht gegeven. Parallel aan de genoemde groeiende aandacht voor formatieve beoordeling zijn de taken voor leerlingen in het onderwijs veranderd en zijn antwoorden of oplossingen lang niet altijd meer goed of fout. Het werken aan een taak is vaak een proces waarin een leerling keuzes moet maken en op meerdere momenten en manieren een vergissing kan begaan of kan vastlopen. De “prestaties” van leerlingen waarop feedback zou kunnen worden gegeven zijn daardoor niet meer zo eenduidig. Dit is ook het geval als een leerling wel tot een goede oplossing komt, omdat er vaak meer wegen zijn waarlangs deze kan zijn bereikt en een docent in zijn of haar feedback vaak ook het oplossingsproces zal willen betrekken. Ook zijn bij veel taken meer goede oplossingen mogelijk, of kunnen oplossingen verschillen in kwaliteit. De beoordeling van de prestatie, die aan het geven van feedback ten grondslag zou moeten liggen, is hierdoor ook minder eenvoudig geworden. De docent zal vaak het proces moeten reconstrueren en de kwaliteit van de aanpak, de gemaakte keuzes en het resultaat moeten afwegen. Om deze reconstructie en beoordeling te kunnen uitvoeren en om de boodschap duidelijk over te kunnen brengen zullen docent en leerling vaak moeten samenwerken, tijdens een proces van interactie en communicatie. Als feedback wordt opgevat en gehanteerd als gezamenlijk proces, en niet meer als een eenmalige reactie (eenrichtingverkeer), wordt feedback al snel een onderdeel van coaching, gericht op bevordering van het leerproces. Door deze veranderingen in het onderwijs en in de visie op feedback, neemt het belang van de deskundigheid en bekwaamheid van de docent als beoordelaar en feedbackgever toe. Een docent zal zijn of haar vak goed moeten kennen, de kennis en vaardigheden die daarin centraal staan, en ook de manieren waarop leerlingen zich deze kunnen eigen maken en de problemen die daarbij kunnen optreden. Een docent zal ook goed moeten kunnen observeren en analyseren om zicht te krijgen op wat een leerling heeft gedaan en gedacht en hoe de kwaliteit van het (voorlopige) resultaat kan worden ingeschat. Een docent zal, ten derde, ook in staat moeten zijn de boodschap die hij of zij wil overbrengen zorgvuldig, duidelijk en precies te formuleren (hetgeen ook een beroep doet op een gedifferentieerde taalvaardigheid). 136

Bij het “landen” van feedbackboodschappen van een docent kunnen bij de leerling allerlei cognitieve, affectieve en motivationele processen meespelen. Om hiermee rekening te kunnen houden en daarop in te spelen is het wenselijk dat docenten zulke processen kennen en bij hun leerlingen kunnen signaleren. Dat vergt tijd en onderling vertrouwen en ook dat docenten leerlingen aan het woord laten. Feedback die over kan gaan in coaching kan er uiteindelijk aan bijdragen dat leerlingen leren hun eigen werken en leren te monitoren en de kwaliteit ervan te beoordelen, daartoe hun eigen feedback organiseren, en zich mede op basis daarvan weer nieuwe doelen stellen. Het huidige en gewenste feedbackgedrag volgens docenten en leerlingen De docenten die deelnamen aan dit onderzoek vinden het belangrijk een leerling feedback te geven in persoonlijk en individueel contact, in een situatie van vertrouwen en met voldoende tijd en aandacht. Zij geven feedback op zowel inhoud, aanpak en resultaat als houding en gedrag, en willen daarbij rekening houden met verschillen tussen leerlingen op zowel cognitief (niveau, kennis, begrip, tempo) als affectief gebied (zelfvertrouwen, persoonlijke situatie, e.d.). Ze vinden het belangrijk dat feedback positief en constructief is, bevestigt en de leerling vertrouwen geeft. Hun doelen bij het geven van feedback liggen op zowel cognitief (begrip, resultaten) als affectief gebied (zelfvertrouwen, motivatie). De docenten noemen een scala aan concrete feedbackactiviteiten die zij toepassen. Driekwart van de docenten stelt het eigen ideaal (de mate waarin zij het belangrijk vinden feedbackactiviteiten toe te passen) flink hoger dan de inschatting van hun huidige gedrag. Ruim de helft ziet feedback als een proces in de tijd van interactie met de leerling. De inbreng die ze daarbij voor de leerlingen nastreven, varieert, van bevorderen van hun zelfstandigheid via hen aanspreken op hun verantwoordelijkheid tot het met de leerlingen samenwerken en hen vragen stellen en zelf keuzen laten maken. De leerlingen schatten het handelen van hun docenten ten aanzien van het geven van feedback op een schaal van 1 tot 5 gemiddeld in op 3 tot 4,5, dus dit verschilt tussen de docenten. Hun inschattingen voor procesgerichte feedback (3,1-4,2) en voor het (doen) benutten van de feedback (2,7-4,0) liggen wat lager. De leerlingen zijn over het algemeen tevreden met de feedback van hun docenten. Bij ongeveer de helft van de docenten hoeven deze van hun leerlingen niet veel meer te doen dan zij nu doen, bij een derde deel van de docenten willen de leerlingen duidelijk meer. De inschattingen van de docenten van hun gebruikelijke eigen handelen bij feedback komen gemiddeld redelijk tot goed overeen met de inschattingen van hun leerlingen, maar sommige docenten onderschatten wat ze doen 137

(vergeleken met de antwoorden van hun leerlingen) en anderen overschatten dit. In reactie op de verstrekte informatie over de gemiddelde antwoorden van hun leerlingen zagen de docenten deze op meer manieren: als een bevestiging van hun kwaliteiten, als duidelijke wens van hun leerlingen waar ze iets mee wilden gaan doen, als een gegeven waarvoor zij zich wilden verantwoorden door te verwijzen naar de omstandigheden, en als enigszins confronterend (rakend aan bepaalde zekerheden). De docenten die feedback zien als proces en de docenten die bij feedback veel aandacht geven aan affectieve aspecten werden door hun leerlingen voor wat betreft hun feedbackactiviteiten gemiddeld vrij hoog ingeschat. Al met al zijn er zowel overeenkomsten als verschillen tussen de docenten, en blijken hun opvattingen en intenties samen te hangen met hun gedrag en met de percepties daarvan bij hun leerlingen. Veel docenten leggen nogal wat nadruk op het belang van afstemmen op en rekening houden met de individuele leerling, niet alleen ten aanzien van cognitieve maar ook ten aanzien van affectieve en motivationele aspecten. Intenties, gedrag en percepties rond de opgenomen feedbacksituaties Tijdens de opgenomen situaties werken de leerlingen bij sommige docenten aan opgaven uit het boek maar bij de meeste docenten aan opdrachten die door de docent zelf zijn gemaakt. Bij sommige opdrachten moesten leerlingen samenwerken maar bij de meeste ging het om individueel werk, hoewel het bij een aantal docenten wel gebruikelijk is dat leerlingen elkaar om raad (kunnen) vragen (en niet meteen naar de docent toekomen). In de helft van de situaties ging het om het uitwerken van de opdracht op papier, in de andere helft om een variëteit aan andersoortige taken. De aanleiding voor het geven van feedback (op eigen initiatief dan wel op een vraag van een leerling) kwam er steeds op neer dat een leerling iets niet begreep of ergens mee vast liep. De docenten gaven aan bij de feedback rekening te houden met uiteenlopende aspecten als het niveau van de leerling, zijn/haar zelfvertrouwen, de persoon van de leerling, de onderlinge relatie, de situatie, de werkhouding, de mate van uitdaging. Desgevraagd noemden ze een reeks intenties die zij met de feedback voor ogen hadden, zowel cognitief (uitleggen, voordoen, voorbeelden geven, vragen stellen, bewust maken, verbanden leggen) als affectief (activeren, stimuleren, bevestigen, zelfstandigheid bevorderen). Uiteindelijk ging het er de docenten echter om dat de leerling het probleem (c.q. de betreffende stof) zou begrijpen en weer verder zou kunnen. Uit de systematische observaties van de video-fragmenten bleek dat alle vormen van resultaatgerichte en procesgerichte feedback regelmatig tot vaak voorkwamen en dat alle docenten alle of bijna alle vormen tenminste 138

eenmaal toepasten en bovendien regelmatig aanvullende instructie en/of uitleg gaven (over de opdracht resp. rond een begrip). In de mate (frequentie) waarmee zij een en ander toepasten, zijn er echter wel verschillen tussen de docenten. Ook werd niet elke vorm even vaak gebruikt en werd bijvoorbeeld relatief weinig verwezen naar de standaarden waaraan de opdracht zou moeten voldoen. De leerlingen, direct na afloop schriftelijk bevraagd, waardeerden de feedback die zij kregen: deze kwam positief over en werd ervaren als duidelijk, terecht, leerzaam en bruikbaar, en ze wisten daardoor wat te doen. Bij ruim de helft van de docenten lag het accent volgens de leerlingen op wat goed was of ging, bij enkele docenten op wat niet goed was of ging. De meeste docenten herkenden zich in de resultaten van de observaties. Enkele docenten signaleerden een discrepantie tussen de uitgevoerde observaties en de percepties van de leerlingen, met name waar de leerlingen aangaven niet zo veel procesgerichte feedback te ontvangen. Kennelijk nemen leerlingen deze minder waar of onthouden ze deze minder. De huidige feedbackpraktijk: typering en evaluatie De docenten zijn sterk gericht op de leerlingen en de verschillen tussen de leerlingen. Geven van feedback staat voor hen in het teken van persoonlijk contact, vertrouwen en aandacht. Feedback moet voor alles positief en constructief zijn. De docenten willen graag rekening houden met het niveau, het zelfvertrouwen en de persoonlijke situatie van de leerling. Ze vinden het belangrijk leerlingen er actief bij te betrekken. Ze zijn verheugd als leerlingen hun handelen positief waarderen. Geven van positieve feedback kan de acceptatie ervan bevorderen, maar het benoemen van wat (nog) niet goed is en van de standaard lijkt relatief weinig te gebeuren. Geven van feedback lijkt zodoende niet heel sterk te zijn gebaseerd op een duidelijke beoordeling van een geleverde prestatie. Feedback blijkt in de onderzochte praktijk meer een reactie op een probleem van of bij de leerling. Dit probleem is veelal dat een leerling iets niet begrijpt en (daardoor) niet verder kan. De feedback is er dan op gericht dat de leerling het wel begrijpt en weer verder kan. Mogelijk dragen zowel de sterke gerichtheid op de leerling als de minder uitgesproken gerichtheid op beoordelen van prestaties aan de hand van een standaard, er aan bij dat feedback zelden beperkt blijft tot het geven van een eenmalige reactie. De praktijk van mondelinge feedback blijkt een zaak van interactie en communicatie, met aspecten van tutoring en coaching. Aan de andere kant lijkt de praktijk enigszins beperkt waar het gaat om het bevorderen van zelfsturing. Veel docenten willen wel de zelfstandigheid van hun leerlingen bevorderen en hen aanspreken op hun verantwoordelijkheid, 139

maar niet veel docenten lijken hun leerlingen te zien als gesprekspartners met een eigen kijk en eigen keuzen. Feedback in de vorm van voordoen of modelleren, de goede oplossing benoemen en de standaard aangeven, komt relatief minder voor. Dit zou kunnen betekenen dat het repertoire van de docenten op dit vlak nog minder ver is ontwikkeld (dan in het geven van positieve feedback en bevestiging). Dat leerlingen procesgerichte feedback iets minder lijken te herkennen en/of onthouden zou kunnen betekenen dat zij zelf meer zijn gericht op het (goede) resultaat dan op het proces of de aanpak. Het kan echter ook zijn dat procesgerichte feedback meer dan resultaatgerichte feedback min of meer wordt opgenomen in het doorgaande interactieproces tussen docent en leerling en daardoor minder opvalt. Dat bij tenminste één docent, die veel en intensief feedback geeft, de leerlingen de omvang van deze feedback achteraf minder hoog inschatten, kan mogelijk worden gezien als bevestiging van wat in de literatuur wordt aangegeven, dat een docent ook teveel feedback kan geven. De feedbackpraktijk van de docenten verschilt niet duidelijk tussen de vakken, maar wel tussen typen taken en tussen leerlingen. Zoals een aantal docenten zelf ook aangaf, is feedback voor hen een kwestie van maatwerk. Schoolleiders en docenten over feedback De schoolleiders zien als voorwaarden voor het geven van feedback vooral organisatorische en structurele aspecten (goede structuur, organisatie en lesopbouw; integraal onderdeel van het leerproces; tijd nemen; heldere doelen; positief leerklimaat; duidelijk maken wat je als docent onder feedback verstaat) en aspecten die te maken hebben met afstemmen (weten wat er leeft, goed kunnen luisteren, goed observeren, maatwerk). Dit laatste sluit aan bij wat de docenten aangeven, maar de meer structurele aspecten werden door de docenten niet genoemd. De doelen van feedback die de schoolleiders noemen, komen overeen met die van de docenten en hebben zowel betrekking op de leerstof als op de ontwikkeling van leerlingen. Het pedagogisch handelen dat de schoolleiders bij docenten zouden willen zien, betreft geven van feedback vanuit een positieve en betrokken insteek waarbij wordt benadrukt wat goed gaat, vertrouwen wordt gegeven en kwaliteiten van leerlingen worden benoemd. Dit komt overeen met wat docenten belangrijk vinden. Voor het didactisch handelen noemen schoolleiders ook diagnosticeren en relateren aan de standaard maar dat komt bij de docenten minder duidelijk naar voren. De schoolleiders en de docenten komen ook overeen in dat feedback kan worden gegeven op inhoud, aanpak, proces en resultaat en op de persoon van de leerling, en dat leerlingen actief in de interactie moeten worden 140

betrokken door vragen te stellen, leerlingen keuzes te laten maken, samen te analyseren wat goed ging en wat beter kan, samen leerpunten te benomen, te checken of de leerling het heeft begrepen en aandacht te geven aan de reactie van de leerling. Wel hebben we gezien dat de kijk van de docenten op de leerlingen hierbij wel varieert. Al met al stemmen de opvattingen over feedback van de schoolleiders en de docenten als groep in vrij hoge mate met elkaar overeen, maar is wel sprake van verschillen tussen de docenten, ook per school.. Verschillen tussen de scholen In dit onderzoek zijn 12 docenten op vier scholen en een aantal van hun leerlingen bevraagd en in een bepaalde situatie geobserveerd. Het beeld van de feedbackpraktijk dat daaruit naar voren komt, verschilt van docent tot docent, maar ook enigszins tussen de scholen. Samenvattend kunnen de verschillen tussen de scholen als volgt worden getypeerd. Gelet op de inschattingen van de docenten zijn er weinig verschillen tussen de scholen in de mate waarin zij feedback geven, maar de leerlingen op de scholen A en D schatten de mate waarin hun docenten feedback geven gemiddeld hoger in dan de leerlingen van de scholen B en C (dit geldt ook als specifiek wordt gelet op resultaatgerichte en procesgerichte feedback). De docenten op de scholen A en D schatten de mate waarin zij aandacht geven aan activiteiten gericht op het (doen) benutten van feedback lager in dan de docenten op de scholen B en C doen, maar bij de inschattingen van de leerlingen is dit omgekeerd. Vergeleken met de inschattingen van hun leerlingen zijn docenten op de scholen A en D geneigd hun betreffende handelen te onderschatten. De ambities van de docenten op de scholen A en D, in termen van het verschil tussen hun inschattingen van hun handelen nu en hun handelen ideaal, zijn gemiddeld hoger dan die van de docenten op de scholen B en C (het meest uitgesproken waar het gaat om (doen) benutten van feedback). De wensen van de leerlingen, in termen van het verschil tussen hun inschattingen van het handelen nu van hun docenten en wat zij graag hun docenten willen zien doen, zijn echter, omgekeerd, op de scholen B en C groter dan op de scholen A en D (dit geldt ook als specifiek wordt gelet op resultaatgerichte en procesgerichte feedback). (Dat de wensen van de leerlingen op de scholen B en C groter zijn komt niet doordat hun idealen op zich hoger liggen (die verschillen amper tussen de scholen), maar doordat zij het huidige handelen van hun docenten lager inschatten). Gelet op de observaties van de gemaakte video-opnames is er gemiddeld weinig verschil in de mate waarin de docenten op de vier scholen de onderscheiden vormen van feedback toepassen (behalve dat twee van de 141

drie docenten op school D relatief weinig resultaatgerichte feedback gaven, maar dit is deels verklaarbaar door de specifieke aard van de taak). Indien we dit vergelijken met de hierboven beschreven inschattingen, dan zou kunnen worden geconcludeerd dat de leerlingen op de scholen B en C het feedbackgedrag van hun docenten onderschatten. Mogelijk merken zij niet alle feedback op of verwerken en onthouden zij die minder. De aangetroffen feedbackpraktijk en de onderwijsconcepten van de scholen De feedbackpraktijk van de docenten die aan dit onderzoek deelnamen, gelet op hun opvattingen en intenties, de geobserveerde gedragingen en de antwoorden van hun leerlingen in de afgenomen vragenlijsten, blijkt over het algemeen genomen goed te passen bij de onderwijsconcepten van de scholen. Zoals in hoofdstuk 3 is beschreven, heeft het denken over feedback in de loop van de tijd een ontwikkeling doorgemaakt, en wordt feedback in het onderwijs tegenwoordig vooral gezien als onderdeel van een proces van interactie met en coaching van leerlingen. De onderwijsconcepten van de scholen passen in dezelfde ontwikkeling van denken over onderwijs, en laten een combinatie zien van ideeën en invloeden uit de cognitieve psychologie, de motivatiepsychologie en het constructivisme. Dit blijkt onder meer uit de aandacht voor individuele verschillen, het belang van een goede relatie met de leerling en rekening houden met de behoeften van de leerling, de doelen op het vlak van metacognitieve vaardigheden en zelfsturing, en de visie op leren als proces van interactie en samenwerking. Deze overeenkomst tussen deze onderwijsconcepten en de feedbackpraktijk van de docenten is primair een overeenstemming in uitgangspunten en doelstellingen. In hun concrete feedbackactiviteiten zijn docenten specifieker en gevarieerder, passend bij hun eigen persoon en in afstemming op de individuele leerlingen. Geven van feedback in interactie met de leerling is voor hen een persoonlijke zaak en maatwerk. Wel lijken de manieren waarop docenten zich tot hun leerlingen verhouden te zijn gerelateerd aan het onderwijsleerklimaat en de leeromgeving op hun school. Dit is in dit onderzoek niet systematisch onderzocht, maar het leerklimaat en de leeromgeving lijken tussen de scholen meer te variëren dan de verkregen omschrijvingen van de onderwijsconcepten. Ondanks deze verschillen doen zich bij het geven van mondelinge feedback tijdens zelfstandig werken vergelijkbare processen en mogelijkheden voor. Zoals feedback van docenten aan leerlingen een kwestie is van maatwerk in een specifieke context, zal ook de verdere professionele ontwikkeling van de docenten met betrekking tot feedback een zaak zijn van maatwerk, in de context van het onderwijsconcept en de verdere ontwikkeling van hun school. Zie daarvoor het volgende, laatste hoofdstuk van dit rapport. 142

8

Aanbevelingen

Voor het beantwoorden van de derde vraag die aan dit onderzoek ten grondslag lag (kort: hoe kunnen docenten leren meer en beter gebruik te maken van feedback?), is niet op zich onderzoek verricht. In dit laatste hoofdstuk geven we een antwoord op deze vraag in de vorm van een aantal aanbevelingen, eerst over voorwaarden en vormen van feedback, daarna over manieren om de verdere ontwikkeling van de feedbackpraktijk van de docenten en van de school te bevorderen. De aanbevelingen met betrekking tot feedback baseren we op het uitgevoerde onderzoek: de kennis uit de literatuur (zie hoofdstuk 3), de onderwijsconcepten van de scholen en de opvattingen van de schoolleiders over feedback (zie hoofdstuk 6) en de feedbackpraktijk zoals onderzocht via mondelinge en schriftelijke bevraging en observatie van docenten en leerlingen (zie hoofdstuk 5). De aanbevelingen voor de verdere ontwikkeling zijn meer algemeen van aard en vloeien voort uit kennis en ervaring met betrekking tot veranderingsprocessen in (school)organisaties en het leren van docenten in een context van onderwijsvernieuwing. Bij de aanbevelingen op basis van het onderzoek verwijzen we tussen haakjes naar de relevante hoofdstukken. De aanbevelingen die we doen op basis van de feedbackpraktijk (hoofdstuk 5) stoelen zowel op conclusies en intenties van de docenten zelf (naar aanleiding van de aan hen gerapporteerde uitkomsten van het onderzoek) als op de percepties en wensen van hun leerlingen als ook op de uitkomsten van de verrichte observaties en de verschillen tussen deze soorten gegevens. Aanwijzingen voor de feedbackpraktijk a. Feedback hoeft niet te worden beperkt tot een eenmalige reactie op het werk of een vraag of probleem van een leerling. Aanbevolen wordt feedback te zien als aanzet tot een proces van interactie. Daarin kan de leerling een eigen inbreng hebben en kan worden samengewerkt aan het bevorderen van begrip, het oplossen van problemen en het stimuleren van het leerproces (hoofdstukken 3, 5, 6). Dit is uitvoerbaar door de les of leeromgeving zo in te richten dat (meer) mogelijkheden ontstaan voor interactie met (individuele) leerlingen over hun werk. Ook de interactie tussen leerlingen onderling kan hierbij worden benut, door activerende werkvormen, door opdrachten te geven waarbij ze moeten samenwerken, en door het invoeren van vormen van peer-feedback. 143

b. De leereffecten van het werken aan een taak en van het geven van feedback op de uitvoering en resultaten ervan, kunnen groter zijn als de taak onderdeel is van een doorgaande leerlijn (3, 6). Dit maakt het mogelijk de feedback duidelijk te verbinden aan wat er moet worden geleerd en om dit in een perspectief te plaatsen. c. De impact die feedback kan hebben, hangt ook af van de kenmerken van de taak. Taken die leerlingen aanspreken en uitdagen en waarbij de criteria en standaarden duidelijk zijn, vormen een goede voedingsbodem voor feedback op de aanpak en de resultaten (3). Verder kan, door leerlingen te laten werken aan duidelijk verschillende typen taken, op meer verschillende aspecten feedback worden gegeven. d. Om goed feedback te kunnen geven is het belangrijk dat docenten voldoende zicht hebben op het werken en leren van hun leerlingen en kunnen signaleren welke problemen zich daarbij (kunnen) voordoen. Dit vergt kennis van de inhoud en van leerprocessen en leerproblemen daarbij en ook van hun leerlingen. Door leerlingen (meer) zelf aan het woord te laten kunnen docenten meer zicht krijgen op hun denken en op eventuele problemen van affectieve of motivationele aard (3, 5, 6). Wat heeft de leerling tot nu toe precies gedaan? Waar loopt hij tegenaan? Hoe duidelijk weet de leerling wat de bedoeling is van de taak? Over welke benodigde voorkennis beschikt de leerling? Hoe zal de leerling zelf de kwaliteit van de prestatie inschatten? Wat weet je als docent van de manier waarop de leerling op dit type taken en de feedback daarop reageert? e. De waargenomen feedbackpraktijk kenmerkt zich door een nadruk op het geven van positieve feedback (hetgeen bijdraagt aan het handhaven van een goede relatie met de leerling) en het reageren op problemen van de leerling (hetgeen past bij het belang van begrip zodat de leerling weer zelf met de taak verder kan). Het benoemen van de standaarden (dat waaraan het werk moet voldoen) blijft hierbij enigszins achter. Het is belangrijk dat de leerdoelen duidelijk zijn zodat de feedback daarnaar kan verwijzen en de leerling zich daarop kan richten en ook kan leren zijn werk daaraan zelf af te meten. Hiermee samenhangend moet ook voldoende aandacht worden geschonken aan wat (nog) niet goed gaat of (nog) niet goed is (3, 5, 6). f. Docenten blijken hun feedbackactiviteiten te kunnen onderschatten en overschatten, vergeleken met de percepties van hun leerlingen. Door met hun leerlingen te praten over wat zij met hun feedback bedoelen en hen te vragen hoe de feedback bij hen overkomt en wat ze ermee kunnen, wordt het geven en verwerken van feedback meer onderdeel van het onderwijsleerproces. Tijdens het geven van feedback blijken sommige docenten geneigd te zijn veel zelf aan het woord te zijn en veel zelf in te vullen (dit constateerden zij ook zelf) en zouden zij meer de leerling aan het 144

woord kunnen laten over de taak en het probleem dat zij ervaren (3, 5). Hoe ziet de leerling de taak en hoe ervaart de leerling het werken daaraan en het bereikte resultaat? Wordt de feedback begrepen en geaccepteerd? Is de leerling te snel tevreden of juist niet genoeg? Verbindt de leerling de feedback aan deze specifieke taak of algemener aan eigen kunnen? Heeft de leerling nog vragen en krijgt hij de ruimte om die te stellen? Heeft de leerling gelegenheid en wordt de leerling gestimuleerd iets met de feedback te doen? g. Uiteindelijk moet het streven zijn dat leerlingen leren zelf hun eigen werken en leren te volgen en te beoordelen en zichzelf nieuwe doelen te stellen (reflectie en zelfsturing) (3, 6). Het blijkt dat een aantal vormen van feedback door een aantal docenten nog niet veel worden toegepast maar wel hieraan kunnen bijdragen: de leerling vragen het probleem preciezer te omschrijven; feedback geven op het proces en het expliciet leggen van de relatie tussen aanpak en resultaat; bepaalde aanpakken en afwegingen als docent voordoen (modelleren); en nagaan en bevorderen dat de feedback ook wordt benut. Bevordering van verdere ontwikkeling Om de feedbackpraktijk van docenten en op school verder te ontwikkelen, kunnen schoolleiders en docenten zich oriënteren op een aantal principes die bij schoolontwikkeling, professionele ontwikkeling van docenten en onderwijsvernieuwing van waarde zijn gebleken. a. Formuleer samen een heldere visie op het geven van feedback in relatie tot de beoogde leerdoelen bij leerlingen, de leeromgeving en het curriculum en het gewenste handelen van docenten. Maak de visie concreet: in welke situaties en op welke manieren zouden docenten feedback moeten (kunnen) geven en met welke doelen? Hoe past dit bij het onderwijsconcept van de school, het eigen vak, de kenmerken van de leerlingen en de (ruimte voor) eigen invulling van het docentschap? b. Laat docenten kennis nemen van de uitkomsten van dit onderzoek en geef ze inzicht in de verschillende manieren waarop ze in interactie met leerlingen feedback kunnen geven en wat daarbij vanuit de literatuur gezien belangrijk is. Dit zorgt voor een gemeenschappelijke taal en referentiekader. c. Stimuleer dat het geven van feedback van docenten aan leerlingen een onderwerp van gesprek wordt en dat het regelmatig onder de aandacht komt. Stimuleer het inbrengen van feedbackactiviteiten en -ervaringen tijdens besprekingen over de inhoud en vormgeving van het onderwijs. d. Stimuleer dat docenten bij elkaar in de les gaan kijken om elkaar te laten zien op welke manieren ze feedback geven.

145

e. Vraag docenten of ze bereid zijn hun interacties met leerlingen te laten opnemen op video, deze achteraf terug te kijken en hierop te reflecteren en eventueel met collega’s te bespreken. Het kan zinvol zijn als docenten zelf zouden kunnen aangeven over welke interacties ze heel tevreden zijn en waarom en waar ze eventueel minder tevreden over zijn (en waarom), en hoe het anders zou kunnen. f. Stimuleer docenten na te gaan welke feedbackactiviteiten ze gebruiken en de gebruikte feedbackactiviteiten (van zichzelf of gezien bij anderen) te typeren. Welke activiteiten komen vaak voor en welke komen niet of nauwelijks voor? Is daar een bepaalde reden voor? Stimuleer de onderlinge reflectie en het denken over het geven van feedback in de richting van wat ermee wordt beoogd. Stimuleer dat docenten van elkaar leren. g. Stimuleer dat docenten ook leerlingen om feedback vragen en samen met leerlingen reflecteren op de interacties die plaatsvinden over de taken waar zij aan werken. h. Creëer waar nodig organisatorische voorwaarden zodat de docenten individueel en gezamenlijk kunnen werken aan de ontwikkeling van dit aspect van hun professionaliteit en van de effectiviteit van de leeromgeving en het leerproces van de leerlingen.

146

Literatuur

Askew, S. & Lodge, C. (2000). Gifts, ping-pong and loops – linking feedback and learning. In : Askew, S. (Ed). Feedback for learning (pp. 1-17). London/New York: Routledge Falmer. Bangert-Drowns, R.L., Kulik, C-L.C., Kulik, J.A., & Morgan, M.T. (1991). The instructional effect of feedback in test-like events. Review of Educational Research 61 (2), 213-238. Baxter, G.P., & Glaser, R. (1998). Investigating the cognitive complexity of science assessments. Educational Measurement: Issues and Practice 17 (3), 37-45. Bereiter, C.B. (1990). Aspects of an educational learning theory. Review of Educational Research 60 (4), 603-624. Black, P., Wiliam, W. (1998). Assessment and classroom learning. Assessment in Education: Principles, Policy & Practice 5, 1, 7-75. Carnell, E. (2000). Dialogue, discussion and feedback – views of secondary school students on how others help their learning. In: S. Askew (Ed.), Feedback for learning (pp. 46-61). London/New York: Routledge Falmer. Chi, M.T.H. (1996). Constructing self-explanations in tutoring. Applied Cognitive Psychology, 10, 33-49. Chi, M.T.H., Siler, S.A., Jeong, H., Yamauchi, T., & Hausmann, R.G. (2001). Learning from human tutoring. Cognitive Science 25, 471-533. Collins, A, Brown, J.S, & Newman, S.E. (1989). Cognitive apprenticeship: Teaching the Crafts of Reading, Writing, and Mathematics. In Resnick, L.B. (Ed.) , Knowing, learning and instruction (pp.453-494). Hillsdale: Erlbaum. Crooks, T.J. (1988). The impact of classroom evaluation practices on students. Review of Educational Research 58, 4, 438-481. Dauenheimer, D., Stahlberg, D., Peteren, L.-E. (1999). Self-discrepancy and elaboration of self-conceptions as factors influencing reactions to feedback. European Journal of Social Psychology 29, 725-739. Deci, E.L., & Ryan, R.M. (2000). The “what” and “why” of goal pursuits: Human needs and the self-determination of behaviour. Psychological Inquiry 11 (4), 227-268. Fraser, B.J., Walberg, H.J., Welch, W.W. & Hattie, J.A. (1987). Syntheses of educational productivity research. International Journal of Educational Research 11, 145-252.

147

Gracia, T & Pintrich, P.R. (1996) The Effects of Autonomy on Motivation and Performance in the College Classroom. Contemporary Educational Psychology 21 (4), 477-486. Graesser, A.G., Person, N.K. & Magliano, J.P. (1995). Collaborative dialogue patterns in naturalistic one-to-one tutoring. Applied Cognitive Psychology 9, 495-522. Groot, A.D. de. (1969). Vijven en zessen. Cijfers en beslissingen: het selectieproces in ons onderwijs. Groningen: Wolters-Noordhoff. Guay, F., Vallerand, R.J. en Blanchard, C. (2000). On the Assessment of Situational Intrinsic and Extrinsic Motivation: The Situational Motivation Scale (SIMS). Motivation and Emotion 24 (3), 175 -213. Hattie, J., & Timperley, H. (2007). The power of feedback. Review of Educational Research 77 (1), 81-112. Herold, D.M., Fedor, D.B. (2003). Individual differences in feedback. Propensities and training performance. Human Resource Management Review 13, 675-689. Ilgen, D.R., Davis, C.A. (2000). Bearing bad news: reactions to negative performance feedback. Applied Psychology: An International Review 49 (3), 550-565. Ilgen, D.R., Fisher, C.D., & Taylor, S. (1979). Consequences of individual feedback on behaviour in organizations. Journal of Applied Psychology 64 (4), 349-371. King, A. (2002). Structuring peer interaction to promote high-level cognitive processing. Theory into Practice 41 (1), 33-39. Kluger, A.N., Denisi, A. (1996). The effects of feedback interventions on performance: a historical review, a meta-analysis, and a preliminary feedback intervention theory. Psychological Bulletin 119, 254-284. Larson, J.(1984). The performance feedback process: A preliminary model. Organizational Behavior and Human Performance 33, 42-76. Mory, E.H. (2004). Feedback research revisited. In: Jonassen, D. (Ed.), Handbook of Research on Educational Communication and Technology (pp. 745-783). Mahwah: Lawrence Erlbaum. Natriello, G. (1987). The impact of evaluation processes on students. Educational Psychologist 22 (3), 155-175. Nease, A.A., Mudgett, B.O., Quiňones, M.A. (1999). Relationships among feedback sign, self-efficiacy, and acceptance of performance feedback. Journal of Applied Psychology 84 (5), 806-814. Pellegrino, J.W., Baxter, G.P., Glaser, R. (1999). Addressing the “two disciplines” problem: Linking theories of cognition and learning with assessment and instructional practice. Review of Research in Education 24 (1), 307-353. 148

Ramaprasad, A. (1983). On the definition of feedback. Behavioral Science 28, 4-13. Reynolds, S., Martin, K., Groulx, J. (1996). Patterns of understanding. Educational Assessment 3 (4), 363-371. Roossink, H. (1990). Terugkoppeling in het natuurwetenschappelijk onderwijs, een model voor de docent. (Proefschrift). Enschede: Universiteit Twente. Sadler, D.R. (1989). Formative assessment and the design of instructional systems. Instructional Science 18, 119-144. Sadler, D.R. (1998). Formative assessment: Revisiting the territory. Assessment in Education: Principles, Policy & Practice 5 (1), 77-85. Scheerens, J. (2007). Een overzichtsstudie naar school- en instructieeffectiviteit. Enschede: Universiteit Twente. Severiens, S. (2005) Nederlandse vertaling van items van de MSLQ, opgevraagd via [email protected] naar aanleiding van: Blom, S., Severiens, S., Broekkamp. H. & Hoek, D. (2005). Zelfstandig leren van allochtone en autochtone leerlingen in het studiehuis. Amsterdam: ILO. Shute, V.J. (2008). Focus on formative feedback. Review of Educational Research 78 (1), 153-189. Smith, P.L., T.J. Ragan. (1993). Designing instructional feedback for different learning outcomes. In: J.V. Dempsey, G.C. Sales (Eds.). Interactive instruction and feedback (pp. 75-104). Englewood Cliffs: Educational Technology Publications. Sol, Y.B. & Stokking, K.M. (2008). Het handelen van docenten in scholen met een vernieuwend onderwijsconcept. Utrecht: Universiteit Utrecht. Straub, R. (1996). The concept of control in teacher response: Defining the varieties of “directive” and “facilitative” commentary. College Composition and Communication 47 (2), 223-251. Straub, R. (1997). Students’ reactions to teacher comments: An exploratory study. Research in the Teaching of English 31 (1), 91-119. Torrance, H. & Pryor, J. (1998). Investigating formative assessment. Teaching, learning and assessment in the classroom. Maidenhead/ Philadelphia: Open University Press. Van de Ridder, J.M.M., McGaghie W.C., Stokking K.M., Ten Cate Th.J. (2008). What is feedback in clinical education? Medical Education 42. 189-197. Veenhoven, J. (2004). Begeleiden en beoordelen van leerlingonderzoek. Een interventiestudie naar het leren ontwerpen van onderzoek in de tweede fase bij Aardrijkskunde (dissertatie). Utrecht: Universiteit Utrecht.

149

Wang, M.C., Haertel, G.D., & Walberg, H.J. (1993). Toward a knowledge base for school learning. Review of Educational Research 63 (3), 249294. Williams, W.M., Blythe, T., White, N., Li, J., Gardner, H., & Sternberg, R.J. (2002). Practical intelligence for school: Developing metacognitive sources of achievement in adolescence. Developmental Review 22, 162-210. Wittwer, J., Nickles, M., & Renkl, A. (2006). Improving human tutoring by improving tutor-generated explanations. In: G. Clarebout & J. Elen (Eds.). Avoiding simplicity confronting complexity (pp. 349-359). Rotterdam: Sense Publications

150

Bijlagen

1. Informatie aan de docent 2. Opdracht conceptmap schoolleiders 3. Vragenlijst schoolleiders 4. Opdracht conceptmap docenten 5. Vragenlijst docenten voorafgaand aan opname 6. Vragenlijst leerlingen vooraf, selfefficacy 7. Idem, motivatie 8. Idem, feedback geven (resultaatgericht en procesgericht) 9. Idem, taakgebied geven van feedback 10. Idem, taakgebied volgen van het leerproces 11. Vragenlijst leerlingen direct na opname, waardering feedback 12. Scoringsformulier observatie feedbackgedrag 13. Opdracht tweede conceptmap docenten 14. Vragenlijst opbrengsten deelname docenten

151

Bijlage 1: Informatie aan de docent Kortlopend Onderwijsonderzoek naar het geven van feedback van docenten Beste docent, Graag willen we u informeren over het onderzoek dat binnenkort van start gaat op uw school. Van 1 april 2008 tot maart 2009 wordt op verschillende scholen in de regio onderzoek gedaan naar de manier waarop docenten feedback geven aan leerlingen. Op al deze scholen wordt gewerkt met een vernieuwend onderwijsconcept dat afwijkt van het traditionele en vakgerichte voortgezet onderwijs. De docent krijgt in dit type onderwijs een meer coachende rol naar leerlingen en een belangrijk onderdeel van coachen is het geven van feedback. Volgens onderzoek vormt goede feedback een krachtig middel om leerprocessen te stimuleren, maar het is nog niet helemaal duidelijk welke factoren van belang zijn bij het geven van goede feedback. Ook is niet duidelijk hoe je als docent kunt bevorderen dat feedback door leerlingen kan en zal worden benut en daarmee bijdraagt aan hun leerproces. Met dit onderzoek willen we graag meer inzicht krijgen in deze thematiek. Waar richt het onderzoek zich concreet op? Het onderzoek zal zich richten op die situaties waarin de docent mondelinge feedback geeft aan leerlingen terwijl de leerlingen individueel of in een groepje aan het werk zijn. Hierbij zijn verschillende situaties denkbaar waarin interactie kan optreden tussen de docenten en de leerlingen en feedback een rol kan spelen. Deze situaties zijn globaal te verdelen in situaties waarin de docent de interactie start en situaties waarin de leerlingen de interactie starten. Welke docenten zoeken we? Voor dit onderzoek zoeken we drie docenten per school die werken met leerlingen uit het derde of vierde leerjaar en expert of vakdocent zijn. We zoeken docenten van zowel de taalvakken, exacte vakken als de maatschappijvakken. Wat houdt deelname aan het onderzoek in? In september 2008 zullen we de kennis en opvattingen van docenten over het geven van feedback in kaart brengen. Dit zal deels gebeuren met een

152

korte vragenlijst en deels met behulp van interviews. We proberen op deze manier ook meer inzicht te krijgen in het door docenten gewenste handelen. Vervolgens komen we observeren en maken we video-opnamen van situaties waarin het geven van feedback zich voordoet. Dit zal maximaal een of twee sessies van anderhalf uur betreffen. Korte tijd later kijken we (de onderzoeker en de docent) samen de opnamen terug en vragen we naar de achterliggende beweegredenen voor het handelen, zoals dat heeft plaatsgevonden. Ook vragen we direct aansluitend aan leerlingen hoe ze de feedback ervaren hebben en wat ze daarbij belangrijk vinden. Alle gegevens die we hebben verzameld worden verwerkt. Vervolgens krijgen docenten persoonlijk feedback. Daarna zijn er verschillende opties mogelijk: Het onderzoek wordt afgerond met het opnieuw in kaart brengen van de kennis, opvattingen en intenties. Tevens willen we graag horen wat onze terugrapportage heeft opgeleverd. Dit vindt plaats in december 2008. De docent formuleert (zelf een verbeterpunt en probeert nieuw feedbackgedrag uit. De rol van de onderzoeker kan in deze situatie in overleg faciliterend, adviserend of coachend zijn. Daarna worden opnieuw video-opnamen gemaakt en wordt samen teruggekeken naar de opnamen. Het onderzoek wordt afgerond zoals onder punt a) beschreven is. Tevens willen we dan ook graag horen wat het uitproberen heeft opgeleverd. Hoe worden de gegevens verwerkt? Graag willen we erop wijzen dat verzamelde gegevens in eerste instantie uitsluitend persoonlijk zullen worden teruggekoppeld en de informatie en ook de terugkoppeling niet zal worden gedeeld met de schoolleiding. Voor het onderzoek zullen de gegevens schooloverstijgend worden geanalyseerd. Dit gebeurt echter uitsluitend anoniem en de privacy van docenten wordt daarbij gegarandeerd. Wilt u zich aanmelden voor deelname of bent u geïnteresseerd, maar heeft u nog vragen? U kunt ons bereiken via telefoonnummer 030-2534854 of via het volgende e-mailadres: [email protected] Vriendelijke groet, Yvette Sol en Karel Stokking, onderzoekers van de Universiteit Utrecht.

153

Bijlage 2: Opdracht conceptmap schoolleiders Opdracht over het geven van feedback Welke aspecten of condities spelen volgens jou een rol bij het geven van feedback door docenten aan leerlingen op jouw school c.q. hoe wil je dat docenten feedback geven op jouw school? Werkwijze: Stap 1. Schrijf alle woorden en begrippen op die je te binnen schieten als je denkt aan het geven van feedback door docenten aan leerlingen in relatie tot het schoolconcept op jouw school. Gebruik hiervoor de gele Post-it papiertjes. Stap 2: Plak de beschreven papiertjes onder elkaar zodat je ze allemaal kunt overzien. Maak groepjes van woorden of begrippen die naar jouw idee bij elkaar horen. Leg ze op volgorde als je vindt dat er een bepaalde volgorde in zit of orden ze hiërarchisch als je vindt dat bepaalde woorden of begrippen bij elkaar horen en/of belangrijker zijn dan andere. Vul het geheel eventueel nog aan met nieuwe papiertjes als er nog nieuwe woorden of begrippen in je opkomen Stap 3: Plak de papiertjes op het grote vel papier op zo’n manier dat het een goed beeld geeft van de manier waarop jij tegen het geven van feedback aankijkt. Plak de meest belangrijke begrippen in het midden of bovenaan. Plaats de woorden of begrippen die sterk met elkaar samen hangen dicht bij elkaar. Neem gerust even de tijd om de verschillende papiertjes een aantal keer te herschikken. Stap 4: Geef met pijlen aan hoe je de verbindingen tussen de verschillende woorden en begrippen ziet. Schrijf een woord of een korte zin bij elke pijl om de relatie tussen de woorden en begrippen aan te geven.

154

Bijlage 3: Vragenlijst schoolleiders

1. Heb je binnen school mensen geïnformeerd over het Feedbackonderzoek? 0 Ja/ 0 Nee Zo ja, wat heb je gecommuniceerd? Met wie? 2. Hoe ben je gekomen tot de keuze van de deelnemende docenten? 3. Worden de docenten voor hun deelname gecompenseerd in tijd? 0 Ja/ 0 Nee 4. Informeer je andere personen binnen de school gedurende het onderzoekstraject over het verloop? 0 Ja/ 0 Nee 5. Op welke manier ben je van plan de opbrengsten van dit onderzoek te gaan benutten? 6. Op welke manier ben je van plan de resultaten van dit onderzoek te laten doorwerken in de school? 7. Welke aspecten spelen volgens jou een rol bij of ondersteunen het optimaal benutten van onderzoeksresultaten in een school?

155

Bijlage 4: Opdracht conceptmap docenten

Opdracht over het geven van feedback Stap 1. Schrijf alle woorden en begrippen op die je te binnen schieten als je denkt aan het geven van feedback. Gebruik hiervoor de gele Post-it papiertjes. Stap 2: Plak de beschreven papiertjes onder elkaar zodat je ze allemaal kunt overzien. Maak groepjes van woorden of begrippen die naar jouw idee bij elkaar horen. Leg ze op volgorde als je vindt dat er een bepaalde volgorde in zit of orden ze hiërarchisch als je vindt dat bepaalde woorden of begrippen belangrijker zijn dan andere. Vul het geheel eventueel nog aan met nieuwe papiertjes als er nog nieuwe woorden of begrippen in je opkomen Stap 3: Plak de papiertjes op het grote vel papier op zo’n manier dat het een goed beeld geeft van de manier waarop jij tegen het geven van feedback aankijkt. Plak de meest belangrijke begrippen in het midden of bovenaan. Plaats de woorden of begrippen die sterk met elkaar samen hangen dicht bij elkaar. Neem gerust even de tijd om de verschillende papiertjes een aantal keer te herschikken. Stap 4: Geef met pijlen aan hoe je de verbindingen tussen de verschillende woorden en begrippen ziet. Schrijf een woord of een korte zin bij elke pijl om de relatie tussen de woorden en begrippen aan te geven.

156

Bijlage 5: Vragenlijst docenten voorafgaand aan opname Deel 1 Kruis bij de volgende vragen het juiste antwoord aan. Er zijn vaak meerdere antwoorden mogelijk. 1: Ik ben geïnformeerd over dit onderzoek door: 0 de schoolleiding 0 de informatiebrief van de universiteit 0 een collega 0 anders, nl….. 2. Ik doe mee aan dit onderzoek omdat: 0 de schoolleiding mij dat heeft gevraagd 0 de schoolleiding mij dat heeft opgedragen 0 ik zelf heb aangegeven mee te willen doen omdat: 0 het thema feedback geven mij aanspreekt 0 ik specifieke dingen over het geven van feedback wil leren 0 anders, nl. ….. 3. Ik verwacht dat de uitkomst van dit onderzoek: 0 mij (meer) zicht geeft op de manier waarop ik op dit moment feedback geef aan leerlingen 0 mij mogelijk (meer) zicht geeft op aanvullende manieren die ik kan gebruiken bij het geven van feedback 0 mij informeert over recente inzichten (bijvoorbeeld uit de literatuur) over het geven van feedback 0 mij de mogelijkheid geeft om met collega’s en onderzoekers over dit thema van gedachten te wisselen. 0 mij een beter beeld geeft welke manier van feedback geven op deze school gewenst is. 0 anders, nl …… 4. Ik wil in deze periode rondom dit thema voor mijzelf zelf graag aandacht besteden aan: 5. Bij de ontwikkeling van mijn deskundigheid op het gebied van het geven van feedback heb ik veel gehad aan: 0 mijn opleiding tot docent 0 het uitproberen in mijn eigen lespraktijk (de contacten met leerlingen) 0 de contacten met collega’s 0 de visie op leren en begeleiden zoals verwerkt in het onderwijsconcept van deze school 0 extra training over het geven van feedback op deze school 0 extra training over het geven van feedback op een andere school 0 anders, nl……

157

6. Als docenten spreken we onderling over de manier waarop we feedback geven aan leerlingen: Ja/ nee (doorhalen wat niet van toepassing is). Indien het antwoord ja is, beantwoord dan ook vraag 7. 7. Het bespreken van de manier waarop we feedback geven aan leerlingen gebeurt tijdens: 0 studiedagen 0 vergaderingen 0 informele overlegmomenten 0 leerlingbesprekingen in aanwezigheid van de mentor van leerlingen 0 anders, nl……. Deel 2 1.De functie van het geven van feedback aan leerlingen in het onderwijs is volgens mij: 2. Als ik feedback geef, wil ik bereiken dat de leerling (geef doel(en) aan): 3. Als ik feedback geef richt ik me op de volgende aspecten: 4. Als ik feedback geef verwijs ik naar: 5. Als ik feedback geef aan een leerling houd ik rekening met: 6. Bij de timing in het geven van de feedback let ik op: 7. In mijn bewoordingen bij het geven van feedback let ik op: 8. Als ik feedback aan een leerling heb gegeven, dan vind ik het belangrijk dat: 9. Specifiek op deze school is het belangrijk dat ik bij het geven van feedback aandacht besteed aan: 10. Feedback geef ik bijvoorbeeld op de volgende manieren (graag voorbeelden geven): 11. Feedback geef ik bijvoorbeeld in de volgende situaties (graag voorbeelden geven): 12. Feedback geven doe ik op initiatief van (eventueel toelichten op basis van voorbeelden):

158

Taakgebied geven van feedback aan leerlingen

© Y. Sol & K. Stokking (2008), Universiteit Utrecht

* Ten behoeve van de lay-out in deze bijlage zijn kopjes deels verticaal gezet. In de oorspronkelijke vragenlijst was dit horizontaal. Geven van feedback aan leerlingen Dit doe ik nu * Dit vind ik belangrijk om te doen * Meestal niet

Deels niet, deels wel

Meestal wel

Helemaal wel

Helemaal niet

Meestal niet

Deels niet, deels wel

Meestal wel

Helemaal wel

De leraar geeft feedback op de resultaten, gemaakte opdrachten, producten Door de feedback van de leraar leren leerlingen hoe ze iets kunnen aanpakken Door de feedback leren leerlingen hoe ze hun werk zelf kunnen beoordelen Door de feedback leren leerlingen wat ze moeten doen om voldoende te halen De leraar vraagt leerlingen waarop ze zelf graag feedback willen hebben De leraar legt uit waarom hij/zij iets goed of niet goed vindt De leraar zegt tegen de leerlingen wat al duidelijk beter ging dan eerder In de feedback van de leraar geeft deze voorbeelden van hoe het beter kan De leraar gaat na of leerlingen de feedback begrijpen en wat ze ervan vinden De leraar laat leerlingen met elkaar discussiëren over de feedback De leraar gaat na of leerlingen de feedback gebruiken

Helemaal niet

Geef bij elke uitspraak antwoord op de twee vragen hiernaast

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

159

Bijlage 6: Vragenlijst leerlingen vooraf, self-efficacy

© Nederlandse vertaling Y. Sol & K. Stokking (2008), Universiteit Utrecht

Geef aan in welke mate de onderstaande uitspraken waar voor zijn voor jou. 1. 2. 3. 4. 5.

Ik denk dat ik een goede beoordeling ga halen voor de opdrachten bij dit vak (of leerdomein) van deze leraar Ik heb er wel vertrouwen in dat ik de opdrachten die we voor dit vak (of leerdomein) moeten doen - hoe moeilijk ze ook zijn- kan begrijpen. De basisbegrippen van deze opdrachten bij dit vak (of leerdomein) krijg ik in ieder geval onder de knie. Ik vertrouw erop dat ik ook de ingewikkelde onderwerpen die deze leraar aan de orde stelt in de opdrachten bij dit vak (of leerdomein), kan begrijpen. Ik ben vol vertrouwen dat ik mijn opdrachten en toetsen bij dit vak (of leerdomein) heel goed ga maken.

Helemaal niet waar voor mij

Helemaal waar voor mij

1

2

3

4

5

6

7

1

2

3

4

5

6

7

1

2

3

4

5

6

7

1

2

3

4

5

6

7

1

2

3

4

5

6

7

6.

Voor deze opdrachten van dit vak (of leerdomein) haal ik gemakkelijk een voldoende beoordeling, verwacht ik.

1

2

3

4

5

6

7

7.

Ik weet zeker dat ik de vaardigheden die je bij opdrachten in dit vak (of leerdomein) leert, ga beheersen.

1

2

3

4

5

6

7

1

2

3

4

5

6

7

8.

160

Wanneer ik kijk naar de eisen van deze opdrachten, naar de leraar en naar wat ik al kan en weet, dan weet ik zeker dat ik een goede beoordeling krijg voor dit vak (of leerdomein)

Bijlage 7: Vragenlijst leerlingen vooraf, motivatie

© Nederlandse vertaling Y. Sol & K. Stokking (2008), Universiteit Utrecht

Waarom span je je in voor de opdrachten bij dit vak (of leerdomein) bij deze leraar?

9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. 23. 24.

Omdat ik denk dat het werken aan deze opdrachten interessant is Omdat het voor mijn eigen bestwil is Omdat het van me verwacht wordt Er zullen goede redenen zijn om dit te doen, maar persoonlijk zie ik ze niet Omdat ik denk dat dit leuk is Omdat ik denk dat deze activiteit goed voor me is Omdat het iets is dat ik moet doen Ik doe dit maar ik weet niet zeker of het de moeite waard is Omdat het werken hieraan leuk is Omdat ik het zelf besloten heb Omdat ik geen keuze heb Ik weet het niet; ik zie niet wat het werken aan deze opdrachten mij oplevert Omdat ik me goed voel als ik hieraan werk Omdat ik denk dat deze activiteit belangrijk voor me is Omdat ik het gevoel heb dat ik het moet doen Ik doe dit wel, maar ik weet niet zeker of het goed is om mee door te gaan

Komt helemaal niet overeen

Komt helemaal overeen

1

2

3

4

5

6

7

1 1 1

2 2 2

3 3 3

4 4 4

5 5 5

6 6 6

7 7 7

1 1 1 1 1 1 1

2 2 2 2 2 2 2

3 3 3 3 3 3 3

4 4 4 4 4 4 4

5 5 5 5 5 5 5

6 6 6 6 6 6 6

7 7 7 7 7 7 7

1

2

3

4

5

6

7

1 1 1

2 2 2

3 3 3

4 4 4

5 5 5

6 6 6

7 7 7

1

2

3

4

5

6

7

161

Bijlage 8: Vragenlijst leerlingen vooraf, feedback geven (resultaatgericht en procesgericht) Deze vragen gaan o.a. over het geven van feedback Feedback = zeggen wat er goed ging, wat er beter kan, enz.

Past dit bij wat de leraar doet? *

Wil je dat de leraar dit doet? *

© Y. Sol & K. Stokking (2008), Universiteit Utrecht

Helemaal wel

Meestal wel

Deels niet, deels wel

Helemaal niet

Meestal niet

Helemaal wel

162

Meestal wel

0

Deels niet, deels wel

Helemaal niet

1 Als we een opdracht krijgen bij deze leraar is duidelijk wat we moeten doen 2 Als we van deze leraar een opdracht krijgen weten we aan welke eisen de uitwerking moet voldoen om een voldoende te halen 3 Als we feedback krijgen begint de leraar altijd eerst met wat we goed hebben gedaan 4 De leraar geeft aan waarom het belangrijk is deze opdracht te maken 5 De leraar geeft feedback als we een fout hebben gemaakt 6 Tijdens het werken geeft de leraar feedback op de aanpak van de opdracht 7 Als we feedback krijgen vertelt de leraar wat we anders moeten doen 8 De leraar geeft aan waarom we iets moeten leren 9 De leraar geeft aan waarom een antwoord goed of fout is 10 Tussentijds geeft de leraar aan de hand van het resultaat tips hoe we ons werk verder kunnen verbeteren

Meestal niet

Geef bij elke uitspraak antwoord op de twee vragen hiernaast

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0 0

0 0

0 0

0 0

0 0

0 0

0 0

0 0

0 0

0 0

0

0

0

0

0

0

0

0

0

0

0 0 0

0 0 0

0 0 0

0 0 0

0 0 0

0 0 0

0 0 0

0 0 0

0 0 0

0 0 0

Vervolg bijlage 8: Vragenlijst leerlingen vooraf, feedback geven (resultaatgericht en procesgericht) © Y. Sol & K. Stokking (2008), Universiteit Utrecht

Helemaal niet

Meestal niet

Deels niet, deels wel

Meestal wel

Helemaal wel

22 De leraar geeft ook ongevraagd feedback

Helemaal wel

21

Meestal wel

19 20

Deels niet, deels wel

16 17 18

De leraar vergelijkt het werk van leerlingen met elkaar De leraar geeft feedback op wat we verkeerd doen. We krijgen achteraf feedback op het resultaat van een opdracht De leraar geeft alleen tussentijds feedback als we daarom vragen De leraar vergelijkt het werk met de eisen waaraan de opdracht moet voldoen De leraar stemt de feedback af op elke leerling afzonderlijk We krijgen achteraf ook feedback op de aanpak van de opdracht De leraar leert ons zelf te kijken of we aan alle eisen hebben voldaan die aan de opdracht worden gesteld De leraar geeft feedback als we iets goed hebben gemaakt Tussentijds geeft de leraar aan de hand van het resultaat tips hoe we de aanpak verder kunnen verbeteren De leraar vergelijkt het werk met hoe een leerling eerder opdrachten heeft gemaakt

Meestal niet

11 12 13 14 15

Wil je dat de leraar dit doet? *

Helemaal niet

Geef bij elke uitspraak antwoord op de twee vragen hiernaast

Past dit bij wat de leraar doet? *

0 0 0 0 0

0 0 0 0 0

0 0 0 0 0

0 0 0 0 0

0 0 0 0 0

0 0 0 0 0

0 0 0 0 0

0 0 0 0 0

0 0 0 0 0

0 0 0 0 0

0 0 0

0 0 0

0 0 0

0 0 0

0 0 0

0 0 0

0 0 0

0 0 0

0 0 0

0 0 0

0 0

0 0

0 0

0 0

0 0

0 0

0 0

0 0

0 0

0 0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

* ten behoeve van de lay-out in deze bijlage is de tekst gedeeltelijk verticaal gezet. In de oorspronkelijke vragenlijst was dit horizontaal.

163

Bijlage 9: Vragenlijst leerlingen vooraf, taakgebied geven van feedback Geven van feedback aan leerlingen

Meestal wel

Helemaal wel

Helemaal niet

Meestal niet

Deels niet, deels wel

Meestal wel

Helemaal wel

164

Deels niet, deels wel

7 De leraar zegt tegen de leerlingen wat al duidelijk beter ging dan eerder 8 In de feedback van de leraar geeft deze voorbeelden van hoe het beter kan 9 De leraar gaat na of leerlingen de feedback begrijpen en wat ze ervan vinden 10 De leraar laat leerlingen met elkaar discussiëren over de feedback 11 De leraar gaat na of leerlingen de feedback gebruiken

Wil je dat de leraar dit doet?

Meestal niet

1 De leraar geeft feedback op resultaten, opdrachten en producten 2 Door de feedback van de leraar leren leerlingen hoe ze iets kunnen aanpakken 3 Door de feedback leren leerlingen hoe ze hun werk zelf kunnen beoordelen 4 Door de feedback leren leerlingen wat ze moeten doen om voldoende te halen 5 De leraar vraagt leerlingen waarop ze zelf graag feedback willen hebben 6 De leraar legt uit waarom hij/zij iets goed of niet goed vindt

Past dit bij wat de leraar doet? Helemaal niet

Geef bij elke uitspraak antwoord op de twee vragen hiernaast

© Y. Sol & K. Stokking (2008), Universiteit Utrecht

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

Bijlage 10: Vragenlijst leerlingen vooraf, taakgebied volgen van het leerproces Volgen hoe leerlingen leren en zich ontwikkelen Past dit bij wat de leraar doet?

Wil je dat de leraar dit doet?

© Y. Sol & K. Stokking (2008), Universiteit Utrecht

Helemaal niet

Meestal niet

Deels niet, deels wel

Meestal Wel

Helemaal wel

Helemaal niet

Meestal niet

Deels niet, deels wel

Meestal wel

Helemaal wel

1

De leraar let erop of leerlingen wel voldoende leren

0

0

0

0

0

0

0

0

0

0

2

De leraar praat met de leerlingen over hun vorderingen

0

0

0

0

0

0

0

0

0

0

3

De leraar praat met de leerlingen over hoe ze zich ontwikkelen

0

0

0

0

0

0

0

0

0

0

4

De leraar wil graag weten wat de leerlingen interesseert

0

0

0

0

0

0

0

0

0

0

5

De leraar vraagt de leerlingen waarin ze beter willen worden

0

0

0

0

0

0

0

0

0

0

6

De leraar vraagt aan leerlingen hoe het met ze gaat

0

0

0

0

0

0

0

0

0

0

7

De leraar wil graag weten waar leerlingen goed in zijn

0

0

0

0

0

0

0

0

0

0

8

De leraar wil graag weten waarmee leerlingen moeite hebben

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

Geef bij elke uitspraak antwoord op de twee vragen hiernaast

9

De leraar houdt de vorderingen en beoordelingen van de leerlingen bij 10 De leraar kijkt hoe de leerlingen werken 11 Als een leerling vastzit, probeert te leraar te achterhalen waar dat door komt

165

Bijlage 11: Vragenlijst leerlingen direct na opname, waardering feedback Wil je de volgende vragen beantwoorden? Naam: Datum: 1. Ik heb gewerkt aan een opdracht voor het vak 2. De opdracht die ik moest maken ging over 3. De instructie voor de opdracht (aankruisen wat van toepassing is): 0 kreeg ik van de docent 0 staat in het boek 0 staat op de computer in de ELO (elektronische leeromgeving) 0 anders, nl. …………………………………. 4. Wat moest je precies doen? 5. Waarom moest je deze opdracht maken? 6. Wat ging goed? 7. Had je ergens moeite mee? 0 Ja/ 0 nee (aankruisen wat van toepassing is) Zo ja, waarmee? 8. Heb je een vraag gesteld aan de docent? 0 Ja / 0 nee (aankruisen wat van toepassing is) Zo ja, wat heb je precies gevraagd? 9. Als een docent over een opdracht tegen je zegt wat je goed deed, wat er beter kan, enzovoort, heet dat “feedback” Heeft de docent je feedback gegeven? 0 Ja / 0 nee (aankruisen wat van toepassing is) Zo ja, wat heeft de docent tegen je gezegd?

166

Vervolg bijlage 11: Vragenlijst leerlingen direct na opname, waardering feedback © Y. Sol & K. Stokking (2008), Universiteit Utrecht

De volgende vragen gaan ook over de feedback die je van de docent hebt gekregen. Kloppen deze uitspraken? Omcirkel het cijfer dat het best bij jouw antwoord past 1 De feedback was duidelijk 2 Ik vond de feedback terecht 3 De feedback ging over wat goed ging of goed was gedaan 4 De feedback ging over wat nog niet goed was of nog niet goed ging 5 De feedback gaf heel precies aan wat er goed ging of wat er anders moest 6 De feedback kwam positief over 7 De feedback kwam negatief over 8 De feedback ging over de uitvoering van de opdracht 9 De feedback ging over de aanpak van de opdracht 10 De feedback ging over mijn werkhouding 11 De feedback ging over mijn persoon 12 De feedback ging over de samenwerking (niet invullen als je het alleen moest doen) 13 De feedback ging over wat ik al had gemaakt 14 De feedback maakte duidelijk waaraan de opdracht moest voldoen 15 De feedback motiveerde me om verder te werken 16 De feedback was leerzaam 17 De feedback was bruikbaar 18 Door de feedback wist ik wat ik moest doen om verder te kunnen 19 De feedback gaf me de kans mijn werk te verbeteren 20 Met de feedback gaf de leraar mij suggesties om mezelf te verbeteren

Helemaal niet 1 2 1 2 1 2 1 2 1 2 1 2 1 2 1 2 1 2 1 2 1 2 1 2 1 2 1 2 1 2 1 2 1 2 1 2 1 2 1 2

3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3

Helemaal wel 4 5 4 5 4 5 4 5 4 5 4 5 4 5 4 5 4 5 4 5 4 5 4 5 4 5 4 5 4 5 4 5 4 5 4 5 4 5 4 5

167

Bijlage 12: Scoringsformulier observatie feedbackgedrag © Y. Sol & K. Stokking (2008), Universiteit Utrecht

Fragment

Geen feedback Zelf overnemen of zelf oplossen als docent Resultaatgerichte feedback Aangeven of bevestigen wat er tot nu toe correct of succesvol is idem

Zonder informatie waarom iets goed is Met informatie waarom iets goed is

Geven van suggesties wat er beter kan / wat nog ontbreekt / wat (nog) fout is

Zonder informatie waarom iets ontbreekt of fout is

Idem

Met informatie waarom iets fout is of ontbreekt

Aangeven wat de goede oplossing is Idem

Zonder informatie waarom Met informatie waarom

Aangeven wat de standaard is waaraan moet worden voldaan Procesgerichte feedback De leerling stimuleren of vragen het probleem preciezer te omschrijven of te analyseren Vragen naar wat de leerling al heeft gedaan of hoever deze is Vragen naar bepaalde kennis Stellen van open vragen die het denkproces bij de leerling stimuleren Het probleem verhelderen en/of vereenvoudigen door het op te delen in stappen Geven van hints, cues, prompts, voorbeelden Geven van suggesties hoe het beter kan Voordoen van de aanpak, het probleem oplossingsproces (modelleren) Vragen of iets duidelijk c.q. begrepen is Geven van suggesties en/of voordoen van manieren om het proces zelf te monitoren en tussentijds te evalueren Instructie Verduidelijken of aanvullen van de gegeven instructie Een begrip uitleggen Uitleg geven over een aanpak om tot een oplossing te komen Overig Feedback geven op gedrag Bemoedigende opmerking maken

168

1

2

3

4

5

Bijlage 13: Opdracht tweede conceptmap docenten Stap 1: Lees de individuele schriftelijke terugrapportage door en laat de inhoud een paar dagen bezinken. Stap 2: Maak opnieuw een concept map (opdracht is identiek aan bijlage 4). Stap 3: Vergelijking eerste en tweede conceptmap. Je hebt voor de tweede keer een conceptmap gemaakt over feedback. We willen graag dat je nu de eerste conceptmap erbij pakt en kijkt of je verschillen ziet tussen beide conceptmaps. Wil je de onderstaande vragen beantwoorden? 1. Wat valt je op als je de eerste conceptmap vergelijkt met de tweede? (Denk daarbij bijvoorbeeld aan de inhoud, het aantal begrippen (plakbriefjes) die je hebt gebruikt, aan de plaats of volgorde van de plakbriefjes en aan de relaties die je hebt gelegd.) Wat me opvalt is: 2. Welke betekenis geef je zelf aan de verschillen die je ziet? 3. Heeft het maken van deze tweede conceptmap bij jou nog aanvullende inzichten opgeleverd? 4. Indien ja bij vraag 3: Zijn deze aanvullende inzichten voor jou nog aanleiding om er in je onderwijspraktijk iets mee te doen? Waar denk je dan aan?

169

Bijlage 14: Vragenlijst opbrengsten deelname docenten Wil je de volgende vragen invullen? 1. Wat waren je verwachtingen aan het begin van het onderzoek? 2. Hoe heb je het meedoen aan dit onderzoek ervaren? 3. Heb je door mee te werken aan dit onderzoek iets geleerd? Zo ja, kun je dat hieronder omschrijven? 4. Kun je aangeven welk onderdeel van het traject voor jou het meest waardevol is geweest? 5. Zijn er bepaalde dingen die je door het meedoen aan dit onderzoek anders bent gaan doen in je onderwijspraktijk? 6. De schoolleider van jouw school wil graag dat meer docenten van de resultaten van dit onderzoek kennis nemen en kunnen profiteren. Heb jij ideeën op welke manier zoiets zou kunnen worden aangepakt? 7. Zou je ons als onderzoekers nog feedback willen geven op grond van jouw ervaringen met de deelname aan dit onderzoek?

170

KO RT L O P E N D O N D E RW I J S O N D E R Z O E K

Vormgeving van leerprocessen

Mondelinge feedback bij zelfstandig werken

IVLOS en Onderwijskunde

Mondelinge feedback bij zelfstandig werken

Stimuleren en begeleiden van de leerprocessen van leerlingen is een belangrijke taak van docenten, zowel in traditioneel als in meer vernieuwend onderwijs. Een onmisbaar middel daarbij is het geven van feedback. Op verzoek van zes scholen voor voortgezet onderwijs die werken aan vernieuwend onderwijs, is de wetenschappelijke kennis over feedback op een rij gezet. Dit leverde een overzicht op van visies, vormen en kenmerken. Feedback wordt momenteel minder gezien als eenmalige reactie en meer als onderdeel van voortgezette interactie en coaching. Daarna is op vier scholen bij twaalf docenten en hun leerlingen in het 3e en 4e leerjaar (van vmbo t/m gymnasium) de praktijk in kaart gebracht van het geven en ontvangen van mondelinge feedback tijdens het zelfstandig werken aan een taak. De docenten blijken zeer betrokken bij hun leerlingen en primair gericht op geven van positieve feedback en rekening houden met de individuele leerling. Observaties laten, ongeacht het vakgebied of de onderwijservaring van de docent, een breed repertoire van feedbackactiviteiten zien, met een accent op benoemen van wat de leerling goed doet. De leerlingen waarderen de feedback van hun docenten positief, en bevestigen dat het accent vaak ligt op wat goed is. Het onderzoek leidt tot een aantal aanbevelingen, waaronder: - meer aandacht geven aan wat enigszins wordt onderbelicht, zoals de aanpak bij het werken aan een taak en de eisen die worden gesteld aan het resultaat; - meer de leerlingen zelf aan het woord laten over hoe ze dingen aanpakken en waar ze tegenaan lopen; dit biedt de docent meer inzicht in het denkproces en het begrip bij de leerling; - als schoolteam een gezamenlijke concrete visie op feedback ontwikkelen, ervaringen uitwisselen, en van elkaar leren. Dit rapport beschrijft een rijk arsenaal van feedbackpraktijken en mogelijkheden. Het onderzoek heeft ook instrumenten opgeleverd waarmee het handelingsrepertoire van een docent bij het geven van feedback in kaart kan worden gebracht. Deze instrumenten kunnen aanleiding geven tot discussie, reflectie en beleid en kunnen bijdragen aan verdere professionalisering van docenten op dit terrein.

74

Mondelinge feedback bij zelfstandig werken Interactie tussen docenten en leerlingen in het VO

Yvette Sol Karel Stokking