Het geven en ontvangen van peerfeedback
Het geven en ontvangen van peerfeedback binnen een klas laat-adolescenten in een virtuele omgeving
Een onderzoek binnen Virtual Action Learning over het geven en ontvangen van peerfeedback door laat- adolescenten (16 tot 22 jaar).
Master: Naam: Begeleider: Uitgevoerd binnen: Datum:
Leren en Innoveren, STOAS Hogeschool, ‘s-Hertogenbosch Desiree Haan Drs H. de Laat Studio T, Tilburg Mei, 2011
1
Het geven en ontvangen van peerfeedback
2
Met dank aan Twee jaar lang ben ik bezig geweest met dit onderzoek, bijna dag en nacht. Ik heb er over gedroomd, ik heb er voor gereisd en ik heb veel steun gehad van veel mensen. Als eerste wil ik mijn vader bedanken voor de uren spelling- en grammaticacheck inclusief de “Dikke van Dale”. Frank heeft mij aangestoken met het onderzoeksvirus. Zijn altijd enthousiaste antwoorden die altijd weer leidden tot meer vragen hebben mijn thesis gemaakt zoals hij nu is. Gonneke was mijn sparringpartner in goede en slechte tijden, uren zaten we aan de telefoon. Met Karin en Dimph heb ik echt een “community” gevoel gedeeld en Hanneke was er altijd, of ze nu werkte of op vakantie was, ze was altijd beschikbaar. Het blinde vertrouwen van Willy in mijn werk heeft mij geholpen niet de kluts kwijt te raken en het te regelen op mijn manier. Hij wist dat het afkwam. Laura en Pieter zijn van onschatbare waarde geweest bij het hoofdstuk resultaten. Zij hebben mij geholpen “echt” te begrijpen wat ik allemaal heb gelezen en heb opgeschreven. Ten slotte wil ik Pierre bedanken. Hij heeft mij met rust gelaten bij stress en wist precies wanneer hij het huis uit moest. Bedankt daarvoor, maar vanaf nu ga ik weer mee de rotsen in. Heeft u vragen over dit onderzoek of wilt u citeren uit dit onderzoek dan kunt u mailen naar
[email protected] Desiree Haan Beugen, mei 2011
Het geven en ontvangen van peerfeedback
3
Key words: Virtual Learning Community (VLC), peerfeedback geven, peerfeedback ontvangen, laat- adolescenten, populariteit, intentie, faalangst Samenvatting Studio T heeft gekozen voor het onderwijsconcept van Virtual Action Learning (VAL), met de ondersteunende elektronische leeromgeving “ Virtual Learning Community” (VLC). VAL en VLC zijn beide ontwikkeld door CITOWOZ. Binnen VAL bereiden leerlingen zich in 11 stappen voor op een assessment. Binnen de elf stappen van VAL is stap vijf, “de virtuele leerinteractie”, een belangrijke stap (Baeten, 2009). Deze stap is het lezen van een product van een klasgenoot, het geven van feedback daarop en het lezen van feedback op hun eigen product met de verwerking daarvan. In dit onderzoek is bij leerlingen, N=27 (16-22 jaar), van Helicon opleidingen, Studio T onderzocht of zij in staat zijn om elkaar constructieve feedback te geven en te gebruiken. Ook is nagegaan of populariteit van de leerling hierop van invloed is en of zij handelen overeenkomstig hun intenties. Tenslotte is gekeken of faalangst een invloed heeft op het geven van feedback. Uit de resultaten komt naar voren dat er van het totaal aantal gegeven feedback (526 keer) er 361 keer constructieve feedback is gegeven,er geen significant verschil is tussen het geven van feedback aan leerlingen die vallen in de categorie populair, niet populair en neutraal. 37 % van de leerlingen is in staat te handelen in de praktijk op de wijze zoals ze dit denken te gaan doen, er een significant verschil gevonden is tussen het ‘zinvol vinden’ van feedback en het verbeteren van leerproducten, maar er geen significant verschil is gevonden tussen het krijgen van constructieve feedback en het verbeteren het product. Tenslotte is er geen significant verschil gevonden tussen faalangst en het geven van feedback. Geconcludeerd kan worden dat leerlingen in staat zijn om constructieve feedback te geven, maar dat vooral het ‘zinvol vinden’ van feedback leerlingen stimuleert om de feedback te gebruiken. De mate van populariteit van een leerling binnen een klas heeft geen invloed op het krijgen van feedback. Faalangst speelt eveneens geen rol bij het geven van feedback.
Het geven en ontvangen van peerfeedback
4
Inhoudsopgave 1. Theoretisch kader 1.1 Feedback 1.2 Peer feedback 1.3 Laat- adolescenten
5 5 6
2. Probleemstelling
7
3. Onderzoeksvragen
8
4. Methoden 4.1 Deelnemers 4.2 Onderzoeksdesign 4.3 Meetinstrumenten 4.3.1 De afhankelijke variabele Feedback 4.3.2 Populariteit 4.3.3 Willen en doen 4.3.4 Faalangst 4.4 Procedure
8 8 8 9 9 10 10 10 10
5. Resultaten 5.1 Zijn onze leerlingen als laat- adolescenten in staat om constructieve feedback te geven aan hun peers 5.2 Benutten ze de feedback 5.3 Speelt de populariteit van de leerling in de klas een rol bij het geven van feedback 5.4 Handelen leerlingen in de praktijk op de wijze zoals ze dit aangeven in de enquête 5.5 Speelt faalangst een rol bij het geven van feedback
12
15 17
6. Conclusie
17
7. Discussie
19
8. Aanbevelingen
20
9. Vervolgonderzoek
20
10. Tenslotte
20
11. Literatuurlijst
21
Bijlage 1: Enquête
23
12 14 15
Het geven en ontvangen van peerfeedback
5
1. Theoretisch kader 1.1 Feedback Het geven en ontvangen van feedback is een leerzame handeling. De positieve werking van ‘positieve’ feedback (beloning) op het leren werd al aangetoond in 1931 door Thorndike wat hij de ‘wet van effect’ noemde (1931). Hetzelfde effect, toenemen van gedrag dat beloond wordt, deed zich voor in zijn onderzoek naar de reactie van mensen als zij horen of zij goed of fout gehandeld hebben. Hattie & Timperley (2007) toonde aan dat het krijgen van feedback en de verwerking daarvan één van de krachtigste manieren van leren is. Feedback heeft een tweeledige functie. Als eerste voor de ontvanger van de feedback: de ontvanger kan met de gegeven feedback zijn leerproduct verbeteren. Ten tweede voor de gever: de gever leest een leerproduct van een ander, kan daar ideeën opdoen voor zijn eigen leerproduct ofwel een breder of dieper perspectief krijgen. Tevens moet je het leerproduct van een ander begrijpen en analytisch lezen om feedback te geven waar een ander wat aan heeft. Het geven van feedback door leerlingen onderling wordt in het onderwijs weinig gebruikt om het leerproces te bevorderen. In de onderwijsvernieuwing van ‘ Studio T ‘ wil men feedback, en met name peerfeedback, beter benutten. De feedbackfunctie is van formatieve aard omdat het de bedoeling is dat leerlingen door het geven en ontvangen van feedback in gaan zien hoe zij hun product kunnen verbeteren. Zij geven en ontvangen feedback om van te leren en niet om te beoordelen. De definitie van formatieve feedback die in dit onderzoek gehanteerd wordt: Feedback die een leerling ontvangt tijdens het leerproces om het leren te verbeteren (Gipps, 1994). Probleem is dat er onvoldoende zicht is of leerlingen van Studio T met peerfeedback om weten te gaan. 1.2 Peerfeedback In dit onderzoek gaat het om peerfeedback. Feedback tussen leerlingen onderling. Sadler (1989) heeft aangetoond dat het belangrijk is dat leerlingen progressief onafhankelijk van de docent leren leren. Zo benutten leerlingen elkaar zonder inmenging van de docent. Op Studio T geven leerlingen elkaar feedback zonder inmenging van de docent. Gielen (2007) heeft aangetoond dat bij peerfeedback de leerling niet alleen de beoordeelde is, maar ook de beoordelaar. Het geven van feedback als beoordelaar is erg leerrijk voor leerlingen omdat ze ideeën opdoen van elkaar, ze van elkaars fouten leren, andere visies ontdekken en andere oplossingsmethoden zien voor dezelfde opdracht. Ze krijgen dus een grondiger inzicht in de leerstof, een voorrecht dat anders misschien gereserveerd blijft voor de docent. Kijkend naar het leeraffect dan stelt Ausubel (1968), beschreven in: Valcke (2007), dat leren gebeurt door subsumptie. Nieuwe kennis wordt gekoppeld aan de aanwezige meer abstracte kenniselementen. Hij onderscheidt a) derivative subsumbtion: kennis wordt toegevoegd en b) correlative subsumption: de aanwezige kennisstructuur verandert door nieuwe kennis. Bij het geven van peerfeedback kan nieuwe kennis die leerlingen opdoen bij het lezen van elkaars producten direct gebruikt worden voor hun eigen producten, maar leerlingen kunnen ook andere inzichten krijgen door het lezen van andere producten voor hun eigen product. Verder heeft Gielen (2007) aangetoond dat er een interactie kan ontstaan tussen ‘peers’ (medeleerlingen), hetgeen kansen schept voor collaboratief, samenwerkend leren. Vertrouwen en persoonlijke interactie zijn hierbij belangrijke elementen (Sadler,1989). Peerfeedback kan de sociale druk om hun best te doen laten toenemen.(Cole, 1991; Pope, 2005. geciteerd in Gielen , 2007). In onderzoek van Topping (2003) is waargenomen dat peer feedback vaak voor leerlingen begrijpelijker en zinvoller is omdat ze op dezelfde golflengte praten. Verder geven medeleerlingen vaak sneller feedback dan docenten. De wat minder
Het geven en ontvangen van peerfeedback
6
perfecte maar directe ‘op het moment’ feedback van een medeleerling heeft bijna nog meer effect dan perfecte feedback vier weken later van een tutor (Gibbs et al, 2004.geciteerd in: Gielen, 2007). Sadler (1989) geeft aan dat feedback informatie moet bevatten die in relatie staat tot de taak of het leerproces en die het gat opvult tussen dat wat begrepen wordt door de leerling en dat wat nog niet begrepen wordt, maar wel begrepen moet gaan worden. Je zou dan kunnen spreken van constructieve feedback. Door leerlingen te vragen om constructieve feedback aan elkaar te geven participeren ze in elkaars leren. Daarmee krijgen ze ook meer begrip en waardering voor andere ervaringen en perspectieven (Richardson & Swan 2003, geciteerd in: Ertmer, P. A, Richardson, J. C., Belland, B., Camin, D., Connolly, P., Coulthard, G., et al. 2007). Ertmer & Stepich 2004, geciteerd in: Ertmer, P. A, Richardson., et al ( 2007) zeggen dat de kwaliteit van discussie verbeterd kan worden door het gebruik van constructieve feedback. Constructieve feedback kan in een discussie direct, samenhangend en constant gebruikt worden.. Volgens Van de Berg , Pilot & Admiraal (2005, p.16) zijn de volgende eisen essentieel bij het geven van constructieve feedback dat: • degenen die samenwerken verschillende, maar ook weer niet al te verschillende ideeën hebben en over ongeveer dezelfde intellectuele capaciteiten beschikken. Er is een gemeenschappelijke basis nodig, zodat de leerlingen elkaar zien als “peers” en kunnen samenwerken. Op deze manier gebruik je minder tekst om hetzelfde te zeggen; • de leertaken moeten uitdagen om juist de (inhoudelijke) verschillen in denkbeelden van de beoordelingspartners expliciet aan het licht te brengen; • de partners de wil moeten hebben om elkaar te begrijpen en hun meningsverschillen te overbruggen, hetgeen ze vooral zullen doen als ze elkaar om de één of andere reden (zakelijk of emotioneel) nodig hebben; • de leeromgeving zo wordt ingericht dat er een optimale interactie ontstaat. Wat betekent dat leerlingen onderling veel (verbaal) kunnen communiceren over de leerstof, de opdrachten, hun leerproducten en hun feedback; • de leerlingen kunnen het geven en ontvangen van feedback regelmatig afwisselen. 1.3 Laat- adolescenten De leerlingen van Studio T komen binnen met een minimale vooropleiding van VMBO T. Over het geheel genomen hebben we te maken met leerlingen die vallen in de categorie ”laatadolescenten” (16-22 jaar). In klassen zijn vaak verschillende rollen te herkennen en het klas proces (vriendengroepen) speelt een belangrijke rol bij laat-adolescenten (Crone, 2008). Ewert 1983 in: Monks, F.J & Knoers. A,M,P (2004) beschrijft dat normen in de klas van leeftijdsgenoten in sterke mate wordt bepaald door de leiders van de klas. Laat- adolescenten hechten veel waarde aan de mening en waardering van vrienden. De nabijheidrelatie tussen leerlingen zou dus een mogelijke factor kunnen zijn in het proces van feedback geven, ontvangen en benutten. In adolescentieleeftijd wordt ook een aanzienlijke tijd doorgebracht met leeftijdsgenoten (Crone, 2008). Westenberg (2008, p.8) stelt, “dat er een sterkere gerichtheid is op leeftijdsgenoten. Dat wil echter niet zeggen dat ouders steeds minder belangrijk worden en vrienden in alle opzichten het belangrijkst. Uit, onder meer zijn onderzoek, is gebleken dat de steun die de tiener van zijn ouders ervaart niet afneemt met het ouder worden, maar dat de steun die men ervaart van leeftijdsgenoten wel toeneemt. De mate van steun die pubers ervaren van ouders en leeftijdsgenoten komt dus dichter bij elkaar te liggen”. Adolescenten ontdekken waar zij een passie voor hebben en er ontstaan Community’s of Practices (COP) (Wenger, 1998). Hierdoor kunnen ze door een gezamenlijke passie hun kennis vergroten. Dat neemt niet weg dat leerlingen ook in klassen worden geplaatst die ze zelf niet hebben gekozen. Hierdoor leren leerlingen met elkaar samenwerken en omgaan met verschillende persoonsstijlen en werkvormen. Leerlingen zitten dus niet altijd
Het geven en ontvangen van peerfeedback
7
met ‘vrienden’ in de klas, maar zoeken wel een klik met medeleerlingen in de COP. Dit zou je populariteit kunnen noemen. Populariteit zou dus best een rol kunnen spelen in het samenwerken en ook aan het geven van feedback of iets met feedback doen. Verder kunnen leerlingen een vorm van faalangst hebben. Faalangst is een blokkerende angst om te mislukken in taaksituaties, (A.Nieuwenbroek, 1996). De leerling voelt van huis uit een grote druk om goed te presteren en wordt zo bang om te falen. 2. Probleemstelling Studio T is de eerste MBO school die werkt volgens het Virtual Action Learning (VAL) principe. VAL omvat een virtuele leeromgeving waarin de pedagogisch benadering vorm krijgt in 11 stappen die de leerlingen moeten doorlopen. Binnen de elf stappen van VAL is stap 5 “de virtuele leerinteractie” een belangrijke aan ‘peer-feedback’ gerelateerde stap (Baeten, 2009). Deze stap is het lezen van een leerproduct van een klasgenoot, het geven van feedback daarop en het lezen van feedback die leerlingen zelf op hun eigen leerproduct hebben gekregen. VAL streeft naar constructieve feedback waarbij de inhoud een bijdrage moet leveren aan de kwaliteit van de leerproducten (Baeten, 2009). Leerlingen vormen ook eigen COP’s om zo aan een leerarrangement te werken. Er is echter weinig zicht of leerlingen, als laat- adolescenten, in staat zijn het proces van peerfeedback te realiseren. Of ze zonder ‘aanziens des persoons’ feedback geven, ontvangen en benutten en of bijvoorbeeld populariteit of faalangst een bepaalde rol speelt. Ewert (1983) In: Monks, F.J & Knoers. A,M,P., (2004) beschrijft dat normen in de klas van leeftijdsgenoten in sterke mate wordt bepaald door de leiders van de klas. Laat- adolescenten hechten veel waarde aan de mening en waardering van vrienden. Kortom gaan leerlingen gebruik maken van de feedbackfunctie en geven ze constructieve feedback aan elkaar? Zijn de voorwaarden om constructieve feedback te geven aanwezig en werken die ook voor de ‘Studio T’ adolescenten? Binnen VAL opereren leerlingen redelijk zelfstandig, docenten hebben slechts bij bepaalde stappen een expliciete rol. Ook in de feedback stap kunnen leerlingen zelf bepalen of ze wel of geen feedback geven, op wie wel en wie niet, en of ze de feedback die ze van anderen krijgen gebruiken voor het verbeteren van hun eigen leerproducten. Die zelfstandigheid vraagt om een bepaalde mate van metacognitie. Westenberg geeft aan dat we moeten beseffen dat er grote verschillen zijn in de kwaliteit van metacognitie tussen leerlingen binnen elke leeftijdsklas. Sommige kinderen kunnen al op jongere leeftijd hun leergedrag plannen, controleren, en daarop reflecteren. Anderen blijken daar zelfs op 22-jarige leeftijd nog moeite mee te hebben ( Oosterheert, 2001). Ook Crone, 2008 geeft aan dat laat- adolescenten moeite hebben met plannen van hun werkzaamheden. Oosterheert (2001) geeft verder aan dat sommige leerlingen op bepaalde punten meer externe regulatie nodig hebben. Het kan dus zijn dat leerlingen wel willen maar niet de metacognitieve vaardigheden zoals plannen, analyseren, reflecteren etc. in voldoende mate hebben ontwikkeld om het proces van peerfeedback aan te kunnen. Cone (2008) stelt dat het geven en ontvangen van feedback door leerlingen een heftig proces kan zijn. Als oorzaak hiervan ziet zij de onvolledige ontwikkeling van de verbindingen tussen de hersengebieden van emotieregulatie (amygdala) en ratio (pre-frontale cortex) in de leeftijd van zestien à zeventien jaar. De frontale cortex is eveneens nog niet goed gerijpt waardoor planning voor deze leeftijdsklasse nog moeilijk is. Dat kan ook een reden zijn dat het samen maken van opdrachten een probleem oplevert (Crone, 2008). Er is gelukkig ook hoop. Westenberg (2008) geeft aan dat we in de adolescentie een stijging zien van de intellectuele capaciteiten op vrijwel elk gebied. Er ontstaat onder andere een toenemende capaciteit om het eigen leergedrag te sturen en te controleren. Al eerder is gezegd dat laat- adolescenten veel waarde hechten aan de mening en waardering van vrienden. (Ewert (1983. In: Monks, F.J & Knoers. A,M,P., ,2004). Waardering ligt dicht
Het geven en ontvangen van peerfeedback
8
aan tegen ‘faalangst’ in de zin dat er in de interactie mogelijk een sterkere angst aanwezig is om ‘ af te gaan’, fouten te maken, je onkunde en je onwetendheid te laten zien. Kortom: Studie T omarmt de kracht van (peer)feedback voor het leren en het concept van Virtual Action Learning maar ziet tegelijkertijd dat er verschillende factoren kunnen zijn waarvan onvoldoende duidelijk is hoe die uitwerken tijdens het proces van peerfeedback van zijn leerlingen en wil hier graag meer zicht op krijgen. 3. Onderzoeksvragen Het probleem laat zich voorlopig ontleden in een aantal vraagstukken waarop meer inzicht wenselijk is. Voor de hand liggende twee hoofdvragen betreffen: 1. a) Zijn laat-adolescent-leerlingen in staat feedback te geven aan elkaar? 1. b) Zo ja, in welke mate betreft dit ook constructieve feedback? Feedback geven is één, die feedback gebruiken om je leerproduct te verbeteren is twee. Dat leidt tot de tweede vraag in dit onderzoek: 2. In welke mate benutten laat-adolescent-leerlingen de feedback die ze ontvangen. Literatuur over adolescentie, metacognitie en neurowetenschap geven aanleiding om te veronderstellen dat binnen hun ontwikkeling (metacognitief en neurologisch) de leerlingen misschien wel willen, de intentie hebben, maar niet het nog niet kunnen, dus niet doen wat ze zeggen. Verder spelen vrienden een grote rol in deze leeftijdscategorie. En tenslotte kan de waardering door anderen in hun identiteitsvorming zo’n grote rol speelt dat een soort van faalangst ook een rol kan spelen in het volledig feedback durven te geven. Dit leidt tot de volgende vragen: 3. Heeft ‘populariteit een effect op het geven en ontvangen van peerfeedback? 4. Is er een discrepantie tussen ‘willen’ (intentie) en daadwerkelijk doen (kunnen)? 5. Heeft faalangst een effect op het geven van peerfeedback? 4. Methode 4.1 Deelnemers Het onderzoek is uitgevoerd bij MBO leerlingen (N=27) van Studio T in Tilburg waarvan 20 jongens en 7 meisjes uit jaar 1. Zij zaten in de leeftijdscategorie laat- adolescenten (M=16,8; SD 0,74) met een minimum van 16 jaar en een maximum van 18 jaar. De leerlingen hadden allemaal minimaal een vooropleiding VMBO T. Er zijn bestaande klassen gebruikt. Deze klassen zijn op alfabet geformeerd in juli 2010. De klas VLC 1.1 bestond uit 14 leerlingen en de klas VLC 1.2 bestond uit 13 leerlingen. 4.2 Onderzoeksdesign Het onderzoek heeft plaatsgevonden in twee klassen. De klas VLC 1.1 en de klas VLC 1.2. Beide klassen werkten afzonderlijk van elkaar in een eigen community. Beide klassen hadden dezelfde docenten die de inhoudelijke lessen hebben verzorgd. Elke klas had zijn eigen coach die het VAL proces begeleidde. Het onderzoek omvat de onafhankelijke variabelen populariteit, intenties en faalangst, invloed van klas (coach). Afhankelijke variabelen zijn: feedback geven, feedback ontvangen, constructieve feedback en benutten van feedback (verbeterde leerproducten).
Het geven en ontvangen van peerfeedback
9
4.3 Meetinstrumenten 4.3.1 De afhankelijke variabele Feedback De feedbackdata zijn vanuit de VLC verzameld. Hierbij is gekeken naar: 1. Hoeveel leerproducten er zijn geplaatst; 2. Hoe vaak iemand feedback heeft gegeven; 3. Hoeveel van de gegeven feedback is constructief; 4. Aan hoeveel verschillende personen iemand feedback heeft gegeven; 5. Hoe vaak er een vernieuwde versie van een leerproduct is geplaatst; 6. Aan wie iemand feedback geeft. Om te bepalen of populaire leerlingen meer complimenten krijgen dan leerlingen die niet populair zijn is gekeken naar de waardering binnen de indeling zoals gebruikt binnen de methode VAL (Baeten, 2009).Voor de volledigheid is de gehele indeling opgenomen, zie tabel 1. De kwalitatieve analyse c.q. waardering van de feedback is door een onafhankelijk persoon middels een steekproef nagekeken. De inter-rater-betrouwbaarheid is 84%. Tabel 1:Categorieën van feedback binnen VAL Compliment: Leesbewijs: Begripsvorming: Aanvulling: Verbetering:
Verrijking:
Verrijking:
Uit de feedback blijkt overduidelijk dat de leerling het leerproduct positief waardeert; Uit de feedback blijkt dat de leerling het leerproduct serieus heeft gelezen; Uit de feedback blijkt dat de leerling een begripsvolle relatie kan leggen tussen verschillende aspecten van het leerproduct; Uit de feedback blijkt dat de leerling een relevante aanvulling op het leerproduct heeft geleverd; Uit de feedback blijkt dat de leerling met nieuwe informatie binnen dit kennisobject heeft aangegeven hoe en met welk resultaat het leerproduct wordt verbeterd; Uit de feedback blijkt dat de leerling met nieuwe, relevante informatie buiten dit kennisobject heeft aangegeven hoe en met welk resultaat het leerproduct substantieel wordt verbeterd; OF: Uit de feedback blijkt dat de leerling in staat is aan te geven met welke achterliggende theorie het leerproduct kan worden verbonden en hoe daardoor de kwaliteit van het leerproduct substantieel wordt verrijkt.
. Ook is er een indeling gemaakt om de feedback te categoriseren in constructief en niet constructief. De feedback is constructief als deze valt binnen de categorie 3 en 6. De feedback wordt als niet constructief beschouwd als hij valt binnen de categorie 1, 2, 4 en 5, zie tabel 2. De waardering van de indeling wanneer feedback constructief is, is door een onafhankelijk persoon middels een steekproef nagekeken. De inter-rater-betrouwbaarheid is 89%. Tabel 2: Indeling feedback 1. Er is alleen iets positiefs gezegd zonder tip om het leerproduct te verbeteren; 2. Er is alleen iets negatiefs gezegd zonder tip om het leerproduct te verbeteren; 3. Er is iets positiefs gezegd en er is een tip gegeven om het leerproduct te verbeteren; 4. Er is iets negatiefs gezegd en er is een tip gegeven om het leerproduct te verbeteren; 5. Er is iets positiefs gezegd en iets negatiefs maar geen tip om het leerproduct te verbeteren;
Het geven en ontvangen van peerfeedback
10
6. Er is wel een tip gegeven om het leerproduct te verbeteren maar niets positiefs of negatiefs gezegd. 4.3.2 Populariteit Er is een sociogram samengesteld met een “tool”van een extern bureau (Sometics, 2011). Deze tool bestond uit twee vragen waarbij leerlingen drie medeleerlingen moesten opgeven waarmee ze binnen hun eigen klas (VLC 1.1 of VLC 1.2) het meeste omgaan en met welke drie leerlingen ze binnen hun eigen klas het minste omgaan. Door middel van het invullen van deze vragen is er een sociogram ontstaan voor beiden klassen (VLC 1.1 en VLC 1.2) onderverdeeld in drie categorieën: 1. Populair (P) ; 2. Niet populair (NP) 3. Neutraal (N) 4.3.3 Willen en doen Aan de hand van een vragenlijst, (zie bijlage 1) met antwoordmogelijkheden op een 5-punts Likertschaal werden leerlingen bevraagd over de wijze waarop zij feedback hebben geven en wat zij zouden doen met de ontvangen feedback in VAL Het is bekend dat Lickert schalen ordinaal zijn maar in de literatuur worden ze ook vaak op intervalniveau verwerkt. De vragen zijn verwerkt op intervalniveau in SPSS 17.0. De items van de enquête zijn op conceptuele basis ingedeeld in twee categorieën. Het ‘geven van feedback’ en ‘de ontvangen feedback gebruiken’. De interne consistentie van de twee verschillende categorieën is aanvaardbaar. Voor “het geven van feedback” is de Cronbach Alfa .56 en voor het ontvangen van feedback” .82. Over alle items is de Cronbach Alfa .82. Hoewel in het algemeen men een Conbach alfa van .7 als minimum criterium neemt voor betrouwbaarheid van een schaal schrijft Field (2009, p. 675): When dealing with psychological constructs values below even .7 can, realistically, be expected because of the diversity of the constructs being measured. Derhalve vinden we de betrouwbaarheid van de schaal ‘ het geven van feedback’ acceptabel. 4.3.4 Faalangst Er heeft een faalangstmeting plaatsgevonden die is uitgevoerd door een extern bureau (AMN, 2011). De mate van faalangst is gecategoriseerd aan de hand van de uitslag, en met de indeling van de Assess, Manage en Navigate test in 5 categorieën: 1. Laag; 2. Onder gemiddeld; 3. Gemiddeld; 4. Boven gemiddeld; 5. Hoog. 4.4 Procedure Dit onderzoek is uitgevoerd bij Helicon Opleidingen, vestiging MBO business school, Studio T in Tilburg in de periode 1 september 2010 tot 1 februari 2011 binnen stap 5 van het onderwijsconcept Virtual Action Learning (VAL), met de ondersteunende elektronische leeromgeving “ Virtual Learning Community” (VLC). Beiden ontwikkeld door CITOWOZ. Binnen VAL bereiden leerlingen zich in 11 stappen (zie fig. 1) voor op een assessment, waarin ze moeten aantonen over welke competenties uit een MBO kwalificatiedossier (Aequor, 2011) ze beschikken.
Het geven en ontvangen van peerfeedback
11
De elf stappen van VAL zijn: 1 Competentieprofiel opstellen; 2 Kiezen leerarrangementen (gekoppeld aan onderdelen uit het competentieprofiel); 3 Informatie selecteren (bronnen zoeken en raadplegen); 4 Leerproducten maken (die ontstaan uit een leerarrangement); 5 Virtuele leerinteractie (feedback geven, ontvangen en verwerken); 6 Bijeenkomsten, zoals colleges, campfire story’s, training, individuele coaching; 7 Best practising (waarderen, kiezen beste leerproducten); 8 Editorial review (valideren leerproducten); 9 Publiceren op de plaza; 10 Assessment; 11 Beoordeling en reflectie.
leercyclus
Student stapt in, waar en wanneer hij wil leercyclus
Stap 5: geven en ontvangen van peer feedback
Figuur 1. Overzicht van de elf stappen van de VAL cyclus. Binnen stap 5 is het geven en ontvangen van (peer) feedback een belangrijke factor. Leerlingen plaatsen leerproducten op de VLC en medeleerlingen kunnen feedback geven op deze leerproducten. Het proces van constructieve feedback binnen stap 5 in VAL op Studio T valt binnen de eisen die Van de Berg, Pilot & Admiraal, (2005) stellen.(Albertson 1986.geciteerd in Jaehnig & Miller 2007) heeft aangetoond dat feedback die de naam van een leerling bevat, effectiever is dan feedback zonder naam van die leerling. Binnen VAL zijn namen zichtbaar. Leerlingen werken tegelijkertijd aan dezelfde leerproducten. In een periode van zes maanden zijn er vijftien leerarrangementen aangeboden die leerlingen moesten maken en waarop feedback gegeven kon worden. De leerarrangementen zijn geschreven door
Het geven en ontvangen van peerfeedback
12
professionals met een omschreven einddoel en zijn zo breed geschreven dat er een eigen invulling aan gegeven kan worden. De leerlingen mochten zelf bepalen wanneer en welk leerarrangement ze maakten. Er was geen gestructureerde procedure over hoeveel en hoe vaak feedback gegeven moest worden. Leerlingen zijn niet geforceerd om feedback te geven of om met de ontvangen feedback iets te doen. Data die leerlingen in hun eigen leerarrangement onder feedback hadden geplaatst (bijvoorbeeld een opmerking naar aanleiding van de gekregen feedback) is niet meegenomen in dit onderzoek. Leerlingen hadden bij het waarderen van hun feedback alleen maar de keuze tussen deze twee categorieën.(Compliment en Leesbewijs, zie tabel 1. In coachuren werd het proces van feedback regelmatig besproken om zo elkaar te begrijpen, de leeromgeving is digitaal en leerlingen konden naar vrij inzicht werken. Er waren drie blokken van drie uur per week ingepland waarin gewerkt is aan leerarrangementen en waarin leerlingen de tijd hadden elkaars leerproducten te lezen, feedback te geven en de ontvangen feedback te verwerken. De faalangst test is afgenomen in september 2010. Omdat leerlingen elkaar eerst moesten kennen is het sociogram afgenomen in februari 2011. Omdat de mening was dat je ook eerst ervaring moet hebben met feedback is de intentiedoen vragenlijst ook afgenomen in februari 2011. De feedback is verzameld, geanalyseerd in categorieën en gekwantificeerd tussen 1 september 2010 en 1 februari 2011. Analyses zijn uitgevoerd met SPSS 17. 5. Resultaten 5.1 Zijn onze leerlingen als laat- adolescenten in staat feedback te geven aan hun peers, en is deze feedback constructief Als leerling verwacht je dat medeleerlingen feedback geven op je geplaatste leerproducten. Dit blijkt ook wel uit de gemiddelde score in de enquête van 4.2 (5 punt Lickert schaal) op het item ’ik vind het prettig om feedback te krijgen.’ In gesprekken tussen docenten is een aantal van 15 keer feedback geven per leerling als voldoende aantal naar voren gekomen. Dat betekent dat er totaal 405 keer feedback wordt gegeven. Ook verwachtten de docenten dat er per leerling aan gemiddeld 7 verschillende leerlingen feedback wordt gegeven. Er zijn in totaal 240 1e leerproducten geplaatst met een minimum van 2 keer gegeven- en een maximum van 64 keer gegeven feedback (Mean= 19.4 SD 14.76). Er is in totaal 526 keer feedback gegeven met een gemiddelde van 2,2 keer feedback per leerproduct. Voor klas VLC 1.1 is dat gemiddeld 1,7 keer feedback per leerproduct en in klas VLC 1.2 is dat 2,4 keer feedback per leerproduct. In de tabel 3 is te zien dat er in klas VLC 1.1 meer producten zijn geplaatst met minder gegeven feedback dan in klas VLC 1.2 . Op deze gegevens is een ANOVA uitgevoerd met klas als groepsfactor en het totaal aantal gegeven feedback als afhankelijke variabelen. Uit deze analyses blijkt dat de klassen wat de spreiding betreft niet hetzelfde zijn (Levene = 4.03; DF = 1;2; P=0,049). Daarom is gekeken naar Welsh en Brown-Forsythe en hieruit blijkt dat de klassen niet van elkaar verschillen in het geven van feedback (Welsh/Brown-Forsythe =1,856; DF= 1;15,385; P=0,193). Dit betekent dat er gemiddeld evenveel feedback geven wordt in beide klassen maar dat in klas VLC 1.1 gezien de kleinere SD, homogener is in het geven van feedback. Dit is ook te zien in het verschil minimaal en maximale aantal feedback per klas. Het gemiddeld aantal leerlingen waaraan feedback is gegeven is per klas gelijk.
Het geven en ontvangen van peerfeedback
13
Tabel 3 overzicht gegeven feedback totaal en per klas
Geplaatste 1e leerproducten Gegeven feedback totaal Mimimaal aantal keer gegeven feedback Maximaal aantal gegeven keer feedback Gemiddelde gegeven feedback met SD Gemiddelde aantal leerlingen waaraan feedback is gegeven met SD Verwachting: 15 x feedback geven per leerling
Totaal (N=27) 240
Klas VLC 1.1 (N=14) 124
Klas VLC 1.2 (N=13) 116
526
220
306
2
4
2
64
29
64
M= 19.4; SD = 14.76
M= 15.6;SD = 7.60
M= 23.5; SD = 19.37
M= 8.6; SD = 3.07
M= 8.0; SD = 3.12
M= 9.2; SD = 3.03
405
210
195
De uitkomsten zijn acceptabel op de meeste punten ten aanzien van de verwachting. Klas VLC 1.2 heeft meer feedback gegeven dan verwacht. Daarna is gekeken welke gegeven feedback constructief van aard is. De waardering voor constructieve feedback is: als ‘er alleen een tip is gegeven’ of als ‘de feedback iets positiefs bevat met een tip’, zie tabel 2. In tabel 4 is te lezen dat er gemiddeld meer constructieve feedback wordt gegeven dan niet constructieve feeback, ook is te zien dat de klas VLC 1.1 onder het percentage van het totaal gegeven constructieve feedback zit. Klas VLC 1.2 zit boven het totale percentage gegeven constructieve feedback. Tabel 4: constructieve feedback totaal en per klas
Totaal gegeven feedback Niet constructieve feedback Constructieve feedback Constructieve feedback in % van totaal gegeven feedback
Totaal 526
Klas VLC 1.1 220
Klas VLC 1.2 306
165
90
75
361
130
231
68,6%
59,1%
75,4%
De standaarddeviatie verschilt wel per klas. Klas VLC 1.1 heeft een gemiddelde van 9.29 (SD=5.1) voor het geven van constructieve feedback en klas VLC 1.2 heeft een gemiddelde van 17.7 (SD=16.2.). Op deze gegevens is een ANOVA uitgevoerd. Uit deze analyse blijkt
Het geven en ontvangen van peerfeedback
14
dat de klassen wat de spreiding betreft niet hetzelfde zijn (Levene = 5.3; DF = 1;2; P=0,029). Daarom is gekeken naar Welsh en Brown-Forsythe en daaruit blijkt dat de klassen niet van elkaar verschillen in het geven van constructieve feedback (Welsh/Brown-Forsythe=3.2; DF= 14;2; P=0,092). Dit betekent dat leerlingen in beide klassen weliswaar gemiddeld evenveel constructieve feedback geven maar klas VLC 1.1 gezien de kleinere SD, homogener is in het geven van constructieve feedback. 5.2 Benutten de leerlingen de feedback die ze hebben gekregen Er zijn in totaal 201 producten geplaatst waar feedback op gegeven is. Er zijn 44 2e versies geplaatst (21,8% van het totaal aantal 1e leerproducten). Dit is gedaan door 20 van de 27 leerlingen over 2 klassen (74% van het totaal aantal leerlingen) met een minimum van 1 leerproduct per leerling en een maximum van 4 leerproducten per leerling (M = 2.2; SD1.1). Kijkend naar de verdeling binnen de klassen dan heeft de VLC 1.1 (N=14) totaal 95 leerproducten geplaatst waarvan er 13 verbeterd zijn door 9 leerlingen. De VLC 1.2 (N=13) heeft totaal 105 leerproducten geplaatst waarvan er 31 verbeterd zijn door 11 leerlingen, zie figuur 2. In het algemeen verbeteren dus 2/3 van de leerlingen ongeveer 1/5 van hun leerproducten, zie figuur 2. 160 140 11 st
120 100
9 st verbeterde leerproducten
80 60 14 st
13 st
leerproducten
40 20 0 groep 1.1. st =aantal studenten groep 1.2. st = aantal studenten
Figuur 2. Verdeling aantal geplaatste en verbeterde leerproducten uitgesplitst per klas (VLC 1.1 en VLC 1.2) In het nagaan of ‘feedback geven’ en ‘constructieve feedback geven’ samenhangt met het verbeteren van leerproducten door leerlingen blijkt dat uit de uitgevoerde correlatieanalyse er geen significante samenhang aanwezig is. Wel blijkt dat er een samenhang is tussen twee items uit de vragenlijst namelijk het item ‘ik gebruik feedback om mijn product te verbeteren’ en het item ‘Het geven van feedback aan klasgenoten is zinvol’ (r = .57, p < .05). Vervolgens is een Lineaire Regressie analyse uitgevoerd om de variabele ik gebruik feedback om mijn product te verbeteren te voorspellen. Als onafhankelijke variabelen zijn ingevoerd het geven van feedback aan klasgenoten is zinvol en door feedback te geven help ik een ander. Het model stelt, dat wanneer de score op het geven van feedback aan klasgenoten is zinvol de score op de afhankelijke variabele stijgt (b=.391, p < .05), dit ook geldt voor de variabele door feedback te geven help ik een ander (b=.540, p < .05).
Het geven en ontvangen van peerfeedback
15
Dit model is significant [F (2,24)=10.949 p < .01] en de totale verklaarde variantie bedraagt 47.7%. 26 % van de leerlingen heeft niets gedaan met de feedback die hij heeft gekregen van medeleerlingen. 50% van de feedback die gegeven is aan deze klas viel wel in de categorie constructief. 5.3 Speelt de populariteit van de leerling in de klas een rol bij het geven en ontvangen van feedback Om het effect van populariteit te bepalen zijn een aantal ANOVAS uitgevoerd. Deze geven namelijk een goed inzicht over de populariteitsgroepen heen. Als eerste is gekeken of leerlingen uit de drie populariteitscategorieën (populair, niet populair en neutraal) verschillen in hun gemiddelde score op feedback krijgen. Er blijkt geen significant verschil [F(2,24) = 2,68; p > .05]. Leerlingen in verschillende categorieën van populariteit krijgen dus evenveel feedback van hun medeleerlingen. Daarna is gekeken of populaire leerlingen meer of minder constructieve feedback krijgen dan leerlingen die ‘niet populair’ of ‘neutraal’ zijn. Er zijn geen significante verschillen tussen deze populariteitsgroepen [ F(2,2) = .16 , p > .05]. Leerlingen in verschillende categorieën van populariteit krijgen dus evenveel constructieve feedback van hun medeleerlingen. Ook zijn er geen significante verschillen tussen deze categorieën en het krijgen van niet constructieve feedback [F(2,2) = .34 , p > .05]. Leerlingen in verschillende categorieën van populariteit krijgen dus evenveel niet constructieve feedback van hun medeleerlingen. Tenslotte is gekeken of populaire leerlingen meer of minder complimenten binnen de gegeven feedback krijgen dan leerlingen die “niet populair’ of ‘neutraal’ zijn. Er zijn geen significante verschillen tussen deze populariteitsgroepen in het gemiddelde aantal complimenten dat ze krijgen [F(2,24) = 1.09, p > .05]. 5.4 Handelen leerlingen in de praktijk op de wijze zoals ze dit aangeven in de enquête Er is gekeken of leerlingen in de praktijk handelen overeenkomstig hun intenties zoals door hen aangegeven in een vragenlijst. Gegevens van de enquête zijn vergeleken met de data uit de elektronische leeromgeving. Dit is gedaan met het item ‘ik gebruik de feedback om mijn product te verbeteren’. Bij deze leerlingen is gekeken of ze ook daadwerkelijk hun product verbeterden. Een derde van de leerlingen (37%) heeft gedaan wat hij aangegeven heeft te zullen doen. Dit varieerde in het invullen van de enquête dat ze niets met de feedback willen doen en dat ook niet gedaan hebben tot de intentie dat ze de feedback wel gaan gebruiken om hun leerproduct te verbeteren en het dan ook gedaan hebben. 22% van de leerlingen heeft gedeeltelijk gedaan wat hij wilde doen. 30% van de leerlingen heeft aangegeven het niet te weten of zij met de gekregen feedback hun leerproducten verbeteren. Er ligt bij 11% van de leerlingen een discrepantie tussen iets willen doen en het dan niet doen. Zij hebben niet gedaan wat ze wilde doen. Met correlatieanalyses is nagegaan of de feedbackdata samenhangt met de gegevens van de enquête waarbij het item ‘de tot nu toe ontvangen feedback bevatte verbetersuggesties voor mij ’middelmatig positief correleert met het totaal aantal geplaatste verbeterde leerproducten.(r = . 39, p < .05). Dus de aanwezigheid van verbetersuggesties in feedback verklaarde voor 15,2% of leerproducten worden verbeterd. Het item ik gebruik de feedback om mijn product te verbeteren correleert middelmatig positief met het daadwerkelijk verbeteren van de leerproducten. (r = . 40, p < .05). Er is geen samenhang gevonden tussen het item ik doe mijn best om bruikbare feedback te geven en het geven van constructieve feedback. Met een Regressie analyse (methode backward) is gekeken of voorspeld kan worden waardoor het geven van feedback kan worden verklaard. De backwardprocedure stopt na 8 stappen. Model 8 is significant [F (4,22) = 5,974 p < .01], zie tabel 5. Dit model laat zien dat
Het geven en ontvangen van peerfeedback
16
het geven van feedback voor 43,3% verklaard wordt door het feit dat leerlingen feedback geven zinvol vinden, ze proberen het product van een ander te verhogen en ze graag een ander willen helpen. Verder geven ze toch liever feedback aan iemand die buiten hun vriendengroep valt, Kijkend naar tabel 6 coëfficiënten dan zien we onder Sig. dat vooral de variabele ‘geven van feedback aan klasgenoten is zinvol’ een groot aandeel heet in de totaal verklaarde variantie. Tabel 5, de verklaarde variantie van het geven van feedback
Model 8
R ,722h
Change Statistics Std. Error Adjusted of the R Square R Square R Square Estimate Change F Change df1 df2 ,521 ,434 11,112 -,023 1,075 1 21
Sig. F Change ,312
Tabel 6, coëfficiënten
Model 8 (Constant) geven feedback aan klasgenoten is zinvol1 bij feedback geven probeer ik het product van de ander te verhogen5 geven van feedback vind ik goed om een ander te helpen7 ik geef eerder feedback aan iemand die buiten mijn vriendengroep valt11
Unstandardized Standardized Coefficients Coefficients B Std. Error Beta -30,157 18,952 10,526 3,038 ,609
t -1,591 3,464
Collinearity Statistics Sig. Tolerance VIF ,126 ,002 ,705 1,418
4,570
2,450
,287
1,865
,076
,922
1,084
-7,407
2,840
-,425
-2,608
,016
,820
1,220
6,956
2,405
,495
2,892
,008
,745
1,343
Met een Regressie analyse (methode backward) is gekeken of voorspeld kan worden waardoor het gebruik van feedback kan worden verklaard. In deze analyse stopte de procedure bij stap 9. Model 9 is significant [F (3,23) = 3,784 p < .01], zie tabel 7. Het gebruiken van feedback wordt voor 24,3% verklaard door het feit dat leerlingen die de intentie hebben om hun feedback te gebruiken ze het dan ook doen, verder maakt het voor leerlingen niet uit of deze feedback van leerlingen komt die binnen of buiten hun vriendengroep valt. Kijkend naar tabel 8 dan zien we onder Sig. dat vooral de variabele ‘ik gebruik de feedback om mijn product te verbeteren’ een groot aandeel heeft in de totaal verklaarde variantie. Tabel 7, de verklaarde variantie van het gebruiken van feedback
Model 9
R ,575i
Adjusted R Square R Square ,330 ,243
Change Statistics Std. Error of the R Square Estimate Change F Change df1 df2 1,234 -,024 ,826 1 22
Sig. F Change ,373
Het geven en ontvangen van peerfeedback
17
Tabel 8 coëfficiënten
Model 9 (Constant) ik gebruik de feedback om mijn product te verbeteren14 feedback krijg binnen viendengroep gestimuleerd om product te verbeteren17 feedback krijg buiten vriendengroep gestimuleerd om product te verbeteren18
Unstandardized Standardized Coefficients Coefficients Beta B Std. Error -1,558 1,236 ,880 ,326 ,570
t -1,261 2,700
Sig. ,220 ,013
Collinearity Statistics Tolerance VIF ,652
1,533
,841
,374
,500
2,249
,034
,588
1,701
-,922
,454
-,532
-2,030
,054
,424
2,358
5.5 Speelt faalangst een rol bij het geven van feedback Je zou kunnen verwachten dat faalangst een rol zou kunnen spelen bij het geven van feedback aan bepaalde groepen of personen gezien adolescenten veel waarde hechten aan het oordeel van en waardering van leeftijdsgenoten. Er zijn correlatieanalyses uitgevoerd om te kijken of leerlingen met een hogere mate van faalangst anders feedback geven dan leerlingen met een lagere mate van faalangst. De variabele ‘faalangstscore’ heeft een middelmatige negatieve correlatie met ‘het geven van feedback aan iemand die buiten de vriendengroep valt’ (r = . 389 , p = .045). Er is geen relatie gevonden tussen het item ‘faalangstscore’ en ‘het geven van feedback aan iemand die binnen de vriendengroep valt’ (r = -.348, p = .075). Met behulp van een one- way ANOVA is gekeken of faalangst invloed heeft op het geven van feedback. De gemiddelde scores op feedback geven in de klassen leerlingen die laag, onder gemiddeld, gemiddeld en boven gemiddeld faalangstig zijn, geen significant verschillen te zien (F=2,55; DF=3; p= > .05). Het maakt dus niet uit of je faalangst hebt of niet en in het meer of minder geven van feedback. Conclusie Met betrekking tot de vraag of ‘onze leerlingen als laat- adolescenten in staat zijn feedback te geven aan hun peers’, en of ‘deze feedback constructief van aard is’ kunnen we het volgende concluderen. De verwachting over de hoeveelheid geven van feedback is gedeeltelijk uitgekomen. Er is gemiddeld over 2 klassen 19,4 keer feedback gegeven per student. Hoewel de absolute gemiddelde feedback per leerling per klas uit elkaar liggen is dit niet statistisch significant. Er zijn wel verschillen in de spreiding per klas. De standaard deviatie tussen beide klassen verschillen significant. Dit betekent dat er in klas VLC 1.1 de leerlingen over het algemeen homogener zijn in het geven van feedback dan in klas VLC 1.2. De verwachting over het gemiddeld aantal leerlingen waaraan feedback is gegeven is niet uitgekomen. Er is aan meer leerlingen feedback gegeven dan verwacht. Er is over beide klassen gemiddeld aan 8.6 medeleerlingen feedback gegeven. Hier liggen de verschillen tussen beide klassen niet ver uit elkaar. Klas VLC 1.1 heeft een gemiddelde van 8.0 en klas VLC 1.2 heeft een gemiddelde van 9.3. Kijkend of gegeven feedback ook constructief is
Het geven en ontvangen van peerfeedback
18
kunnen we concluderen dat de leerlingen meer constructieve feedback geven (68,8% van de gegeven feedback was constructief. Wel zet de lijn zich voort en zien we dat in klas VLC 1.1 de constructieve feedback homogener is gegeven (SD= 5.1) dan in klas VLC 1.2. In deze klas zijn de verschillen tussen leerlingen die meer of minder constructieve feedback gegeven hebben groter. Algemene conclusie is dat leerlingen feedback kunnen geven en dat meer dan de helft van de feedback constructief genoemd mag worden. Het lijkt erop dat leerlingen participeren in elkaars leren en begrip en waardering voor elkaar tonen. In Gielen (2007) stellen Richardson & Swan (2003) dat, door leerlingen te vragen om constructieve feedback te geven aan elkaar, zij participeren in elkaars leren en daarmee meer begrip en waardering krijgen voor andere ervaringen en perspectieven. Leerlingen vinden het prettig om feedback te krijgen Op de vraag of ‘leerlingen de feedback ook benutten’ zien we dat bijna driekwart van de leerlingen ruim een vijfde deel van de totaal geplaatste leerproducten verbetert. De feedbackfunctie wordt dus door de meeste leerlingen gebuikt, maar slechts voor een klein deel benut. Of de feedback constructief is of niet heeft geen invloed op het plaatsen van een verbeterd leerproduct. Wel is er een relatie gevonden tussen het zinvol vinden van feedback en het verbeteren van hun product. Leerlingen verbeteren dus eerder hun product als ze er de ‘zin van’ in zien. Dat blijkt ook uit de uitgevoerde regressie analyse, waaruit naar voren komt dat leerlingen hun product eerder willen verbeteren als ze vinden dat het geven van feedback zinvol is en het feit dat ze daarmee een ander helpen. Daaruit kan je ook de conclusie trekken dat ze zelf ook graag feedback willen hebben. Verder maakt het leerlingen weinig uit of ze feedback krijgen van iemand binnen of buiten hun vriendengroep. Bovenstaande resultaten wijzen op een klas- of team gevoel. De volgende definitie wordt hiervoor gehanteerd: “Een team is een klein aantal mensen beschikkend over verschillende vaardigheden, die zich verbonden hebben aan eenzelfde eindresultaat, dezelfde prestatiedoelen en een gezamenlijke aanpak, waarbij ze zich wederzijds aansprakelijk en verantwoordelijk voelen voor individuele en collectieve resultaten. (Van Aggelen e.a., 1997). Klasgenoten zijn belangrijk (Crone, 2008). De verbondenheid komt ook naar voren uit het feit dat 68% van de totaal gegeven feedback iets positiefs in de tekst bevatte. Crone (2008) beschrijft dat adolescenten extra gevoelig zijn voor de mogelijkheid dat er een beloning aankomt en dat de hersenen van jongeren tijdens het krijgen van positieve feedback meer hersenactiviteit vertoonde dan bij volwassen die positieve feedback krijgen. Populariteit speelt geen rol in feedback. Bij de beantwoording van de vraag of ‘populariteit een rol speelt bij het geven van feedback’ zien we dat leerlingen niet bewust kiezen voor bepaalde leerlingen om feedback aan te geven. Populaire leerlingen krijgen niet meer feedback dan niet populaire of ‘neutrale’ leerlingen. Dit wijst op een voldoende veilig klimaat. Leerlingen geven in de enquête aan dat ze net zo goed aan populaire als aan niet populaire leerlingen feedback geven. In de praktijk klopt dat. Het in meer of mindere mate populair zijn heeft dus geen invloed op het geven of ontvangen van feedback. Populaire leerlingen krijgen ook niet meer of minder constructieve feedback dan leerlingen die vallen in de categorieën ‘niet populair en neutraal’. Tenslotte wordt er onwillekeurig complimenten gegeven aan alle leerlingen. Doen leerlingen wat ze aangeven te zullen doen? Leerlingen in de onderzoeksgroep handelen in de praktijk voor meer dan helft overeenkomstig hun intenties. Meer dan de helft van de leerlingen heeft geheel (37%) of gedeeltelijk (22%) gedaan wat hij aangegeven heeft te zullen doen. 30% van de leerlingen heeft aangegeven het niet te weten of zij met de gekregen feedback hun leerproducten verbeteren. Meer dan de helft van leerlingen heeft dus gedaan wat hij wilde gaan doen. Verder zullen leerlingen die vinden dat als de feedback verbetersuggesties bevat hun leerproduct eerder gaan verbeteren. In de enquête heeft de klas VLC 1.1 een lagere score op ik gebruik de feedback om mijn product te verbeteren dan
Het geven en ontvangen van peerfeedback
19
leerlingen dan de VLC 1.2. In de praktijk klopt dit ook. De leerlingen uit de VLC 1.1 hebben minder leerproducten verbeterd dan de leerlingen uit de VLC 1.2. Er ligt bij 11% van de leerlingen een discrepantie tussen iets willen doen en het dan niet doen. Zij hebben niet gedaan wat ze wilde doen. Vervolgonderzoek zou moeten uitwijzen wat hiervan de oorzaak kan zijn. Tenslotte kunnen we met betrekking tot de vraag of ‘faalangst een rol speelt bij het geven van feedback’ concluderen dat faalangst geen invloed heeft op het geven van feedback. 7. Discussie De feedback functie van VAL heeft bij deze onderzoeksklas een meerwaarde op het leren. Online leren geeft flexibiliteit voor toegang, vanaf elke plek en meestal op elk moment, en bovenal zorgt het ervoor dat deelnemers altijd op eigen initiatief gebruik kunnen maken van de tijd en ruimte (Cole, 2000 geciteerd in Gielen 2007). Tunison and Noonan (2001) geven aan dat leerlingen het moeilijk vinden om complexe ideeën te communiceren in een online omgeving, en dat hun vermogen om helder uit te drukken wat hun vragen zijn en van het begrijpen van gedetailleerde uitleg beperkt wordt door het ontbreken van face-to-face interactie. Dit gegeven wordt ondervangen door het feit dat stap vijf van VAL “de Virtuele leerinteractie” slechts één stap is uit de gehele leercyclus. Naar aanleiding van de resultaten zijn er wel punten waar rekening mee gehouden moet worden. Kijkend naar de verdeling binnen de klassen dan heeft de VLC 1.2 drie keer zoveel verbeterde leerproducten geplaatst dan de VLC 1.1. Een verklaring van deze verschillen zou gevonden kunnen worden in de verschillende leerstijlen van leerlingen (Oosterheert, 2001 in Meijden & Boland, 2006). De coach zou ook een oorzaak kunnen zijn voor de verschillen tussen de klassen. Coaches moeten binnen de begeleiding focussen op de individuele leerling om een goed beeld te vormen van de leerling om zo de leerling “just in time” te kunnen helpen. Coaches moeten hier op inspelen. Leerlingen verbeteren hun producten, ongeacht of de feedback constructief is of niet. Wel is het zo dat ze hun product eerder verbeteren als de zin er van in zien. Het is belangrijk dat hieraan door coaches aandacht aan besteed worden. Het coachen moet gefocust worden op het inzien van de zin van het geven van feedback. Meerdere onderzoeken hebben aangetoond dat de feedback effectiever is als er een indeling voor handen is om de feedback categoriseren (Bangert-Drowns et al., 1991; Pridemore & Klein, 1995. In Gielen, 2007). Maar 6% van de leerlingen heeft dit gedaan. Een verklaring hiervoor kan zijn dat leerlingen niet voldoende op de hoogte zijn van de indeling. Ze gebruiken hem niet. Verder speelt populariteit geen rol. Je kan er zelfs van uitgaan dat het groepsgevoel hoog is, dit is te zien aan het feit dat leerlingen elkaar helpen, het krijgen van feedback stimuleert hen ook om feedback te geven. Coaches moeten het geven van feedback dan ook stimuleren. Faalangst speelt geen rol in het geven van feedback.
Het geven en ontvangen van peerfeedback
20
8. Aanbevelingen Focus bij het begeleiden van stap 5 in VAL vooral op het zinvol vinden van het geven van feedback, begeleid leerlingen individueel zodat de oorzaak van het niet plaatsen achterhaalt kan worden, houd regelmatig intervisie sessies tussen verschillende coaches zodat er meer op één lijn gewerkt wordt en zet de scaffolds die gerelateerd zijn aan VAL in de elektronische leeromgeving en begeleid leerlingen op het gebruik hiervan. 9. Vervolgonderzoek Het verschil tussen de twee klassen met betrekking tot het plaatsen van leerproducten, het geven en ontvangen van feedback en het verbeteren van het leerproduct zou nader onderzocht kunnen worden. De invloed van de stijl van coaches zou nader bekeken moeten worden.. Vervolgonderzoek zou moeten uitwijzen wat hiervan de oorzaak kan zijn en hoe dit te veranderen. 10. Ten slotte De meerwaarde van peerfeedback is door middel van dit onderzoek bekrachtigd. Leerlingen van Studio T maken zo’n gebruik van de feedback functie dat deze een positieve bijdrage levert aan het verbeteren van hun leerproducten.
Het geven en ontvangen van peerfeedback
21
11. Literatuurlijst Aggelen, E.van.,Aken, T.G.C.van., Bouman,J.F., & Reitsma, E.J. (1997).Team Engineering, Deventer: Kluwer. Anderson, T & Elloumi, F.,(2004). Theory and Practice of Online Learning Athabasca: Athabasca University cde.athabascau.ca/online_book . Baeten, J. (2009). Virtual Action Learning, Een opleidingsconcept over Samenlerend Produceren metICT. Breda: Citowoz. Crone,E. (2008). Het puberende brein, Bakker: Amsterdam. Ertmer, P. A, Richardson, J. C., Belland, B., Camin, D., Connolly, P., Coulthard, G., et al. (2007). Using peer feedback to enhance the quality of leerling online postings: An exploratory study. Journal of Computer-Mediated Communication, 12(2), article 4. Field, A. (2005). Discovering statistics using SPSS; (and sex, drugs and rock’n roll). London: SAGE Publications Ltd. (third edition). Gielen, S. (2007) Peer assessment as a tool for Learning. Dissertation abstracts International learning, 98,99(5), 99 (katholieke universiteit Leuven). Gipps, C.V. (1994). Beyond testing. Towards a theory of educational assessment. London: Routledge Falmer. Hattie, J & Timperley, H.( 2007) The Power of Feedback.University of Auckland Review of Educational Research March 2007, Vol. 77, No. 1, pp. 81–112 DOI: 10.3102/003465430298487. Jaehnig, W., & Miller, M. L. (2007). Feedback types in programmed instruction: a systematic review. Psychological record, 57(2), 219-232 Meijden, H van der, Boland, M,. (2006). De invloed van het werken met leervragen op het reguleren van het leerproces bij eerstejaars PABO –leerlingen. Radboud Universiteit Nijmegen, Hogeschool Arnhem Nijmegen, Pabo Arnhem Paper gepresenteerd tijdens de Onderwijs Research Dagen 2006. Monks, F.J & Knoers. A,M,P.,(2004). Ontwikkelingspsychologie, inleiding tot de verschillende deelgebieden, Assen: Gorcum b.v., Koninklijke Van Nedermeijer, J. & Pilot, A. (2000).Beroepscompetenties en academische vorming in het hoger onderwijs Groningen: Wolters-Noordhoff. Nieuwenbroek, A., Ruigrok, J., Vries, J. de, Faalangst op school, (1996) Handleiding voor leerkrachten en leerlingbegeleiders voor het onderkennen en aanpakken van faalangst bij leerlingen. KPC: Den Bosch Oosterheert, I. (2001). How leerling teachers learn: a psychological perspective on knowledge construction in learning to teach Proefschrift Rijksuniversiteit Groningen: Groningen Sadler, D.R. (1989). Formative assessment and the design of instructional systems. Instructional Science, 18, 119-144. Topping, K. J. (2003). Self and peer assessment in school and university: Reliability, validity and utility. In M. Segers, F. Dochy, & E. Cascallar (Eds.), Optimizing new modes of assessment: In search of qualities and standards (pp. 55-87). Dordrecht: Kluwer Academic. Thorndike, E. L. (1931). Human learning. New York: Appleton Century Crofts. Tunison, S., & Noonan, B. (2001). Online learning: Secondary leerlings' first experience. Canadian Journal of Education, 26 (4), 495-514. Valcke,M. (2007). onderwijskunde als ontwerpwetenschap:een inleiding voor ontwikkelaars van instructie en voor toekomstige leerkrachten. Gent: Academia Press. Van den Berg, B. A. M., Pilot, A. & Admiraal, A. (2005). Peer assessment als leermiddel. Voorbeelden uit het hoger onderwijs. Utrecht: Universiteit Utrecht. Vermunt, J.D.H.M. (2005). Nieuw leren onderwijzen:zelfsturing versus docentsturing van het
Het geven en ontvangen van peerfeedback leren. Lezing ten behoeve van Frank Stöteler lezing, 12 oktober, Arnhem. Wenger, E. (1998) Communities of Practice. Learning, meaning and identity. Cambridge: Cambridge university. Press. Westenberg, P.M. (2008) De jeugd van tegenwoordig, Diesoratie uitgesproken tijdens de 433e Dies Natalis op vrijdag 8 februari 2008 in de Pieterskerk. Wit,J. de,Veer.,G van der,Slot,N. (2002). Psychologie van de adolescentie. Baarn: HB Uitgevers.
22
Het geven en ontvangen van peerfeedback
23
Bijlage: 1 Enquête
Zoals jullie weten ben ik bezig met een onderzoek naar “peer”feedback binnen VAL. Bij dit onderzoek hoort een enquête. Hieronder volgt de enquête. De enquête zal anoniem verwerkt worden maar voor een zo goed mogelijk beeld is het belangrijk dat ik een aantal gegevens krijg. De resultaten zal ik natuurlijk met jullie bespreken! Dat zal rond juni worden als alle gegevens zijn verwerkt en geanalyseerd. Vanuit de resultaten gaat de coach aan de slag met jullie om het geven en ontvangen van “peer”feedback weer aan te scherpen. Bedankt voor jullie medewerking! Naam(deze zal anoniem worden verwerkt): Geslacht: Leeftijd: Klas: Vooropleiding:
Hieronder volgt een aantal stellingen over peerfeedback (=feedback geven aan je klasgenoten). Geef aan d.m.v. een cirkel om het juiste getal in hoeverre je het met de stellingen eens bent op een schaal van 1 tot en met 5. Hierbij staat voor: 1 helemaal niet mee eens 2. gedeeltelijk niet mee eens 3. niet mee oneens niet mee eens 4. gedeeltelijk mee eens 5 helemaal mee eens.
LET OP! Er staan ook vragen op de achterkant!
Het geven en ontvangen van peerfeedback
24
Geven van feedback 1.Het geven van feedback aan klasgenoten is zinvol.
1
2
3
4
5
2.Ik doe mijn best om echte bruikbare feedback te geven.
1
2
3
4
5
3.Ik vind het moeilijk om goede feedback te geven.
1
2
3
4
5
4.Ik vind dat ik niet genoeg in huis heb, om goede feedback te geven.
1
2
3
4
5
5.Wanneer ik feedback geef, probeer ik de kwaliteit van het product van de ander te verhogen.
1
2
3
4
5
6.Ik probeer mijn feedback zo te schrijven, dat de ander zich niet aangevallen voelt.
1
2
3
4
5
7.Het geven van feedback vind ik goed om een ander te helpen.
1
2
3
4
5
8.Door feedback te geven, help ik de ander.
1
2
3
4
5
9.Ik geef eerder feedback aan iemand die binnen mijn vriendenklas valt.
1
2
3
4
5
10.Ik durf best negatieve feedback te geven aan een iemand die populair is
1
2
3
4
5
11.Ik geef eerder feedback aan iemand die buiten mijn vrienden klas valt
1
2
3
4
5
12.Ik vind het prettig om feedback over mijn product te krijgen.
1
2
3
4
5
13.Ik ga meteen aan de slag als ik feedback heb ontvangen.
1
2
3
4
5
Ontvangen van feedback
Z.O.Z-Z.O.Z-Z.O.Z
Het geven en ontvangen van peerfeedback
25
14.Ik gebruik de feedback om mijn product te verbeteren
1
2
3
4
5
15.Met ontvangen feedback doe ik niets
1
2
3
4
5
16.Mijn product wordt beter als ik de ontvangen feedback gebruik en verwerk.
1
2
3
4
5
17.Als ik feedback van iemand die binnen mijn vriendenklas Krijg wordt ik gestimuleerd om mijn product te verbeteren.
1
2
3
4
5
18.Als ik feedback krijg van iemand die buiten mijn vriendenklas krijg wordt ik gestimuleerd om mijn product te verbeteren.
1
2
3
4
5
19.Door de feedback die ik ontvangen heb, heb ik al een aantal documenten aangepast.
1
2
3
4
5
20.De feedback die ik krijg is meestal positief.
1
2
3
4
5
21.De tot nu toe ontvangen feedback bevatte verbetersuggesties voor mij
1
2
3
4
5
22.De ontvangen feedback stimuleerde mij om mijn product verbeteren
1
2
3
4
5
Bedankt voor het invullen!