Het succesvol inzetten van peer feedback Dr. Jakko van der Pol, 2012
Zoals gezegd heeft online peer feedback de potentie het leerproces van studenten te verdiepen, maar dit potentieel is niet makkelijk te realiseren. Hoewel het leereffect van het geven van feedback wel redelijk eenvoudig te bereiken is (doordat studenten actief de criteria gaan toepassen op producten van anderen krijgen ze die beter in de vingers), is het leereffect van de ontvangen feedback veel lastiger te realiseren. Studenten zijn immers nog geen expert op inhoudelijk, noch op didactisch vlak en het is lastig voor hen om elkaar kwalitatief goede feedback te geven. Toch is het bereiken van dit tweede leereffect wel belangrijk, om het het proces letterlijk ‘de moeite waard te laten zijn’ en de tijd en moeite die het kost op te laten wegen tegen de leeropbrengst. Om toch een succesvolle, leerzame peer feedback opdracht te maken staat het het bieden van duidelijkheid naar studenten centraal: Hoe meer vrijheid en zelfstandigheid een opdracht biedt en vraagt, hoe beter die opdracht en de grenzen waarbinnen studenten moeten blijven dienen te worden omschreven. Het geven van heldere verwachtingen betekent het geven van duidelijkheid over oa de: 1. Procedure en planning van het proces. 2. Eisen en criteria voor het product en de peer feedback. 3. Begeleiding 4. Beoordeling 1. Procedure en planning Voor een goed verloop van het proces is het belangrijk goed uit denken en te communiceren wanneer wat moet worden ingeleverd of gedaan: dit geldt zowel voor het inleveren van het product als voor het geven van de peer feedback. Het is over het algemeen slim pas te beginnen met het geven van feedback een paar dagen na deadline van het inleveren van het product (dat meestal bestaat uit het zelf uploaden van het pdf-bestand). Als er vertraging is bij dat inleveren wil je nl. niet dat dat ook vertraging veroorzaakt voor het geven van de peer feedback. Al met al is er dus redelijk wat tijd nodig voor het hele proces en de planning kan er dan bijvoorbeeld uitzien als volgt: Week 1 Uitleg eisen/ criteria product en feedback
Week 2-3 Maken product
Week 4 Geven van peer feedback
Week 5 Herzien product
Week 6 Inleveren bij & feedback van docent
Week 7 Evt: nog een ronde van revisie product
In dit voorbeeld wordt er echter peer feedback gegeven op een redelijk ‘af’ product. Het nadeel daarvan is dat er door studenten meestal geen grote, structurele veranderingen meer worden doorgevoerd zo laat in het proces, aangezien die dan veel tijd en moeite kosten. Veelal blijft het dan meer bij het maken van kleine, tekstuele veranderingen. Een manier om dit te ondervangen is om de peer feedback eerder in het proces te plannen, bijvoorbeeld op een ‘raamwerk’ voor het product (de grove structuur, hoofdstukindeling en hoofdlijn van redenatie/ argumentatie). Dit kan er dan bijv. zo uit komen te zien:
Week 1 Uitleg eisen/ criteria product en feedback
Week 2 Maken raamwerk voor product
Week 3 Geven van peer feedback op raamwerk
Week 4 Herzien raamwerk
Week 5 Evt: docentfeedback op raamwerk
Week 6 Maken product
Hierna (week 7 en verder) kan dan evt. nog een peer feedbackronde worden ingelast, danwel uiteindelijke docentfeedback op worden gegeven op het product. Dit zijn beide maar voorbeelden van hoe lang het proces kan duren en hoe gedetailleerd de planning en procedure moeten worden uitgewerkt (uiteraard moeten precieze data worden gegeven voor de verschillende deadlines). Het is aan de docent om zelf een eigen planning te maken die in zijn of haar geval logisch en nuttig is. Een ander praktisch punt bij de procedure, is dat het uitvallen van studenten (danwel bij het maken van het product danwel bij het geven van feedback) andere studenten kan belemmeren in het uitvoeren van de opdracht. Daarom werkt het bijvoorbeeld goed om de hele opdracht facultatief te maken, waarbij studenten die meedoen aan het peer feedbackproces een extra punt kunnen verdienen voor het afsluitende tentamen. Op die manier kiezen studenten er zelf voor, waardoor ze vanzelf al meer gemotiveerd zullen zijn en je hen als docent ook scherper kunt houden aan datgene waar ze zichzelf aan gecomitteerd hebben. Het zichzelf laten inschrijven van studenten in een feedbackgroepje (van bijvoorbeeld 3 personen), kan makkelijker worden gedaan in bijvoorbeeld Google Docs (Figuur 2). Een simpele open Excelsheet met daarin een aantal groepen met steeds een maximum van 3 kan studenten zelf hun naam laten invullen in een nog niet volle groep. Voor een technische beschrijving hiervan, zie bijlage 2. Als de Google Docs lijst compleet is, kan de docent voor de duidelijkheid de namen van de groepsleden overnemen in de beschrijvingen van de groepen in de Annotatietool.
Figuur 2: Voorbeeld van een Google Doc spreadsheet.
2. Eisen en criteria voor het product en de feedback Omdat bij peer feedback de student de rol van de docent toch gedeeltelijk moet overnemen en zich in diens schoenen moet verplaatsen, moet het voor de studenten ook duidelijk zijn wat het doel van de originele opdracht was. Anders kunnen ze die ook niet goed beoordelen. Terwijl je normaal
gesproken als docent het doel van een odracht dus een beetje 'verstopt', zodat je kunt kijken of studenten het wel of niet uitvogelen, moet dat doel bij de opdracht waarop later peer feedbackgegeven gaat worden dus wat explicieter zijn. Studenten moeten zich dat doel eigen kunnen maken, begrijpen 'waar de docent naartoewil' met die opdracht, om goede peer feedback te kunnen geven. Als je dat open laat zoals je normaal doet, zullen alleen de goede studenten die eracher komen ook goede peer feedback kunnen geven en gaat een groot deel van de tijd en energie die in het peer feedbackproces gaat zitten daarmee verloren. Er moet dus vooraf nog meer duidelijkheid en helderheid zijn over de eisen voor het product, zodat studenten na het maken van hun eigen product een beetje ‘expert’ geworden zijn en zich zeker genoeg voelen om de producten van hun peers te becommentarieren. Idealiter zijn de criteria voor het product die studenten gebruiken voor hun peer feedback ook (gedeeltelijk) de criteria waarop de docent uiteindelijk het product beoordeelt, zodat het hele proces consistent toewerkt naar het eindproduct. Echter, de docent kan vanwege zijn of haar inhoudelijke expertise dieper gaande feedback geven dan de studenten. Het werkt dan ook goed de peer feedback te laten gaan over een overzichtelijk en afgebakend domein en daarbij, indien mogelijk, een soort van ‘naslagwerk’ te bieden (zoals bijvoorbeeld kan bij het correct refereren van literatuur volgens APA). Indien studenten een onderzoeksplan moeten schrijven is het bijvoorbeeld ook raadzaam ze een vrij uitgewerkt format daarvoor mee te geven. Studenten moeten immers ‘zichzelf kunnen redden’ en hoe duidelijker voor hen is te achterhalen en beoordelen wat een ‘goed’ product is, hoe beter en zelfverzekerder ze kunnen zijn in het geven van feedback. Het is belangrijk vooraf deze criteria vooraf met studenten te bespreken, zodat ze helder zijn en begrepen worden. Nog beter is het om deze criteria zelfs samen met studenten op te stellen: Daarmee maken studenten zich de criteria nog meer ‘eigen’ en zijn ze beter in staat deze zelfstandig toe te passen. De criteria mét uitleg (‘beschrijving’) worden ook ingevoerd in de Annotatietool, zodat studenten die ook tijdens het feedbackgeven nog steeds helder voor ogen hebben. Behalve de criteria voor het product, die richtinggevend zijn voor de inhoud van de peer feedback, is het ook belangrijk om studenten te helpen bij het geven van feedback op zich. Naast de eisen voor het product, dienen dus ook de eisen voor de te geven peer feedback heel helder te zijn. Onderzoek heeft aangetoond dat vooral concrete suggesties voor verbetering bruikbaar zijn voor studenten om te ontvangen en dat goede feedback specifiek en relevant is. Daarnaast wil je als docent waarschijnlijk ook stimuleren dat het merendeel van de feedback inhoudsgericht is, en niet te veel ingaat op vorm (tekstueel, layout etc). Hier een aantal voorbeelden van criteria (voor zowel het product als de feedback), die kunnen dienen ter inspiratie: Vorm - Spelling, grammatica - Correct verwijzen (APA) - Lay-out Structuur - Opbouw hoofdstukken/ alinea’s - Overgangen (‘wegwijzers’ vooraf en ‘samenvattingen’ achteraf)
Inhoud - Consistentie - Argumentatie: iedere beslissing wordt verantwoord - Helderheid/ transparantie van argumentatie - Correctheid van argumentatie - Originaliteit? - Begrijpelijkheid voor de lezer Bovenstaande zijn algemene criteria, maar hoe concreter en specifieker de criteria op de specifieke vakinhoud en de opdracht zijn afgestemd, hoe beter. De volgende criteria zijn bijvoorbeeld gebruik voor een redesign van docenten van hun eigen onderwijs uit een MARCHet cursus. Criterium 1 Promoting CKB? 2 Feasability? 3 Best aspect 4 Suggestions for improvement
Beschrijving Does the redesign promote CKB for students? If so, in which way? Will it work as expected? Do you have comments on the practical feasibility? What is according to you the most positive aspect of this redesign? Which suggestions do you have to improve the redesign?
De Annotatietool biedt ook een unieke mogelijkheid om het peer feedbackproces interactief te maken. Door te werken in groepjes kunnen medefeedbackgevers elkaars feedback aanvullen en verder uitwerken, en kan de feedbackontvanger vragen om verdere uitleg, onderbouwing of uitwerking. Doordat de uiteindelijke feedbacksuggestie op deze manier interactief tot stand komt, is die veelal van betere kwaliteit en is de kans groter dat die ook goed opgepakt wordt door de ontvanger en gebruikt voor de herziening van het product. Het interactief maken van het feedbackproces moet echter ook expliciet in de opdracht verwerkt worden, bijvoorbeeld door een eis van: “Minstens 3 feedbackberichten op elk te beoordelen product en minstens 1 reactie op een gegeven of ontvangen feedbackbericht”. Voor het interactief maken van het proces is een juiste planning (voldoende tijd) gecombineerd met het gebruik van email ‘alerts’ weer cruciaal. Tenslotte kan er nog voor gekozen worden om studenten elkaars feedback te laten waarderen, wat ook kan helpen bij het verhogen van de kwaliteit van de uiteindelijke feedbacksuggesties. Indien je als docent kiest voor het gebruik van de waardeeroptie is het ook hier weer raadzaam dit duidelijk in de opdracht naar studenten te communiceren.
3. Begeleiding Op welk moment kunnen studenten bij docent terecht met vragen over ontvangen peer feedback? Om studenten toch wat meer zekerheid te bieden over de juiste koers bij het reviseren van het product (bijvoorbeeld als studenten het niet eens zijn, of vragen hebben over de ontvangen feedback) is het toch goed dit terug laten komen in de contactmomenten (bv. Werkgroepen). Daarbij kan ook meteen wat aandacht gegeven worden aan goede feedback, zodat studenten daarvoor beloond worden en ze ook verder getraind worden in het geven van goede feedback.
4. Beoordeling De docent moet kiezen om de feedback wel of niet te beoordelen. Als het meedoen aan het peer feedbackproces gelinkt is aan een beloning, dan is dit nodig. Daarbij moet ook worden uitgewerkt of deze beoordeling gebeurt op basis van kwantitatieve, kwalitatieve kenmerken van de feedback (en het product), of evt. zelfs van de ontvangen waarderingen van medestudenten. Technisch kan de docent of studentassistent ofwel een ‘Resultatenoverzicht’ uitprinten per student of document, danwel de gehele feedbackdiscussies via de ‘print’-optie. Het vooraf uitdenken en uitwerken van de procedure en planning, eisen en criteria, de begeleiding en de beoordeling kosten vooral in de voorbereiding dus meer docenttijd. Voordeel is wel dat daarna opdracht 'kant en klaar' is en het je als docent tijdens de cursus zelf tijdwinst danwel kwaliteitswinst op kan leveren.
