Praktische implementatie van de Annotatietool Door: dr. Jakko van der Pol, september 2012
Inhoud Online literatuurverwerking in de Annotatietool ......................................................................... 2 Het samen online verwerken van literatuur ............................................................................. 2 Voordelen van de Annotatietool............................................................................................... 3
Peer feedback in de Annotatietool ............................................................................................... 4 Het geven van peer feedback.................................................................................................... 4 Voordelen van de Annotatietool............................................................................................... 4
Inzetten van de Annotatietool: hoe & wat ................................................................................... 5 Techniek .................................................................................................................................... 5 Algemene functionaliteit....................................................................................................... 5 Extra functionaliteit voor peer feedback .............................................................................. 7 Didactiek.................................................................................................................................... 8 Literatuurverwerking............................................................................................................. 8 Peer feedback........................................................................................................................ 8
Literatuur..................................................................................................................................... 13 Bijlage 1: Het aanmaken van Headings ....................................................................................... 14 Bijlage 2: Google Docs voor het ‘vullen’ van peer feedbackgroepen ......................................... 17
1
Online literatuurverwerking in de Annotatietool Het samen online verwerken van literatuur “Hoe kan ik: 1. Studenten hun stof beter en dieper laten verwerken en begrijpen (‘eigen maken’)? 2. Studenten beter voorbereid op colleges/werkgroepen laten komen? 3. In mijn colleges/werkgroepen beter aansluiten bij de (mis)concepties van studenten? 4. In mijn colleges/werkgroepen makkelijker respons krijgen uit een (stille) groep?” Deze vier punten kun je bereiken door studenten, tussen face-to-face bijeenkomsten, online gezamenlijk de stof te laten bespreken, bijvoorbeeld in de hiervoor ontworpen Annotatietool:
Figuur 1: Screenshot van literatuurverwerking in de Annotatietool (www.annotatietool.nl). Diepe verwerking In de Annotatietool kunnen studenten elkaar vragen stellen over passages of begrippen die ze niet goed begrijpen, maar je kunt ze als docent ook gerichte leesvragen meegeven, waarmee je hun aandacht kunt richten op de belangrijke elementen uit de stof. Vooral in het geval van bijvoorbeeld lastige (wetenschappelijke en engelstalige) artikelen, kan deze gezamenlijke verwerking studenten helpen de stof beter in de vingers te krijgen en zich deze echt 'eigen te maken'. Het grote voordeel van een online discussieopdracht is dat het 'vertraagde' communicatie is (asynchroon, zoals bijv. email), die veel ruimte biedt voor reflectie (dingen nog eens nazoeken, ideeën laten bezinken/ 'rijpen', een argumentatie bedenken, etc). Daarnaast is het open karakter ervan zeer geschikt om studenten de lesstof te laten verbinden met hun reeds aanwezige kennis en hun eigen belevingswereld, waardoor de kans veel groter is op lange termijn retentie en transfer (het vertalen naar en toepassen in de praktijk).
2
Beter voorbereid Daarnaast heeft zo'n online literatuurverwerkingsopdracht voordelen voor de bijeenkomsten zelf: doordat studenten voorbereid zijn kun je de waardevolle maar beperkte contacttijd beter benutten doordat je dieper op de stof in kunt gaan (de eerste, oppervlakkige verwerking is al gedaan). Aansluiten bij (mis)concepties Ook geven de online discussies tussen studenten je als docent cruciale informatie over 'hoe de stof aankomt' en over wat studenten al snappen en wat nog niet en kun je je bijeenkomst focussen op de onderwerpen waar ze zelf samen nog niet uitgekomen zijn en de vragen die daarover leven. Met andere woorden: de online discussies geven je als docent een ‘kijkje in het hoofd van je studenten’, waardoor je je onderwijs beter daarop aan kunt passen. Makkelijker respons In het geval van 'stille' studenten waarbij het lastig is een reactie te krijgen uit de groep, geeft een vooraf gevoerde online discussie je als docent de mogelijkheid om concreet door te vragen naar dingen die studenten online al gezegd hebben. Het meest laagdrempelig, bijvoorbeeld, is om een student voor de groep te laten herhalen wat hij of zij in de discussie heeft gezegd en daarop doorgaan. De Annotatietool is een discussietool waarbij studenten vragen of opmerkingen kunnen plaatsen bij specifieke passages in een tekst en op elkaars berichten kunnen reageren. Dit betekent dat het een zogenaamde 'asynchrone' tool betreft die vertraagde communicatie biedt en daarbij veel ruimte reflectie en een diep leerproces. De Annotatietool is daarmee vooral geschikt om studenten lastige (complexe, academische, engelstalige) artikelen beter eigen te laten maken door een vorm van 'gezamenlijk begrijpend lezen'. Het is dus een vorm van gezamenlijke literatuurverwerking die zich meer richt op het begrijpen van een tekst dan op het vormen van een kritische mening daarover. Dit is een vorm van zelfontdekkend leren: dmv argumentatie, elaboratie, logisch redeneren, vergelijken bronnen, etc, construeren studenten zelf een beter begrip van de tekst. Dit voorbeeld (Godgeleerdheid, VU) laat zien hoe zo'n zelfontdekkende discussie er uit kan zien.
Voordelen van de Annotatietool Onderzoek heeft aangetoond dat, in vergelijking met het Blackboard discussieforum, de Annotatietool betere leerresultaten biedt (Eryilmaz, Van der Pol, Clark, Mary en Ryan, 2010). Dit effect is vooral te danken aan het feit dat de tool ook expliciet is ontwikkeld voor het gezamenlijk verwerken van literatuur en door het makkelijk verwijzen of 'annoteren' bij studenten van nature meer betekenisgericht is en meer een 'close reading' oproept dan een algemeen discussieforum (Van der Pol, Admiraal en Simons, 2006). De Annotatietool instrueert studenten het ware al gedeeltelijk dat het de bedoeling is om dieper in te gaan op de precieze betekenis van de tekst. In dit document vindt u een meer uitgebreide beschrijving van de tool met een verzameling van onderzoeksresultaten.
3
Peer feedback in de Annotatietool Het geven van peer feedback Studenten elkaars producten laten becommentarieren kan een goede manier zijn om het leerproces van studenten te verdiepen en docenttijd beter in te zetten. Allereerst maken studenten die elkaars werk beoordelen zich de opdrachtcriteria namelijk beter eigen door deze toe te passen op elkaars producten, waardoor ze ook hun eigen product kunnen verbeteren. Daarnaast kun je als docent door het gebruik van peer feedback je eigen feedback beter inzetten, doordat de producten die je binnenkrijgt al van een hoger niveau zijn. Peer feedback kan dus een uitstekende manier zijn om gedurende het leerproces al een extra ronde feedback in te bouwen, met als doel studenten hun producten te laten verbeteren. Dit wordt ook wel ‘formatieve’ feedback genoemd (i.t.t. ‘summatieve’ feedback, die bedoeld is om een cijfer te geven). Een groot voordeel van het inbouwen van zo’n extra feedbackronde tijdens (en dus niet alleen aan het eind van) het leerproces, is dat feedback een soort van ‘feed forward’ wordt: studenten kunnen de feedback die ze hebben gekregen direct toepassen bij het verbeteren van hun product tot een volgende versie. In het traditionele universitaire model waarbij feedback aan het eind van een cursus komt, kan die feedback niet direct worden toegepast (het ‘nog een keer proberen’), omdat daarna weer met iets anders wordt begonnen.
Voordelen van de Annotatietool Een studie van Van der Pol and Van den Berg (2008) heeft aangetoond dat, in vergelijking met het gebruik van het Blackboard discussieforum: - De Annotatietool significant meer concrete suggesties voor revisie genereerde, terwijl het Blackboard forum meer evaluatief commentaar genereerde. - Concrete suggesties voor revisie significantly correleerde met het gebruik van de feedback voor de verbetering van het product. - De nuttigheid van de ontvangen feedback (zoals aangegeven door de ontvanger) was hoger in de Annotatietool dan in Blackboard.
4
Inzetten van de Annotatietool: hoe & wat Gaat het inzetten van de annotatietool vanzelf? Nee, helaas niet. Zoals bij alle onderwijsvormen is er geen 'magisch' middel om studenten gemotiveerd en effectief aan de slag te laten gaan. Allereerst zal de techniek 100% in orde moeten zijn, maar zal het activeren en motiveren van de studenten vooral bereikt moeten worden met de gekozen didactiek.
Techniek De Annotatietool is een webpagina, die dus niet geinstalleerd hoeft te worden en waarnaar vanuit iedere ELO (zoals Blackboard) met een simpele link verwezen kan worden. Het is wel nodig, voor zowel docent als student, om een eigen account aan te maken in de tool (tenzij gebruik wordt gemaakt van de SCORM Blackboard Plugin). De tool dus staat los van Bloackboard en er kunnen geen gebruikers, groepen of cijfers worden uitgewisseld tussen de twee tools. De Annotatietool is geschikt voor literatuurverwerking (dit is de algemene functionaliteit van de tool) en voor peer feedback (hiervoor zijn een aantal specifieke functionaliteiten toegevoegd). Vanuit Blackboard kan een directe link naar een willekeurige (cursus-, groeps-, of discussiepagina) in de Annotatietool worden gegeven. Door die te volgen krijgen studenten automatisch het Inlogscherm tegen, waarna ze direct op de betreffende pagina uitkomen.
Algemene functionaliteit Aanmelden Zonder gebruik van de Blackboard Scorm Plugin dienen studenten zich zelf te registreren door op ‘Sign On’ te klikken (de invulvelden worden nu zichtbaar). Studentinstructie: • Vul alle vereiste velden in (aangegeven met een sterretje). Je kunt je eigen username en wachtwoord bedenken. • Geef, indien gewenst, aan dat je een notificatie via de email wilt. Je wordt dan geattendeerd op het moment dat iemand reageert op één van jouw berichten. • Als je docent bent vink dan aan dat je ‘teacher’ bent. • Vink aan dat je de ‘user agreement’ accepteert. • De volgende keer dat je inlogt vul je je username en wachtwoord in bij ‘Log In’. Het is echter ook mogelijk om een Blackboard plugin te gebruiken (onder licentie). Met deze plugin word het registreren en inloggen overbodig. Het enige nadeel van de plugin is dat je als docent geen directe link meer kunt gebruiken en de studenten, de eerste keer dat ze in de Annotatietool zijn, de cursus daarin zelf moeten opzoeken. De keren daarna is dat niet meer nodig, want dan is de cursus onthouden door de tool (mits studenten wel lid zijn geworden van 1 van de groepen in die cursus!). Het is dus belangrijk bij de opdrachtbeschrijving in Blackboard de naam van de in de Annotatietool aangemaakte cursus te geven, zodat studenten die de eerste keer dat ze inloggen zelf op kunnen zoeken via ‘Vindt cursus’.
5
3 Niveaus: Curus, Groep, Document De Anotatietool bestaat uit drie niveaus: Cursussen, groepen en documenten (of producten, in het geval van peer feedback). Cursussen • Op deze pagina staan de cursussen die je zelf hebt aangemaakt of waarbij je al bent aangemeld. De eerste keer zal die dus meestal nog leeg zijn. • Als docent kun je nieuwe cursussen aanmaken via ‘Add course’. Alle cursussen die je aanmaakt komen voortaan in je eigen cursusoverzicht te staan. • Studenten kunnen zich aanmelden voor een cursus door hem te zoeken: typ een (gedeelte van) de naam in en klik op ‘Search’. Groepen • In cursus bevinden zich de daarin aangemaakte groepen. Studenten worden lid van een bepaalde groep (en daarmee van de cursus!) door een groep binen te gaan en te klikken op ‘Click here to become a member’. Dit kan alleen als de cursus op ‘Open’ staat (cursuseigenschappen). Hierna zal de cursus voortaan in het overzicht staan van de ‘eigen cursussen’ van de betreffende student. • Binnen een groep bevinden zich de documenten/ producten die de docent of de groepsleden hebben gepuload. Documenten De docent en, in het geval van peer feedback ook de studenten zelf, kunnen pdf-bestanden uploaden in de tool. Vooral voor het gebruik van literatuurverwerking is het belangrijk dat men daarvoor de juiste rechten bezit. Bestanden die al vrij toegankelijk zijn op het web zijn vrij te gebruiken. Voor de rest gelden dezelfde regels als voor het gebruik van artikelen op Blackboard, aangezien de Annotatietool ook een met wachtwoord beschermde electronische leeromgeving is (denk aan regels voor korte en lange overnames, meestal weet de bibliotheek wat deze regels zijn). In het geval van peer feedback moeten de studenten zelf hun Word bestanden omzetten in een PDF. In de tool staat een instructie over waar ze dit online kunnen doen, maar het is handiger als op de universiteitscomputers in ieder geval een pdf-print plugin bij Word is geinstalleerd (op de UvA volgens mij wel het geval). Daarmee hebben studenten de optie vanuit Word een bestand op te slaan als PDF. Studenten zich laten ‘inschrijven’ voor een cursus De meest praktische manier om studenten zich te laten inschrijven voor de cursus in de Annotatietool is deze op ‘Open’ te zetten. Daarmee kunnen studenten zichzelf inschrijven voor de cursus door één van de groepen daarbinnen in te gaan en te klikken op ‘klik hier om lid te worden van deze groep’. De cursus zal daarna voor hen verschijnen onder ‘Mijn cursussen’. Als de cursus op ‘Gesloten’ wordt gezet, moeten studenten zich eerst registreren voor de Annotatietool, waarna de docent hen handmatig aan zijn of haar cursus kan toevoegen. Headings 'Headings' worden gebruikt om topics aan te geven voor een literatuurdiscussie of criteria voor peer feedback. Voorbeelden van Headings:
6
Literatuurverwerking 1) Vragen/ opmerkingen over Betekenis: Wat is de hoofdgedachte, gevolgde argumentatie of rode draad? 2) Kritische opmerkingen: Wat vindt je van de gemaakte statements? Peer feedback 1) Inhoud: bv. correctheid, duidelijkheid, argumentatie 2) Structuur: bv. opbouw van de tekst 3) Vorm: bv. spelling, APA Headings kunnen per individueel document worden gedefinieerd, maar ook op 3 hogere niveaus. Als de Headings op het niveau van een groep zijn gedefinieerd, kan ‘gebruik standaard Headings’ worden aangevinkt, waardoor alle geuploade documenten in die groep automatisch dezelfde set Headings krijgen. Als Heading op globaal of cursusniveau worden gedefinieerd, kunnen ze ze worden gekopieerd naar de lagere niveaus en hoeven ze dus niet voor iedere groep opnieuw te worden ingevoerd. Zie bijlage 1 ‘Het gebruik van Headings’ voor een gedetailleerde omschrijving. Browsers/ printen Alle functionaliteiten van de tool werken gegarandeerd Internet Explorer en Modzilla Firefox. Andere browsers zult u zelf moeten uitproberen. De tool lijkt ook te werken in Safari en Google Chrome. Alerts Het is heel belangrijk om studenten een zogenmaande ‘emailalert’ te laten instellen, zodat ze automatisch een mailtje krijgen bij nieuwe berichten. Dit verhoogt de kansen de interactie ‘in leven‘ te houden aangezien bijna niemand tijd heeft om continue in te loggen om te zien of er al nieuwe berichten zijn. Helpdocumenten Teacher guide | Student guide (beide engels en vrij summier: ‘getting started’)
Extra functionaliteit voor peer feedback Bij het aanmaken van een groep voor peer feedback, worden automatisch de mogelijkheid tot versiemanagement aangeboden, en de mogelijkheid om gebruikers wel of niet hun eigen documenten te laten kunnen deleten. Dit laatste heeft als nadeel dat een student met het (per ongeluk) deleten van een document daarbij ook alle ontvangen feedback bij dat document verwijderd. Tenslotte is het bij het gebruik van peer feedback nog mogelijk om studenten elkaar ook cijfers te laten geven (summatieve feedback). Aangezien de tool echter niet anoniem is, brengt dit laatste wel een aantal didactische problemen met zich mee (‘veiligheid’ van het proces, betrouwbaarheid van de cijfers, etc.).
7
Didactiek Literatuurverwerking De didactiek voor een literatuurverwerkingsopdracht wordt grotendeels gevormd door de gegeven opdracht, de begeleiding en de beoordeling. Opdracht De opdracht voor gezamenlijke literatuurverwerking kan bijvoorbeeld bestaan uit gerichte leesvragen door de docent, en/of door studenten elkaar vrij vragen te laten stellen en ze elkaar te laten helpen. > Voorbeelddiscussie adhv gerichte leesvragen > Voorbeeldopdracht voor online samenwerking, met een een aantal criteria voor de berichten van studenten Begeleiding Over het algemeen wil je als docent de discussies wel begeleiden (modereren) om ervoor te zorgen dat studenten wel een beetje op het goede pad blijven (en ook het juiste begrip ontwikkelen van de stof). Hiervoor is het aan te raden terughoudend, maar wel 'sensitief responsief' te zijn: help ze een stapje verder op het moment dat ze vastlopen. Dat kan heel goed door het stellen van 'doorvraagvragen'. Beoordeling Online samenwerking heeft altijd een 'Kickstart' nodig. Een duwtje in de rug, zodat de interactie begint te rollen en studenten die investeren in het formuleren van een goede vraag of opmerking, daar ook iets voor terugkrijgen. Een voorbeeld is het verdienen van een punt op het afsluitende tentamen, het gedeeltelijk meetellen van de 'online participatie' in het eindcijfer, etc.
Peer feedback Zoals gezegd heeft online peer feedback de potentie het leerproces van studenten te verdiepen, maar dit potentieel is niet makkelijk te realiseren. Hoewel het leereffect van het geven van feedback wel redelijk eenvoudig te bereiken is (doordat studenten actief de criteria gaan toepassen op producten van anderen krijgen ze die beter in de vingers), is het leereffect van de ontvangen feedback veel lastiger te realiseren. Studenten zijn immers nog geen expert op inhoudelijk, noch op didactisch vlak en het is lastig voor hen om elkaar kwalitatief goede feedback te geven. Toch is het bereiken van dit tweede leereffect wel belangrijk, om het het proces letterlijk ‘de moeite waard te laten zijn’ en de tijd en moeite die het kost op te laten wegen tegen de leeropbrengst. Om toch een succesvolle, leerzame peer feedback opdracht te maken staat het het bieden van duidelijkheid naar studenten centraal: Hoe meer vrijheid en zelfstandigheid een opdracht biedt en vraagt, hoe beter die opdracht en de grenzen waarbinnen studenten moeten blijven dienen te worden omschreven. Het geven van heldere verwachtingen betekent het geven van duidelijkheid over oa de: - Procedure en planning van het proces. - Eisen en criteria voor het product en de peer feedback. - Begeleiding - Beoordeling 8
Procedure en planning Voor een goed verloop van het proces is het belangrijk goed uit denken en te communiceren wanneer wat moet worden ingeleverd of gedaan: dit geldt zowel voor het inleveren van het product als voor het geven van de peer feedback. Het is over het algemeen slim pas te beginnen met het geven van feedback een paar dagen na deadline van het inleveren van het product (dat meestal bestaat uit het zelf uploaden van het pdf-bestand). Als er vertraging is bij dat inleveren wil je nl. niet dat dat ook vertraging veroorzaakt voor het geven van de peer feedback. Al met al is er dus redelijk wat tijd nodig voor het hele proces en de planning kan er dan bijvoorbeeld uitzien als volgt: Week 1 Uitleg eisen/ criteria product en feedback
Week 2-3 Maken product
Week 4 Geven van peer feedback
Week 5 Herzien product
Week 6 Inleveren bij & feedback van docent
Week 7 Evt: nog een ronde van revisie product
In dit voorbeeld wordt er echter peer feedback gegeven op een redelijk ‘af’ product. Het nadeel daarvan is dat er door studenten meestal geen grote, structurele veranderingen meer worden doorgevoerd zo laat in het proces, aangezien die dan veel tijd en moeite kosten. Veelal blijft het dan meer bij het maken van kleine, tekstuele veranderingen. Een manier om dit te ondervangen is om de peer feedback eerder in het proces te plannen, bijvoorbeeld op een ‘raamwerk’ voor het product (de grove structuur, hoofdstukindeling en hoofdlijn van redenatie/ argumentatie). Dit kan er dan bijv. zo uit komen te zien: Week 1 Uitleg eisen/ criteria product en feedback
Week 2 Maken raamwerk voor product
Week 3 Geven van peer feedback op raamwerk
Week 4 Herzien raamwerk
Week 5 Evt: docentfeedback op raamwerk
Week 6 Maken product
Hierna (week 7 en verder) kan dan evt. nog een peer feedbackronde worden ingelast, danwel uiteindelijke docentfeedback op worden gegeven op het product. Dit zijn beide maar voorbeelden van hoe lang het proces kan duren en hoe gedetailleerd de planning en procedure moeten worden uitgewerkt (uiteraard moeten precieze data worden gegeven voor de verschillende deadlines). Het is aan de docent om zelf een eigen planning te maken die in zijn of haar geval logisch en nuttig is. Een ander praktisch punt bij de procedure, is dat het uitvallen van studenten (danwel bij het maken van het product danwel bij het geven van feedback) andere studenten kan belemmeren in het uitvoeren van de opdracht. Daarom werkt het bijvoorbeeld goed om de hele opdracht facultatief te maken, waarbij studenten die meedoen aan het peer feedbackproces een extra punt kunnen verdienen voor het afsluitende tentamen. Op die manier kiezen studenten er zelf voor, waardoor ze vanzelf al meer gemotiveerd zullen zijn en je hen als docent ook scherper kunt houden aan datgene waar ze zichzelf aan gecomitteerd hebben.
9
Het zichzelf laten inschrijven van studenten in een feedbackgroepje (van bijvoorbeeld 3 personen), kan makkelijker worden gedaan in bijvoorbeeld Google Docs (Figuur 2). Een simpele open Excelsheet met daarin een aantal groepen met steeds een maximum van 3 kan studenten zelf hun naam laten invullen in een nog niet volle groep. Voor een technische beschrijving hiervan, zie bijlage 2. Als de Google Docs lijst compleet is, kan de docent voor de duidelijkheid de namen van de groepsleden overnemen in de beschrijvingen van de groepen in de Annotatietool.
Figuur 2: Voorbeeld van een Google Doc spreadsheet. Eisen en criteria voor het product en de feedback Idealiter zijn de criteria voor de peer feedback ook onderdeel zijn van de criteria waarop de docent uiteindelijk het product beoordeelt, zodat het hele proces consistent toewerkt naar het eindproduct. Echter, de docent kan vanwege zijn of haar inhoudelijke expertise dieper gaande feedback geven dan de studenten. Het werkt dan ook goed de peer feedback te laten gaan over een overzichtelijk en afgebakend domein en daarbij, indien mogelijk, een soort van ‘naslagwerk’ te bieden (zoals bijvoorbeeld kan bij het correct refereren van literatuur volgens APA). Indien studenten een onderzoeksplan moeten schrijven is het bijvoorbeeld ook raadzaam ze een vrij uitgewerkt format daarvoor mee te geven. Studenten moeten immers ‘zichzelf kunnen redden’ en hoe duidelijker voor hen is te achterhalen en beoordelen wat een ‘goed’ product is, hoe beter en zelfverzekerder ze kunnen zijn in het geven van feedback. Het is belangrijk vooraf deze criteria vooraf met studenten te bespreken, zodat ze helder zijn en begrepen worden. Nog beter is het om deze criteria zelfs samen met studenten op te stellen: Daarmee maken studenten zich de criteria nog meer ‘eigen’ en zijn ze beter in staat deze zelfstandig toe te passen. De criteria mét uitleg (‘beschrijving’) worden ook ingevoerd in de Annotatietool, zodat studenten die ook tijdens het feedbackgeven nog steeds helder voor ogen hebben. Omdat bij peer feedback de student de rol van de docent toch gedeeltelijk moet overnemen en zich in diens schoenen moet verplaatsen, moet het voor de studenten ook duidelijk zijn wat het doel van de originele opdracht was, dus bij het in eerste instantie maken van het product dat daarna gepeerfeedbackt gaan worden. Anders kunnen ze die opdracht later van elkaar ook niet goed beoordelen. Terwijl je normaal gesproken als docent het doel van een odracht dus een beetje 'verstopt', zodat je kunt kijken of studenten het wel of niet uitvogelen, moet dat 10
doel bij de opdracht waarop later peer feedbackgegeven gaat worden dus wat explicieter zijn. Studenten moeten zich dat doel eigen kunnen maken, begrijpen 'waar de docent naartoe wil' met die opdracht, om goede peer feedback te kunnen geven. Als je dat open laat zoals je normaal doet, zullen alleen de goede studenten die eracher komen ook goede peer feedback kunnen geven en gaat een groot deel van de tijd en energie die in het peer feedbackproces gaat zitten daarmee verloren. Behalve de criteria voor het product, die richtinggevend zijn voor de inhoud van de peer feedback, is het ook belangrijk om studenten te helpen bij het geven van feedback op zich. Onderzoek heeft aangetoond dat vooral concrete suggesties voor verbetering bruikbaar zijn voor studenten om te ontvangen en dat goede feedback specifiek en relevant is. Daarnaast wil je als docent waarschijnlijk ook stimuleren dat het merendeel van de feedback inhoudsgericht is, en niet te veel ingaat op vorm (tekstueel, layout etc). Hier een aantal voorbeelden van criteria (voor zowel het product als de feedback), die kunnen dienen ter inspiratie: Vorm: - Spelling, grammatica - Correct verwijzen (APA) - Lay-out Structuur: - Opbouw hoofdstukken/ alinea’s - Overgangen (‘wegwijzers’ vooraf en ‘samenvattingen’ achteraf) Inhoud: - Consistentie - Argumentatie: iedere beslissing wordt verantwoord - Helderheid/ transparantie van argumentatie - Correctheid van argumentatie - Originaliteit? - Begrijpelijkheid voor de lezer Bovenstaande zijn algemene criteria, maar hoe concreter en specifieker de criteria op de specifieke vakinhoud en de opdracht zijn afgestemd, hoe beter. De volgende criteria zijn bijvoorbeeld gebruik voor een redesign van docenten van hun eigen onderwijs uit een MARCHet cursus. Heading 1 Promoting CKB? 2 Feasability? 3 Best aspect 4 Suggestions for improvement
Beschrijving Does the redesign promote CKB for students? If so, in which way? Will it work as expected? Do you have comments on the practical feasibility? What is according to you the most positive aspect of this redesign? Which suggestions do you have to improve the redesign?
11
De Annotatietool biedt ook een unieke mogelijkheid om het peer feedbackproces interactief te maken. Door te werken in groepjes kunnen medefeedbackgevers elkaars feedback aanvullen en verder uitwerken, en kan de feedbackontvanger vragen om verdere uitleg, onderbouwing of uitwerking. Doordat de uiteindelijke feedbacksuggestie op deze manier interactief tot stand komt, is die veelal van betere kwaliteit en is de kans groter dat die ook goed opgepakt wordt door de ontvanger en gebruikt voor de herziening van het product. Het interactief maken van het feedbackproces moet echter ook expliciet in de opdracht verwerkt worden, bijvoorbeeld door een eis van: “Minstens 3 feedbackberichten op elk te beoordelen product en minstens 1 reactie op een gegeven of ontvangen feedbackbericht”. Voor het interactief maken van het proces is een juiste planning (voldoende tijd) gecombineerd met het gebruik van email ‘alerts’ weer cruciaal. Tenslotte kan er nog voor gekozen worden om studenten elkaars feedback te laten waarderen, wat ook kan helpen bij het verhogen van de kwaliteit van de uiteindelijke feedbacksuggesties. Indien je als docent kiest voor het gebruik van de waardeeroptie is het weer raadzaam dit duidelijk naar studenten te communiceren. Vooral omdat het in de Annotatietool nog niet mogelijk is om dit als docent in te stellen voor alle geuploade documenten, moet je aangeven of studenten dit altijd wel of niet moeten aanvinken, of dat ze het zelf mogen bepalen voor hun eigen product (Figuur 3).
Figuur 3: De waardeeroptie in de Annotatietool bij het uploaden van een document.
Begeleiding Op welk moment kunnen studenten bij docent terecht met vragen over ontvangen peer feedback? Om studenten toch wat meer zekerheid te bieden over de juiste koers bij het reviseren van het product (bijvoorbeeld als studenten het niet eens zijn, of vragen hebben over de ontvangen feedback) is het toch goed dit terug laten komen in de contactmomenten (bv. Werkgroepen). Daarbij kan ook meteen wat aandacht gegeven worden aan goede feedback, zodat studenten daarvoor beloond worden en ze ook verder getraind worden in het geven van goede feedback.
12
Beoordeling De docent moet kiezen om de feedback wel of niet te beoordelen. Als het meedoen aan het peer feedbackproces gelinkt is aan een beloning, dan is dit nodig. Daarbij moet ook worden uitgewerkt of deze beoordeling gebeurt op basis van kwantitatieve, kwalitatieve kenmerken van de feedback (en het product), of evt. zelfs van de ontvangen waarderingen van medestudenten. Technisch kan de docent of studentassistent ofwel een ‘Resultatenoverzicht’ uitprinten per student of document, danwel de gehele feedbackdiscussies via de ‘print’-optie.
Het vooraf uitdenken en uitwerken van de procedure en planning, eisen en criteria, de begeleiding en de beoordeling kosten vooral in de voorbereiding dus meer docenttijd. Voordeel is wel dat daarna opdracht 'kant en klaar' is en het je als docent tijdens de cursus zelf tijdwinst danwel kwaliteitswinst op kan leveren.
Literatuur Van der Pol, J., Admiraal, W. F. & Simons, P. R. J. (2006). The affordance of anchored discussion for the collaborative processing of academic texts. International journal of Computer Supported Collaborative Learning, 1(3), 339-357. Van der Pol, J., Admiraal, W. F. & Simons, P. R. J. (2010). Integrating an evaluation function in online anchored discussion to increase the local relevance of replies. Journal for Computers & Human Behaviour, 26(3), 288-295. Van der Pol, J., Van den Berg, I., Admiraal, W. F. & Simons, P. R. J. (2008). The nature, reception, and use of online peer feedback in higher education. Computers & Education 51, 1804-1817. Eryilmaz, E., Van der Pol, J., Clark, M. P., Mary, J., & Ryan, T. (2010). Understanding the Paradox of Mental Effort in Online Learning Conversations, Proceedings of the International Conference on Information Systems (ICIS 2010) December 12-15, 2010, Saint Louis, Missouri.
13
Bijlage 1: Het aanmaken van Headings Bij het aanmaken van een nieuwe groep voor peer feedback kun je aangeven ‘standaard headings’ te willen gebruiken. Dit is zeker aan te raden om te doen, want als dit niet staat aangevinkt, moeten studenten zelf de Headings invoeren bij het uploaden van hun documenten. Ook is het voor peer feedback altijd handig om studenten zelf hun eigen producten te laten uploaden. Aanmaken van een nieuwe groep:
U kunt vervolgens Headings definieren op globaal, cursus- of groepsniveau en ze kopieren van globaal > naar cursus- > en naar groepsniveau.
1. Globale Headings: Als je hier je criteria (Headings) invoert, kun je ze later in verschillende cursussen gebruiken en/of aanpassen. 2. Cursus: ‘Wijzig standaard Headings’ > ‘Gebruik globale Headings’ 3. Groep: ‘Bewerk eigenschappen’: “Gebruik standaard headings voor documenten in deze groep” Groep: ‘Wijzig standaard Headings’ > ‘Gebruik Headings van cursus’ 4. Product (document): Als voor de groep ‘Gebruik standaard Headings’ aanstaat, verschijnen de groepsheadings automatisch bij elk geüpload product.
14
1. ‘Globale Headings:’
2. Cursus > ‘Wijzig standaard Headings’
15
3. Groep > ‘Wijzig standaard Headings’
Het is tenslotte altijd nog mogelijk de van een hoger niveau gekopieerde Headings later nog aan te passen voor een specifieke cursus, groep, of document. - Klik op het 'potlood'-icoontje links van een Heading om hem aan te passen of op het 'prullebakje' om hem deleten. - Versleep evt. de Headings om hun volgorde te veranderen. Als ná het omlaag kopiëren echter de Headings op hoger niveau veranderd worden, zullen deze opnieuw omlaag gekopieerd moeten worden om deze veranderingen ook op lager niveau door te voeren. Als een document eenmaal is geüpload zal het de Headings houden die waren ingesteld voor de betreffende groep, ook als die Headings later worden veranderd. Op dat moment zullen voor alle al eerder geüploade documenten handmatig de Headings moeten worden veranderd.
16
Bijlage 2: Google Docs voor het ‘vullen’ van peer feedbackgroepen Google Docs Spreadsheets. Een google Doc spreadsheet is als een Excel bestand dat online staat en voor alle gebruikers te zien en te veranderen is en biedt daarmee een simpele en effectieve manier om informatie te delen. Zie dit voorbeeld, waarbij CNA-deelnemers zichzelf inschreven voor bepaald een tijdsslot voor hun presentatie (microles). Stap 1: Maak een Google Docs Spreadsheet: Ga naar www.google.nl, klik in de bovenste zwarte balk op 'Documenten', log in met je Google account of maak er één aan. Klik op 'maken' > 'spreadsheet'. In je spreadsheet, maak twee kolommen met met: ‘feedbackgroep’ & ‘ingeschreven studenten’. Stap 2: Klik rechtsboven in het spreadsheet op ‘Delen’. Klik bij ‘wie heeft toegang’ op ‘wijzigen’. Het handigst, is om te kiezen voor Optie b) 'iedereen met de link'. Vink daarbij aan ‘Bewerken voor iedereen toestaan’, zodat studenten zelf hun naam in het document kunnen zetten. Klik op: ‘opslaan’ Stap 3: Je ziet nu bovenin het kader: ‘link om te delen’ staan. Deze link kopieer je en mail je naar de deelnemers, die daarmee de spreadsheet kunnen bekijken en invullen. Als laatste druk je op ‘gereed’.
17
