Projectverslag Educatieve Middelen Pool
Peer review bij FPP projectnummer: 26-07 FPP
Faculteit der Psychologie en Pedagogiek Van der Boechorststraat 1 1081 BT Amsterdam
Inhoudsopgave 1. Samenvatting ................................... 2 2. Samenstelling projectgroep 3. Doelstelling ...................................... 3 3.1 Resultaten 4. Opbrengst van het project ................ 4 5. Naar de toekomst ............................. 5 6. Lessons learned
Bijlagen:
1. Beschrijving pilot met Turnitin 2. Beschrijving pilot met Annotatiesysteem 3. Peer review vragen essays 4. Peer review vragen essays korte lijst
1. Samenvatting In dit EMP project werd beoogd Peer Review te gaan gebruiken bij enkele vakken binnen de Faculteit der Psychologie en Pedagogiek om studenten meer momenten van feedback op schrijfopdrachten te bieden en de mogelijkheid te geven beoordelingsvaardigheden te ontwikkelen. Uit twee mogelijke software programma’s is voor twee vakken Turnitin gekozen en voor één vak het Annotatiesysteem. Er zijn peer review opdrachten ontwikkeld, de softwareprogramma’s zijn ingericht en in de praktijk door studenten gebruikt. Vervolgens is het gebruik van de softwareprogramma’s door zowel docenten als studenten geëvalueerd. Uit de evaluaties van de docenten kwam naar voren dat peer review een prettige en handige manier is om studenten elkaar feedback te laten geven. Leerpunten zijn dat de peer review opdrachten verder ontwikkeld moeten worden en dat vooral het gebruik van Turnitin veel problemen gaf. Uit de evaluaties van de studenten kwam naar voren dat zij het geven van feedback wel leuk vinden en het ontvangen van feedback nuttig hoewel soms verwarrend als er tegenstrijdige feedback gegeven wordt. En ook studenten vonden het gebruik van Turnitin soms ergerlijk als het programma niet aan de verwachtingen voldeed. De conclusie van dit project is dat Peer review voor zowel studenten als docenten een handig en nuttig instrument kan zijn als de peer review opdracht goed is geformuleerd en als het te gebruiken softwareprogramma goed werkt.
2. Samenstelling projectgroep drs. J. Kaandorp (Onderwijscentrum) drs. R.G.J. van Leeuwen (Onderwijscentrum) drs. J. Poortinga (Onderwijscentrum) E.N.A. van Rossum (FPP) drs. A.M. Ruhland (FPP) adviseurs: drs. P.L.B. van Boxel (Onderwijscentrum) drs. M.E. van der Hulst (Onderwijscentrum) betrokken docenten: dr. E. Koster (FPP/Wijsbegeerte) dr. B. Steunenberg (FPP) drs. L.M. de Wit (FPP)
Projectverslag EMP – Peer review bij FPP
2
3. Doelstelling De hieronder geformuleerde doelstellingen komen uit het EMP projectvoorstel (mei 2007). Onder iedere doelstelling staat in cursief aanvullend commentaar.
Er is in overleg met docenten een document ontwikkeld waarin de academische vaardigheden als duidelijke leerlijn is neergezet. - Deze doelstelling is niet binnen het project gerealiseerd. Binnen de faculteit is wel gewerkt aan een nieuw en verbeterd curriculum Methoden, waarbinnen de leerlijn Academische Vaardigheden een duidelijke plaats heeft gekregen.
Voor een aantal Bachelorvakken, waarbij academische vaardigheden een belangrijke component van het onderwijs vormt, in de verschillende Bachelorjaren worden peer reviewopdrachten ontwikkeld, uitgevoerd en geëvalueerd. - Dit is naar tevredenheid gedaan bij Ontwikkelingspsychologie, B-these Klinische psychologie en Filosofie.
Studenten bereiken een hoger niveau van academische vaardigheden en waarderen de inzet van peer review. Het hogere niveau is niet gedurende het project te meten maar zal gevalideerd worden op termijn door docenten, studenten en experts. - Aan dit criterium is voldaan.
Docenten geven een hoge waardering aan het werken met peer review voordat de student de schrijfopdracht bij de docent inlevert en geven een hoge waardering aan het gebruik van digitale middelen voor peer review. - Peer review wordt in zijn algemeenheid als waardevol instrument gezien. De waardering van de inzet van digitale middelen is sterk afhankelijk van de kwaliteit van de software gebleken.
Docenten beoordelen de gegeven feedback binnen de peer review opdrachten als voldoende en de opdrachten als effectief voor het ontwikkelen van academische vaardigheden. - Aan dit criterium is voldaan.
3.1 Resultaten Tot de doelstelling mag ook het behalen van de beoogde resultaten worden gerekend. De beoogde resultaten (uit de EMP-projectaanvraag mei 2007), met daaronder in cursief aanvullend commentaar:
Een document met de leerlijn academische vaardigheden waarmee docenten hun academische vaardigheden onderwijs kunnen vormgeven en waarmee voor studenten duidelijk is wat de te ontwikkelen vaardigheden zijn, hoe die ontwikkeld worden en wat de eisen en leerdoelen zijn en een beoordelingsschema voor de validiteit. - Dit is verwerkt in het verbeterd curriculum Methoden.
Studenten vinden het gebruik binnen het onderwijs van peer review leerzaam en evalueren het positief (score > 3 op vijfpuntsschaal). - Uit de evaluatie is een gemiddelde score van 3,5 gekomen (SD 0.73).
Projectverslag EMP – Peer review bij FPP
3
81% van de studenten geven bij de peer reviewopdracht met Turnitin aan dat ze hier vaker mee willen werken. 97% van de studenten zijn positief over het werken met het annotatiesysteem.
Docenten evalueren het gebruik van digitale ondersteuning bij peer review als positief (score > 3 op vijfpuntsschaal). - Docenten geven mondeling aan dat ze verder willen met een elektronische vorm van peer review.
Er is een bruikbare handleiding beschikbaar o voor docenten m.b.t. de inzet van ict hulpmiddelen op het gebied van de academische vaardigheid schriftelijk presenteren, inclusief mogelijke taken voor studenten. o voor docenten m.b.t. de inzet van ict hulpmiddelen op het gebied van de academische vaardigheid beoordelen, inclusief mogelijke taken voor studenten. o voor docenten over formatief toetsen met behulp van peer review als toetsingsinstrument. o eventueel in de vorm van een website, voor studenten over het specifieke gebruik van ICT bij peer review. - Er wordt gewerkt aan een handleiding voor het gebruik van peer review en ICT (vooral voor schrijfopdrachten). Steeds meer docenten tonen hiervoor belangstelling, waardoor deze handleiding zijn praktisch nut zal bewijzen.
Er is bruikbaar cursusmateriaal ontwikkeld behorend bij een korte cursus/workshop voor docenten op het gebied van ICT bij peer review en het gebruik daarvan in het onderwijs. - Uit dit project is voldoende materiaal ontstaan om tot een cursus peer review voor gevorderden te kunnen komen.
Er zijn beoordelingsschema ’s ontwikkeld (afhankelijk van het type opdracht: bijvoorbeeld onderzoeksverslag, essay, literatuurverslag/paper) t.b.v. peer review. - Er zijn zowel opdracht- als beoordelingsschema’s ontwikkeld. De bijlage 3: “Peer review vragen essays” is hier een voorbeeld van. Dit is gedurende het project tot verdere ontwikkeling gekomen, te zien in de bijlage 4: “Peer review vragen essays korte lijst”.
Aan reguliere practicumevaluatieformulieren zijn beoordelingsvragen over peer review toegevoegd. - Individuele docenten kunnen dit zelfstandig doen.
4. Opbrengst van het project positief Het Peer review project is een handig middel gebleken om tot een evaluatie van het leermiddel te komen. Studenten zijn positief. Ze vinden peer review nuttig en leuk om te doen. Peer review elektronisch (Turnitin) blijkt efficiënter te werken dan Blackboard. Elektronische peer review scheelt veel georganiseer in vergelijking met de papieren variant.
Projectverslag EMP – Peer review bij FPP
4
Studenten komen tot een hoger academisch vaardigheidsniveau. Doordat ze het werk van anderen beoordelen verkrijgen ze inzicht in de diverse niveaus van beoordelingscriteria en het toepassen van deze criteria. Dit heeft een meerwaarde boven feedback van docenten. Docenten verkrijgen inzicht in een effectieve, didactiek ondersteunende vraagstelling aan studenten. Bijvoorbeeld: het stellen van gesloten vragen dient voorkomen te worden. Er is inzicht verkregen in de wenselijkheid en mate van docentondersteuning en – monitoring van de peer review groep. Gebleken is dat bij een onvoldoende beoordeling duidelijkheid naar de student over de gevolgen (sancties) moet zijn. Turnitin is geschikt gebleken bij het werken met grote groepen met strikte opdrachten. Het annotatiesysteem is geschikt gebleken voor peer review bij grote schrijfopdrachten, zoals de B-these.
negatief Turnitin vereist bij het leren kennen en opzetten van een cursus veel computervaardigheid en doorzettingsvermogen. Turnitin heeft relatief veel bugs en lijkt daardoor instabiel. Het kost veel tijd om het werkend te krijgen en problemen op te lossen. Efficiëntie komt daarmee in gevaar. Het is jammer dat niet alle didactische methoden (zoals in dit geval peer review) binnen één elektronische leeromgeving zoals Blackboard onder te brengen zijn. Dit kost meer tijd voor docenten en studenten en creëert ook administratief een extra slag.
5. Naar de toekomst De continuïteit van peer review. Peer review lijkt een goed middel om studenten te ondersteunen in de ontwikkeling van beoordelings- en schrijfvaardigheden. Daarbij zijn elektronische hulpmiddelen als Turnitin en het Annotatiesysteem onmisbaar voor de administratieve organisatie. Het aanbieden van peer review aan studenten kost echter behoorlijk veel, zeker in de opstartfase, waardoor het niet voor elke docent een interessante optie zal zijn om gebruik te gaan maken van peer review. Hierin speelt mee dat bijvoorbeeld het programma Turnitin nogal wat tijd kost door een aantal bugs in de software. Bovendien is niet iedere docent ervan overtuigd dat het zin heeft om studenten elkaar feedback te laten geven. In een volgend project zal daarom nader onderzocht worden in hoeverre studenten en docenten peer review nuttig en bruikbaar vinden. Daarbij zal gekeken worden in hoeverre studenten en docenten overeenkomen in hun oordeel over de kwaliteit van gegeven feedback en er zal gekeken worden of de kwaliteit van feedback samenhangt met de kwaliteit van de schrijfopdracht waarop de feedback gegeven is.
6. Lessons learned
Elektronische leermiddelen zijn niet per definitie tijdsbesparend. Software wordt idealiter op stabiliteit en gebruikersgemak getest alvorens deze in te zetten.
Projectverslag EMP – Peer review bij FPP
5
In dit EMP project is de aandacht vooral uitgegaan naar de technische invoering van peer review. De onderwijskundige visie op het gebruik van peer review is nauwelijks aan bod gekomen. De docenten hebben zelf vragen bedacht voor de peer reviewopdrachten waar medewerkers van het onderwijscentrum niet veel commentaar op hadden terwijl wel gebleken is dat er betere manieren zijn om vragen te stellen. Echter door voortschrijdend inzicht en uitproberen op studenten kon de ontwikkeling van vragenlijsten overgeheveld worden naar een volgend EMP-project. De eis tot het aanstellen van een projectleider en het instellen van een stuurgroep vanuit de faculteit werd bij FPP in dit project vaak als minder noodzakelijk tot soms overbodig ervaren. Vaak leefde de wens dat de projectleiding bij het onderwijscentrum lag waardoor de onderwijskundige visie ook gewaarborgd zou zijn geweest.
Projectverslag EMP – Peer review bij FPP
6
Pilot project PROOF – Anja Ruhland Ontwikkelingspsychologie Vak/onderwerp Instelling Periode Aantal docenten Doelstellingen inzet van peer assessment
Opzet peer assessment opdracht (of opdrachtenreeks) Focus Wat wordt gereviewd? Relatie tot docentbeoordeling Monitoring door docent
Gewicht van het oordeel / Beloning Oordeelsrichting Privacy Contact Bekwaamheid Constellatie beoordelaars Constellatie beoordeelden Deelnameverplichting Functie van de feedback Beoordelingscriteria
Peer assessment tool Evaluatie instrumenten en procedures Verloop van het project
Evaluatie gegevens (evt in bijlage of verwijzen) Conclusies en plan voor de toekomst Ingevuld door
Ontwikkelingspsychologie Faculteit/Instituut VU FPP Contactpersoon 4 (Februari – maart) Anja Ruhland Aantal studenten 5 Ca. 250 1e jaars 1. Verbeteren van schrijfvaardigheid m.b.t. essays 2. Oordeelsvorming (Beoordelen van anderen) 3. Feedback geven aan anderen 4. Nadenken over feedback Aantal review opdrachten: 1 Aantal reviewmomenten per opdracht: 2 Een of meerdere reviewers per opdracht / reviewmoment:3 Kwalitatief/formatief Essay Docentbeoordeling: ja Peer oordeel is aanvullend en adviserend bij docentoordeel De docent controleerde of de peer review goed was ingevuld, onder andere of de studenten voldoende feedback hadden ingevuld en of de feedback ook inhoudelijk bruikbaar was. Bijdrage aan eindcijfer Eenzijdig Anoniem Geheel online Vergelijkbaar Individueel Individueel Verplicht Wordt feedback verwerkt: ja Communicatie over feedback tussen beoordeelde en beoordelaar: nee Wordt feedback beoordeeld: nee Door docent Zijn er beoordelingscriteria: ja Open vragen Opgesteld door docent Turnitin Commentaar Evaluatie PROOF De docent heeft opdrachten aan gemaakt in Turnitin, waarbij zij gebruik heeft gemaakt van het onderscheid tussen Master en Section classes. De overige docenten kregen allen ‘section classes’ toegewezen. De student schreven één essay. Op dit essay ontvingen zij tweemaal feedback van een peer, waarbij zij het essay konden verbeteren mbv de ontvangen feedback. Tenslotte is het essay ingeleverd bij de docent die aan het essay het eindcijfer heeft toegekend. Studentevaluatie PROOF (zie bijlage 1)
De docent wil Turnitin in de toekomst blijven gebruiken. Zij gebruikt Turnitin inmiddels al bij een ander vak. Met betrekking tot ontwikkelingspsychologie zal zij een extra stap voorafgaand aan de peer review toevoegen. Judith Kaandorp Datum 7 april 2008
Bijlage 1: Verslag docentinterview na afloop pilot (NB: gesprek niet adhv vragenlijst)
Opzet en werkwijze van de peer review opdracht
In hoeverre is men tevreden met de opzet en werkwijze gebruikt bij de peer review opdracht(en), zoals die oorspronkelijk bedacht was. Is men bij de uiteindelijke uitvoering van het ontwerp afgeweken? Op welke punten? Waarom? De docent is redelijk tevreden. De stap was iets te groot voor de studenten. Een inleidend college is wenselijk. De resultaten vallen mee. De 2e ronde was een goede correctiestap. 2 ronden zijn goed. De opzet van de peer review is uitgevoerd zoals van tevoren gepland was.
Hoe hebben docenten het verloop van het peer review proces ervaren? Zijn onverwachte problemen ontstaan? Hoe zijn die opgelost? Het verloop van het peer reviewproces was prettig, ondanks enkele bugs. Als docent heeft zij ook veel geleerd. Inmiddels gebruikt de docent Turnitin ook voor een ander vak. Het grootste problemen waren dat studenten reviews ‘kwijt’ waren, nadat zij die net hadden geschreven. Helaas die daar geen oplossing voor gevonden.
Zijn docenten in hun begeleiding bij deze opdracht al dan niet afgeweken van hun oorspronkelijk plan? Zo ja, waarom? De begeleiding is gedaan zoals gepland. Het vak was verdeeld in section classes. De 5 docenten begeleidden meerdere werkgroepen (section classes).
Beoordelingscriteria ontwerpen, begrijpen en hanteren.
Hoe zijn de beoordelingscriteria tot stand gekomen? Opgesteld door de docent zelf? Waren studenten hier op enigerlei wijze bij betrokken? De beoordelingscriteria zijn opgesteld door de docent.
Zijn de beoordelingscriteria besproken met studenten voor aanvang van de opdracht? Is er mogelijkheid geweest om met de criteria te oefenen bij een testopdracht? De beoordelingscriteria zijn niet besproken met de studenten.
Konden studenten goed overweg met de beoordelingscriteria? Had de docent de indruk dat studenten deze goed begrepen? Zijn er vragen over gekomen van studenten? Blijkt uit de gegeven feedback dat studenten ze goed begrepen? De studenten konden goed overweg met de beoordelingscriteria. Zij hadden dan ook geen vragen over de criteria. Het is wenselijk om tussentijds een docentbeoordeling te geven.
Leeropbrengsten van de peer review opdracht(en)
Zijn verwachtingen uitgekomen over de leereffecten van deze werkvorm? Ja, op basis van de beoordeelde essays.
Wat is de gepercipieerde leeropbrengst? e e Uit een steekproef bleek dat de 1 ronde slecht was gedaan, maar dat de 2 ronde beter was. De studenten structureerden beter en de essays waren van een meer wetenschappelijk niveau.
Zijn onverwachte (leer)effecten opgetreden? Turnitin levert ontzettend veel werk op in de begeleiding voor de coördinator.
Wat vindt de docent van de kwaliteit van de feedback die studenten aan elkaar hebben gegeven? Valt mee of slaat tegen? Zijn daar redenen voor te geven? De kwaliteit van de feedback vielen mee en gedetailleerd. De docent ontving veel klachten over slechte kritiek/feedback. De studenten zeiden dat de feedback die zij gaven goed was, maar de feedback die zij ontvingen slecht.
Wat is er met de feedback gebeurt door de docent? Niet bekeken, vluchtig nagelezen, selectie gemaakt voor bespreking met studenten,… De docent heeft het gecontroleerd in de 1e ronde. Het is adviserend bij een slecht essay.
Geschiktheid van de gebruikte computer applicatie Hoe hebben docenten het gebruik van de computerapplicatie ervaren? 1. het aanmaken van user accounts: makkelijk 2. het aanmaken van opdrachten en beoordelingscriteria: makkelijk 3. het toekennen van opdrachten aan beoordelaars: makkelijk/eenvoudig 4. navigatie in de peer review omgeving: makkelijk, je moet er bekend mee raken 5. het terugvinden en nalezen van feedback: makkelijk 6. het verwerken van studentenfeedback: 7. het zelf becommentariëren/beoordelen van studentenfeedback: 8. betrouwbaarheid van het systeem (goed bereikbaar, geen opdrachten of feedback verloren gegaan etc.): niet zo heel betrouwbaar. Er zou extra controle moeten zijn door het systeem. Indien een review niet is gesubmit dan volgt er geen waarschuwing
Wat is het belangrijkste voordeel van de gebruikte computerapplicatie? De overzichtelijkheid. Het is logisch en intuïtief.
Wat is het belangrijkste nadeel van de gebruikte computerapplicatie? Als docent weet je niet wat de student ziet. Dit is met name lastig bij het beiden van ondersteuning.
Ontbrak er volgens de docent bepaalde functionaliteit in de gebruikte computerapplicatie? Welke? Waarom is die zo belangrijk? Grademark is erg handig!. Het is erg wenselijk voor de studenten. Het heeft een toegevoegde waarde!
Biedt deze tool genoeg mogelijkheden om verder in te blijven inzetten (ook bij de rest van de VU?) Turnitin biedt genoeg mogelijkheden. Als docent ben ik er inmiddels bekend mee.
Toekomstige inzet van peer review als werk- en toetsvorm
Wil docent in toekomst vaker online peer review laten uitvoeren? Op zelfde manier of anders? Bij hetzelfde vak structureel inzetten? Bij andere vakken? Het is inmiddels ingezet bij persoonlijkheidsdiagnostiek, maar volgend jaar weer bij ontwikkelingspsychologie.
Wil de docent dan ook peer review weer online ondersteunen? Met dezelfde of andere tool? Of wel peer review, maar niet online? Extra face-2-face momenten. Ook komt er een extra overleg ronde met de docent (vooral voor bedenk van een vraagstelling. Dit was nu een stap te ver). De opzet van de peer review blijft hetzelfde, alleen met een extra stap ervoor.
Is peer review een werk- of toetsvorm die ook bij andere vakken in de opleiding (evt. complementair) nuttig is in te zetten? Op welke manier? Ja. Er is een nieuwe EMP-aanvraag in de maak, waar peer review binnen de faculteit breed zal worden ingezet.
Verslag studentenvragenlijst Peer Review De enquête is ingevuld door 100 studenten, van de circa 250 die het vak gevolgd hebben. Responsepercentage is 40%. De evaluatie is uitgevoerd met een uitgebreidere versie van de PROOF-vragenlijst. De extra vragen staan cursief aangegeven in de onderstaande tabel. Gemiddelde SD 1. Ik vond het leerzaam om het werkstuk (essay, scriptie, artikel of andere schrijfopdracht) van medestudent(en) te lezen. 2. Ik vond het leerzaam om het werkstuk (essay, scriptie, artikel of andere schrijfopdracht) van medestudent(en) te beoordelen. 3. Ik acht mezelf goed in staat om feedback aan medestudenten te geven. 4. Ik acht mezelf goed in staat om het werk van medestudenten te beoordelen. 5. De instructie over de peer review was helder. 6. De beoordelingscriteria waren helder. 7. Ik vond de peer feedback die ik ontving leerzaam. 8. Ik vond de peer feedback die ik ontving terecht. 9. Mijn ontvangen feedback was soms tegenstrijdig. 10. De peer feedback heeft me geholpen om mijn werk te verbeteren. 11. Ik vond het prettig om peer feedback via de computer te geven. 12. Ik vond het prettig om peer feedback via de computer te krijgen. 13. Ik had behoefte aan mondelinge toelichting bij de elektronisch gegeven peer feedback. 14. Ik had behoefte aan schriftelijke toelichting bij de elektronisch gegeven peer feedback. 15. Peer feedback is tussen studenten onderling, de docent hoeft daar geen rol bij te spelen als begeleider. 16. Ik vind feedback geven geen taak van de student. 17. Peer feedback moet anoniem gegeven worden. 18. De verhouding face-to-face en online contact in deze cursus was goed.
19. Zou je vaker met peer review willen werken?
ja 81 (81%)
4,11
0,60
3,95 3,85 3,67 3,64 3,68 3,37 3,44 4,23 3,65 3,98 3,94
0,66 0,50 0,60 0,69 0,69 0,91 0,57 0,83 0,66 0,70 0,76
3,67 3,61
0,88 0,83
3,07 3,48 3,92 3,20
1,27 0,77 0,87 1,09
nee 19 (19%)
Toelichtingen van mensen die met ‘ja’ hebben geantwoord: Maar wel anders dat je de vragen niet elektronisch hoeft te beantwoorden liever schriftelijk, het was nu moeilijk om bijvoorbeeld spellingsfouten aan te geven. nee, de richtlijnen van het essay waren onduidelijk. Hierdoor ontstonden veel tegenstrijdigheden in de feedback. Iedereen dacht wat anders en iedereen deed wat anders. Dit was erg verwarrend. Nu nog heb ik geen idee wat er nu WERKELIJK goed of minder goed was aan mijn essay en of ik andere goed beoordeeld heb of niet. Meer mondeling contact(lees: kleine werkgroepen als begeleiding bij het schrijven van het essay) zou dit probleem kunnen verhelpen. Op zich vond in het een goed systeem, zo via de computer, het is erg handig. je kunt het vaak nalezen. Ik vind het zo goed gaan, alleen zou ik persoonlijk ook wat meer feedback van een docent willen hebben. Zo weet je zeker wat je goed en fout doet. Turnitin is een goede manier van feedback geven maar ikzelf heb veel te doen gehad met de site waardoor mijn feedback niet bij de mede studenten is aangekomen. dit vind ik wel zonde van mijn tijd die ik erin heb gestoken. Ja, op zich is het een goede manier van communiceren. Een probleem vond ik wel dat er wel eens wat verkeerd ging met Turnitin. Als het programma wat verder ontwikkeld is, is het denk ik een perfect middel Deze manier van feedback geven en ontvangen beviel mij wel. Anoniem is soms denk ik niet het beste omdat mensen dan geneigd zijn om negatiever uit te vallen heb ik het gevoel. En met naam durven mensen misschien juist weer geen negatieve feedback te geven dus uiteindelijk heeft het allebei zijn voor en nadelen. Het waren wel erg veel vragen die soms ook hetzelfde vroegen vond ik. Verder vond ik het jammer dat er elke keer dat je feedback gaf, dezelfde vragen werden gesteld. In principe was dit een zeer goede manier, wellicht zou het in het vervolg wat beter uitgelegd kunnen worden zodat misverstanden uitblijven. Wel op dezelfde manier, alleen een paar veranderingen zouden het werken met turnitin optimaal maken. Dezelfde manier lijkt me prima. Geen Turnitin meer!!! Verder vond ik de anonimiteit wel prettig.
In principe vind ik peer review heel leerzaam. Maar ik miste toch wel meer commentaar en begeleiding van de docent. Ik zou in de toekomst het liefst een combinatie willen van peer review en meer intensieve begeleiding en commentaar van de docent. De feedback die ik ontvangen had was niet altijd even behulpzaam, soms tegenstrijdig, of helemaal niet toegelicht. Ik zou er denk ik meer aan hebben (ook meer vertrouwen) als de docent wat intensiever in het proces zou meedoen. Wel op een andere manier. Ik vond dat het met Turnitin niet altijd even goed ging. Ik heb een paar keer 3 keer opnieuw een feedback lijst moeten invullen omdat er iets verkeerd ging. Ik hoorde dat dit wel bij meer mensen gebeurde. Dit vond ik best wel vervelend. het kan weer op dezelfde manier gebeuren. Op dezelfde manier Ik baalde wel een aantal keer van het programma. Ik heb behoorlijk wat onvolledige feedback ontvangen en het opslaan van mijn eigen feedback werd ook niet altijd goed opgeslagen terwijl ik de instructies wel braaf had gevolgd. Anders, meer controle van de feedback, nu vaak tegenstrijdig en soms ook zeer onaardig. Daarnaast lijkt het me handiger als dat werkcollege van te voren is en niet pas aan het einde als iedereen al alles gedaan heeft en het snapt!!! Ja, zelfde manier Ik vind het een goed idee elkaar te beoordelen, maar ik vind deze manier niet goed. In ieder geval was het programma heel ongemakkelijk. Daarnaast vind ik het wel leerzaam feedback te geven en te krijgen van leerlingen, maar je weet nooit of wat hun zeggen wel goed is. Vaak spreken de feedbackgevers elkaar tegen wat betreft het essay. Ik vind dat je in ieder geval tussendoor één keer feedback moet krijgen van een begeleider/docent, zodat je echt weet wat er veranderd moet worden aan het essay. ja, maar ook zo dat je de essays van anderen uit kunt printen. Dan kan je de feedback ook maken zonder dat je achter de computer zit en kan je later de feedback invoeren op turnitin. Ja, alleen zouden de vragen om feedback te geven, wat duidelijker geformuleerd moeten worden. Ook zou de site wat duidelijker moeten zijn. Vond het op deze manier prima, alleen is het soms wat lastig om de feedback toe te passen als er 2 ontzettend tegenstrijdige beoordelingen worden gegeven. Dat moet je maar gokken welke student het bij het rechte eind heeft. Op dit gebied zou de docent uitkomt kunnen bieden, door zijn/haar mening te geven over het verslag. ik vond het wel prettig om op een computer te werken maar het programma is voor verbetering vatbaar. Het feedback moest in één keer gemaakt worden anders kon je niet meer verder en dat was wel onprettig, daarnaast is mijn 2e opdracht niet helemaal goed geupload waardoor hij niet ingeleverd kon worden en ik dus ook geen feedback kreeg wat ik wel een slechte zaak vond. ja dit was goed zo Op dezelfde manier. Ja, hoewel het grootste deel van de ontvangen feedback niet erg nuttig was omdat er nietszeggend commentaar werd gegeven. Ik vond deze manier heel leerzaam. Het was leerzaam om kritiek te leren geven en een essay te beoordelen. Daarnaast vind ik wel dat er ook op zijn minst, misschien de laatste keer, review moet komen van een docent. Als student ben je toch enigszins onzeker over de feedback die je van andere studenten krijgt, omdat je niet weet of die wel goed is en neem je die misschien niet altijd even serieus en dus niet mee in je verbeterversie. Wel op een andere manier, meer begeleiding en instructies zodat het duidelijker wordt. Op deze manier ging het prima, erg fijn om zo te werken. Ik vind de manier, opzet wel prima. Alleen is het erg belangrijk dat het programma volledig functioneert. Ik vind het goed dat je door middel van peer review jouw werk en dat van anderen kan verbeteren. Alleen is het voor de eerste keren feedback nog niet duidelijk hoe goed een student dit kan en kan verwerken. Daardoor krijg je tegenstrijdige dingen en zou het beter zijn als er bij de eerste keren meer een voorbeeld of een evaluatie was van hoe je feedback moet geven. Ik vond het goed, maar het is lastig als je zelf je best doet om iemands werk te beoordelen en zo relevant wil zijn om hem zijn werk te laten kunnen verbeteren, en dan dat je zelf echt een slechte en niet nuttige beoordeling terug krijgt. Dus dan is het makkelijker als de docent het ook doet, maar ik vind het verder goed. Op deze manier. zelfde manier, ander programma veel vragen overlapten elkaar nogal Het programma op zich was duidelijk en handig. Het werkte alleen nog niet zo goed, ik kreeg een keer feedback die niet van toepassing was op mijn paper en de tweede keer kreeg ik maar twee feedbackformulieren. Het feedbackformulier had teveel vragen vond ik. Met een formulier ben je echt lang bezig als je het goed wil doen, en de vragen waren zo specifiek dat ik soms niet goed wist bij welk punt ik bepaalde kritiek moest zetten. Ik zou het algemener houden: kritiek op taalgebruik, samenvatting, kritische houding enzovoorts. Dan krijgen we misschien feedback die nuttiger is. Ja, op zich vind ik het een goede manier, dat je op je eigen niveau feedback krijgt. Alleen is het de docent die het uiteindelijk gaat beoordelen. Door feedback van medestudenten kan het dan zijn dat je dingen weglaat of bijvoegt die de docent wel of niet van belang vindt. Daarom lijkt eindfeedback van de docent me een goede manier. Iets duidelijkere criteria waar het paper aan moet voldoen. Ook kunnen de feedbackvragen wat duidelijker/specifieker.
Ik vind wel dat je van de docent ook feedback moet ontvangen. Het is goed dat dit van leerlingen ook gevraagd wordt, je leert er veel van. Maar niemand weet nu of ze aan aan de criteria voldaan hebben, en de docent kan vaak de studenten op een hoger niveau helpen Ook hoorde ik van meerdere studenten dat ze de verkeerde feedback van een verkeerd artikel kregen, of soms maar 2x feedback ipv 3x. Ikzelf ontving de ene keer 3x feedback en de keer erna 4x feedback. Bovendien weet ik niet of het wel zo verstandig is dat er helemaal geen persoonlijk contact meer is tussen docent en leerlingen en tussen leerlingen middels werkgroepen. Het is voor jullie als docent wel minder werk, maar of dat ten goede komt aan de kwaliteit vraag ik me af. Nee, deze manier was prima. Ik denk dat het beter is om bij de tweede feedback dezelfde personen te doen en twee keer 3 personen hoeft niet per se, is erg veel, misschien drie keer 1 persoon ofzo. Ook miste ik een ruimte voor eigen suggesties bij de te geven feedback, deze moest je nu gewoon maar bij een andere vraag geven. zelfde manier feedback was wel leerzaam en het waren goede adviezen die de medestudenten gaven. Dit was soms wel tegenstrijdig maar toch was de feedback heel behulpzaam. Ik vond het prettig om feedback te krijgen van studenten die ongeveer hetzelfde niveau als mij hebben, hoewel ik de mening van een docent wel miste. Misschien is het een idee om de tweede versie ook door een docent na te laten kijken. Ik zou het weer via Turnitin willen doen, want dat is wel een handig programma. Alleen was de kwaliteit van de feedback die ik kreeg benedenmaats. Dat vind ik jammer. Ik kreeg 5 van de 6 keer dat ze over het algemeen alles goed vonden en de laatste vond heel veel slecht. Daar kan je dan weinig mee. Ik vind de peer review goed, maar ik vind dan wel dat de feedback die anderen geven ook direct door de docent moet worden bekeken, want er waren nu heel veel leerlingen (waaronder ikzelf) die helemaal geen goede feedback kregen en als dat dan ook niet snel verbeterd wordt (doordat de docent dat dan oplegt aan degene die het niet goed heeft gedaan) dan ben jij daar dus de dupe van. dit is een leerzame manier en kan als er goede afspraken zijn tussen studenten en docenten bij meer vakken worden ingezet wat mij betreft Ik vond alleen dat het te veel werk was. Het is of een essay grondig beoordelen aan de hand van de gegeven 23 vragen of drie, maar dan oppervlakkiger. Ik stel het eerste voor, al krijgt ieder dan maar een verslag terug. Middenweg: twee essays met 18 deelvragen! 3 abstract, 3 inleiding, 3 middendeel, 3 conclusie, 3 schrijfstijl, 3 referen. Sommige verslagen waren echt veel te lang, ook daar moet restrictie op zijn. Als iemand 4,5 A4 inlevert in plaats van 3 is dat echt heel veel meer werk. Dus, wanneer te lang, geen feedback! het was wel oké, alleen had ik het heel fijn gevonden om tussendoor ook een keer feedback van een docent te krijgen. dat vind ik wat beter te vertrouwen en dan weet je zeker dat je op de goede weg bent. sommige studenten gaven namelijk onjuiste feedback, dan ga je het ook wat minder serieus nemen. niet via Turnitin. Ja, in principe wel op dezelfde manier, maar dan met een beter werkend programma, en eventueel op de voorhand al wat informatie over het hoe of wat en hoe sommige vragen uit de feedbacklijst precies bedoeld worden. Ik geloof dat hier wat onduidelijkheid over was. Nee, meer toezicht van docenten en meer face-to-face met docenten. Ook vond ik het raar dat het verplichte 'uitleg' practicum helemaal op het eind was (voor het inleveren van je eindversie). In het begin was de opzet van het essay namelijk nog wat onduidelijk. Een practicum in het begin was daarom beter/efficiënter geweest. Ik zou best op dezelfde manier met peer review willen werken. Ik was echter niet tevreden met Turnitin. Misschien is anoniem feedback krijgen niet altijd goed, omdat je zo niet altijd de uitleg erbij weet, dan heb je niet altijd wat aan de feedback als je niet weet wat er bedoeld wordt. Ook zouden we feedback moeten krijgen van de docent voordat we de definitieve versie inleveren, zo weten we zeker hoe het verslag eruit moet zien. Het zou misschien handig zijn als je aan de feedback gevende student vragen kunt stellen.. want soms was het voor mij niet helemaal duidelijk wat er bedoeld werd en zou ik het handig gevonden hebben extra uitleg te krijgen. Via peer review kan je, mits je paper serieus is nagekeken, goede feedback verwachten. Het enige minpuntje is dat niet iedereen het nakijken van de paper even serieus neemt, ik denk dat hierdoor tegenstrijdige feedback kan ontstaan. Wat ik wel makkelijk vond is dat je aan de hand van de vragen waarmee je een paper voorziet van feedback je eigen stukje kan verbeteren omdat je beter ziet waar op gelet wordt. Wel op een iets andere manier, soms is het moeilijk om uit te leggen wat je bedoelt via de computer en je komt er ook niet achter of de persoon het goed begrijpt. Je kunt niet praten over het stuk en evt dingen uitleggen (twee kanten op). Je hebt geen zich op wat mensen veranderen, misschien is het daarom slim om in de tweede ronde minimaal 1 iemand nog een keer naar het essay te laten kijken. In het begin was het niet duidelijk hoe het programma werkten. anders, wat mij betreft hoeft het niet anoniem. En ik vind dat er meer interventie van de docent moet zijn. Vooral omdat studenten in principe ook niet precies weten (of bijna niet weten) hoe het essay in elkaar moet zitten. Feedback van een docent tussen door lijkt me daarom erg verstandig. Peer review is heel leerzaam voor je eigen essay. Deze manier werkte prima. op dezelfde manier is prima
Goed om het te leren, maar online werken stimuleert gemakzucht, denk ik, en geen oprechte interesse in hoe je de co-student kan helpen. Face-to-face feedback doet je meteen kennis maken met hoe je real-life feedback kan geven. Daarnaast kan je feedback die je ontvangt aanvechten, waarop de ander weer kan reageren, je kan doorvragen. In dit digitaal tijdperk is het, met name, voor beginnend psychologen van levensbelang om met elkaar te communiceren over de stof. Dat mis ik überhaupt erg in de hele opleiding tot nu toe. Veel succes! Ja en ook op dezelfde manier. Ik vond het fijn dat het essay anoniem kon blijven, waardoor eventuele (voor)oordelen in positieve en negatieve zin vermeden worden. Ook vind ik het goed dat er op wordt gelet dat je wel serieus commentaar op elkaars werk geeft, en niet zomaar "goed" of "slecht" invult. Het eindoordeel voor ieders paper moet natuurlijk gegeven worden door de docent. Ik vond het persoonlijk fijn om andere papers in te zien, kijken hoe anderen het hebben aangepakt, wat voor onderwerp en structuur etc. Wel zou het misschien een idee zijn om wat meer toelichting te geven bij het opstarten van de feedback, en ook bij het toelichten van de (feedback) vragen. De vragen zelf vond ik niet altijd relevant. Er werd bijvoorbeeld gevraagd naar subconclusies, niet iedereen had subconclusies, waardoor eigenlijk een vraag wordt verspilt. Het peer-to-peer systeem werkt op zich goed. Maar het Turnitin-systeem werkt niet altijd even duidelijk en goed. Het systeem werkt niet heel erg prettig om feedback mee te geven. Het geven van feedback was leerrijk. Het feedback geven was een hulp voor het maken van je eigen essay. Je leerde precies hoe je essay eruit moest zien en wat er allemaal in moest staan. nee, Ik zou ook graag een mail ontvangen of mijn gegeven feedback is aangekomen. Ook vind ik het een fijner idee als een docent ook tussentijds naar mijn essay kijkt en er feedback op geeft. Dus niet alleen studenten. Ook kreeg ik de tweede feedbackronde maar 2 feedback. Op dezelfde manier het toevoegen van tussentijdse feedback van de docent(e). En eventueel graag een mail over of de gegeven feedback is ontvangen op de studentenmail. redelijk op dezelfde manier, maar sommige antwoorden waren onduidelijk en dan kon je niemand om opheldering vragen. dat vond ik wel jammer Deze manier was wel duidelijk en makkelijk. Alleen mis ik het persoonlijke contact met degene die jou feedback geeft. Zo kan ik geen vragen stellen aan diegene. Ja ik vond het een prettige wijze van werken. Je kan grotendeels je eigen planning maken, wat vooral fijn is als je wat verder weg woont. Anders, meer een combinatie van feedback geven, en dan een werkcollege waarbij alle essays worden besproken door studenten onderling. Ja, maar ik zou er wel voor zorgen dat de docent zicht houdt op de feedback die je krijgt en als de feedback niet voldoende of duidelijk genoeg is, ingrijpt. De feedback was regelmatig van heel slecht niveau, waardoor ik er niets mee kon. Ik vind dat degene die daar de dupe van was opnieuw feedback moet krijgen op zijn/haar stuk. vond het op zich een erg leerzame manier, alleen wat zo jammer was, als het commentaar niet volledig duidelijk is, je kan moeilijk om verduidelijking vragen. Wel op dezelfde manier, maar serieuzere feedback van andere studenten. iets meer ingeleid. Nu kregen we aan het eind nog een toelichting over het onderwerp. Dat had wat mij betreft aan het begin gemogen! Ja hoor, vind het wel een leuk programma. Alleen de deadline was soms wat vervelend. Ik zou alleen 1x feedback doen en dan meteen de eindversie inleveren. Nu waren de meeste eerste versies gewoon niks, omdat het toch pas de 1e versie was en nog veel te vroeg was. Ik vond het erg nuttig om de essays te lezen en hier feedback op te geven. Door meerdere essays te lezen en te beoordelen ging ik vanzelf al beter nadenken over de opzet en inhoud van mijn eigen essay. Daarom zou ik nog wel eens met peer review willen werken. Via Turnitin vond ik een goede manier. Wat mij stoorde was de compleet tegengestelde feedback die ik van mijn peers kreeg. De een vond dat ik iets goed verwoord had, duidelijk omschreven en vond de vraagstelling goed te vinden en duidelijk, terwijl de andere student schreef de vraagstelling niet te kunnen vinden en mijn schrijfstijl niet passend vond. Misschien zou de checklist eerst in een college besproken moeten worden met daarbij voorbeelden van goede feedback. Over het algemeen vond ik Turnitin goed werken. Allen wat problemen met halverwege opslaan. Wat ik wel jammer vond is dat je soms niet 3 feedback kreeg, terwijl je er dan wel 3 gemaakt hebt. En ik vind het ook lastig dat je niet kunt 'selecteren' terwijl je leest, of het document op kunt slaan om uit te printen. Maar dit ligt waarschijnlijk aan Turnitin. Verder vond ik het wel handig Niet met Turnitin. Ik vind het een erg slecht systeem. Het ging bij iedereen fout. Het moest persé in 1 keer etc. Toelichtingen van mensen die met ‘nee’ hebben geantwoord: Ik had zelf bij enkele peer reviews het idee dat daar weinig werk en aandacht aan was besteed, de antwoorden waren kort, en sommigen spraken zichzelf tegen en bij 1 had ik het idee dat die persoon het niet eens echt goed had gelezen. Terwijl ik zelf heel lang met die reviews bezig was geweest. Ik vond het wel goed dat je op deze manier naar andermans werk kunt kijken en kunt zien hou zij het hebben aangepakt. Maar had graag ook 1 keer feedback gehad van de werkgroep- begeleidster gehad. de feedback die ik ontvangen heb was vaak niet relevant of tegenstrijdig. daardoor is het moeilijk je essay aan te passen. als je een keer goede feedback krijgt van een docent, weet je precies wat je moet aanpassen en waar je
aan toe bent. Ik vond het wel leuk om te doen maar drie essays waren misschien teveel. Het koste best wel veel tijd. Buiten wat technische problemen om is het systeem wel goed. Zie voor uitleg de volgende vraag (20) Vraag 20: Om eerlijk te zijn vond ik de manier waarop deze practica verliep erg vervelend. We zijn eerste jaars studenten en dit was het tweede verslag wat we moesten schrijven, omdat iedere begeleider van het eerste verslag (ac.vaardigheden) een eigen stijl had, was ook niet duidelijk te zeggen dat iedereen even veel of überhaupt wat heeft geleerd voor dat vak. Het was voor deze personen dan alleen maar lastiger om zo maar zonder instructies de essay van ontwikkelingspsych. te maken. Na het maken van je tweede versie hebben we eindelijk een bijeenkomst gehad. Dit was veelste laat, zelfs de begeleider had geen idee wat ze met de les moest doen. De manier waarop er wordt gecontroleerd voor het feedback geven, ben ik ook totaal niet blij mee. Ik zelf heb in mijn vorige opleiding (hbo psychologie) geleerd hoe je feedback moet of kan geven, waardoor de persoon die mijn feedback heeft ontvangen als het goed is verder kon. Zelf heb ik 1 keer van alle keren echte feedback gekregen waar ik iets aan had. Ik vond het als student enorm vervelend dat ik zoveel tijd had gestoken in het geven van feedback (2 uur per persoon) en zelf iets terug kreeg waar waarschijnlijk nog geen half uur aan was gezeten. Ik vind dat dit niet zorgt dat de studenten gemotiveerd blijven. Je bent verplicht om feedback te geven, maar hoe maakt heel weinig uit. Studenten die andere dingen te doen hadden en het snel even hadden ingevuld op Turnitin, kunnen op deze manier net zo makkelijk het vak halen als studenten die er wel serieus tijd in steken. Ook vind ik het jammer dat je elkaars stukken na moet kijken, terwijl je allen geen idee hebt wat precies wordt verwacht of de bedoeling is. Feedback van een docent is min 1 keer nodig bij zulke essays, voordat het uiteindelijke cijfer wordt gegeven. Het was handiger geweest om de eerste feedback van de docent te krijgen of als dat te veel wordt voor de docent, een lijst met tips of andere punten waar je als student wat mee kunt, zodat je weet waar jouw begeleider oplet, omdat ook hier weer niet iedere docent iets hetzelfde beoordeeld. Zo weet je wel als groep waar jou docent op gaat letten ne belangrijk vind in een goede essay. De ene docent zal misschien sneller onder de indruk zijn van iets dan de ander, en dit is wel prettig om te weten als student. Ook vond ik het programma Turn it in niet echt een handige manier van feedback geven. Er ging ieder keer wat mis met inloggen, feedback ontvangen en versturen. Ook omdat het anoniem gaat heb je meer kans dat iedereen maar wat doet om ervan af te zijn. Het lijkt mij handiger om steeds bijeenkomsten te regelen, waarin iedere student een uitgeprinte versie mee moet nemen en moet uitwisselen met andere studenten, 3 keer is onnodig als het 3 keer nutteloze informatie of feedback bevat. Op deze manier weet iedereen wie de feedback gever is en worden studenten gemotiveerd om de opdracht serieus te nemen. Je kan elkaar dan immers aanspreken als de feedback niet goed is. Ik heb nu het idee gekregen dat het feedback geven het onderwerp van de practica was, terwijl het om je essay hoort te gaan. In mijn geval heb ik in totaal 12 uur besteed aan feedback geven, voor iedere min 2.5 A4 (geplakt in Word) terwijl ik deze uren ook in mijn eigen essay had kunnen steken, want ik heb hierdoor niet eens half zoveel uren in mijn essay kunnen steken. De opzet van de practica is goed, leren feedback geven en een essay schrijven, ik vind alleen niet dat je zo in het diepe gegooid kan worden met feedback geven en een essay schrijven. Als dit wel jullie beste manier is, dan had ik het in ieder geval op prijs gesteld als je ook letterlijk beoordeeld werd met een cijfer voor het feedback geven, omdat dit de studenten misschien had kunnen motiveren. geen fijne ervaring mee gehad bij ontwikkelingspsychologie. Mensen die feedback geven feedback omdat dit meetelt voor je beoordeling, alleen de helft kan geen feedback geven. De essays die ik ontvind waren soms niet eens af. Hoe kan je dan verwachten dat zo iemand wel het werk van een ander serieus nakijkt, terwijl diegene zijn eigen werk niet eens serieus neemt?? De opdracht op zich was goed, alleen merkte ik dat de deadlines (paper schrijven en feedback geven en telkens opnieuw inleveren) van het vak Ontwikkelingspsychologie te kosten gingen van mijn studieplezier en dat ik nauwelijks aan het lezen van het boek van Laura Berk ben toegekomen, iets wat ik liever had gedaan. Tip: misschien wel een paar deadlines, maar niet tijdens de gehele cursus; dat vond ik persoonlijk niet prettig werken. Nee, ik vind het niet heel fijn om feedback van medestudenten te ontvangen omdat ik hierbij niet weet of ik wat aan deze feedback heb. Een student kijkt heel anders naar een essay dan een docent die het uiteindelijk beoordeeld. Sommige dingen kunnen digitaal anders overkomen dan het bedoeld is Het idee van feedback geven is goed, de vragen waren zinvol. Maar om het door medestudenten te laten beoordelen, vind ik zelf geen goed idee. De reviews waren op te veel punten tegenstrijdig. Sommige feedback punten, waren zo kort dat ik er amper iets mee aankon. Nee, want de feedback die je krijgt is niet altijd handig. Vaak tegenstrijdig of gewoon niet waar. Ik vidn dat een docent zich hier meer mee moet bemoeien. En de docent moet, als iemand slechte feedback heeft gekregen, hier melding van maken en zeggen wat er wel verbeterd moet worden. Omdat we dit al zo vaak moeten doen, en ik het gevoel heb dta we dta nu wel kunnen. Bovendien vond ik dat het soms ook niet helemaal lekker liep, omdat de feedback soms lijnrecht tegenover elkaar stond en er geen begeleider was die aan kon geven of de feedback klopte of juist compleet verkeerd was. Nee ik denk dat je er veel meer aan hebt als je essay 1 keer door een docent wordt nagekeken dan meerdere keren door leerlingen. Nee, van mij hoeft er niet veel met peer review gewerkt te worden. Ik heb bij een aantal het idee dat ze het 15 minuten voor sluiting nog moeten maken en dat het daardoor afgeraffeld wordt. Studenten zien het meer als een verplichting dan dat het een toegevoegde waarde is voor een ander. Omdat die stomme site lang niet altijd goed werkte. Nee, krijg liever feedback van een docent.
Het is verwarrend, ik heb een onvoldoende gekregen. van de begeleider, dat begrijp ik achter af wel. maar als de studenten zeggen dat het goed is, dan ga je daar van uit en verander je het niet. achteraf bleek dat er veel dingen tussen zaten die mijn begeleider niet goed vond maar de leerlingen wel. dit is verwarrend en zo doende denk ik dat er meer begeleiding bij de feedback moet zijn. Het had mij een onvoldoende kunnen besparen denk ik. Ik vond het heel nutteloos. Vaak kreeg ik feedback waar alleen maar in stond dat mijn essay goed was. Verder was de feedback ook heel vaag: als er een spelfout in het essay stond werd dat alleen maar gezegd maar niet op welke regel. Verder vind ik het niet correct dat je essay maar 1 keer wordt nagekeken door een docent en dat je dan meteen je cijfer krijgt: het is misschien goed om 1 keer feedback van een docent te krijgen, want als jou essay verkeerd wordt gereviewd heb je gewoon pech. En ik denk dat ik meer zou leren van de feedback van een docent dan de feedback van sommige studenten. De feedback die ik heb ontvangen was van minder goed niveau. ik vraag m af of een docent deze feedback heft bekeken. Ik kon er merendeels vrij weinig mee. feedback was van oppervlakkig niveau. de voorgestructureerde feedback vragen zijn niet uitgebreid genoeg. als je op alle vragen goed scoort, kun je alsnog een slecht essay schrijven. Ik vond de feedback niet altijd helpend. Omdat ik zelf ook nog veel onduidelijkheden had was het lastig om een ander goed te beoordelen. Vaak waren de feedback erg tegenstrijdig zodat ik het moeilijk vond hier iets uit te halen. 20. Wil je nog andere dingen kwijt over peerfeedback in deze cursus of over het gebruikte computerprogramma? 25x beantwoord met slechts: Nee Het gebruikte programma was prima, ik heb zelf geen problemen gehad. Ik miste vragen over de lay-out van het paper, er werden geen vragen gesteld of het paper wel aan de APAregels voldeed. Bij veel papers die ik heb beoordeelde hadden geen correct paper volgens de APA-normen en dit moest ik dan maar onderaan een vraag die niks met de APA-normen te maken hadden tussen voegen. ik vond de vragenlijst die als feedback criteria gebruikt werd niet erg nuttig. het grootste deel van de vragen ging over de opmaak en niet over de inhoud. het zou makkelijker zijn als alle criteria voor het essay ook in de feedback terug kwamen en dan meer gedetailleerd zodat ook betere feedback gegeven kan worden. Ik vond dat Turnitin GEEN goed programma was. Er zaten erg veel haken en ogen aan en vaak deed het niet zoals het zijn werk moest doen. Er waren erg veel klachten over. Hierdoor werd de feedback soms niet volledig opgeslagen, problemen met het inloggen enz. Hierdoor raken studenten in de stress, vinden het niet meer leuk om te doen en is het erg storend. Hier valt nog veel aan te doen. Als deze problemen verholpen zijn, is het een prima programma. Ook vond ik het een nadeel dat er in de tekst geen op of aanmerkingen konden worden gemaakt. Dit is soms handig als je iets specifiek wilt aangeven. ik vond de site dus niet een groot succes omdat het allemaal fout ging met het opslaan van de feedback. Om eerlijk te zijn vond ik de manier waarop deze practica verliep erg vervelend. We zijn eerste jaars studenten en dit was het tweede verslag wat we moesten schrijven, omdat iedere begeleider van het eerste verslag (ac.vaardigheden) een eigen stijl had, was ook niet duidelijk te zeggen dat iedereen even veel of uberhaupt wat heeft geleerd voor dat vak. Het was voor deze personen dan alleen maar lastiger om zo maar zonder instructies de essay van ontwikkelingspsych. te maken. Na het maken van je tweede versie hebben we eindelijk een bijeenkomst gehad. Dit was veelste laat, zelfs de begeleider had geen idee wat ze met de les moest doen. De manier waarop er wordt gecontroleerd voor het feedback geven, ben ik ook totaal niet blij mee. Ik zelf heb in mijn vorige opleiding (hbo psychologie) geleerd hoe je feedback moet of kan geven, waardoor de persoon die mijn feedback heeft ontvangen als het goed is verder kon. Zelf heb ik 1 keer van alle keren echte feedback gekregen waar ik iets aan had. Ik vond het als student enorm vervelend dat ik zoveel tijd had gestoken in het geven van feedback (2 uur per persoon) en zelf iets terug kreeg waar waarschijnlijk nog geen half uur aan was gezeten. Ik vind dat dit niet zorgt dat de studenten gemotiveerd blijven. Je bent verplicht om feedback te geven, maar hoe maakt heel weinig uit. Studenten die andere dingen te doen hadden en het snel even hadden ingevuld op Turn it in, kunnen op deze manier net zo makkelijk het vak halen als studenten die er wel serieus tijd in steken. Ook vind ik het jammer dat je elkaars stukken na moet kijken, terwijl je allen geen idee hebt wat precies wordt verwacht of de bedoeling is. Feedback van een docent is min 1 keer nodig bij zulke essays, voordat het uiteindelijke cijfer wordt gegeven. Het was handiger geweest om de eerste feedback van de docent te krijgen of als dat te veel wordt voor de docent, een lijst met tips of andere punten waar je als student wat mee kunt, zodat je weet waar jou begeleider op let, omdat ook hier weer niet iedere docent iets hetzelfde beoordeeld. Zo weet je wel als groep waar jou docent op gaat letten en belangrijk vind in een goede essay. De ene docent zal misschien sneller onder de indruk zijn van iets dan de ander, en dit is wel prettig om te weten als student. Ook vond ik het programma Turn it in niet echt een handige manier van feedback geven. Er ging ieder keer wat mis met inloggen, feedback ontvangen en versturen. Ook omdat het anoniem gaat heb je meer kans dat iedereen maar wat doet om ervan af te zijn. Het lijkt mij handiger om steeds bijeenkomsten te regelen, waarin iedere student een uitgeprinte versie mee moet nemen en moet uitwisselen met andere studenten, 3 keer is onnodig als het 3 keer nutteloze informatie of feedback bevat. Op deze manier weet iedereen wie de feedback gever is en worden studenten gemotiveerd om de opdracht serieus te nemen. Je kn elkaar dan immers aanspreken als de feedback niet goed is. Ik heb nu het idee gekregen dat het feedback geven het onderwerp van de practica was, terwijl het om je essay hoort te gaan. In mijn geval heb ik in totaal 12 uur besteed aan feedback geven, voor iedere min 2.5 A4 (geplakt in Word) terwijl ik deze uren ook in mijn eigen essay had kunnen steken, want ik heb hierdoor niet eens half zoveel uren in mijn essay kunnen steken. De opzet van de practica is goed, leren feedback geven en een
essay schrijven, ik vind alleen niet dat je zo in het diepe gegooid kan worden met feedback geven en een essay schrijven. Als dit wel jullie beste manier is, dan had ik het in ieder geval op prijs gesteld als je ook letterlijk beoordeeld werd met een cijfer voor het feedback geven, omdat dit de studenten misschien had kunnen motiveren. De meeste studenten geven een goede feedback. Er zijn echter ook studenten die wat problemen hebben met het taalgebruik, waardoor er niet volledig feedback gegeven kan worden. Misschien is het voor deze studenten handig als de vragen wat verduidelijkt worden. (Dit is geen verwijt aan de studenten, het lijkt mij persoonlijk ook erg moeilijk om in een tweede taal te communiceren) Turnitin is een drama. Zorg dat ze hun zaakjes op orde krijgen of zoek een andere manier. Turnitin deed soms een beetje vaag, ligt denk ik aan de site maar verder wel te begrijpen Zie vorig antwoord. = De opdracht op zich was goed, alleen merkte ik dat de deadlines (paper schrijven en feedback geven en telkens opnieuw inleveren) van het vak Ontwikkelingspsychologie te kosten gingen van mijn studieplezier en dat ik nauwelijks aan het lezen van het boek van Laura Berk ben toegekomen, iets wat ik liever had gedaan. Tip: misschien wel een paar deadlines, maar niet tijdens de gehele cursus; dat vond ik persoonlijk niet prettig werken. Het computerprogramma beviel me niet, bij iedere feedback was er wel iets aan de hand waardoor ik mijn taak niet kon uitvoeren zoals ik wilde. Het zou veel handiger zijn als het programma gewoon zou werken. Veel studenten hadden problemen met Turnitin. Vooral met inloggen en de instructies voor het submitten van de vragen. Als die problemen opgelost zouden worden, zou dat zeker schelen. Ook had ik nogal moeite met het lezen van een paper via het scherm. Het was ook niet mogelijk om de papers waarop feedback gegeven moest worden, te kopiëren en neer te zetten in een word document om het vervolgens uit te printen. Turnitin was echt een "rot" programma. Het ene moment deed het het wel en later kon je opeens niet meer inloggen. De gegeven feedback werd soms niet opgeslagen zodat je het overnieuw kon gaan doen. Echt een slecht programma! Ik zou het ook zeer op prijs stellen als de docent ook tips en suggesties zou geven over hoe je de volgende keer feedback moet geven. Het was voor mij niet altijd even duidelijk wat precies de regels zijn en waar je echt op moest letten. Het zou dus fijn zijn als de docent niet alleen de paper zou beoordelen maar ook de feedback. En tenslotte vind ik een keer beoordeeld worden door de docent niet genoeg. Misschien zou de eerste versie (zowel de paper als feedback)beoordeeld kunnen worden door de docent. zie hierboven = Wel op een andere manier. Ik vond dat het met Turnitin niet altijd even goed ging. Ik heb een paar keer 3 keer opnieuw een feedback lijst moeten invullen omdat er iets verkeerd ging. Ik hoorde dat dit wel bij meer mensen gebeurde. Dit vond ik best wel vervelend. Meer uitleg over de werking van turnitin.com. Het programma werkte niet al te goed. Ik heb zelf minstens 3 keer problemen gehad met het opzetten van feedback of mijn essay. Ook heb ik van andere gehoord dat zij veel problemen hadden met het programma. Ook vond ik vooral in het begin van de opdracht, dat wij pedagogiekstudenten in het diepe werden gegooid. De psychologiestudenten hadden met Academische Vaardigheden zulke opdrachten al gehad, dus hadden meer oefening. Wij liepen achter wat dat betreft, maar worden wel gelijk beoordeeld. soms liep het programma vast, waardoor je weer opnieuw moest beginnen met de feedback invoeren. Het zou dus fijn zijn als hier wat aan gedaan werd. Het programma leverde een paar keren problemen op. De 1e keer kon ik niet inloggen/uploaden om een of andere vage reden. Ik heb toen van alles geprobeerd in mijn computer en internet explorer. Uiteindelijk heb ik het voor de deadline aan de praat gekregen om mijn stuk alsnog optijd in te leveren. Mijn 2e punt van kritiek is dat mijn feedback tot 2 keer toe niet goed werd verwerkt, met resultaat dat ik het allemaal opnieuw kon doen en de verslagen nog een keer kon gaan doorspitten. Dit werkte erg op mijn zenuwen (niet mijn sterkste punt) en stond dan ook op het punt mijn computer het raam uit te kieperen. Niet gedaan uiteindelijk en toch nog mijn feedback afgemaakt, maar wel een punt voor verbetering. Verder een prettige manier van feedback geven. ik zou het computerprogramma aanpassen ik heb hier meerdere klachten over gehoord door medestudenten Over het algemeen vond ik ze goed. Alleen jammer dat sommige essays heel erg incompleet waren. Als iedereen meer zijn best zou doen, zou het feedback geven nog interessanter worden. Het computerprogramma is heel goed. Ik vond de website van Turnitin heel handig en overzichtelijk. Het computerprogramma werkte niet goed. Bij het inleveren ging het verschillende malen verkeerd, terwijl de instructies goed zijn opgevolgd. Hierdoor was alle feedback kwijt en kon ik weer opnieuw beginnen. Dit wekte enorm veel onnodige frustratie op! zie boven = Ik vind het goed dat je door middel van peer review jouw werk en dat van anderen kan verbeteren. Alleen is het voor de eerste keren feedback nog niet duidelijk hoe goed een student dit kan en kan verwerken. Daardoor krijg je tegenstrijdige dingen en zou het beter zijn als er bij de eerste keren meer een voorbeeld of een evaluatie was van hoe je feedback moet geven. Turnitin is geen goed programma om te gebruiken. Ik heb 3x meegemaakt dat ik alle vragen had beantwoord, en nadat ik ze had opgeslagen heb ik het bestand opnieuw geopend om te kijken of alles er nog stond. Een grote gedeelte van mijn feedbackpunten waren gewist.
Het zou misschien handig zijn om de data steeds gelijk te houden. Zodat mensen niet in de war kunnen raken en daardoor hun deadline missen. zie vorig antwoord = zelfde manier, ander programma veel vragen overlapten elkaar nogal Hierboven al gezegd. = Het programma op zich was duidelijk en handig. Het werkte alleen nog niet zo goed, ik kreeg een keer feedback die niet van toepassing was op mijn paper en de tweede keer kreeg ik maar twee feedbackformulieren. Het feedbackformulier had teveel vragen vond ik. Met een formulier ben je echt lang bezig als je het goed wil doen, en de vragen waren zo specifiek dat ik soms niet goed wist bij welk punt ik bepaalde kritiek moest zetten. Ik zou het algemener houden: kritiek op taalgebruik, samenvatting, kritische houding enzovoorts. Dan krijgen we misschien feedback die nuttiger is. Ik vind het vreemd dat sommigen vijf feedbackformulieren ontvingen terwijl anderen maar twee feedbackformulieren ontvingen. Zie hierboven = Ik vind wel dat je van de docent ook feedback moet ontvangen. Het is goed dat dit van leerlingen ook gevraagd wordt, je leert er veel van. Maar niemand weet nu of ze aan aan de criteria voldaan hebben, en de docent kan vaak de studenten op een hoger niveau helpen Ook hoorde ik van meerdere studenten dat ze de verkeerde feedback van een verkeerd artikel kregen, of soms maar 2x feedback ipv 3x. Ikzelf ontving de ene keer 3x feedback en de keer erna 4x feedback. Bovendien weet ik niet of het wel zo verstandig is dat er helemaal geen persoonlijk contact meer is tussen docent en leerlingen en tussen leerlingen middels werkgroepen. Het is voor jullie als docent wel minder werk, maar of dat ten goede komt aan de kwaliteit vraag ik me af. Het is in principe een heel goed programma: Turnitin. Handig dat het op deze manier kon. Ik had alleen wel het idee dat het programma soms niet helemaal goed werkte, omdat sommige slechts 1 of 2 feedbacks kregen en sommige anderen daarentegen 4 of 5. Dit zou wat beter uitgezocht moeten worden wat of waar het mis is gegaan. Het zou fijn zijn als er niet met de deadlines geschoven zou worden. Dit benadeeld de mensen die het wel goed doen. Het lijkt me ook beter als er ook een werkgroep is voordat er aan het paper begonnen word. Na het schrijven van de tweede versie is een beetje laat. De feedback was soms tegenstrijdig en in het begin wist ik zelf niet hoe ik precies goed feedback moest geven. Wel lastig dat steeds de inleverdatum veranderde. Ook de website werkte niet altijd even goed. Bij mij bijvoorbeeld, werkte turnitin.com niet in internet explorer. Dit vond ik zelf vervelend. Verder was het een prima manier om een essay te maken Ik heb één keer een feedback gekregen die helemaal niet op mijn stuk van toepassing was en ik denk dat betere uitleg over hoe het programma precies werkt ook wel handig was geweest. intentie van het vak is prima, opzet kan nog verbeteren Ik vind het veel beter om het gewoon via Blackboard te doen. Dat merkte ik ook bij mijn medestudenten. Iedereen vroeg zich eigenlijk af waarom nu opeens Turnitin werd gebruikt. Als je je verslag gesubmit had kon je deze niet meer verwijderen. Dit moet de student wel nog kunnen doen voordat de inlevertijd verstreken is. ik heb geen last gehad van dingen die niet werkten dus dat ging prima. maar voor degenen die daar wel last van hadden is het handig als dit volgende keer voorkomen wordt. een meisje had bijvoorbeeld de feedback van een ander essay gekregen.. werkt vaak niet - Ik heb voor zowel de 1e versie als de 2e versie maar van twee studenten feedback ontvangen. Ik weet niet of dit door het programma komt, maar ik vind het wel jammer dat ik niet 3x feedback heb gekregen. Zelf werk je ongeveer 1,5 á 2 uur aan feedback voor Dit programma werkte duidelijk niet zoals het hoorde. In de 2e feedbackronde heb ik zelf bijvoorbeeld maar 1 review ontvangen. Ik heb gehoord dat veel meer studenten met een soortgelijk probleem zaten, en dat is natuurlijk erg vervelend. Volgende keer zal dit zeker beter moeten. hartstikke onhandig Ik heb bij mijn eindversie maar 1 feedback ontvangen. Na het over en weer mailen met Anja Ruhland en mijn practicumbegeleider kreeg ik te horen dat het 'pech' was. Er kon niks meer aangedaan worden, fout van het systeem. Hierdoor kon ik dus niet echt aan een eindversie beginnen. Dit soort fouten van het systeem zouden voorkomen moeten worden. Ik was niet tevreden met het programma Turnitin. Nadat ik klaar was met de (ik geloof 23) vragen, bleek dat meer dan de helft niet was ontvangen door het programma. Ik moest dan helemaal opnieuw beginnen met het schrijven van feedback, en ik had veel verwijzingen naar de tekst in mijn feedback verwerkt. Hier zou echt iets aan gedaan moeten worden. Ik ben in totaal bijna 3 uur per essay bezig geweest, en dat lijkt me niet de bedoeling. Misschien zou er een ander programma gebruikt moeten worden, ipv Turnitin, omdat er nog zoveel problemen mee zijn. Ik denk dat het ook handiger is de werkgroep eerder in de cursus te plannen, nu kwam het namelijk best wel achteraf nadat je eigenlijk al twee keer je versie verbeterd had.
Het werkte in het begin niet zo geweldig, het sloot zichzelf af en verwijderde de al gegeven feedback een aantal keer Makkelijk te gebruiken programma en zeer geschikt voor dit soort opdrachten. Ik vond het werkcollege te laat gegeven. We moesten alleen de eindversie nog inleveren, als je daarvoor dringende vragen had en niet wist dat je kon mailen had je een probleem. Bij mij persoonlijk bestond er veel twijfel over welke hoofdvragen wel en niet gesteld mochten worden. het was jammer dat niet alle medestudenten even goed hun best deden op de feedback. Aan sommige feedback had je dus niks. Ik denk dat het computer programma op fouten moet worden gecontroleerd. Ik heb van medestudenten begrepen dat ze vaak maar 1 of 2 reviews hadden gekregen, dat lijkt mij erg vervelend. misschien was het iets duidelijker geweest om van tevoren wat meer uitleg te krijgen over hoe turnitin werkt, zoals dat je feedback in één keer moest geven. Turnitin werkt goed! Ik denk dat ik genoeg heb toegelicht bij de vorige vraag :) = Ja en ook op dezelfde manier. Ik vond het fijn dat het essay anoniem kon blijven, waardoor eventuele (voor)oordelen in positieve en negatieve zin vermeden worden. Ook vind ik het goed dat er op wordt gelet dat je wel serieus commentaar op elkaars werk geeft, en niet zomaar "goed" of "slecht" invult. Het eindoordeel voor ieders paper moet natuurlijk gegeven worden door de docent. Ik vond het persoonlijk fijn om andere papers in te zien, kijken hoe anderen het hebben aangepakt, wat voor onderwerp en structuur etc. Wel zou het misschien een idee zijn om wat meer toelichting te geven bij het opstarten van de feedback, en ook bij het toelichten van de (feedback) vragen. De vragen zelf vond ik niet altijd relevant. Er werd bijvoorbeeld gevraagd naar subconclusies, niet iedereen had subconclusies, waardoor eigenlijk een vraag wordt verspilt. nee, zie boven = Het peer-to-peer systeem werkt op zich goed. Maar het turnitin-systeem werkt niet altijd even duidelijk en goed. Het systeem werkt niet heel erg prettig om feedback mee te geven. Turnitin vind ik een vreselijk programma. Het kwam te vaak voor dat het systeem je feedback niet opsloeg, en dan kon je opnieuw beginnen. Voor mij hoeft Turnitin niet meer. Het gebruikte computerprogramma werkte soms niet zo goed. Er ging veel mis. Ik had af en toe het idee bij het geven en krijgen van feedback dat sommigen een andere manier voor essay schrijven hadden geleerd, misschien de opleiding pedagogie? Dit ging dan voornamelijk over de manier van refereren. het programma was prima. fijn dat zelfs wanneer mijn draadloze internetverbinding wegviel, dat ik gewoon weer verder kon gaan zodra er weer verbinding werd gemaakt. In de tweede feedbackronde heb ik een keer feedback gegeven, maar er stond dat ik dat nog niet had gedaan (dus assigned in plaats van completed). Later kwam ik erachter dat de feedback bij het verkeerde artikel is geplaatst, waardoor ik ze beide opnieuw moest plaatsen. Het lijkt mij vrijwel onmogelijk dat ik dit zelf heb gedaan aangezien je het artikel zelf nodig hebt tijdens de feedback. jammer dat er geen spellingscheck op het programma zat het verliep wel soepel Turnitin op zich vond ik waardeloos. Als ik mijn opdracht in wilde leveren lukte dit elke keer niet. Ik heb het elke keer ingeleverd door het naar een andere student te sturen die het dan weer voor mij inleverde op Turnitin. Ik hoorde dat er meer mensen zijn die hier over klaagden. Als je hem inleverde met kopiëren en plakken ging je opmaak verloren. Soms was mijn feedback erg kort en afgeraffeld. Doordat de ander er niet goed de tijd voor neemt gaat dit ten kosten van je eigen stuk. Als je er feedback van een docent naast zou krijgen zou dit gemis opgevangen worden. Ik vond het lastig om een goed essay te schrijven en heb een tussentijdse beoordeling van een docent echt gemist. Vooral het feit dat mn. feedback tegenstrijdig was 3 x Het ging soms niet helemaal goed, als je op enter drukte, kon je niet meer terug en als je je vragen niet afmaakte, moest je weer helemaal opnieuw beginnen. Wel leuk bedacht allemaal. Wat mij handig lijkt voor een volgende keer, is om de uitleg over hoe het essay nou precies geschreven moet worden aan het begin van de cursus te doen in plaats van op het eind wanneer iedereen eigenlijk al zo'n beetje zijn/haar definitieve versie af heeft. Verder werkte Turnitin niet altijd even goed, maar dat heeft u vast al vaker te horen gekregen.. zie vraag 19. = Via Turnitin vond ik een goede manier. Wat mij stoorde was de compleet tegengestelde feedback die ik van mijn peers kreeg. De een vond dat ik iets goed verwoord had, duidelijk omschreven en vond de vraagstelling goed te vinden en duidelijk, terwijl de andere student schreef de vraagstelling niet te kunnen vinden en mijn schrijfstijl niet passend vond. Misschien zou de checklist eerst in een college besproken moeten worden met daarbij voorbeelden van goede feedback.
Ik vond de vragen die je moest behandelen bij het nakijken gebrekkig. Bij meerdere studenten vond ik veel stijlen spelfouten, het zou handig zijn als je dat kan onderstrepen o.i.d. In Word kan je volgens mij ook gewoon nakijken. Dan kan je dingen onderstrepen, rood maken etc. Ook vond ik het een beetje slordig dat er expliciet werd gevraagd, staat de vraagstelling in de samenvatting; volgens Burton hoef je niet letterlijk de vraag te stellen in de samenvatting, je moet uitleggen waar het over gaat. Ik heb het uitgelegd, maar kreeg van 2 van de 3 toch de opmerking dat de vraagstelling ontbreekt in de samenvatting...
Beschrijving pilot 10 Bachelorthese Klinische psychologie Bas Steunenberg FPP Vak/onderwerp Instelling Periode Aantal docenten Doelstellingen inzet van peer assessment
Opzet peer assessment opdracht (of opdrachtenreeks) Focus
Wat wordt gereviewd? Relatie tot docentbeoordeling Monitoring door docent
Gewicht van het oordeel / Beloning Oordeelsrichting Privacy Contact Bekwaamheid Constellatie beoordelaars Constellatie beoordeelden Deelnameverplichting Functie van de feedback Beoordelingscriteria Peer assessment tool Evaluatie instrumenten en procedures Verloop van het project
Evaluatie gegevens (evt in bijlage of verwijzen) Conclusies en plan voor de toekomst
B-these Klinische psychologie Faculteit/Instituut VU FPP Contactpersoon 4-6 (april t/m juni) Bas Steunenberg Aantal studenten 1 hoofddocent en 8 51 3e jaars bachelor assistenten (aio’s) 1. Verhogen van het niveau van de papers voor een eerste correctie door de docent 2. Verbreden van kennis, waarbij studenten elkaars werk zien 3. Studenten leren elkaar beoordelen Aantal review opdrachten: 2 Aantal review momenten per opdracht : 1 Een of meerdere reviewers per opdracht / reviewmoment: 1 (vaste reviewer) Kwantitatief/summatief (zie beoordelingsformulier) De peerfeedback is een klein onderdeel van het eindcijfer (1/4 van 1/14) Essay Docentbeoordeling ja Peer oordeel is aanvullend De docent heeft de studenten uitleg gegeven in de werkgroep. De docent controleerde of iedereen het op tijd had ingeleverd (zodat de review niet benadeeld wordt in tijd) Bijdrage aan eindcijfer Peer feedback telt ¼ mee bij Procesbeoordeling. In het totaal is het ¼ van 1/14. Eenzijdig Openbaar Geheel online Vergelijkbaar Individueel Individueel Verplicht Wordt feedback verwerkt: ja Communicatie over feedback tussen beoordeelde en beoordelaar: nee Wordt feedback beoordeeld: ja, door docent Zijn er beoordelingscriteria: Ja, open vragen Opgesteld door docent Annotatiesysteem Commentaar Evaluatie van peer review volgens PROOF-evaluatie
De studenten hebben twee opdrachten geschreven waarbij peer review werd toegepast. Het betrof de inleiding en het discussiegedeelte. De studenten hebben een eigen reviewer gekozen. Bij beide opdrachten was dit dezelfde reviewer. De docent heeft een formulier gemaakt voor de studenten, zodat zij wisten waar zij op moesten letten. Dit formulier is besproken tijdens de werkgroep. Zie evaluatieresultaten van de PROOF-evaluatie (zie bijlage) Opdracht en beoordelingsformulier (Zie bijlage) De docent is erg tevreden over deze werkvorm. In het verleden deed hij hetzelfde, maar vond de peer review mondeling plaats tijdens de werkgroepen. Doordat de peer review nu buiten de werkgroepen om werden gedaan, heeft de docent tijd gecreëerd om in de werkgroepen andere dingen
Ingevuld door
te doen. Judith Kaandorp
Datum
10 juli 2008
PROOF Interview schema Mondeling of telefonisch interview met docenten na afloop van de pilot, adhv. open vragen (VU en UU). Voorbereiding a.d.v. het PROOF format waarin de pilot beschreven staat (eventueel samen met docent) en de resultaten van de voormeting bij de docent in kwestie Opzet en werkwijze van de peer review opdracht
In hoeverre is men tevreden met de opzet en werkwijze gebruikt bij de peer review opdracht(en), zoals die oorspronkelijk bedacht was. Is men bij de uiteindelijke uitvoering van het ontwerp afgeweken? Op welke punten? Waarom? De studenten kregen 2 opdrachten, betreffende de inleiding en de discussie. Bij de eerste ronde kregen de studenten feedback van hun (vaste en zelf gekozen) reviewer. De ontvangen feedback e konden de studenten verwerken in een verbeterde 2 versie. Deze versie leverden de studenten in bij de docent. De docent heeft een duidelijk verschil gemerkt tussen deze opzet en de opzet van vroeger. De studenten discussieerden met elkaar en wisselden tips t.a.v. van de literatuur uit en wezen elkaar op overbodig taalgebruik.
Hoe hebben docenten het verloop van het peer review proces ervaren? Zijn onverwachte problemen ontstaan? Hoe zijn die opgelost? De docent is erg tevreden. De studenten hadden slechts minimale begeleiding nodig. Er hebben zich geen noemenswaardige problemen voorgedaan. Sommige studenten waren niet bekend met PDF. Alle studenten zijn wel in staat geweest om hun documenten online te plaatsen.
Zijn docenten in hun begeleiding bij deze opdracht al dan niet afgeweken van hun oorspronkelijk plan? Zo ja, waarom? De docent heeft eerst gekozen voor anoniem reviewen. Echter heeft hij tijdens de uitvoering toch gekozen voor bekende peers. Dat is hem goed bevallen.
Beoordelingscriteria ontwerpen, begrijpen en hanteren.
Hoe zijn de beoordelingscriteria tot stand gekomen? Opgesteld door de docent zelf? Waren studenten hier op enigerlei wijze bij betrokken? De docent heeft de peerfeedback criteria opgesteld. Deze criteria doorgegeven aan de assistenten (aio’s).
Zijn de beoordelingscriteria besproken met studenten voor aanvang van de opdracht? Is er mogelijkheid geweest om met de criteria te oefenen bij een testopdracht? Aan de studenten heeft de docent het in de werkgroep toe- en uitgelegd. Er is geen testopdracht geweest. De studenten hebben de beoordelingscriteria goed opgepikt.
Konden studenten goed overweg met de beoordelingscriteria? Had de docent de indruk dat studenten deze goed begrepen? Zijn er vragen over gekomen van studenten? Blijkt uit de gegeven feedback dat studenten ze goed begrepen? De docent was (positief) verbaasd hoe gaat het met ging. De docent vond dat alle reviews goed tot zeer goed waren. Bij geen van de studenten was de feedback van onvoldoende kwaliteit. Sommige feedback ging meer in de richting van corrigeren, maar de docent was tevreden. De docent en de aio’s hebben (op verzoek van de studenten) nog feedback gegeven op de feedback. In enkele zinnen hebben zij hun feedback samengevat.
Leeropbrengsten van de peer review opdracht(en) Zijn verwachtingen uitgekomen over de leereffecten van deze werkvorm? De verwachtingen van de docent zijn zeker uitgekomen.
Wat is de gepercipieerde leeropbrengst? De docent heeft gezien dat de ingeleverde versie bij de docent beter waren dan voorgaande jaren. Zijn idee is dat de studenten toch beter leren, begrijpend lezen en voor een aantal heeft geleid tot verdieping van zichzelf (als enige vorm van self-assessment).
Zijn onverwachte (leer)effecten opgetreden? Waar de docent niet op had gerekend en wel is gebeurd is het samenwerken. De studenten wisselden tips uit, maar ook literatuur.
Wat vindt de docent van de kwaliteit van de feedback die studenten aan elkaar hebben gegeven? Valt mee of slaat tegen? Zijn daar redenen voor te geven? De docent vindt de gegeven feedback goed tot zeer goed. Soms was de feedback corrigerend, maar dat was slechts in enkele gevallen. Geen van de studenten heeft zich er gemakkelijk vanaf gemaakt.
Wat is er met de feedback gebeurt door de docent? Niet bekeken, vluchtig nagelezen, selectie gemaakt voor bespreking met studenten,… De studenten hebben de docent en assistenten zelfs gevraagd of zij feedback op de feedback wilden geven. Dit is dan ook gebeurd. De peer feedback telde ook mee (voor een zeer klein deel) in het eindcijfer.
Geschiktheid van de gebruikte computer applicatie
Hoe hebben docenten het gebruik van de computerapplicatie ervaren? 1. het aanmaken van user accounts: door de studenten zelf 2. het aanmaken van opdrachten en beoordelingscriteria: door de studenten zelf (opgesteld door de docent) 3. het toekennen van opdrachten aan beoordelaars: door de studenten zelf 4. navigatie in de peer review omgeving: makkelijk/eenvoudig 5. het terugvinden en nalezen van feedback: goed te doen 6. het verwerken van studenten feedback : goed te doen 7. het zelf becommentariëren/beoordelen van studentenfeedback: buiten het systeem om gebeurd 8. betrouwbaarheid van het systeem (goed bereikbaar, geen opdrachten of feedback verloren gegaan etc.): goed
Wat is het belangrijkste voordeel van de gebruikte computerapplicatie? Dat het altijd en overal te allen tijde gebruikt kan worden. Het annotatiesysteem is zeer overzichtelijk.
Wat is het belangrijkste nadeel van de gebruikte computerapplicatie? De docent kan geen nadeel bedenken van het annotatiesysteem.
Ontbrak er volgens de docent bepaalde functionaliteit in de gebruikte computerapplicatie? Welke? Waarom is die zo belangrijk? Er zijn functionaliteiten die de docent heeft gemist.
Biedt deze tool genoeg mogelijkheden om verder in te blijven inzetten (ook bij de rest van de VU/UU?) De docent wil volgend jaar opnieuw deze werkvorm inzetten in combinatie met het annotatiesysteem.
Toekomstige inzet van peer review als werk- en toetsvorm
Wil docent in toekomst vaker online peer review laten uitvoeren? Op zelfde manier of anders? Bij hetzelfde vak structureel inzetten? Bij andere vakken? De docent wil volgend jaar opnieuw deze werkvorm inzetten in combinatie met het annotatiesysteem. Het systeem is evt. ook te gebruiken bij Opzetten van onderzoek of de M-these (masterthese).
Wil de docent dan ook peer review weer online ondersteunen? Met dezelfde of andere tool? Of wel peer review, maar niet online? De docent is tevreden. Het nadeel van Turnitin is dat je de voorbereiding van tevoren moet plannen. Bij het annotatiesysteem kan het ter plekke.
Is peer review een werk- of toetsvorm die ook bij andere vakken in de opleiding (evt. complementair) nuttig is in te zetten? Op welke manier? Het systeem is evt. ook te gebruiken bij Opzetten van onderzoek of de M-these (masterthese). Een andere docent Leonore de Wit heeft dit jaar peer review ingezet bij een Thema. Zij heeft daar geen digitale ondersteuning bij gebruikt. Dit zou wel een mogelijkheid kunnen zijn voor volgend jaar. Bij was de peer review opdracht vrijwillig en niet alle studenten hebben meegedaan. Het resultaat was niet hetzelfde als bij de B-these, maar heeft wel potentie.
Verslag studentenvragenlijst Peer Review De enquête is ingevuld door 33 studenten, van de 51 die het vak gevolgd hebben. Responsepercentage is 64,7%. De evaluatie is uitgevoerd met een standaardversie van de PROOF-vragenlijst.
1. Ik vond het leerzaam om het werkstuk (essay, scriptie, artikel of andere schrijfopdracht) van medestudent(en) te lezen. 2. Ik vond het leerzaam om het werkstuk (essay, scriptie, artikel of andere schrijfopdracht) van medestudent(en) te beoordelen. 3. Ik acht mezelf goed in staat om feedback aan medestudenten te geven. 4. Ik acht mezelf goed in staat om het werk van medestudenten te beoordelen. 5. De instructie over de peer review was helder. 6. De beoordelingscriteria waren helder. 7. Ik vond de peer feedback die ik ontving leerzaam. 8. Ik vond de peer feedback die ik ontving terecht. 9. De peer feedback heeft me geholpen om mijn werk te verbeteren. 10. Ik vond het prettig om peer feedback via de computer te geven. 11. Ik vond het prettig om peer feedback via de computer te krijgen. 12. Ik had behoefte aan mondelinge toelichting bij de elektronisch gegeven peer feedback. 13. Peer feedback is tussen studenten onderling, de docent hoeft daar geen rol bij te spelen als begeleider. 14. Ik vind feedback geven geen taak van de student. 15. Peer feedback moet anoniem gegeven worden. 16. De verhouding face-to-face en online contact in deze cursus was goed.
17. Zou je vaker met peer review willen werken?
ja 32 (97%)
Gemiddelde
SD
4,27
0,45
4,03 3,85
0,64 0,57
3,61 3,94 3,73 3,79 3,85 3,94 3,70 3,88
0,70 0,79 0,63 0,93 0,80 0,90 0,88 0,70
2,91
1,07
3,12 2,21 2,03 4,15
0,99 0,78 0,73 0,67
nee 1 (3%)
Toelichtingen van mensen die met ‘ja’ hebben geantwoord: 9x geantwoord met slechts “op dezelfde manier” Ik zou het systeem zo laten; het is prettig om van een medestudent een frisse blik op je these te krijgen en bij onduidelijkheid kan je elkaar altijd even een mailtje sturen/ aanspreken. Op dezelfde manier want deze was oké. Ik vond het een prima manier om op deze manier samen te werken. Het was duidelijk en overzichtelijk op deze manier! Ja. Maar studenten zijn maar beperkt in staat om het werkstuk van een medestudent met voldoende afstand te bekijken. Feedback kan ook een foute kant op gericht zijn en iemand in de war brengen. Feedback te formuleren is echter een belangrijk leerdoel, daarom zou ik weer hiermee willen werken. Er is veel tijd voor nodig en het is sterk ervan afhankelijk hoe goed de ander in zijn studie zit. ja, op zich wel op dezelfde manier, maar eerst zo het feedback van de begeleider(s) "goedgekeurd" worden, zodat men er zeker van kan zijn, dat het feedback ook gerechtvaardigd is, anders leid het verwerken ervan tot een verslechtering van het eigen werkstuk! Ja ik zou vaker met peer review willen werken. Wellicht is het handig om in het vervolg te wisselen bij elk onderdeel van 'peer' zodat je telkens een andere kijk op je scriptie krijgt. Op dezelfde manier, ik vond het erg prettig werken met het annotatiesysteem. Ja, omdat het heel leerzaam is. Ten eerste leerzaam omdat je je zelf moet verdiepen in een stuk van een ander, waardoor je niet in je eigen 'regels' blijft hangen en dingen ook van een andere kant leert bekijken. Ten tweede omdat de feedback die je krijgt vaak ook heel handig is, omdat je zelf soms kleine dingen over het hoofd ziet. Er zou tijd ingericht kunnen worden om de gegeven feedback te bespreken, dus toe te lichten. Op de computer probeer je toch bondig feedback te geven, maar daardoor is het voor de andere persoon misschien niet altijd duidelijk. Deze manier was voor mij een handige methode. De manier is wel fijn, maar het is nog wat onwennig. Op papier schrijf je toch makkelijker commentaar tussen de regels en kun je aangeven voor welke punten dezelfde kritiek geldt. Het is wel fijn dat er cijfers staan bij het commentaar, dan kun je makkelijk terugkijken en je tikt sneller dan je schrijft. Persoonlijk print ik alles wat ik lees uit, omdat ik het niet lekker vind om van een scherm te lezen, misschien dat ik daarom minder enthousiast ben over het geven van feedback via de pc. Deze manier was goed, maar het is wel belangrijk dat je ook feedback van begeleiders krijgt want van sommige dingen weet je peer gewoon niks af. dezelfde manier is prima
vond het systeem wat lastig soms, commentaar schrijven was technisch niet zo handig (tot waar heb ik nu mijn zin gewist, waar ben ik? dubbelklik om wat te kunnen schrijven), maar via internet gaat het wel sneller en overzichtelijker te lezen is het ook Het is handiger om digitale feedback te geven, omdat alles overzichtelijker gaat en je kunt veranderen als je iets later wel tegen komt en dacht dat het niet bijgeschreven was. Het kost ook minder tijd op deze manier. Het was erg leerzaam om een medestudent feedback te geven, want bij het geven van feedback kom je ook erachter wat je zelf überhaupt verkeerd hebt gedaan bij je eigen paper. Het is een duidelijke en overzichtelijke manier van werken, en het is heel leerzaam! Ja, je kunt er veel van leren als je elkaar feedback geeft. Peerfeedback hoeft alleen tussen de studenten onderling, de docenten hoeven daar geen rol bij te spelen. Dit is overbodig, omdat de studenten naderhand toch feedback krijgen van de beoordelingsdocent(e). Zelfde manier, ik vond het zeer handig! Op dezelfde manier met eventuele mondelinge toelichting erbij tijdens een werkcollege (nu buiten de colleges gedaan). Dezelfde manier, maar ik vind uitgeprint gemakkelijker werken. Met annotatiesysteem is echter een goede manier om het geordend aan de peer te laten zien. Ik zou vaker met peer feedback willen werken, op deze manier. Je kan in je eigen tijd (wel een bepaalde periode afspreken) serieus naar het stuk van de ander kijken en er commentaar op geven. En ik vond het prettig om tussendoor elkaar face-to-face te zien om, mocht dat nodig zijn, om extra uitleg te vragen/geven. mondelinge toelichting zou prettig zijn, omdat je sommige onduidelijkheden bespreekbaar kan maken. ik vond het wel heel prettig om het werk van een ander te beoordelen (leerzaam voor je eigen kritische blik en hoe een ander dingen aanpakt) en omdat je feedback ook beoordeeld wordt, gebeurt het dus goed. hierdoor is de feedback die je krijgt écht nuttig. Ik zou het systeem van titels geven anders maken, of dat duidelijker is dat je allerlei feedback onder 1 kopje/titel moet zetten. Verder werkt het citaat markeren in het PDF bestand niet fijn. Als je een groot blok markeert kan je daarna niet nog een kleiner blok daaruit markeren. Ook werkte het bij mij soms zo dat hij de zin niet pakte maar dat er een blok tussen de regels kwam te staan.. Toelichtingen van mensen die met ‘nee’ hebben geantwoord: Er is veel tijd voor nodig en het is sterk ervan afhankelijk hoe goed de ander in zijn studie zit. 18. Wil je nog andere dingen kwijt over peerfeedback in deze cursus of over het gebruikte computerprogramma? 14x geantwoord met nee Nee, het enige is dat er misschien wat meer tijd voor de resultaten sectie mocht worden gegeven. Ik vond het niet zo prettig dat IEDEREEN mijn werkstuk had kunnen lezen....misschien beter beperken tot peer??? Het annotatiesysteem werkte goed! Iets meer instructie over het precieze gebruik ervan. Voor mij was bijvoorbeeld onduidelijk dat je eerst een woord in een alinea moet 'omcirkelen' en daarna de hele alinea als geheel. Als je het andersom doet kun je losse woorden niet meer 'omcirkelen'. Hierdoor wordt de feedback minder overzichtelijk. Het was even wennen, maar het gaat goed. Het is wel handig als degene die jou feedback geeft en degene die jij feedback moet geven ongeveer evenveel aandacht eraan besteden (even gemotiveerd zijn). Dit was bij mij gelukkig wel het geval. n.v.t. niet dat ik weet Nee, ik vond het goed te gebruiken en nuttig. Prima systeem! Het annotatiesysteem was in het begin wel even wennen. Wel erg handig overigens! Ik vond het fijn dat je ook bij de andere stukken kon komen, dus niet alleen bij die van je eigen peer. Dan kan je toch even kijken hoe anderen het doen en wat hun uitkomsten zijn. Dat was een leuke toevoeging. Nee, was prima zo. werkt prima
1. Samenvatting 1a. In hoeverre is de samenvatting los van het verslag te begrijpen. 1b. Wordt de vraagstelling genoemd. 1c. Geef aan wat je van het antwoord op de vraagstelling vindt. 1d. In hoeverre is de samenvatting een goede weergave van de inhoud. 2. Inleiden en afbakenen van het probleem 2a. Wat vind je van de verantwoording van het essay: wordt op een adequate manier duidelijk gemaakt waarom het essay geschreven is. 2b. In hoeverre vind je het onderwerp en heldere vraagstelling (eventueel uitgewerkt in hypothesen) helder neergezet. 2c. In hoeverre is de vraagstelling in wetenschappelijke en maatschappelijke debat neergezet. 2d. In hoeverre passen de vraagstelling en de Inleiding bij elkaar. 3. Literatuurverwerking 3a. Wat vind je van de omvang en keuze van de literatuur. 3b. Wat vind je van de samenhang tussen de verschillende onderzoeken uit de literatuur. 3c. In hoeverre is de literatuur kritisch verwerkt. 4. Behandeling onderwerp 4a. Wat vind je van de onderverdeling van het onderwerp in deelonderwerpen. 4b. Zijn de begrippen goed en consequent gebruikt. Geef tips. 4c. Wat vind je van subconclusies en terugkoppeling naar het hoofdonderwerp. 5. Conclusie en discussie 5a. Wat vind je van de beantwoording van de vraagstelling. 5b. Zijn de subconclusies goed verwerkt. Geef tips. 5c. Wat vind je van de discussiepunten naar aanleiding van conclusie. Geef ook aan of er discussiepunten ontbreken.
6. Wetenschappelijk schrijven 6a. Wat vind je van de bronvermelding, citeren en parafraseren (in eigen woorden weergeven van werk van anderen). 6b. In hoeverre is het essay een lopend betoog. 6c. Wat vind je van de structuur en opbouw van de tekst 6d. Wat vind je van het taalgebruik en de schrijfstijl 7. Creativiteit 7a. In hoeverre is het essay (op bepaalde punten) origineel te noemen?
Ruimte voor een kort geschreven oordeel
Beoordeling essay/paper/literatuurverslag
1
Peer Review vragen essay 1. Samenvatting De samenvatting moet los van het verslag te begrijpen zijn, de vraagstelling moet genoemd worden en het moet een goede weergave van het paper zijn. Geef in minimaal 50 woorden aan wat je goed aan de samenvatting vindt en geef tips. (=41 woorden) 2. Inleiden en afbakenen van het probleem De inleiding moet een aantal onderdelen bevatten (zie Burton). Deze onderdelen moeten in een goed lopende tekst aannemelijk maken waar het onderzoek over gaat en waarom het gedaan werd. Geef in minimaal 50 woorden aan wat je goed aan de inleiding vindt en geef tips. (=45 woorden) 3. Literatuurverwerking Bij de verwerking van de literatuur is het belangrijk dat de keuze adequaat en van goede kwaliteit is, dat de samenhang tussen de verschillende onderzoeken duidelijk is en dat de literatuur kritisch verwerkt is. Geef in minimaal 50 woorden aan wat je goed aan de literatuurverwerking vindt en geef tips. (=50 woorden) 4. Behandeling onderwerp De onderzoeksvraag bevat meestal een aantal deelonderwerpen die moeten leiden tot het antwoord op de vraagstelling en de begrippen moeten goed en consequent gebruikt worden. Geef in minimaal 50 woorden weer hoe je het onderzoeksonderwerp vindt aangepakt en neergezet: wat vind je goed en geef tips. (=46 woorden) 5. Conclusie In de conclusie moeten de subconclusies goed verwerkt zijn zodat het tot een adequaat antwoord op de vraagstelling leidt. Bovendien moet de conclusie goed op de vraagstelling aansluiten. Geef in minimaal 50 woorden weer wat je goed aan de conclusie vindt en geef tips. (=44 woorden) 6. Discussie De Discussie moet discussiepunten bevatten waarin de kritiek die op de literatuur gegeven is in een breder kader wordt gezet (nu niet per onderzoek maar meer in het algemeen) (zie Burton). Geef in minimaal 50 woorden weer wat je goed aan de discussie vindt en geef tips. (=47 woorden) 7. Afsluiting Het essay moet afsluiten met een goede conclusie waarin de vraagstelling beantwoord wordt, eventueel met wat laatste kanttekeningen. Helemaal mooi is een ‘rondgeschreven’ essay waarbij het onderwerp uit de eerste alinea terug komt. Geef in minimaal 50 woorden weer wat je goed aan de afsluiting vindt en geef tips. (=49 woorden) 8. Wetenschappelijk schrijven Geef in 50 woorden je eindconclusie over de manier waarop het essay geschreven is. Let daarbij op de structuur en opbouw van de tekst en het taalgebruik en de schrijfstijl. Loopt de tekst goed, zijn de keuzes goed gemaakt, is het logisch en consistent en leest het prettig. (=48 woorden) 9. Creativiteit Wetenschappelijk werk vereist creativiteit. De keuze van onderwerp, de manier waarop het onderwerp is aangepakt en de originaliteit van discussiepunten en conclusies kan een essay echt goed en verassend maken. Geef in 50 woorden weer wat dit essay echt creatief maakt of wat zou het creatief gemaakt hebben? (=48 woorden)
Beoordeling essay/paper/literatuurverslag
1
