Peefeedback in Hoger Bètaonderwijs Karen M. van Meeteren,

Faculteit der Natuurwetenschappen, Wiskunde en Informatica Bachelor Bio-exact

Peefeedback in Hoger Bètaonderwijs Karen M. van Meeteren, 5619416

Bachelorproject Bio-exact Verantwoordelijk docent en begeleider: Dr. N.Brouwer Onafhankelijk beoordelaar: Dr. W.H.Kaper

Amsterdam, 17-08-2010

Summary In beta research, review between peers (colleagues in the same area of interest) is commonly used to check papers that will be published in science journals. In higher education this is called peer feedback in which students assess each other’s reports or presentations. In this research we looked at how many lecturers actually use peer feedback in their education, what the quality is of the peer feedback, how serious students take peer feedback, what they actually do with the received peer feedback and if there is any effect on their study success and behavior. In higher education peer feedback is used in 12.1 percent of the courses, 11.9 percent in the bachelor courses and in 12.3 percent of the master courses. The lecturers use peer feedback to improve the learning effect for students. The quality of peer feedback can be enlarged, the time students use on average, 26.3 minutes, should be enough to give good peer feedback but the peer feedback is not argued enough and they could do more about encouraging their fellow students and give them suggestions on how to improve the reports. Peer feedback could be taken more seriously by students, they use only about half of the list of criteria to give feedback. The influence of peer feedback on handing in the reports in time has not been proved, it looks like lecturers do have more influence on that. Also, peer feedback does not seem to have much influence on the grades students get. Students did use peer feedback a little by improving their reports which can be called an effect on study behavior. And 43 out of 63 students said that peer feedback motivated them to do their best more on their own report.

Samenvatting Wetenschappelijke tijdschriften gebruiken bij het bepalen of een artikel wordt gepubliceerd een proces dat peer review wordt genoemd. Hierbij controleren collega’s uit hetzelfde vakgebied de artikelen op correctheid van de inhoud. In het hoger onderwijs gebeurt hetzelfde onder de naam peerfeedback, studenten kijken het werk van elkaar na. In dit onderzoek is gekeken naar hoeveel docenten peerfeedback daadwerkelijk gebruiken in hun onderwijs, wat de kwaliteit van peerfeedback is, hoe serieus de studenten peerfeedback nemen, wat ze er uiteindelijk mee doen en wat het effect is op het studiegedrag en de cijfers van studenten. In het onderwijs wordt er in 12,1 procent van de vakken peerfeedback gebruikt. In 11,9 procent van de bachelorcursussen en in 12,3 procent van de mastercursussen. De docenten gebruiken peerfeedback om het leereffect van het onderwijs te vergroten voor de studenten. De kwaliteit van de peerfeedback kan verbeterd worden, de tijd die studenten er gemiddeld voor gebruiken, 26,3 minuten zou genoeg moeten zijn maar de studenten onderbouwen hun feedback niet genoeg en zouden meer kunnen kijken naar hoe ze hun medestudent kunnen helpen door ze aan te moedigen en suggesties voor verbetering aan te dragen. Heel serieus wordt peerfeedback niet genomen door studenten, gemiddeld wordt maar de helft van de lijst met criteria om een verslag na te kijken gebruikt De invloed van peerfeedback op het op tijd inleveren van verslagen is niet bewezen, het lijkt erop dat docenten hier veel meer invloed op hebben. Ook lijkt peerfeedback geen directe invloed te

-2 -

hebben op de cijfers die studenten halen wel gebruikten de studenten de peerfeedback deels bij de verbetering van hun verslag wat wel een effect is op hun studiegedrag. En 43 van de 63 studenten vond dat peerfeedback hun motiveerde om beter hun best te doen op hun eigen verslag.

Populaire samenvatting In de wetenschap worden er artikelen gepubliceerd in tijdschriften zodat iedereen kan lezen wat voor nieuwe ontdekkingen er zijn gedaan. Om te controleren of de claims die de onderzoekers doen wel waar zijn, lezen andere onderzoekers de artikelen grondig door en controleren ze deze op fouten, dit wordt peer review genoemd. Omdat het niet heel makkelijk is om goede feedback te geven op een artikel wordt peer review al gebruikt tijdens de colleges op de universiteit, dan wordt het peerfeedback genoemd. Omdat peerfeedback op de best mogelijke manier geoefend moet worden, wordt er onderzoek naar gedaan. Vragen die hiervoor beantwoord moeten worden zijn: Hoeveel docenten gebruiken peerfeedback in hun onderwijs? Hoe goed is de feedback nu die de studenten elkaar geven? Hoe serieus gaan studenten om met peerfeedback? Wat voor invloed heeft peerfeedback op hun cijfers? en Gebruiken ze de peerfeedback ook echt om van te leren? In dit onderzoek is geprobeerd een antwoord te geven op deze vragen. In ongeveer twaalf procent van alle vakken wordt gebruik gemaakt van peerfeedback. De tijd die studenten gebruiken voor het geven van peerfeedback is goed maar veel studenten zouden nu nog kunnen leren wat voor opmerkingen ze het beste kunnen maken in hun feedback om nog betere feedback te geven. Het is niet bewezen dat studenten hogere cijfers halen omdat ze peerfeedback krijgen maar de peerfeedback wordt wel door studenten gebruikt om de geschreven verslagen te verbeteren en meer dan de helft zegt dat peerfeedback hun motiveert om beter hun best te doen op hun eigen verslag.

-3 -

Inhoudsopgave

Introductie Onderzoeksvragen Uitleg van de twee onderzochte cases Case 1: Literatuurwerkgroep Scheikunde (LW) Case 2: Practica, Statistiek, Experimental Design, Academische Vaardigheden (PSEDAV) Methoden Resultaten 1 Gebruik van peerfeedback op de Faculteit Natuurwetenschappen, Wiskunde en Informatica (FNWI) op de Universiteit van Amsterdam (UvA) 2 Waarom gebruiken docenten peerfeedback in hun onderwijs 2.1 Interview Literatuur Werkgroep Scheikunde (LW) 2.2 Interview Practica, Statistiek, Experimental Design, Academische Vaardigheden (PSEDAV) 3 Kwaliteit van peerfeedback 3.1 Soorten peerfeedback (PSEDAV) 3.2 Gebruik van criteria door studenten (LW & PSEDAV) 3.3 Waarheid van de gegeven peerfeedback (LW & PSEDAV) 3.4 Gebruik van peerfeedback in 2e versie thesis (LW) 4 Studiesucces 4.1 Cijfervergelijking tussen 2010, 2009, 2008 en 2007 (LW) 4.2 Cijfervergelijking tussen studenten en docenten (LW & PSEDAV) 4.3 Cijfervergelijking tussen eerste verslag en tweede en derde verslag (PSEDAV) 4.4 Behalen van deadlines (PSEDAV) 5 Enquête studenten 5.1 Kwaliteit van feedback 5.2 Serieusheid van studenten met betrekking tot peerfeedback 5.3 Gebruik van peerfeedback 5.4 Studiegedrag 5.5 Enquêtevragen Discussie en conclusies Aanbevelingen voor docenten en verder onderzoek Referenties Bijlages 1 E-mail aan alle docenten van de Faculteit Natuurwetenschappen, Wiskunde en Informatica (FNWI) van de Universiteit van Amsterdam (UvA) 2 Herinneringse-mail aan alle docenten van het FNWI aan de UvA 3 Beschrijving van het vak Literatuur Werkgroep Scheikunde (LW) 4 Criteria voor peerfeedback Literatuur Werkgroep Scheikunde (LW) 5 Beschrijving van het vak Practica, Statistiek, Experimental Design, Academische Vaardigheden (PSEDAV) 6 Beschrijving van de opdracht bij het vak Practica, Statistiek, Experimental

6 7 7 8 9 12 15 15 16 16 17 17 17 18 20 21 22 23 23 24 26 28 31 32 33 33 35 41 45 46 47 48 50 52 54 55

-4 -

Design, Academische Vaardigheden (PSEDAV) 7 Criteria voor peerfeedback bij het vak Practica, Statistiek, Experimental Design, Academische Vaardigheden (PSEDAV) 8 Interview met docent van de cursus Literatuur Werkgroep Scheikunde (LW) 9 Interview met docent van het vak Practica, Statistiek, Experimental Design, Academische Vaardigheden (PSEDAV) 10 Studenten enquête 11 Voorbeelden van peerfeedback van twee studenten van het vak Practica, Statistiek, Experimental Design, Academische Vaardigheden (PSEDAV) 12 Antwoorden op enquête studenten in tabel

57 58 60 61 62 65 70

-5 -

Introductie Wetenschappelijke tijdschriften gebruiken bij het bepalen of een artikel wordt gepubliceerd een proces dat peer review wordt genoemd. Hierbij controleren collega’s uit hetzelfde vakgebied de artikelen na op de correctheid van de inhoud. Hetzelfde proces wordt ook gebruikt in het onderwijs. Studenten kijken elkaars verslagen na en beoordelen de presentaties van hun medestudenten. Dit wordt in het onderwijs peerfeedback genoemd. Door peerfeedback leren studenten al in een vroeg stadium om feedback te geven en te ontvangen. Het succes van peerfeedback is grotendeels afhankelijk van hoe de docent ermee omgaat en het verwerkt in de colleges.(Ploegh, Tillema & Segers, 2009) De peerfeedback wordt tijdens de colleges op een gestructureerde manier door de docent begeleidt. Studenten krijgen lijsten met criteria waarop ze de verslagen van elkaar moeten controleren en beoordelen. Het geven van peerfeedback kan verschillende vaardigheden van studenten verbeteren waaronder het structureren van hun werk en het zelfstandig leren (Vickerman, 2009), ook leren de studenten beter op zichzelf te reflecteren door feedback te geven. (Topping, 1996) Door peerfeedback voelen studenten zich meer verbonden met het onderwerp. (Vickerman, 2009) Door peerfeedback kan er ook een eerlijker oordeel van de verslagen worden gegeven doordat de docent een beter inzicht kan krijgen in hoe studenten denken. (Topping, 1998) Ook kan peerfeedback ervoor zorgen dat de verslagen maar ook onderzoeksvoorstellen beter uitvoerbaar en geschikter worden, dit vooral vanuit het perspectief van experts. Ook wordt men creatiever in het bedenken van oplossing door peerfeedback. (Chen & Tsai, 2009) De manier waarop studenten feedback geven en de kwaliteit hiervan is belangrijk met betrekking tot hoeveel een student daadwerkelijk leert van de feedback. (Davies, 2000) Volgens Tseng en Tsai (2007) is peerfeedback waarin verbeteringen, bemoedigende woorden en vriendelijke su ggesties worden gedaan het meest effectief met betrekking tot het verbeteren van het verslag. Om peerfeedback nog meer te verbeteren kan dit anoniem via internet gedaan worden volgens Magin (2001). Dit omdat als studenten weten wie ze beoordelen er een neiging kan ontstaan deze persoon beter of slechter te beoordelen naar aanleiding van de relatie die ze tot elkaar hebben. Volgens Chen en Tsai (2000) zijn de cijfers die studenten aan elkaar geven tijdens het peerfeedbackproces consistent met de cijfers die docenten geven. Dit betekend dat de cijfers van de twee groepen praktisch gelijk aan elkaar moeten zijn. De relatie tussen de docentencijfers en de studentencijfers is wel afhankelijk van de opbouw van peerfeedback in de cursus, het onderwerp van de cursus en op welk niveau de cursus is. (Falchikov & Goldfinch, 2000) Falchikov en Goldfinch (2000) merkten in hun artikel op dat peerfeedback een globale trend begint te worden, het wordt steeds vaker gebruikt in het onderwijs en steeds meer docenten horen ervan en gaan het gebruiken. Maar in hoeverre dit gebeurd is nog onduidelijk. In dit onderzoek is geprobeerd daar een licht op te werpen. Aan alle docenten aan de Faculteit der Natuurwetenschappen, Wiskunde en Informatica (FNWI), onderdeel van de UvA, is gevraagd of ze gebruik maken van peerfeedback en hoe ze dat precies toepassen in hun cursussen. Ook is er gekeken naar hoeveel procent daarvan in de bachelors is en hoeveel in de masters. Twee cursussen zijn gekozen om dieper te onderzoeken, Literatuur Werkgroep (LW) en Practica, Statistiek, Experimental Design, Academische Vaardigheden (PSEDAV). Respectievelijk een derdejaars scheikundevak en een tweedejaars psychobiologievak. Deze vakken zijn gekozen om-

-6 -

dat beide docenten gebruik maakten van gestructureerde feedback met criteria waaraan de verslagen moesten voldoen. Vragen die opkwamen zijn: waarom gebruiken deze twee docenten peer feedback in hun colleges? Gebruiken ze het als tool om hun colleges op te leuken en op een voor hun mogelijk makkelijkere manier de cijfers te bepalen of gebruiken ze het om het leereffect te vergroten en om de studenten te leren hoe ze feedback moeten geven en ontvangen. Het eerste is in de twee cases uit dit onderzoek niet het geval maar mogelijk is dit wel zo in andere cursussen. In eerder onderzoek (Liu & Carless, 2006) was er maar één docent uit een hele groep die peerfeedback zag als meer dan een tool om cijfers te bepalen. Twee anderen vragen zijn: is de kwaliteit van de feedback die studenten aan elkaar geven wel goed en hoe serieus zijn studenten daadwerkelijk bij het geven van feedback aan elkaar. Deze twee vragen zijn met elkaar verbonden, hoe serieuzer de studenten de peerfeedback geven hoe hoger de kwaliteit daarvan wordt is de verwachting. Door ervaring met peerfeedback, blijkt uit eerder onderzoek, wordt de houding van studenten positief beïnvloed (Zundert, Sluijsmans, Merriënboer, 2010) en zullen ze peerfeedback serieuzer nemen. De studenten uit dit onderzoek hebben nog maar weinig ervaring met peerfeedback en naar verwachting zullen ze het niet al te serieus nemen. De volgende onderzoeksvraag is of peerfeedback enige invloed heeft op de cijfers die studenten halen voor hun verslagen. Verwacht wordt dat studenten hogere cijfers halen voor de tweede versie van het verslag en ook voor volgende verslagen omdat ze van de peerfeedback leren hoe ze een beter verslag kunnen schrijven. Wanneer er grote verschillen zijn tussen de cijfers die studenten aan elkaar geven en cijfers die docenten geven, waarbij de peercijfers veel hoger zijn, wordt er aangenomen dat studenten niet al te serieus peerfeedback hebben gegeven en hun medestudenten hogere cijfers geven omdat ze bevriend zijn met elkaar. Ook wordt verwacht dat het studiegedrag van studenten veranderd, omdat hun medestudenten afhankelijk van ze zijn voor het geven van feedback leveren de studenten hun verslagen vaker op tijd in. Het is moeilijk om een eenduidig antwoord te geven op deze vragen aangezien studenten onderling erg van elkaar verschillen en peerfeedback op ieder een ander effect heeft (Vickerman, 2009) maar in dit onderzoek is toch geprobeerd een sluier op te lichten van het peerfeedbackproces.

Onderzoeksvragen Hoeveel procent van de docenten gebruikt peerfeedback in het onderwijs en hoeveel daarvan is in de bachelors en hoeveel in de masters? Waarom gebruiken docenten peerfeedback in hun colleges? Is de kwaliteit van de feedback die studenten elkaar geven goed? Hoe serieus gaan de studenten om met peerfeedback geven en ontvangen? Heeft peerfeedback invloed op de cijfers die studenten halen?

Uitleg van de twee onderzochte cases Om de kwaliteit van peerfeedback en de ervaringen van studenten en docenten te bepalen zijn er twee vakken die aan de Faculteit Natuurwetenschappen, Wiskunde en Informatica (FNWI) worden gegeven, gekozen waarin gebruik wordt gemaakt van peerfeedback.

-7 -

Case 1: Literatuurwerkgroep Scheikunde (LW), 3ejaars bachelorvak, 16 studenten Onderwijs setting Gebaseerd op een recentelijk gepubliceerd artikel uit een hoog aangeschreven wetenschappelijk tijdschrift (i.e. Science) schrijven de studenten in koppels een literatuurthesis. Naar aanleiding van dat ene artikel bedenken de studenten een onderzoeksvraag en zoeken relevante literatuur op over hetzelfde onderwerp waarmee ze de onderzoeksvraag proberen te beantwoorden. Een docent/onderzoeker uit het veld van het onderzoeksonderwerp begeleidt de studenten tijdens het schrijven van de thesis. In bijlage 3 en op http://studiegids.uva.nl/web/uva/sgs/nl/c/6485.html kan de hele beschrijving van deze cursus gevonden worden. De cursus is opgebouwd rond het schema dat in tabel 1 te vinden is. Maandag 4 januari

Eerste bijeenkomt, uitleg van de opdracht

Donderdag 14 januari

Deadline eerste versie van de thesis

Vrijdag 15 januari

Via blackboard feedback tool peer feedback geven op twee theses Deadline tweede versie van thesis

Dinsdag 19 januari

Tabel 1: Schema Literatuurwerkgroep. In deze tabel staat het schema zoals Literatuurwerkgroep er in het jaar 2010 uitzag

In deze cursus gaven studenten peerfeedback op de conceptversies van de theses over een literatuuronderzoek. Hiervoor is gebruik gemaakt van de Blackboard versie 8, zelf- en peerassessment tool. Het programma deelde automatisch elke student twee theses toe om feedback over te geven. Het proces was niet anoniem – de beoordelaar kom zien wie het verslag hadden geschreven en de auteurs konden zien van wie ze de eedback hadden ontvangen. Voor elk criterium in de lijst voor peerfeedback (zie bijlage 4) konden de studenten maximaal twee punten toekennen met in totaal een maximum van veertien punten verdeeld over zeven criteria. Peerfeedback opdracht Question: Upload je eigen scriptie (conceptversie) en geef vervolgens in de evaluatieperiode op 15 januari feedback over twee scripties. Criteria 1 Beoordeel de kwaliteit van de vraagstelling van deze scriptie. - Waar is de onderzoeksvraag te vinden? (op welke pagina, in welke alinea) - Hoe concreet is deze geformuleerd? - Brengt deze het doel van het onderzoek naar voren? - Is de onderzoeksvraag neutraal gesteld? Is de vraag enkelvoudig gesteld? - Is er een toelichting op de vraag gegeven? Criteria 2 Geeft de scriptie antwoord op de onderzoeksvraag? Waar vind je deze? Criteria 3 Becommentarieer / beoordeel de tekstopbouw en de stijl van de scriptie. Lees de scriptie en kies als voorbeeld twee typische alinea's (een in de inleiding en een in het discussiegedeelte)en geef zo concreet mogelijk het commentaar over de volgende punten:

-8 -

- Hoe duidelijk is de tekst? - Hoe scherp en hoe zakelijk is de tekst (overbodige woorden)? - Zijn in de tekst betekenisloze frasen? - Is er een passende relatie tussen de kernzin en andere zinnen in de alinea (geven de zinnen voorbeelden of argumenten of tegenstellingen van de kernzin) Criteria 4 Kijk naar de alinea's die aansluiten op een tabel of op een schema. Hoe precies wordt in de tekst naar gegevens in het schema of in de tabel verwezen? Criteria 5 Wordt in de tekst adequaat naar de literatuur verwezen? Geef eventuele fouten aan. Criteria 6 Is er een toekomstperspectief over het onderzoek in de scriptie gegeven? Wat vind je ervan? Is het overtuigend geschreven? Criteria 7 Slaan de conclusies terug op het doel (onderzoeksvraag) in de inleiding?.

Case 2: Practica, Statistiek, Experimental Design, Academische Vaardigheden (PSEDAV), 2ejaars bachelorvak psychobiologie, 83 studenten Onderwijs setting Het vak PSEDAV bestaat uit meerdere practica verdeeld over het gehele studiejaar. De groep van 83 studenten is verdeeld over vier groepen, A, B, C en D die onder begeleiding staan van verschillende practicumassistenten. Het eerste practicum gaat over leren en geheugen. De studenten bedenken en doen in twee- of drietallen een onderzoek met betrekking hierop en schrijven daar een verslag over. Daarna kijken twee of drie studenten dit verslag na en geven peerfeedback. Dit gebeurt via de Blackboard Discussion Tool, hier leveren de studenten hun verslagen en feedback in. De studenten kunnen zelf in blackboard de verslagen die ze feedback geven kiezen met als enige bindende beperking het feit dat ze alleen verslagen mogen kiezen die niet al twee keer feedback hebben gehad. Hierdoor is het proces niet anoniem en voor een groot deel afhankelijk van wie welke verslagen kiest. Op de website http://studiegids.uva.nl/web/uva/2009_2010/nl/c/9532.html en in bijlage 5 kan de volledige beschrijving van de cursus gevonden worden. Peerfeedback opdracht

Module 1:Practicum Leren en Geheugen - Inhoud practicum: In het Leren en Geheugen practicum zal bekeken worden hoe het geheugen werkt. Hoe slaan we informatie op en hoe kunnen we het terugroepen? Aan de hand van een computerpracticum zullen verschillende geheugenmodellen worden getest. Naast een demonstratie van de mogelijkheden van het gebruikte computerprogramma, is het vooral de bedoeling om zelf experimenten te bedenken aan de hand van een toetsbare hypothese. Hoe kun je een proef goed laten verlopen en laten uitvoeren door proefpersonen? Hoe verwerk je de data van een zelf opgezet experiment? Dit practicum is bedoeld deze vaardigheden te oefenen. Het programma

-9 -

‘Learning and Memory’ is speciaal ontworpen om cognitieve proeven na te bootsen en eigen proeven te bedenken. Door proeven na te bootsen vindt je de weg door het programma en kom je erachter wat de mogelijkheden zijn. Een aantal taken die sowieso uitvoerbaar zijn, staan in de handleiding beschreven. De proef zal ongeveer een week zelf experimenteren inhouden, en het schrijven van het verslag zal eveneens een week in beslag nemen. Let wel, naast de colleges die gegeven worden in de cursus Leren en Geheugen. - Werkwijze: Lees eerst de handleiding van het Leren en Geheugen Practicum goed door, zodat je een beeld hebt van de opzet van de proef. Het is de bedoeling dat je de experimenten samen met een andere student uit jouw groep uitvoert, en er samen een verslag over schrijft. - Beoordeling en feedback: In dit practicum komen verschillende vaardigheden aan de orde, die deels voor elke student en deels voor elk groepje zullen worden getoetst. Alle vaardigheden nemen in totaal 10 punten in beslag, en het aantal punten staat bij elke vaardigheid aangegeven. Het practicum is pas geheel afgerond, als alle vaardigheden zijn uitgevoerd. In dat geval wordt er een cijfer vastgesteld, dat een onderdeel vormt van het eindcijfer van de gehele module. Zowel deelcijfer als eindcijfer dienen voldoende te zijn. Het is mogelijk om vaardigheden waarop onvoldoende wordt gescoord, in latere practica van de module te verbeteren. De beoordeling vindt plaats op basis van de feedback van de assistent naar de student via Blackboard (zie My Grades). Daarnaast zal het practicumverslag ook door andere studenten van feedback worden voorzien (zie Discussion group). Alle activiteiten kunnen gevolgd worden in Blackboard My Grades dat gedurende de hele module zal worden bijgehouden. Peerfeedback criteria Verslag Practicum Leren en Geheugen: Onderdeel Titel (1 punt)

letten op sleutelwoorden duidelijk volledig

Samenvatting (2 punten)

lengte probeemgebied vraagstelling onderzoeksopzet bevindingen conclusie

Inleiding (3 punten)

probleemgebied vraagstelling hypothese en alternatief experimentele benadering voorspelling literatuur trechter model samenhangend geheel

- 10 -

Methoden (5 punten)

proefopzet *geteste groepen *behandeling .*variabelen Procedure *handelingen *niveau van details Analyse * maat voor prestatie *statistiek

Resultaten (5 punten)

Onderzoeksobjecten Hoofdresultaat deelresultaat getallen (gemiddelden etc)

Tabellen en grafieken

Overzichtelijkheid Legenda info op assen boven-onderschrift voldoende voor alle resultaten

Discussie (3 punten)

resultaten op hypotheseniveau kritische kijk methode alternatieve verklaringen terugkoppeling naar literatuur terugkoppeling naar theorie terugkoppeling probleemgebied suggesties voor vervolg / verbetering afsluiting conclusie

Literatuurlijst (1 punt)

aanwezig aantal artikelen opmaak

Algemeen (5 punten)

Opbouw volledigheid Zuinigheid formulering spelling

- 11 -

Orginaliteit Inzet deadline gehaald? Totaal (25+2 punten) Cijfer=totaal/2,7

Methoden Gebruik van peerfeedback op de Faculteit Natuurwetenschappen, Wiskunde en Informatica (FNWI) van de Universiteit van Amsterdam (UvA) Het gebruik van peerfeedback door docenten aan het FNWI wordt gemeten door een enquête. Een aantal vragen zijn via e-mail opgestuurd naar alle docenten (447 in totaal) aan het FNWI. De enquête bevat de volgende drie vragen: Vak: Peer feedback: ja/nee Zo ja, kunt u kort omschrijven op welke manier u het gebruikt (denk aan: online of op papier, hoe vaak krijgen de studenten feedback van elkaar, anoniem of niet, geven ze elkaar cijfers): Mocht het nodig zijn, zou ik dan contact met u kunnen opnemen voor een aantal aanvullende vragen: ja/nee (voor de volledige e-mail zie bijlage 1) Om de respons te verhogen werd er een tweede e-mail verstuurd naar alle docenten die na een aantal weken (ongeveer drie) nog niet gereageerd hadden. De vragen in deze e-mail waren hetzelfde de context iets anders (zie bijlage 2). De respons in uitgewerkt per cursus en per programma (bachelor (Ba) of master (Ma)). Kwaliteit van de peerfeedback In de Literatuur Werkgroep (LW) cursus en de Practica, Statistiek, Experimental Design, Academische Vaardigheden (PSEDAV) zijn er lijsten met criteria gegeven die het peerfeedbackproces van de studenten moeten begeleiden. Om de kwaliteit van de feedback te bepalen wordt er gebruik gemaakt van een kwantitatieve benadering waarbij de hoeveelheid punten die de studenten hebben gebruikt een maat is voor de kwaliteit. Hoe meer punten ze gebruikt hebben hoe serieuzer de studenten peerfeedback hebben gegeven. In een willekeurig gekozen groep verslagen uit de cursus PSEDAV wordt de feedback geanalyseerd door de feedback te vergelijken met de verslagen en te kijken in hoeverre de feedback klopt. Hiermee kan gekeken worden of het commentaar dat de studenten hebben gegeven serieus en onderbouwd is.

- 12 -

Een aantal verslagen van LW worden gelezen om de eerste versie met de tweede versie te vergelijken en te kijken in hoeverre de gekregen feedback gebruikt is in de tweede versie. Ermee rekening houdend dat een deel van de commentaren een kwestie van smaak zijn. Hiermee kan gek eken worden wat studenten ook daadwerkelijk doen met de ontvangen feedback, hoe serieus ze ermee omgaan en of ze de aangedragen verbeteringen ook echt gebruiken om hun thesis te verbeteren. Studiesucces – Cijfervergelijking Om te kijken of peerfeedback enige invloed heeft op de cijfers die studenten halen voor hun theses wordt er een vergelijking gemaakt tussen de cijfers uit het jaar 2010 en de cijfers uit de jaren, 2007, 2008 en 2009. De cijfers die studenten van LW na twee weken hebben gegeven aan hun medestudenten worden vergeleken met de cijfers die de docenten aan het einde van het vak gaven voor de theses. Dit is een maat voor hoeveel de theses verbeterd zijn naar aanleiding van de feedback maar ook voor hoe serieus de studenten de cijfers hebben gegeven. De cijfers voor de eerste verslagen waarbij peerfeedback is gegeven bij PSEDAV worden vergeleken met de cijfers voor het tweede en derde verslag dat de studenten hebben geschreven. Studiesucces Om de invloed van peerfeedback te bepalen op het halen van deadlines wordt er gekeken naar wanneer de verslagen ingeleverd zijn en hoeveel dagen voor of na de deadline dit was. Om de motivatie voor het gebruik van peerfeedback in het onderwijs van de docenten te meten worden beide docenten van de vakken LW en PSEDAV geïnterviewd. Om de perceptie van de studenten te meten krijgen alle studenten een enquête in te vullen over wat ze doen met de peerfeedback, hoe serieus ze de taak van controleur nemen, wat ze denken over de kwaliteit van de peerfeedback en wat ze denken van de invloed ervan op hun cijfers en hun studiegedrag. De vragenlijst bestaat uit de volgende 23 vragen en stellingen: 1. Hoeveel tijd heb je besteed aan het geven van peerfeedback bij module 1 (Leren&Geheugen) per verslag? 2. Ik deed mijn best om mijn medestudent van goede feedback te voorzien. 3. Als ik het verslag van een vriend van mij nakijk dan geef ik deze een hoger cijfer dan als het geen vriend van me is. 4. Voor hoeveel procent ben je het eens met de gekregen peerfeedback? 5. De feedback die ik krijg van een student verwerk ik in mijn verslag zonder te kijken of ik het ermee eens ben. (In het geval dat je deze feedback nog had kunnen verwerken in je verslag) 6. De feedback die ik heb gegeven is nuttig. 7. Voor de peerfeedback is een Blackboard tool Discussion board gebruikt. Ik vind dat deze tool geschikt was voor het geven van feedback. 8. Het geven van peerfeedback motiveerde mij om beter mijn best te doen op mijn eigen verslag. 9. Ik heb alle gekregen peerfeedback goed doorgelezen. 10. De peerfeedback die ik heb gekregen op mijn verslag was nuttig. 11. Ik zou meer vrijheid willen bij het geven van feedback (met minder of geen criteria). - 13 -

12. Ik ontvang het liefst feedback van: (meerdere opties mogelijk) 13. De feedback die ik krijg van een assistent verwerk ik in mijn verslag zonder te kijken of ik het ermee eens ben. (In het geval dat je deze nog had kunnen verwerken in je verslag) 14. Deed je, doordat je wist dat je van medestudenten feedback ging krijgen, beter je best op je verslag? 15. Licht je antwoord op de vorige vraag toe. 16. Ik denk dat de student waaraan ik feedback heb gegeven mijn feedback nuttig vond. 17. Bij het geven van feedback leer ik hoe ik zelf een beter verslag kan schrijven. 18. Ik vond het jammer dat ik de gekregen feedback van mijn medestudenten niet meer in mijn verslag kon verwerken. 19. Ik vond de manier waarop de feedback was gestructureerd (lijst met punten waarop je moest letten in Excel) handig. 20. De feedback die ik aan het eind van de opdracht van de assistent heb ontvangen was nuttig. 21. Ik vond het jammer dat ik de gekregen feedback van de assistent niet meer in mijn verslag kon verwerken. 22. Ik heb mijn verslag op tijd (voor het moment van de deadline) ingeleverd. 23. Tot slot nog ruimte om opmerkingen te plaatsen die in de vragen niet aan bod zijn gekomen maar naar jouw mening wel belangrijk zijn met betrekking tot peerfeedback. Deze vragen en stellingen worden vervolgens geclusterd in groepen die gezamenlijk antwoord geven op dezelfde onderzoeksvraag. Wat is de kwaliteit van de peerfeedback: 1. Ik deed mijn best om mijn medestudent van goede feedback te voorzien. 2. Als ik het verslag van een vriend van mij nakijk dan geef ik deze een hoger cijfer dan als het geen vriend van me is. 3. Hoeveel procent ben je het eens met de gekregen peerfeedback? 4. De feedback die ik heb gegeven is nuttig. 5. De peerfeedback die ik heb gekregen op mijn verslag was nuttig. 6. Ik denk dat de student aan wie ik feedback heb gegeven mijn feedback nuttig vond. Hoe serieus nemen studenten het geven en ontvangen van peerfeedback? 1. Ik deed mijn best om mijn medestudent van goede feedback te voorzien. 2. Als ik het verslag van een vriend van mij nakijk dan geef ik deze een hoger cijfer dan als het geen vriend van me is. 3. De feedback die ik heb gegeven is nuttig. 4. Ik heb alle gekregen peerfeedback goed doorgelezen. 5. De peerfeedback die ik heb gekregen op mijn verslag was nuttig. 6. Ik denk dat de student aan wie ik feedback heb gegeven mijn feedback nuttig vond. 7. Ik vond het jammer dat ik de gekregen feedback van mijn medestudenten niet meer in mijn verslag kon verwerken. Wat doen studenten met de ontvangen peerfeedback? 1. Ik deed mijn best om mijn medestudent van goede feedback te voorzien. 2. Als ik het verslag van een vriend van mij nakijk dan geef ik deze een hoger cijfer dan als het geen vriend van me is. 3. De feedback die ik heb gegeven is nuttig. - 14 -

4. 5. 6. 7.

Ik heb alle gekregen peerfeedback goed doorgelezen. De peerfeedback die ik heb gekregen op mijn verslag was nuttig. Ik denk dat de student aan wie ik feedback heb gegeven mijn feedback nuttig vond. Ik vond het jammer dat ik de gekregen feedback van mijn medestudenten niet meer in mijn verslag kon verwerken.

Wat is het effect van peerfeedback op het studiegedrag van studenten? 1. Bij het geven van feedback leer ik hoe ik zelf een beter verslag kan schrijven. 2. Deed je, doordat je wist dat je van medestudenten feedback ging krijgen, beter je best op je verslag?

Resultaten 1 – Gebruik van peerfeedback op de Faculteit Natuurwetenschappen, Wiskunde en Informatica (FNWI) op de Universiteit van Amsterdam (UvA) Om te weten in hoeverre peerfeedback gebruikt wordt in het onderwijs is er aan alle docenten aan het FNWI gevraagd of ze peerfeedback gebruiken en zo ja, op welke manier.

Totale respons 43,5% van de docenten, 55% van de cursussen, 63% van de cursussen in Ba and 52% in Ma Peerfeedback 4,5% van de docenten, in 12,1% van alle cursussen, in 11,9% van de cursussen in Ba en 12,3% in Ma Tabel 2: Percentages

Van de 447 geregistreerde docenten van de Faculteit Natuurwetenschappen, Wiskunde en Informatica (FNWI) hebben er 195 gereageerd op de e-mail. Dit betekend een respons van 43,5 procent. Deze 43,5 procent van de docenten omvatten 55 procent van de cursussen die aan de faculteit worden gedoceerd. Dit zijn 373 van de 640 cursussen (zie tabel 2). Van de cursussen waarop gereageerd is wordt er bij 83,9 procent geen peerfeedback gebruikt en bij 12,1 procent wel. In 4,0 procent van de cursussen wordt er soms gebruik gemaakt van peerfeedback. (zie figuur 1 en tabel 3) Dit betekent dat of docenten zelf zeiden dat ze het soms gebruiken of dat er meerdere docenten hebben gereageerd op een cursus waarvan de een zei het wel te gebruiken en de ander zei dat hij er geen gebruikt van maakt.

- 15 -

Figuur 1:Diagram met de percentages cursussen die al dan niet gebruik maken van peerfeedback.

Peerfeedback Geen feedback Soms peerfeedback Peerfeedback

percentage (%) 83,9 4,0 12,1

Tabel 3: Percentages cursussen waarin al dan niet gebruik wordt gemaakt van peerfeedback.

2 – Waarom gebruiken docenten peerfeedback in hun onderwijs Dit onderdeel bestaat uit twee deelonderwerpen, een klein interview met de docent van Literatuur Werkgroep Scheikunde (LW) en een klein interview met de docent van Practica, Statistiek, Experimental Design, Academische Vaardigheden (PSEDAV). In deze interview is hun gevraagd waarom ze peerfeedback gebruiken in hun onderwijs en waarom ze denken dat dit belangrijk is om aan de studenten te leren. 2.1 - Interview Literatuur Werkgroep Scheikunde (LW) De docent van het vak LW heeft peerfeedback in het onderwijs geïntroduceerd om het reflectieve leren van studenten te bevorderen, om hun schrijfvaardigheid te vergroten en om het leereffect van de opdracht te vergroten. De docent is erop gekomen om dit te gebruiken in het onderwijs door literatuur hierover te lezen. Peer assessment en peerfeedback zijn vormen van beoordeling

- 16 -

die in de wetenschappelijke wereld worden gebruikt en zijn zeer belangrijk om een leven lang te kunnen blijven leren. Dit jaar was het gebruik van peerfeedback in deze vorm nog een experiment, daardoor zijn de doelen dit jaar nog niet helemaal bereikt. De criteria voor peerfeedback zijn bepaald naar aanleiding van veelgemaakte fouten en zwakke punten in de verslagen van de vorige jaren van de cursus en de opbouw van de peerfeedback volgde de opbouw van het schrijven van de thesis. In het algemeen was de eindversie van de theses beter dan in vorige jaren wat veroorzaakt is door het gebruik van peerfeedback en zeker is dat er volgend jaar weer gebruik gaat worden gemaakt van peerfeedback in deze cursus.

2.2 - Interview Practica, Statistiek, Experimental Design, Academische Vaardigheden (PSEDAV) De docent van PSEDAV gebruikt peerfeedback in zijn cursus omdat hij denkt dat het goed is voor de studenten om te leren elkaars werk te beoordelen op basis van academische criteria. Dit is ook een van de leerdoelen die is gesteld voor het bacheloronderwijs aan de UvA. Nadat de docent peerfeedback heeft gebruikt in zijn onderwijs denkt hij dat het beter was geweest om de peerfeedback van de studenten te gebruiken bij het beoordelen van de verslagen door de assistenten aan het einde van module 1. Hij denkt wel dat de peerfeedback invloed heeft gehad op de latere verslagen van de studenten. 3 – Kwaliteit van peerfeedback Dit onderdeel bestaat uit vier delen; wat voor types peerfeedback zijn er te onderscheiden, hoe consistent gebruiken de studenten de gegeven criteria voor het beoordelen van elkaars verslagen, hoe waar is de peerfeedback die ze aan elkaar geven en hoe goed maken studenten gebruik van de aangedragen verbeteringen voor hun verslag? Samen zullen de antwoorden op deze vragen, in combinatie met de enquête die de studenten hebben ingevuld, een licht werpen op de onderzoeksvraag ‘Wat is de kwaliteit van peerfeedback.’ 3.1 – Soorten peerfeedback (PSEDAV) Er zijn drie opvallende manier van peerfeedback gevonden in de peerfeedback die studenten aan elkaar hebben gegeven. De eerste is dat een aantal studenten alleen maar de negatieve punten van een verslag opschreven waarbij ze weinig tot geen enkel compliment gaven over de goede kanten van het verslag en ook geen tips over hoe het beter zou kunnen (zie tekst A). De tweede is dat een andere groep studenten ervoor koos om alleen maar feedback te geven op makkelijk te vinden punten van het verslag zonder in te gaan op de inhoud (zie tekst B). En als laatste was er een groep studenten die feedback gaven waarbij ze ingingen op de positieve en negatieve aspecten van het verslag (zie tekst C).

- 17 -

A. Het verslag wekt de indruk dat er te weinig tijd aan besteed is. Het zit vol met spel- en typfouten. Het bevat veel overbodige informatie en relevante informatie ontbreekt. In de samenvatting wordt de conclusie onjuist teruggekoppeld naar de voorspelling. In de inleiding is er wel een duidelijke beschrijving van het probleemgebied. De vraagstelling is onduidelijk. Het zijn twee vragen in één. Het is niet duidelijk wat je wilt weten. In de materiaal en methode wordt niets over de proefpersonen verteld. Er wordt niet verteld dat er gebruik wordt gemaakt van MATLAB, dat staat bij de resultaten. In de resultaten zijn de figuren onduidelijk, met name figuur 3. Op de assen en in het onderschrift staat te weinig informatie. De statistische toets klopt niet. Uit de Kolmogorov-Smirnov test komt een significant resultaat waaruit de conclusie getrokken wordt dat de data normaal verdeeld is. Dit klopt niet. De data is dan juist niet normaal verdeeld. De independent T-test had dus niet uitgevoerd mogen worden. Voor Pwaardes staat nergens P=. In de discussie worden uit de speculaties over eventuele alternatieve verklaringen conclusies getrokken terwijl hier geen bron voor is. Wel worden er goede suggesties voor vervolgonderzoek gedaan.

B. De titel is goed. De samenvatting is goed op een enkele vorm/spelfout na. De inleiding is goed, wederom, op een enkele vormfout na. De methode is goed. Echter is verzuimd om de gebruikte software te noemen en hoe deze is ingesteld. De resultaten en de discussie zijn wederom erg goed. Het enige wat ik op kan merken is dat er wordt gesproken over “ons onderzoek”. Ik ben van mening dat je in onderzoeksartikelen beter kan spreken van het onderzoek. De literatuurlijst is ook volledig en correct. Samengevat vind ik het artikel erg goed. Er waren een aantal vorm/spelfoutjes te vinden. Naar mijn mening kan het woord „omstebeurt‟ niet gebruikt worden in een wetenschappelijk artikel.

C. De titel is volledig en duidelijk, maar wel aan de lange kant. Ik moest hem twee keer lezen, om hem door te krijgen. De lengte van de samenvatting was goed. Alleen werd het probleemgebied mij niet geheel duidelijk. De rest was een goede afspiegeling en samenvatting van het onderzoek, je kan er goed op beslissen om het onderzoek wel of niet te gaan lezen. Tekst 1:Soorten peerfeedback.

3.2 – Gebruik van criteria door studenten (LW & PSEDAV) Literatuur Werkgroep Scheikunde (LW) De cursus LW bestond uit een groep van zestien studenten, deze werkten in paren dus in totaal waren er 8 theses. Een van deze theses was verkeerd ingeleverd via blackboard dus hierop is geen feedback gegeven via blackboard. Deze feedback is uiteindelijk via e-mail gegeven maar was niet beschikbaar voor dit onderzoek. Op elke thesis is door twee studenten feedback gegeven en elke student gaf op twee verschillende theses peerfeedback. Een van de studenten heeft geen feedback gegeven dus in totaal is er 26 keer feedback gegeven door de studenten. De lijst met criteria bestond uit 7 criteria: Criterium 1 Beoordeel de kwaliteit van de vraagstelling van deze scriptie. - Waar is de onderzoeksvraag te vinden? (op welke pagina, in welke alinea) - Hoe concreet is deze geformuleerd? - Brengt deze het doel van het onderzoek naar voren? - Is de onderzoeksvraag neutraal gesteld? Is de vraag enkelvoudig gesteld?

- 18 -

- Is er een toelichting op de vraag gegeven? Criterium 2 Geeft de scriptie antwoord op de onderzoeksvraag? Waar vind je deze? Criterium 3 Becommentarieer / beoordeel de tekstopbouw en de stijl van de scriptie. Lees de scriptie en kies als voorbeeld twee typische alinea's (een in de inleiding en een in het discussiegedeelte)en geef zo concreet mogelijk het commentaar over de volgende punten: - Hoe duidelijk is de tekst? - Hoe scherp en hoe zakelijk is de tekst (overbodige woorden)? - Zijn in de tekst betekenisloze frasen? - Is er een passende relatie tussen de kernzin en andere zinnen in de alinea (geven de zinnen voorbeelden of argumenten of tegenstellingen van de kernzin) Criterium 4 Kijk naar de alinea's die aansluiten op een tabel of op een schema. Hoe precies wordt in de tekst naar gegevens in het schema of in de tabel verwezen? Criterium 5 Wordt in de tekst adequaat naar de literatuur verwezen? Geef eventuele fouten aan. Criterium 6 Is er een toekomstperspectief over het onderzoek in de scriptie gegeven? Wat vind je ervan? Is het overtuigend geschreven? Criterium 7 Slaan de conclusies terug op het doel (onderzoeksvraag) in de inleiding?

Hiervan zijn er door één student maar twee een keer niet gebruikt. In tabel 4 is te zien welke criteria dit waren. Criterium 1: Criterium 2: Criterium 3: Criterium 4: Criterium 5: Criterium 6: Criterium 7:

26 26 26 26 25 25 26

Tabel 4:Gebruikte criteria in peerfeedback LW.

Practica, Statistiek, Experimental Design, Academische Vaardigheden (PSEDAV) De criteria voor de peerfeedback zijn aan de studenten gegeven in Excel maar veel studenten hebben hun peerfeedback in word geschreven waardoor het helaas onmogelijk was om hierin te controleren welke punten de studenten precies gebruikt hebben, daarom is er bij de analyse op het gebruik van criteria alleen gebruik gemaakt van de feedback die in Excel gegeven was (zie tabel 5). 32 van de 83 studenten hebben feedback gegeven in Excel wat neerkomt op 38,5 procent. Het is niet duidelijk hoe representatief deze steekproef is voor de gehele groep. Mogelijk is dat de studenten die in Word hun feedback hebben gegeven de ijverige studenten zijn en meer hun eigen tekst wilden schrijven terwijl de studenten die in Excel hun feedback hebben gegeven lui zijn door precies de lijst te volgens en weinig eigen initiatief te nemen. Andersom kan ook, ze doen precies wat hun opgedragen wordt. Dit is een punt om nog verder naar te kijken.

- 19 -

De groep van 83 studenten was verdeeld in vier groepen, A, B, C en D. Er is een significant verschil tussen deze groepen in het gebruik van Excel voor het geven van peerfeedback. In groep A, B en C heeft maar 30 procent gebruik gemaakt van Excel terwijl in groep D meer dan 60 procent van de studenten hun peerfeedback in Excel heeft gegeven. In totaal waren er 53 punten waarop de studenten het verslag van de ander moesten beoordelen.

Gebruikte criteria van in totaal 53 criteria

Gemiddelde Standaard deviatie

Groep A 53 14 52 52 53 52

Groep B 20 47 53 10 22

Groep C 53 13 53 53 24

Groep D 48 24 17 0 46 44 52 48 27 6 11 18 21 37 27 20

46 15,7

30,4 18,6

39,2 19,3

27,9 16,2

Tabel 5:Analyse van de gebruikte criteria in de peerfeedback van studenten van de cursus PSEDAV.

3.3 – Waarheid van de gegeven peerfeedback (LW & PSEDAV) De correctheid van peerfeedback is moeilijk te bepalen aangezien het heel vaak een kwestie van smaak is en zijn daarmee niet speciaal als fout of goed te bestempelen. Dit werd ook door een aantal studenten in de vragenlijst opgemerkt. Op sommige punten waren studenten het niet met elkaar eens of een van de studenten heeft de feedback niet serieus genomen en maar wat opgeschreven (zie tekst 2a). Hierin vind de ene reviewer het probleemgebied goed uitgelegd terwijl reviewer 2 er een onvoldoende voor geeft (zonder enige verdere uitleg hierover). In tekst 2b noemen de drie feedback gevers juist alledrie hetzelfde punt op van verbetering. Ze vinden allemaal dat er in het verslag niet goed is beargumenteerd waarom de studenten in hun onderzoek breakcore (muzieksoort) hebben gekozen als tegenovergestelde van klassieke muziek. Kijkende in het verslag is dit inderdaad niet duidelijk geworden.

- 20 -

1e alinea van Inleiding: Het herkennen van objecten en afbeeldingen is iets waar mensen erg geoefend in zijn. Maar wat gebeurt er als deze objecten er ineens anders uitzien, bijvoorbeeld omdat ze omgekeerd zijn? Of als de afbeeldingen in spiegelbeeld gepresenteerd worden? Er zijn situaties denkbaar waarbij het gevaarlijk is als mensen een object of afbeelding niet herkennen, bijvoorbeeld een waarschuwingsteken of een gevaarlijk object. Het is daarom wenselijk om te weten in hoeverre het menselijke geheugen in staat is om omgekeerde of gespiegelde objecten en afbeeldingen te herkennen. Feedback 1: Inleiding: De inleiding begint met een goed voorbeeld van het probleemgebied, waardoor je als lezer meteen het nut van het onderzoek inziet. Feedback 2: probleemgebied

o

a

Quote uit verslag: ‘Er is voor breakcore gekozen als tegenovergestelde muzieksoort ten opzichte van klassiek.’ Feedback 1: ‘Minpunt aan de inleiding vind ik dat jullie stellen dat ‘breakcore een tegenovergestelde muzieksoort is ten opzichte van klassiek’, maar dat jullie hier niet uitleggen waarom dat zo zou zijn.’ Feedback 2: ‘In het experiment is gekozen voor breakcore omdat dit als tegenovergestelde muzieksoort van de klassieke muziek zal moeten dienen, dit wordt niet onderbouwd of uitgelegd.’ Feedback 3: ‘Hoe deze verwachting tot stand komt (in welk opzicht tegenovergesteld, druk tegenover rustig, afwisselend tegenover eentonig…?) is nogal kort door de bocht.’ b Tekst 2: Quotes uit verslagen met peerfeedback over dit stukje.

Gekeken naar alle feedback is er in ongeveer driekwart van de feedback overeenstemming tussen de verschillende studenten en in de rest van de gevallen spreken studenten elkaar tegen of is er niet op dezelfde punten feedback gegeven en dus geen duidelijkheid over wat ze ervan vinden. 3.4 – Gebruik van peerfeedback in 2e versie thesis (LW) Vier theses, geschreven voor de cursus LW, zijn geanalyseerd op het gebruik van peerfeedback in de tweede versie van de thesis. Een van de commentaren was: ‘In de opmaak zetten jullie eerst een superscript en dan een punt, maar dat hoort andersom. Kan het hierin niet voordoen. Maar kijk maar hoe ze dat in artikelen hebben gedaan. In de referentielijst mogen het weer normale nummers zijn. Inhoudelijk klopt het wel.’ Maar in de tweede versie van de thesis verwezen de studenten nog steeds op dezelfde manier naar de literatuur. Een ander stukje feedback op een andere thesis was: ‘Er is geen moeite om de tekst te lezen en deze te begrijpen, er zitten echter wel wat haken en ogen aan de spelling en de zakelijke vorm. - 21 -

Het principe van kernzin met toelichting of argumenten wordt wel goed toegepast. Alinea 3 inleiding: niet al te best. Dit is niet echt zakelijk.’ Kijkende in de thesis had deze student gelijk maar in de tweede versie was er niets veranderd aan deze alinea, er waren er alleen een zin voor en achter gezet zonder de rest te veranderen in een wat zakelijkere tekst. Op dezelfde thesis was ook het commentaar dat ze de manier waarop ze verwezen naar literatuur zouden moeten veranderen. ‘(J.1.36), er wordt telkens op deze manier naar de artikelen verwezen. Ik zou echter een andere aanpak kiezen, namelijk het nummer van het artikel (hoeveelste artikel het is in je verslag) tussen deze haken [] in superscript. Dit maakt het duidelijker.’ Dit was in de tweede versie wel verbeterd. Bij twee theses was er feedback op de onderzoeksvraag, beide theses hadden geen goede onderzoeksvraag of zelfs helemaal geen onderzoeksvraag. In beide theses is naar aanleiding van dit commentaar in de tweede versie wel een onderzoeksvraag gekomen die duidelijk is gesteld (zie tekst 3).

1st version: In this paper, the focus will be on the main developments of Co-species with glyoxime-like structures created for her-reactions in the past 4 years. Therefore, all Fe and Ni containing compounds will be disregarded. All structures are numbered in the paper, and clarification of these numbers can be found in the supporting attachment at the end. 2nd version: In this paper, the focus will be on the question: What are the main developments of Co-species with glyoxime-like structures created for her-reactions in the past 4 years? Therefore, all Fe and Ni containing compounds will be disregarded. All structures are numbered in the paper, and clarification of these numbers can be found in the supporting attachment at the end. Tekst 3: Verandering van onderzoeksvraag naar aanleiding van peerfeedback.

Samenvattend kan er gezegd worden dat er wel gebruik wordt gemaakt van de gekregen peerfeedback maar dat enkele studenten dat niet hebben gedaan omdat ze de feedback niet goed genoeg doorlezen. Dit omdat, aldus een student, hij liever geen ‘gedwongen’ peerfeedback zou ontvangen. 4 - Studiesucces Het hoofdstuk Studiesucces bestaat uit vier onderdelen; een cijfervergelijking tussen de cijfers voor de theses van Literatuur Werkgroep (LW) uit 2010 met cijfers uit eerdere jaren, een vergelijking van de cijfers die studenten hebben gegeven en de cijfers die docenten hebben gegeven bij LW, een cijfervergelijking tussen het eerste verslag en het tweede en derde verslag bij Practica, Statistiek, Experimental Design, Academische Vaardigheden (PSEDAV) en een analyse van het halen van deadlines door studenten in de cursus PSEDAV. Samen, in combinatie met de enquête, zullen deze punten een indicatie geven van de invloed van peerfeedback op het studiegedrag en studiesucces van studenten.

- 22 -

4.1

– Cijfervergelijking tussen 2010, 2009, 2008 en 2007 (LW) In tabel 6 zijn de cijfers te vinden die studenten de afgelopen jaren bij de cursus LW voor hun theses hebben gekregen van de docenten. Het maximum cijfer dat gegeven kon worden is een 10 en het laagste cijfer een 1. In de een na laatste rij is het gemiddelde van de cijfers per jaar berekend en in de laatste rij staat de standaard deviatie. Jaar Cijfers

2007 7 7 8 8

2008 8,5 7,5 6 8 9

2009 8 8 7 8,5 9 8,5

2010 7,5 7 8,5 7,5 9,5 8,5

8,5

8

8

7,5

8 8,5 Gemiddelde Standaard deviatie

7,5 0,6

7,8 1,1

8,2 0,5

8 0,8

Tabel 6: Cijfers gegeven in de laatste vier jaar bij Literatuurwerkgroep Scheikunde

Tussen 2007 en 2009 is een kleine verbetering te zien in de cijfers waarna er in 2010 weer een kleine verlaging is gemiddeld gezien. In 2007 en 2008 werd nog geen gebruik gemaakt van peerfeedback en in 2009 werd er peerfeedback gegeven waarbij studenten in een collegezaal zaten en hun theses uitwisselden en ter plekke van commentaar voorzagen. 4.2

– Cijfervergelijking tussen studenten en docenten (LW & PSEDAV) Literatuurwerkgroep Scheikunde (LW) In de tweede week van het vak LW keken studenten elkaars eerste versie van de literatuurtheses na en gaven er een cijfer voor. Per criterium kon er een maximum van 2 punten gegeven worden en met 7 criteria werd dat een maximum van 14 punten in totaal. Deze veertien punten zijn omgerekend naar een schaal van 1 tot 10 zodat deze vergeleken konden worden met de cijfers die de docenten voor de tweede versies van de theses gegeven hebben. In tabel 7 is deze vergelijking te zien. Een aantal studenten zijn ‘vergeten’ cijfers te geven bij hun feedback en door een fout in het systeem is er bij een thesis drie keer feedback gegeven in plaats van twee keer. In tabel 8 is een vergelijking gemaakt tussen het gemiddelde gegeven cijfer van de studenten en de docenten. In de eerste drie kolommen staan de cijfers die de studenten elkaar hebben toegekend op de eerste versie van het verslag. In de vierde kolom staat het cijfer dat uiteindelijk door de docenten is gegeven voor de tweede versie van het verslag en in de vijfde kolom is het gemiddelde peercijfer afgetrokken van het eindcijfer waarmee het verschil tussen de twee cijfers gezien kan worden. Hierbij moet wel de nadruk gelegd worden op het feit dat de studenten en docenten op een verschillende versie van de thesis feedback en cijfers hebben gegeven. Hierdoor is deze - 23 -

vergelijking een indicatie voor de verbetering tussen de eerste en de tweede versie en niet voor in hoeverre de cijfers van studenten overeenkomen met de cijfers die docenten geven. Peercijfer, jaar 2010 7,1 5,7 7,9 8,6 6,4 5,7 5 6,1 7,9

Eindcijfer 7,5 7 7,5 9,5 8 7,5

Eindcijfer min Peercijfer 0,4 1,3 -0,1 3,8 2,5 -0,4

Tabel 7: Cijfers gegeven door studenten aan hun medestudenten en de cijfers die door de docenten uiteindelijk zijn gegeven.

Jaar 2010

Peercijfer

Eindcijfer

Gemiddelde

6,7

8

Standaard deviatie

0,9

0,8

Tabel 8:Vergelijking tussen peercijfers en eindcijfers van Literatuurwerkgroep Scheikunde.

De grote verschillen tussen de cijfers zijn allemaal naar verwachting ontstaan doordat de docenten hogere cijfers hebben gegeven dat de studenten. Dit was naar verwachting aangezien de studenten commentaar gaven op de eerste versie en de docenten op de tweede versie. Practica, Statistiek, Experimental Design, Academische Vaardigheden (PSEDAV) In tabel 9 is een vergelijking gemaakt tussen het gemiddelde cijfer dat studenten voor elkaars verslagen hebben gegeven en de cijfers die uiteindelijk zijn toebedeeld door de docenten. In de derde rij is de standaard deviatie te vinden.

Gemiddelde Standaard deviatie

Peercijfer Eindcijfer 7,61 8,0 0,3 0,8

Tabel 9: Vergelijking tussen peercijfers en eindcijfers van PSEDAV.

4.3

– Cijfervergelijking tussen eerste verslag en tweede en derde verslag (PSEDAV) In tabel 10 staan de cijfers die bij PSEDAV zijn gegeven aan het eerste, tweede en derde verslag van de studenten. In kolom 5, 6 en 7 zijn de cijfers van het ene verslag afgetrokken van het andere verslag om het verschil in de cijfers en een mogelijke stijging of daling in de cijfers te zien. Verslag nummer Cijfers

V1

V2 8 8 8 8 8 8,5

6 7 6,5 7 6 6

V3 V2-V1 V3-V2 V3-V1 7,833333 -2 1,8 -0,2 8,6 -1 1,6 0,6 8 -1,5 1,5 0 8,75 -1 1,8 0,8 8 -2 2 0 7,25 -2,5 1,3 -1,25 - 24 -

7,5 7 7,333333 9 9 7 7 6,5 8 6 9 8 8 7 7 8 9 8,5 7,5 9 7,5 9 9 7,5 8 7 7,5 7,333333 7 9 7,5 8 9 8 8,5 8,5 9 8,5 8 7,5 9 7 7

6 7,5 7 6 5 6 6 5,5 6,5 8,5 7 6,5 6,5 6 7,5 7,75 4 4,75 8 4 8 8,5 8,5 8 8 6 5 7 8 7 5,75 5 4 6 7,5 6 6,5 7,5 9 7,5 8 7,5 7,5 7

7,5 8 5 8,5 8,5 8,666667 8 8 7 8 8 8 8 8 7,833333 7 8,75 8,6 8,6 7,5 7,5 7,5 7,5 9,166667 9,166667 7,5 5 7,5 9,166667 8,5 8 4,5 8,75 7,5 8 7 5 8 8,6 8,666667 8 7 7 5,5

-1,5 0,5 -0,3 -3 -4 -1 -1 -1 -1,5 2,5 -2 -1,5 -1,5 -1 0,5 -0,3 -5 -3,8 0,5 -5 0,5 -0,5 -0,5 0,5 0 -1 -2,5 -0,3 1 -2 -1,8 -3 -5 -2 -1 -2,5 -2,5 -1 9 -0,5 0,5 -1,5 0,5 0

1,5 0,5 -2 2,5 3,5 2,7 2 2,5 0,5 -0,5 1 1,5 1,5 2 0,3 -0,8 4,8 3,9 0,6 3,5 -0,5 -1 -1 1,2 1,1 1,5 0 0,5 1,2 1,5 2,3 -0,5 4,8 1,5 0,5 1 -1,5 0,5 -0,4 1,2 0 -0,5 -0,5 -1,5

0 1 -2,3 -0,5 -0,5 1,7 1 1,5 -1 2 -1 0 0 1 0,8 -1 -0,25 0,1 1,1 -1,5 0 -1,5 -1,5 1,7 1,1 0,5 -2,5 0,2 2,2 -0,5 0,5 -3,5 -0,3 -0,5 -0,5 -1,5 -4 -0,5 8,6 0,7 0,5 -2 0 -1,5

- 25 -

Gemiddelde Standaard deviatie

7,5 8 7,5 9 7,5 8 9 8,5 8 7 8 8 9 8 9 7,5 8,5 8,5 8 9 7 7 8,5 8,5 8 7,5 8,0 0,8

9 6,75 5,75 4 6,5 7 6,5 6 5 7 7,75 6,5 4 7,5 9 9 8 7,75 7 5 8 6,75 5 7 5 5 6,6 1,3

8,666667 7,5 7,25 8,5 7,5 7,25 7,833333 7 7,833333 7 8 5 8,333333 8,666667 8,75 8,666667 8 7,5 9,166667 7,833333 8 7,25 7,5 7,5 5 7,5 7,7 1,4

1,5 -1,25 -1,75 -5 -1 -1 -2,5 -2,5 -3 0 -0,25 -1,5 -5 -0,5 0 1,5 -0,5 -0,75 -1 -4 1 -0,3 -3,5 -1,5 -3 -2,5 -1,2 2,0

-0,3 0,8 1,5 4,5 1 0,3 1,3 1 2,8 0 0,3 -1,5 4,3 1,2 -0,3 -0,3 0 -0,3 2,2 2,8 0 0,5 2,5 0,5 0 2,5 1,1 1,5

1,2 -0,5 -0,3 -0,5 0 -0,75 -1,2 -1,5 -0,2 0 0 -3 -0,7 0,7 -0,25 1,2 -0,5 -1 1,2 -1,2 1 0,3 -1 -1 -3 0 -0,2 1,6

Tabel 10: Cijfervergelijking tussen 1e, 2e en 3e verslag PSEDAV. V1 is verslag 1, V2 is verslag 2 en V3 is verslag 3. V2-V1 betekend dat het cijfer van het eerste verslag is afgetrokken van het tweede verslag om een mogelijke stijging of daling waar te nemen. Dit is hetzelfde in kolom 6 en 7. V1, V2 en V3 zijn de cijfers gekregen van de heer W. Ghijsen en om die reden niet afgerond tot één decimaal.

Het cijfer voor het tweede verslag bij PSEDAV is gemiddeld 1,2 punten lager dan het eerste verslag en het cijfer voor het derde verslag is gemiddeld 0,2 punten lager dan voor het eerste verslag. De studenten die voor het tweede verslag een onvoldoende hadden (5,4 en lager), hadden voor het eerste verslag gemiddeld een 8,5 wat neerkomt op een verschil van +0,5 punten in vergelijking met het algemeen gemiddelde. 4.4

– Behalen van deadlines (PSEDAV) De analyse van het behalen van deadlines is alleen bij PSEDAV gedaan omdat bij de cursus LW alle studenten de deadlines hebben gehaald. In figuur 2 is een grafiek te zien met de dagen waarop de studenten hun verslag in hebben geleverd. De nullijn van de x-as staat voor de dag van de deadline, -1 staat voor een dag voor de deadline en de positieve getallen staan voor het aantal dagen dat het verslag na de deadline is in-

- 26 -

geleverd. De verslagen op de nullijn zijn dus nog op tijd ingeleverd. Het is op deze manier gedaan omdat de vier werkgroepen uit PSEDAV verschillende data hadden als deadline en op deze manier is dat gelijk getrokken. Op de y-as is te zien hoeveel verslagen er elke dag zijn ingeleverd. Voor de deadline zijn er tien verslagen ingeleverd, op de dag van de deadline zelf zijn er twaalf verslagen ingeleverd en na de deadline zijn er nog tien verslagen ingeleverd. Tweeëntwintig van de tweeëndertig verslagen zijn op tijd ingeleverd, een percentage van 86,8 procent.

Figuur 2: Behalen van deadlines.

In figuur 3 is te zien op welke dag de studenten de feedback hebben ingeleverd. De nul op de x-as staat voor de dag van de deadline voor de verslagen en de positieve getallen verder op de x-as staan voor hoeveel dagen na deze deadline de feedback is teruggegeven. In totaal is er 75 keer feedback ingeleverd. De meeste feedback is binnen vier dagen gegeven wat een redelijke tijd is om feedback te geven.

Figuur 3: Dag dat de peerfeedback is ingeleverd.

- 27 -

5 – Enquête studenten Vele studenten uit de cursus PSEDAV klaagden over het moment waarop ze de enquête in konden vullen, ruim een half jaar nadat ze de peerfeedback hadden gebruikt. Dit was naar hun mening veel te laat en ze waren veel alweer vergeten. Helaas kon dit niet anders aangezien het onderzoek pas in april startte. Van de 83 studenten van PSEDAV hebben er 64 gereageerd wat neerkomt op 77.1 procent. In bijlage 10 is de complete vragenlijst te vinden en in bijlage 12 alle antwoorden. De vragenlijst bestond uit 23 vragen en statements die beantwoord konden worden op een vijf puntsschaal. Deze schaal zag er als volgt uit: 1. Sterk mee oneens 2. Mee oneens 3. Niet eens, niet oneens 4. Mee eens 5. Zeer sterk mee eens

In bijlage 12 staan alle frequenties van antwoorden per vraag. Een vergelijking tussen deze drie vragen is gedaan (zie figuur 4): 1 Ik deed mijn best om mijn medestudent van goede feedback te voorzien. (vraag 2) 2 Ik denk dat de student aan wie ik feedback heb gegeven mijn feedback nuttig vond. (vraag 17) 3 De peerfeedback die ik heb gekregen op mijn verslag was nuttig. (vraag 10)

- 28 -

Figuur 4: Grafieken met de antwoorden van studenten op statement 2, 17 en 10.

Zestig studenten zeggen dat ze hun best hebben gedaan op het geven van goede feedback terwijl 38 studenten denken dat de andere student hun feedback ook echt nuttig vond en uiteindelijk vonden maar 25 studenten de gekregen feedback ook echt nuttig terwijl 29 studenten het niet nuttig vond maar ook niet onnuttig.

In figuur 5 is een vergelijking gemaakt tussen de antwoorden op de vragen: 1 De feedback die ik krijg van een student verwerk ik in mijn verslag zonder te kijken of ik het er mee eens ben.(in het geval dat je deze feedback nog had kunnen verwerken in je verslag )(vraag 5) 2 De feedback die ik krijg van een docent verwerk ik in mijn verslag zonder te kijken of ik het er mee eens ben. (in het geval dat je deze nog had kunnen verwerken in je verslag)(vraag 14)

- 29 -

Het verschil in de antwoorden is berekend door het antwoord op het tweede statement af te trekken van het antwoord op het eerste statement. Te zien is dat 27 studenten op beide statements hetzelfde antwoorden (zie figuur 5) en dat 33 studenten de feedback van een docent makkelijker in hun verslag verwerken dan de feedback van een medestudent.

Figuur 5: Verschil in antwoorden tussen de statements: 1 De feedback die ik krijg van een student verwerk ik in mijn verslag zonder te kijken of ik het er mee eens ben.(in het geval dat je deze feedback nog had kunnen verwerken in je verslag) 2 De feedback die ik krijg van een docent verwerk ik in mijn verslag zonder te kijken of ik het er mee eens ben. (in het geval dat je deze nog had kunnen verwerken in je verslag)

- 30 -

Figuur 6: Tijd die studenten nodig hadden om een verslag te lezen en feedback te geven.

Getal in figuur 6 Minuten

1 0-9

2 10-19

3 20-29

4 30-39

5 40-49

6 50-59

7 60-69

8 70-79

9 80-89

Tabel 11: Het aantal minuten waarmee de getallen uit figuur 6 overeenkomen.

Gemiddeld hadden de studenten 26.3 minuten nodig om een verslag te lezen en er feedback op te geven met een minimum van 3 minuten en een maximum van 90 minuten en een standaard deviatie van 16 minuten.

5.1

– Kwaliteit van feedback De eerste onderzoeksvraag was: ‘Wat is de kwaliteit van peerfeedback.’ Met zes statements is dit gemeten in de enquête die de studenten hebben ingevuld. 1. Ik deed mijn best om mijn medestudent van goede feedback te voorzien. 2. Als ik het verslag van een vriend van mij nakijk dan geef ik deze een hoger cijfer dan als het geen vriend van me is. 3. Hoeveel procent ben je het eens met de gekregen peerfeedback? 4. De feedback die ik heb gegeven is nuttig. 5. De peerfeedback die ik heb gekregen op mijn verslag was nuttig. 6. Ik denk dat de student aan wie ik feedback heb gegeven mijn feedback nuttig vond. In tabel 12 zijn de correlaties tussen deze statements te vinden. Door middel van de gemiddelde correlatie is Cronbachs alfa berekend, dit is een indicatie van in hoeverre verschillende statements hetzelfde meten. Cronbachs alfa is significant vanaf 0.7.

- 31 -

10 90-99

Vraag + correlaties tussen vragen

2 0,13

1 2 3 4 5

3 0,07 0,06

Gemiddelde correlatie

4 0,24 0,09 0,03

5 0,32 0,32 0,38 0,36

Cronbachs 0,22 alpha

6 0,09 0,42 0,04 0,41 0,37 0,94

Tabel 12: Correlatie tussen de zeven statements die samen de mening van studenten meten over de kwaliteit van de feedback.

De meeste studenten die in de enquête zeiden dat ze geen bruikbare peerfeedback hebben ontvangen kozen in de enquête voor de optie dat ze alleen maar feedback van een docent/assistent wilden ontvangen en niet van hun medestudenten. Geen enkele student wil alleen maar feedback van zijn medestudenten ontvangen.

5.2 – Serieusheid van studenten met betrekking tot peerfeedback Onderzoeksvraag 2 luidde: ‘Hoe serieus nemen studenten peerfeedback?’ Dit is in de enquête gemeten met zeven statements. 8. Ik deed mijn best om mijn medestudent van goede feedback te voorzien. 9. Als ik het verslag van een vriend van mij nakijk dan geef ik deze een hoger cijfer dan als het geen vriend van me is. 10. De feedback die ik heb gegeven is nuttig. 11. Ik heb alle gekregen peerfeedback goed doorgelezen. 12. De peerfeedback die ik heb gekregen op mijn verslag was nuttig. 13. Ik denk dat de student aan wie ik feedback heb gegeven mijn feedback nuttig vond. 14. Ik vond het jammer dat ik de gekregen feedback van mijn medestudenten niet meer in mijn verslag kon verwerken. Vraag + correlatie tussen vragen 8 9 10 11 12 13

9 0,12

Average correlation

10 0,27 0,02

11 0,39 0,31 0,37

12 0,27 0,33 0,26 0,49

0,30 Cronbachs alpha

13 0,07 0,40 0,37 0,46 0,36

14 0,22 0,19 0,18 0,40 0,38 0,52 0,96

Tabel 13: Correlatie tussen de zeven statements die samen de mening van studenten meten over hoe serieus peerfeedback wordt genomen.

De antwoorden van de studenten op vraag 9 zijn omgedraaid in verband met de omgekeerde vraagstelling ten opzichte van de andere vragen. - 32 -

5.3

– Gebruik van peerfeedback De derde onderzoeksvraag was: ‘Wat doen studenten met de ontvangen peerfeedback?’ Ondanks dat de studenten de peerfeedback niet meer konden verwerken in hun verslag bij PSEDAV is ze wel gevraagd of ze de peerfeedback serieus doorlezen en wat ze ermee zouden doen als ze het nog hadden kunnen verwerken. Dit is aan ze gevraagd door middel van negen statements, te weten: 1. Hoeveel procent ben je het eens met de gekregen peerfeedback? 2. De feedback die ik krijg van een student verwerk ik in mijn verslag zonder te kijken of ik het er mee eens ben.(in het geval dat je deze feedback nog had kunnen verwerken in je verslag) 3. Ik heb alle gekregen peerfeedback goed doorgelezen. 4. De peerfeedback die ik heb gekregen op mijn verslag was nuttig. 5. Bij het geven van feedback leer ik hoe ik zelf een beter verslag kan schrijven. 6. De feedback die ik krijg van een docent verwerk ik in mijn verslag zonder te kijken of ik het er4 ben.(in het geval dat je deze nog had kunnen verwerken in je verslag) 7. Ik vond het jammer dat ik de gekregen feedback van mijn medestudenten niet meer in mijn verslag kon verwerken. 8. De feedback die ik aan het eind van de cursus van de assistent heb ontvangen was nuttig. 9. Ik vond het jammer dat ik de gekregen feedback van de assistent niet meer in mijn verslag kon verwerken. Statement + correlatie tussen statements 1 2 3 4 5 6 7 8

2

3

4

5

6

7

8

-0,08

0,14 0,01

0,36 0,00 0,51

0,18 0,17 0,07 0,29

-0,06 0,35 -0,23 -0,29 -0,11

0,13 0,01 0,39 0,33 0,28 -0,27

0,05 -0,09 -0,01 0,23 0,29 -0,04 -0,04

Gemiddelde correlatie =

0,111

Cronbachs alfa =

9 0,05 0,00 0,30 0,22 0,18 0,11 0,51 0,11

0,87

Tabel 14: Correlatie tussen de negen statements die samen de mening van studenten meten in hoeverre ze gebruik maken van peerfeedback.

De antwoorden van de studenten op vraag 2 zijn omgedraaid in verband met de omgekeerde vraagstelling ten opzichte van de andere vragen.

5.4

- Studiegedrag Onderzoeksvraag nummer vier was: ‘Heeft peerfeedback een effect op het studiegedrag en studiesucces van studenten?’ In de enquête waren hier twee vragen over: 1. Bij het geven van feedback leer ik hoe ik zelf een beter verslag kan schrijven. - 33 -

2. Deed je, doordat je wist dat je van medestudenten feedback ging krijgen, beter je best op je verslag? Correlatie 0,16

Cronbachs alfa 0,92

Tabel 15: Correlatie tussen de twee statements die samen de mening van studenten meten in hoeverre peerfeedback invloed heeft op hun studiegedrag.

Op het tweede statement (in de enquête nummer 15) antwoordden de studenten dat groepsdruk geen effect heeft op hoe serieus ze aan hun verslag hebben gewerkt. In figuur 7 is te zien dat 42 studenten ‘nee’ antwoordden op deze vraag terwijl maar 15 en 4 studenten respectievelijk ‘een beetje beter’ en ‘ja, beter’ antwoordden.

Figuur 7: Antwoorden van studenten op de vraag of studenten beter hun best deden op hun verslag door de peerfeedback.

Op het statement ‘Bij het geven van feedback leer ik hoe ik zelf een beter verslag kan schrijven’ hebben 47 studenten geantwoord, 77 %, dat dit zo is terwijl 4 studenten, 6,5 %, het er niet mee eens waren en 10 studenten, 16,4 %, het niet eens en ook niet oneens waren met deze stelling.

- 34 -

Figuur 8: Antwoorden van studenten op de stelling: ‘Bij het geven van feedback leer ik hoe ik zelf een beter verslag kan schrijven.’

5.5

– Enquêtevragen 1. Sterk mee oneens 2. Mee oneens 3. Niet eens, niet oneens 4. Mee eens 5. Zeer sterk mee eens

De derde vraag van de enquête voor studenten was: Als ik het verslag van een vriend van mij nakijk dan geef ik deze een hoger cijfer dan als het geen vriend van me is.

Van de 63 studenten zeiden maar 6 studenten dat ze dit absoluut niet deden terwijl alle andere studenten aangaven dit wel een beetje te doen.

- 35 -

Vraag vier van de enquête was: Hoeveel procent ben je het eens met de gekregen peerfeedback?

(1 = 0-20% 2 = 21-40% 3 = 41-60% 4 = 61-80% 5 = 81-100%) De meeste studenten waren het wel ongeveer eens met de gekregen feedback, maar drie van de 62 studenten waren het absoluut niet eens met de feedback.

De zesde vraag was: De feedback die ik heb gegeven is nuttig.

Er was maar een studenten die de feedback die hij heeft gegeven niet nuttig vond, veertien studenten vonden de gegeven feedback niet nuttig maar ook niet onnuttig maar het merendeel van de studenten, 47 van de 62, dacht dat de feedback die ze gegeven hadden nuttig was voor de andere student.

- 36 -

De zevende vraag ging over de tool die is gebruikt voor het geven van feedback: Voor de peerfeedback is een Blackboard Discussion board gebruikt. Ik vind dat deze tool geschikt was voor het geven van feedback.

De meningen waren erg verdeeld. Iets meer dan de helft, 37 van de 64 studenten, vond de tool wel geschikt terwijl 26 studenten dit niet vonden.

Vraag acht ging over de motiverende werking van peerfeedback: Het geven van peerfeedback motiveerde mij om beter mijn best te doen op mijn eigen verslag.

22 studenten vonden dat het geven van peerfeedback hen motiveerde om beter hun best te doen op hun verslag en 41 studenten waren hier neutraal over of vonden dat het hun niet motiveerde.

- 37 -

De negende vraag: Ik heb alle gekregen peerfeedback goed doorgelezen.

Het grootste deel, 45 van de 62, van de studenten zegt de peerfeedback goed te hebben doorgelezen. Toch zijn er nog vier studenten die aangeven dat ze dit helemaal niet hebben gedaan.

De elfde vraag van de enquête vroeg naar wat studenten vonden van de manier waarop ze peerfeedback moesten geven: Ik zou meer vrijheid willen bij het geven van feedback (met minder of geen criteria).

Zes studenten gaven aan dat ze meer vrijheid zouden willen bij het geven van peerfeedback 27 studenten maakt het niet zoveel uit en 30 studenten vonden deze manier wel goed.

- 38 -

De achttiende vraag vroeg naar het feit dat de studenten niet meer de kans hadden om de feedback te verwerken in hun verslag: Ik vond het jammer dat ik de gekregen feedback van mijn medestudenten niet meer in mijn verslag kon verwerken.

De meeste studenten vonden het jammer dat ze de peerfeedback niet meer konden gebruiken in hun verslag. 38 van de 61 studenten. 14 studenten waren neutraal en 9 studenten vonden het geen probleem dat ze geen gebruik meer konden maken van de feedback.

Vraag 19 ging weer over de manier waarop ze peerfeedback moesten geven: Ik vond de manier waarop de feedback was gestructureerd (lijst met punten waarop je moest letten in Excel) handig.

De meeste studenten, 58 van de 62, vonden de lijst met punten in Excel handig om mee te werken.

- 39 -

Met vraag twintig werd gepeild hoe nuttig de studenten de feedback vonden die ze van de assistent ontvingen aan het einde van de cursus. De feedback die ik aan het eind van de cursus van de assistent heb ontvangen was nuttig.

56 studenten vonden de feedback nuttig, vijf studenten vonden de feedback van de assistenten niet nuttig.

- 40 -

De eenentwintigste vraag vroeg of de studenten het jammer vonden dat ze de feedback van de assistent niet meer konden verwerken in hun verslag. Ik vond het jammer dat ik de gekregen feedback van de assistent niet meer in mijn verslag kon verwerken.

36 studenten vonden dit inderdaad jammer dat ze de feedback niet meer konden verwerken, 17 waren neutraal en 9 studenten vonden het niet jammer. Deze getallen komen overeen met de antwoorden die studenten gaven op vraag 18, waarbij werd gevraagd naar hoe jammer ze het vonden dat ze de peerfeedback niet meer konden verwerken.

Discussie en conclusies Gebaseerd op de resultaten van de enquête die naar alle docenten van de Faculteit Natuurwetenschappen, Wiskunde en Informatica (FNWI) aan de Universiteit van Amsterdam (UvA) kan er geconcludeerd worden dat in ongeveer 15 procent van de cursussen gebruik wordt gemaakt van peerfeedback (inclusief de vakken waarbij soms peerfeedback wordt gebruikt). Iets meer dan de helft van de docenten heeft niet gereageerd op de e-mail. Aan een paar docenten is gevraagd waarom ze niet reageerden en of ze gebruik maken van peerfeedback en ongeveer eenzelfde percentage maakt gebruik van peerfeedback dus wordt er hier van uitgegaan dat ook in de nonrespons groep eenzelfde percentage peerfeedback gebruikt in het onderwijs en dat dit dus geldt voor het hele FNWI. Opvallend is dat van de 45 cursussen waarin peerfeedback wordt gebruikt er 11 cursussen onder de studie informatica vallen, wat overeenkomt met 25 procent van het totaal, terwijl alle andere cursussen eerlijk verdeeld zijn over alle andere studies. Het zou kunnen zijn dat de stof die wordt geleerd in de informaticacursussen beter geschikt is voor het gebruik van peerfeedback. Dit is een punt waar nog verder naar gekeken kan worden. In de respons e-mail van de docenten is een aantal interessante opmerkingen gemaakt waarom ze al dan niet gebruik maken van peerfeedback. Terwijl de docenten van Literatuurwerkgroep Scheikunde (LW) en Practica, Statistiek, Experimental Design, en Academische Vaardigheden (PSEDAV) genoeg gemotiveerde studenten hebben meldde een andere docent dat hij is gestopt - 41 -

met peerfeedback in zijn cursus omdat het niet werkte omdat de studenten heel erg ongemotiveerd waren. Dit is mogelijk te verklaren doordat vele van de studenten die deze cursus verplicht volgen eigenlijk een andere studie willen doen maar zijn uitgeloot daarvoor. De meeste docenten zeggen geen gebruik te maken van peerfeedback omdat het niet past binnen de inhoud van de cursus. Verondersteld wordt dat niet alle manieren van peerfeedback geven even effectief zijn met betrekking tot het kunnen verbeteren van de verslagen naar aanleiding van de feedback. Studenten gebruiken verschillende strategieën voor het geven van peerfeedback. In dit onderzoek zijn er drie opvallende manieren naar voren gekomen. Een aantal studenten gaf bijna alleen maar negatief commentaar waarin ze bijna alleen maar ingingen op de slechte punten van het verslag zonder suggesties te doen voor verbetering. De studenten die dit soort feedback ontvingen waren het niet erg eens met de feedback en vonden de peerfeedback niet echt bruikbaar aldus de enquête. Een andere aanpak was de ‘simpele’ aanpak waarbij studenten alleen commentaar gaven op de makkelijk zichtbare dingen zoals spelfouten, lay-out en literatuurverwijzingfouten. Aldus het commentaar in de enquête was dit volgens een student het geval omdat hij te weinig tijd had om dieper op de thesis in te gaan en echt iets te zeggen over de inhoud omdat er grote consequenties verbonden waren aan het niet op tijd inleveren van de feedback. Een deel (ongeveer een derde, gebaseerd op het lezen van alle feedback bij LW en de helft van de feedback van PSEDAV) van de studenten gaven positief en negatief commentaar waarin ze de medestudent aanmoedigden en tips gaven hoe het beter kan. Dit is volgens eerder onderzoek (Tseng en Tsai, 2007) de beste manier. En meer studenten zouden op deze manier feedback moeten kunnen geven. Waarschijnlijk gebeurt dit niet omdat studenten niet goed genoeg leren hoe ze het beste feedback kunnen geven. Van de 53 punten in de lijst, die studenten bij PSEDAV kregen om aan de hand daarvan feedback te geven aan hun medestudenten, hebben ze gemiddeld 36.1 punten gebruikt. Dit getal is gebaseerd op de feedback die in Excel is gegeven waarbij alle feedback die in tekst via Word is gegeven is uitgesloten, 38,5 procent van de studenten is meegenomen in deze berekening, 32 van de 83. Hieruit wordt geconcludeerd dat de studenten serieuzer feedback hadden kunnen geven door meer punten op te nemen in hun feedback. De vraag is alleen of de studenten die in Excel hun feedback hebben gegeven representatief zijn voor de hele groep. Mogelijk is dat de studenten die in Word hun feedback hebben gegeven de ijverige studenten zijn en meer hun eigen tekst wilden schrijven terwijl de studenten die in Excel hun feedback hebben gegeven lui zijn door precies de lijst te volgens en weinig eigen initiatief te nemen. Andersom kan ook, ze doen precies wat hun opgedragen wordt. Dit is een punt om nog verder naar te kijken. De studenten bij LW hebben wel praktisch alle criteria gebruikt in hun feedback op een student na die zei alleen maar feedback te willen als hij er zelf om vraagt aan iemand die hij vertrouwt, dus deze persoon heeft de peerfeedback niet serieus genomen. Het verschil tussen LW en PSEDAV kan twee oorzaken hebben. De peerfeedback bij PSEDAV werd niet beoordeeld terwijl dat bij LW wel het geval was. De studenten wisten dit, dus bij PSEDAV maakte het voor hen niks uit wat ze zouden doen met de peerfeedback terwijl de studenten bij LW het waarschijnlijk serieuzer namen omdat ze er ook op beoordeeld zouden worden. Een andere reden zou kunnen zijn dat een lijst met 53 criteria te lang is voor studenten en te veel van hun aandacht vraagt waardoor ze er sneller doorheen scannen en alleen maar wat makkelijk te geven commentaar erbij zetten. In de enquête gaven wel alle studenten aan dat ze hun best hebben gedaan hun medestudenten van goede feedback te voorzien. Een andere manier om de kwaliteit en de serieusheid van studenten te meten is door te kijken naar of het commentaar dat ze geven wel waar is en of meerdere studenten dezelfde opmerkingen - 42 -

plaatsen bij hetzelfde verslag. Deels was de feedback waar, maar deels ook niet, gebaseerd op het lezen van zo’n dertig stukken feedback. Een probleem is dat feedback vaak ook een kwestie van smaak zoals meerdere studenten opmerkten in de enquête is waarbij iets niet is aan te duiden als goed of fout maar een mening is van de persoon in kwestie. Op sommige punten was wel te controleren of de feedback klopte. Bij sommige dingen waren alle reviewers het duidelijk met elkaar eens maar soms sprak de feedback elkaar ook echt tegen. Een van de elkaar tegensprekende feedback was niet onderbouwd dus het is moeilijk om te bepalen waarom deze student deze mening had over het verslag. Omdat feedback vaak een kwestie van smaak is, is het dus moeilijk te bepalen hoe goed de studenten de feedback hebben gebruikt in hun tweede versie van de thesis bij LW. Student 1 merkte op dat hij het niet eens was met alle feedback en daarom met zijn partner heeft overlegd wat ze er wel en niet in zouden verwerken. Hierna hebben ze de belangrijkste dingen verwerkt en de minder belangrijke dingen niet in hun thesis gedaan. Een andere student meldde dat hij de feedback maar even heel snel heeft doorgelezen omdat hij het prefereert om feedback te ontvangen van een persoon die hij zelf uitkiest en vertrouwt op het moment dat het hem uitkomt. Verrassend genoeg is niet alle peerfeedback gebruikt in de tweede theses ondanks dat het overduidelijk was dat de feedback klopte en er inderdaad iets moest veranderen. Kijkende naar de theses is te zien dat sommige studenten de peerfeedback heel goed hebben gebruikt om hun theses te verbeteren terwijl andere studenten de peerfeedback misschien zelfs wel helemaal niet hebben gelezen omdat zelfs hele makkelijke duidelijke dingen niet waren verbeterd. De antwoorden uit de enquête onderbouwen dit, 4 van de 62 studenten gaven aan de feedback helemaal niet doorgelezen te hebben, een paar studenten hebben inderdaad de feedback niet bekeken bij PSEDAV en dit zal ook zo zijn bij LW. De studenten gebruikten gemiddeld 26,3 minuten om een verslag van een medestudent van feedback te voorzien. De gedachte was dat een half uur per verslag genoeg zou moeten zijn om goede feedback te kunnen geven waardoor deze gemiddelde tijd indiceert dat er qua tijd serieus werk is besteed aan het geven van peerfeedback. Concluderend kan gezegd worden dat de kwaliteit en de serieusheid van studenten verbeterd kan worden. Qua tijd die ze ervoor gebruiken zitten ze gemiddeld goed maar ze zouden beter onderbouwde feedback kunnen geven en kunnen kijken naar hoe ze in hun feedback de andere student kunnen aanmoedigen en suggesties geven voor verbetering. Ook zouden ze alle punten waarop ze de verslagen moeten controleren beter kunnen gebruiken. Dit kan gedaan worden door de docenten die aan de studenten uit kunnen leggen hoe ze het beste feedback kunnen geven en wat het meeste resultaat heeft; niet alleen commentaar op de makkelijke dingen maar ook kijken naar de inhoud van de verslagen, niet alleen maar negatieve opmerkingen maar ook bemoedigende woorden en tips voor verbetering. De docenten zouden hierdoor peerfeedback niet meer als tool gebruiken maar als leerdoel. Ook is het belangrijk voor de docenten om de peerfeedback na te kijken en te becijferen, studenten nemen iets een stuk minder serieus als ze er geen cijfer voor krijgen dan wanneer ze er wel een cijfer voor krijgen. Interessant is dat een student die opmerkte dat geen enkele student peerfeedback serieus neemt, inclusief hijzelf, in de enquête zei dat hij zijn best heeft gedaan zijn medestudenten van goede feedback te voorzien. Een andere student merkte ook op dat hij teleurgesteld was dat ze geen feedback kregen over hun peerfeedback omdat hij daarvan beter zou leren hoe hij peerfeedback moet geven. De derde onderzoeksvraag was of peerfeedback invloed heeft op het studiesucces van studenten. In de vergelijking tussen de cijfers voor de theses tussen de jaren 2007, 2008, 2009 en 2010 is er geen duidelijke verbetering te zien, de cijfers stijgen gemiddeld over de eerste drie jaar met 0,5 - 43 -

punten en zakt in 2010 met 0,2 punt. In 2009 werd er al gebruik gemaakt van peerfeedback maar dit gebeurde in de collegezaal met veel minder controle door de docent dan in 2010. Mogelijk is het ontbreken van een verschil te wijten aan het feit dat de gemiddelde kwaliteit van de theses wel verbeterd is maar dat docenten over het algemeen eenzelfde gemiddelde cijfer blijven geven waarbij de slechtste thesis een 7 krijgt en de beste een 9. Hierdoor is het mogelijk geen verschil te zien in de cijfers terwijl de theses wel beter worden door peerfeedback. Tussen de cijfers die studenten en docenten gaven bij LW is wel een groot verschil te zien van 1.32 punten. Dit is waarschijnlijk veroorzaakt doordat studenten feedback gaven op de eerste versie en de docenten op de tweede versie van de theses. Je zou hieruit kunnen afleiden dat er een verbetering is tussen de twee versies maar het kan niet met alle zekerheid gezegd worden omdat de twee versies door verschillende mensen zijn beoordeeld. Het geven van een cijfer is deels ook persoonsgebonden en afhankelijk van de voorkeur van een persoon voor een bepaald cijfer. Een van de studenten merkte op dat hij een laag cijfer moest geven voor de eerste versie van de thesis omdat er nog stukken ontbraken, hierdoor is de tweede versie sowieso een verbetering ten opzichte van de eerste versie zonder dat dit direct afhankelijk is van de peerfeedback. Bij PSEDAV hebben studenten en docenten wel een cijfer en feedback gegeven op hetzelfde verslag. Hierbij lag het cijfer dat studenten gaven iets lager, 0,34 punten, dan het cijfer dat de docenten gemiddeld gaven. Hieruit valt te concluderen dat de studenten geen overmatig hoge cijfers aan elkaar toebedelen omdat ze toevallig bevriend met elkaar zijn wat indiceert dat de studenten op dit punt serieus zijn geweest bij het geven van peerfeedback. Ook in de enquête gaven studenten aan dat ze geen hogere cijfers geven aan iemand waarmee ze bevriend zijn, maar 7 van de 63 studenten gaf aan dit wel te doen. Bij PSEDAV werd verwacht dat het cijfer voor het tweede en derde verslag dat de studenten zouden schrijven hoger zou zijn dan het cijfer voor het eerste verslag omdat ze door peerfeedback beter zouden leren hoe ze een verslag moeten schrijven. Vreemd genoeg was dit helemaal niet zo, voor het tweede verslag hadden de studenten gemiddeld 1.2 punten lager in plaats van hoger en voor het derde verslag hadden ze ten opzichte van het eerste verslag 0.17 punten lager. Het kan zijn dat dit veroorzaakt wordt doordat de docenten de richtlijnen voor het becijferen strakker hebben gemaakt omdat ze ervan uitgingen dat de studenten al hadden geleerd hoe een verslag te schrijven en daardoor verwachtten dat de kwaliteit hoger zou zijn. Ook kan het zijn dat de experimenten in de loop van het jaar moeilijker worden. Maar uit deze cijfers is niet direct af te leiden dat peerfeedback invloed heeft op de hoogte van de cijfers van studenten. Een andere mogelijke verklaring is dat de latere verslagen een moeilijkere opdracht besloegen en dat daardoor de cijfers lager zijn uitgevallen. De invloed van peerfeedback op het op tijd inleveren van verslagen is niet bewezen. Bij Literatuurwerkgroep Scheikunde hebben alle studenten hun verslagen op tijd ingeleverd maar een aantal studenten hebben hun verslag te laat ingeleverd bij PSEDAV, 10 van de 32, wat neerkomt op 31 procent en een redelijk hoog aantal is. Het kan zijn dat er een verschil is met de jaren waarin geen peerfeedback werd gebruikt en er misschien nog meer studenten hun verslagen te laat in leverden maar de data voor deze vergelijking ontbreekt. Tussen de vier verschillende groepen (A, B, C en D) is wel een significant verschil. In groep B heeft iedereen zijn verslag op tijd ingeleverd terwijl in groep D de helft van de studenten te laat was. Hieruit wordt geconcludeerd dat een assistent veel invloed kan hebben op een groep studenten. Meer invloed dan dat de medestudenten op een student hebben omdat deze zijn verslag na gaan kijken. Dit zeggen de studenten ook in de enquête, 31 procent zei beter hun best te doen op hun verslag door peerfeedback terwijl 69 procent zei absoluut niet beter hun best te doen door peerfeedback. Studenten legden uit dat groepsdruk geen invloed heeft op hun prestatiedrang. - 44 -

In dit onderzoek lijkt peerfeedback geen directe invloed te hebben op de cijfers van studenten en op hun studiegedrag. De cijfers werden niet hoger en de studenten leverden hun verslagen niet eerder in naar wat we konden zien in dit onderzoek. Wel was te zien dat studenten de peerfeedback deels verwerkten in hun verslagen wat ook een zeker effect genoemd zou kunnen worden. Interessant is het verschil tussen vraag 2 en vraag 17 uit de enquête die de studenten hebben ingevuld: 1 Ik deed mijn best om mijn medestudent van goede feedback te voorzien. (vraag 2) 2 Ik denk dat de student aan wie ik feedback heb gegeven mijn feedback nuttig vond. (vraag 17) Terwijl 60 van de 63 studenten aangeven hun best te hebben gedaan om denken ze toch dat de student die deze feedback heeft ontvangen de feedback minder nuttig vond, dit dachten 38 van de 61 studenten. Hierin is te zien dat studenten enigszins onzeker zijn over de feedback die ze geven. Opvallend is te kijken naar de verschillen in antwoorden tussen statement 17 en het statement: De peerfeedback die ik heb gekregen op mijn verslag was nuttig (statement 10). Uit een vergelijking hiertussen blijkt dat de studenten dachten dat hun peerfeedback nuttiger was voor anderen dan dat ze hun eigen ontvangen peerfeedback nuttig vonden, 25 van de 62 studenten vond de ontvangen feedback daadwerkelijk nuttig. Blijkbaar hebben de studenten gelijk met het feit dat ze niet denken dat hun feedback heel erg nuttig is. Ze denken dat hun eigen feedback nuttig is maar dat wordt niet zo ervaren door hun medestudenten. Het zou kunnen zijn dat ze wel hun best doen op de feedback maar niet goed weten hoe ze de beste feedback kunnen geven maar wel ontdekken dat de feedback niet handig is als ze hem hebben gekregen van een medestudent. Voor elke groep vragen uit de enquête is Cronbachs alfa berekend. Dit getal geeft aan in hoeverre een set vragen dezelfde overkoepelende vraag beantwoord. Vanaf een alfa van 0.7 is het significant dus de sets vragen die in dit onderzoek zijn gebruikt zijn significant aangezien ze alfa’s hebben die hoger zijn dan 0,8. Om te peilen wat de studenten zelf vonden van de manier waarop ze peerfeedback moesten geven zijn een aantal vragen gesteld in de enquête. 37 van de 64 studenten vonden peerfeedback geven in via blackboard handig, dit is maar net iets meer dan de helft, er zou gekeken kunnen worden naar een betere manier aldus de studenten. Over de lijst in Excel waren de studenten positiever, 6 studenten wilden graag meer vrijheid waarbij er minder punten zouden zijn om naar te kijken voor hun, het andere deel van de studenten vond het aantal punten oké. 58 van de 62 studenten vonden de lijst zelf handig, 4 studenten zouden dit graag anders zien.

Aanbevelingen voor docenten en verder onderzoek Waarschijnlijk weten studenten niet goed hoe ze zo feedback kunnen geven dat het voor anderen nuttig en bruikbaar is. Docenten zouden dit aan de studenten kunnen leren in hun colleges alvorens ze elkaar feedback te laten geven. De feedback wordt hier waarschijnlijk beter van en de studenten en ook de docenten zullen er meer aan hebben. Ook is het belangrijk voor de docenten om de peerfeedback na te kijken en te becijferen, studenten nemen iets een stuk minder serieus als ze er geen cijfer voor krijgen dan wanneer ze er wel een cijfer voor krijgen Uit dit onderzoek is de vraag opgekomen in hoeverre een docent invloed heeft op de studenten en hoe serieus ze werken. Tussen de verschillende groepen bij het vak PSEDAV was een duidelijk verschil te zien in gebruik van de feedbacklijsten en de datum van het inleveren van het verslag.

- 45 -

De verwachting is dat dit komt door de verschillende assistenten die de groepen hadden maar de vraag is in hoeverre deze invloed hebben op de studenten. Opvallend was dat van de 45 cursussen waarin peerfeedback wordt gebruikt 25 procent een cursus informatica betreft terwijl alle andere cursussen eerlijk verdeeld zijn over alle andere studies. Het zou kunnen zijn dat de stof die wordt geleerd in de informaticacursussen beter geschikt is voor het gebruik van peerfeedback maar hier zou nog verder onderzoek naar gedaan kunnen worden. Het is ook mogelijk dat de docenten vaker hebben gehoord van peerfeedback.

Referenties Bouzidi, L., & Jaillet, A. (2009). ‘Can Online Peer Assessment be Trusted?’ Educational Technology & Society, 12 (4), 257–268. Chen, Ying-Chih and Tsai, Chin-Chung (2009) 'An educational research course facilitated by online peer assessment' Innovations in Education and Teaching International, 46: 1, 105 - 117 Davies, P. (2000). ‘Computerized peer assessment’ Innovations in Education and Training International, 37(4), 346–354. Davies, P. (2006). ‘Peer assessment: Judging the quality of students’ work by comments rather than marks’ Innovations in Education and Teaching International 43, no. 1: 69. Falchikov, N., & Goldfinch, J. (2000). ‘Student peer assessment in higher education: a meta-analysis comparing peer and teacher marks’ Review of Educational Research, 70, 287–322. Liu, Ngar-Fun and Carless, David (2006) 'Peer feedback: the learning element of peer assessment', Teaching in Higher Education, 11: 3, 279 — 290 Liu, Eric Zhi-Feng, Lin, Sunny S. J. (2007) ‘Relationship between peer feedback, cognitive and metacognitive strategies and achievement in networked peer assessment’ British Journal of Educational Technology Vol 38 No 6 1122–1125 Magin, D. (2001). ‘Reciprocity as a source of bias in multiple peer assessment of group work’ Studies in Higher Education, 26(1), 53–63. Ploegh, Karin, Tillema, Harm H., Segers, Mien S.R. (2009) ‘In search of quality criteria in peer assessment practices’ Studies in Educational Evaluation 35, 102–109 Topping, K. (1996). ‘Effective peer tutoring in Further and Higher Education’ (Staff Educational Development Association Paper 95) Birmingham: Staff Educational Development Association Conference. Topping, K.J. (1998). ‘Peer assessment between students in colleges and universities’ Review of Educational Research, 68(3), 249–276. Tseng, S.-C., & Tsai, C.-C. (2007). ‘On-line peer assessment and the role of the peer feedback: A study of high school computer course’ Computers & Education, 49(4), 1161–1174. Vickerman, Philip (2009) 'Student perspectives on formative peer assessment: an attempt to deepen learning?' Assessment & Evaluation in Higher Education, 34: 2, 221 — 230 Yang, Yu-Fang, Tsai, Chin-Chung (2010) ‘Conceptions of and approaches to learning through online peer assessment’ Learning and Instruction 20, 72 – 83 Zundert, van, Marjo, Sluijsmans, Dominique, Merriënboer, van, Jeroen (2010) ‘Effective peer assessment processes: Research findings and future directions’ Learning and Instruction 20: 270 – 279

- 46 -

Bijlages -01- E-mail aan alle docenten van de Faculteit Natuurwetenschappen, Wiskunde en Informatica (FNWI) van de Universiteit van Amsterdam (UvA) -02- Herinneringse-mail aan alle docenten van het FNWI aan de UvA -03- Beschrijving van het vak Literatuur Werkgroep Scheikunde (LW) -04- Criteria voor peerfeedback Literatuur Werkgroep Scheikunde (LW) -05- Beschrijving van het vak Practica, Statistiek, Experimental Design, Academische Vaardigheden (PSEDAV) -06- Beschrijving van de opdracht bij het vak Practica, Statistiek, Experimental Design, Academische Vaardigheden (PSEDAV) -07- Criteria voor peerfeedback bij het vak Practica, Statistiek, Experimental Design, Academische Vaardigheden (PSEDAV) -08- Interview met docent van de cursus Literatuur Werkgroep Scheikunde (LW) -09- Interview met docent van het vak Practica, Statistiek, Experimental Design, Academische Vaardigheden (PSEDAV) -10- Studenten enquête -11- Voorbeelden van peerfeedback van twee studenten van het vak Practica, Statistiek, Experimental Design, Academische Vaardigheden (PSEDAV) -12- Antwoorden op enquête studenten in tabel

- 47 -

Bijlage 1 – E-mail aan alle docenten van de Faculteit Natuurwetenschappen, Wiskunde en Informatica (FNWI) van de Universiteit van Amsterdam (UvA)

Onderwerp: verzoek: invullen korte vragenlijst UvAonderzoek peer feedback

For English, see below. Beste Docent, Mijn naam is Karen van Meeteren en voor mijn bachelorproject bij Bio-exact doe ik onderzoek naar peer feedback binnen het hoger bèta onderwijs. Bij peer feedback geven studenten commentaar/feedback op het werk van hun medestudenten. Voor mijn onderzoek zou ik graag van u willen weten of u in het vak dat (de vakken die) u dit jaar doceert hiervan gebruik maakt. U kunt hiervoor de onderstaande vragen beantwoorden en terugsturen naar mij. Vak: Peer feedback: ja/nee Zo ja, kunt u kort omschrijven op welke manier u het gebruikt (denk aan: online of op papier, hoe vaak krijgen de studenten feedback van elkaar, anoniem of niet, geven ze elkaar cijfers): Mocht het nodig zijn, zou ik dan contact met u kunnen opnemen voor een aantal aanvullende vragen: ja/nee Alvast bedankt voor de moeite. Met vriendelijke groet, Karen van Meeteren Dear Lecturer, My name is Karen van Meeteren and for my Bio-exact bachelor project I am doing research on peer feedback in science higher education. With peer feedback the students give feedback at each others work. For my research project I would like to know if you use peer feedback in the subject(s) you teach this year. Therefore you can answer the questions below and reply this message to me. Subject: Peer feedback: yes/no If yes, can you shortly describe in which way you use it (think of: online or on paper, how often do students receive feedback from each other, anonymous or not, do they grade each other): If necessary, would I be allowed to contact you for a couple of complementary questions: yes/no Thank you for your reaction.

- 48 -

Yours sincerely, Karen van Meeteren

- 49 -

Bijlage 2 – Herinneringse-mail aan alle docenten van het FNWI aan de UvA

Onderwerp: Reminder: verzoek: invullen korte vragenlijst UvAonderzoek peer feedback

For English, see below. Beste Docent, Enige tijd geleden heb ik u een e-mail gestuurd met twee vragen over peerfeedback voor mijn bachelorprojectonderzoek Bio-exact. Ik zou u willen verzoeken deze alsnog te beantwoorden onderin deze e-mail. Bij peer feedback geven studenten commentaar/feedback op het werk van hun medestudenten. Voor mijn onderzoek zou ik graag van u willen weten of u in het vak dat (de vakken die) u dit jaar doceert hiervan gebruik maakt. U kunt hiervoor de onderstaande vragen beantwoorden en terugsturen naar mij. Vak: Peer feedback: ja/nee Zo ja, kunt u kort omschrijven op welke manier u het gebruikt (denk aan: online of op papier, hoe vaak krijgen de studenten feedback van elkaar, anoniem of niet, geven ze elkaar cijfers): Mocht het nodig zijn, zou ik dan contact met u kunnen opnemen voor een aantal aanvullende vragen: ja/nee Alvast bedankt voor de moeite. Met vriendelijke groet, Karen van Meeteren

Dear Lecturer, A while ago I send you an e-mail with two questions about peer feedback for my bachelor project research Bio-exact. I still request you to answer these questions below. With peer feedback the students give feedback at each others work. For my research project I would like to know if you use peer feedback in the subject(s) you teach this year. Therefore you can answer the questions below and reply this message to me. Subject: Peer feedback: yes/no If yes, can you shortly describe in which way you use it (think of: online or on paper, how often do students receive feedback from each other, anonymous or not, do they grade each other): - 50 -

If necessary, would I be allowed to contact you for a couple of complementary questions: yes/no Thanks in advance. Yours sincerely, Karen van Meeteren

- 51 -

Bijlage 3 – Beschrijving van het vak Literatuur Werkgroep Scheikunde (LW) Literatuurwerkgroep scheikunde Vakcode

CH305083

Admin. code

OWIN

Studielast

3

Ingangseis

voltooid tweede jaar scheikunde

Studiejaar

jaar 3 bachelor scheikunde

Periode(n)

Semester 1 blok 3 Zie ook

Onderwijsinstituut

College of Science domein Exacte Wetenschappen

Docent(en)

mw. dr. N. Brouwer-Zupancic (coördinator)

Onderdeel van

Bachelor Scheikunde

Leerdoel Leren lezen en begrijpen van moderne chemische literatuur. Literatuuronderzoek doen. Werken in groepsverband. Specifieke academische vaardigheden: - schrijfvaardigheden: scriptie schrijven; - onderzoeksvaardigheden: (a) de onderzoeksvragen uit de literatuur achterhalen en met eigen woorden de probleemstelling voor de scriptie formuleren (b) wetenschappelijke publicaties analyseren/evalueren en in een internationale context plaatsen Inhoud Studenten maken een literatuurstudie over een modern chemisch onderwerp. Daartoe wordt begonnen met een startartikel dat zeer recent in een topblad is gepubliceerd. Het startartikel wordt grondig gelezen en de literatuurbronnen die tot het onderzoek beschreven in dit artikel hebben geleid worden bestudeerd. Het onderzoek wordt in een ruim kader geplaatst en de werkwijze en de resultaten van dit en eerdere artikelen worden beschreven. In de conclusie wordt o.a. een vooruitblik gegeven in welke richting vervolgonderzoek zou kunnen gaan met eventuele implicaties. Over het onderzoek wordt een scriptie geschreven. Het startartikel Studenten kiezen een onderzoeksgebied voor hun literatuurstudie. Vervolgens krijgen ze een - 52 -

startartikel (of meer topartikelen om een startartikel eruit te kiezen) op het gekozen onderzoeksgebied en een begeleidende docent (een staflid). De startartikelen zijn geen artikelen van de begeleidende docenten zelf, maar gaan wel over het onderzoeksgebied waarop ze actief zijn. Elk startartikel mag maar door twee studenten gekozen worden die daarna samen aan de literatuurstudie werken. Aanmelden opgave voor 17 augustus 2009 via studieweb is verplicht Onderwijsvorm Zelfstandig leren (de begeleider geeft advies), samenwerkend leren (groepsverband), projectmatig werken om een werkstuk te produceren (scriptie). Hiervoor zijn stricte en duidelijke deadlines afgesproken. De scriptie moet uiterlijk twee weken na de start van het onderzoek ingeleverd worden. Er wordt in groepjes van twee (bij hoge uitzondering drie studenten) gewerkt. Tijdens de literatuurstudie bespreekt de groep studenten (in principe een keer) de opzet en de voortgang van het onderzoek met de begeleidende docent (een staflid) die het startartikel heeft voorgesteld. Na a floop worden de resultaten van het onderzoek indien gewenst nabesproken met de docent begeleider. Studie-materiaal alle aanvullende informatie is op Blackboard te vinden Toetsvorm Het eindcijfer wordt bepaald door de kwaliteit van de scriptie. Deze wordt op meerdere aspecten beoordeeld met een beoordelingschema. De begeleidende docent beoordeelt de inhoudelijke aspecten en de argumentatie, de coördinator van dit vak kijkt naar de structuur van de scriptie en de geschiktheid voor de gekozen doelgroep. Er wordt vervolgens een gezamenlijk cijfer gegeven.

- 53 -

Bijlage 4 – Criteria voor peerfeedback Literatuur Werkgroep Scheikunde (LW)

Question: Upload je eigen scriptie (conceptversie) en geef vervolgens in de evaluatieperiode op 15 januari feedback over twee scripties. Criteria 1 Beoordeel de kwaliteit van de vraagstelling van deze scriptie. - Waar is de onderzoeksvraag te vinden? (op welke pagina, in welke alinea) - Hoe concreet is deze geformuleerd? - Brengt deze het doel van het onderzoek naar voren? - Is de onderzoeksvraag neutraal gesteld? Is de vraag enkelvoudig gesteld? - Is er een toelichting op de vraag gegeven? Criteria 2 Geeft de scriptie antwoord op de onderzoeksvraag? Waar vind je deze? Criteria 3 Becommentarieer / beoordeel de tekstopbouw en de stijl van de scriptie. Lees de scriptie en kies als voorbeeld twee typische alinea's (een in de inleiding en een in het discussiegedeelte)en geef zo concreet mogelijk het commentaar over de volgende punten: - Hoe duidelijk is de tekst? - Hoe scherp en hoe zakelijk is de tekst (overbodige woorden)? - Zijn in de tekst betekenisloze frasen? - Is er een passende relatie tussen de kernzin en andere zinnen in de alinea (geven de zinnen voorbeelden of argumenten of tegenstellingen van de kernzin) Criteria 4 Kijk naar de alinea's die aansluiten op een tabel of op een schema. Hoe precies wordt in de tekst naar gegevens in het schema of in de tabel verwezen? Criteria 5 Wordt in de tekst adequaat naar de literatuur verwezen? Geef eventuele fouten aan. Criteria 6 Is er een toekomstperspectief over het onderzoek in de scriptie gegeven? Wat vind je ervan? Is het overtuigend geschreven? Criteria 7 Slaan de conclusies terug op het doel (onderzoeksvraag) in de inleiding?.

- 54 -

Bijlage 5 – Beschrijving van het vak Practica, Statistiek, Experimental Design, Academische Vaardigheden (PSEDAV)

Practica, Statistiek, Experimental Design, Academische Vaardigheden Vakcode

209PB

Admin. code

FDBA

Studielast

8 ( EC)

Periode(n)

Semester 1 en 2 ( 31-8-2009 t/m 25-6-2010)

Onderwijsinstituut

College of Science domein Levens- en Aardwetenschappen

Verzorgd door

Swammerdam Instituut voor Levenswetenschappen (SILS) Onderwijsinstituut Psychologie (FMG)

Docent(en)

dr. W.E.J.M. Ghijsen (coördinator)

Inlichtingen

dr. W.E.J.M. Ghijsen Science Park 904 kamer C4.104 +31 20 5257620

Onderdeel van

Bachelor Psychobiologie

Wijzigingen Let op: De studielast van dit vak is gewijzigd. Heb je dit vak in 2008-2009 niet gehaald/gevolgd, neem dan contact op met de studieadviseur

Leerdoel Aan het eind van de cursus beschikt de student over: Algemene laboratoriumvaardigheden en voor de Psychobiologie relevante onderzoeks- en computervaardigheden (zoals kennis van SPSS). Vaardigheid in het exploreren van (digitale) informatiebronnen (bibliotheeksystemen) over een bepaald onderwerp en in het organiseren en kritisch beoordelen van de inhoud van de informatie (literatuur) op tenminste dat onderwerp. Vaardigheid in het opstellen en uitvoeren van een onderzoeksplan in verschillende fasen, zoals het formuleren van een probleemstelling, een vraagstelling, een hypothese, het verzamelen van relevante literatuur en het kritisch verzamelen, verwerken en interpreteren van gegevens en uit deze gegevens voor vakgenoten acceptabele conclusies kunnen trekken. - 55 -

Vaardigheid in het schriftelijk rapporteren en mondeling presenteren van kennis en bevindingen in wetenschappelijk Nederlands en Engels. Vaardigheden die nodig zijn voor het werken in groepsverband als wel op individuele basis.

Inhoud De practicumreeks wordt parallel georganiseerd aan de vakken van het tweede jaar Psychobiologie. Het practicum sluit inhoudelijk aan op de vakken van het tweede studiejaar. Het practicum vormt de overgang tussen de kortere meer illustratieve practica uit het eerste jaar en het zelfstandig doen van onderzoek aan het eind van de bachelor en in de eventuele masterfase. De studenten doen individueel of groepsgewijs experimenten die meerdere dagdelen in beslag nemen en waarover zij schriftelijk dan wel mondeling rapporteren. Waar nodig zal bij de experimenten ondersteunende uitleg van experimental design, statistiek en softwarepakketten (bijv. SPSS) gegeven worden.

Onderwijsvorm Gedurende de vakken komen vele verschillende vaardigheden aan bod in practica. 201PB: Leren en geheugen: Tijdens het practicum doen studenten een computerpracticum met Matlab op basis van een uitgebreide opdracht met geheugenmodellen. 205PB: Emotie, Interne Regulatie en Verslaving: Tijdens het practicum wordt gebruik gemaakt van proefpersonen, het practicum omvat een onderzoek naar het gevolg van contextuele invloeden op stress in mensen. 206PB: Hogere Mentale Processen: Tijdens het practicum wordt data geanalyseerd met behulp van SPSS. Naar alle waarschijnlijkheid zullen er ook practica parallel lopen aan de vakken: 202PB, 203PB en 207PB. Meer informatie hierover kun je gedurende het academisch jaar vinden op http://www.studiegids.uva.nl.

Toetsvorm Dit vak kent een aanwezigheidsplicht. De opdrachten worden zowel formatief (feedback) als summatief (cijfer) beoordeeld. De weging van de verschillende onderdelen wordt nog nader bekendgemaakt. Het gemiddelde cijfer moet een 6 zijn en aparte onderdelen niet lager dan een 5,5. Van de aparte onderdelen worden geen herkansingen georganiseerd. Wanneer een van de onderdelen niet behaald is dan kan dit in het volgende academische jaar opnieuw gevolgd worden.

- 56 -

Bijlage 6 – Beschrijving van de opdracht bij het vak Practica, Statistiek, Experimental Design, Academische Vaardigheden (PSEDAV)

Module 1:Practicum Leren en Geheugen - Inhoud practicum: In het Leren en Geheugen practicum zal bekeken worden hoe het geheugen werkt. Hoe slaan we informatie op en hoe kunnen we het terugroepen? Aan de hand van een computerpracticum zullen verschillende geheugenmodellen worden getest. Naast een demonstratie van de mogelijkheden van het gebruikte computerprogramma, is het vooral de bedoeling om zelf experimenten te bedenken aan de hand van een toetsbare hypothese. Hoe kun je een proef goed laten verlopen en laten uitvoeren door proefpersonen? Hoe verwerk je de data van een zelf opgezet experiment? Dit practicum is bedoeld deze vaardigheden te oefenen. Het programma „Learning and Memory‟ is speciaal ontworpen om cognitieve proeven na te bootsen en eigen proeven te bedenken. Door proeven na te bootsen vindt je de weg door het programma en kom je erachter wat de mogelijkheden zijn. Een aantal taken die sowieso uitvoerbaar zijn, staan in de handleiding beschreven. De proef zal ongeveer een week zelf experimenteren inhouden, en het schrijven van het verslag zal eveneens een week in beslag nemen. Let wel, naast de colleges die gegeven worden in de cursus Leren en Geheugen. - Werkwijze: Lees eerst de handleiding van het Leren en Geheugen Practicum goed door, zodat je een beeld hebt van de opzet van de proef. Het is de bedoeling dat je de experimenten samen met een andere student uit jouw groep uitvoert, en er samen een verslag over schrijft. - Beoordeling en feedback: In dit practicum komen verschillende vaardigheden aan de orde, die deels voor elke student en deels voor elk groepje zullen worden getoetst. Alle vaardigheden nemen in totaal 10 punten in beslag, en het aantal punten staat bij elke vaardigheid aangegeven. Het practicum is pas geheel afgerond, als alle vaardigheden zijn uitgevoerd. In dat geval wordt er een cijfer vastgesteld, dat een onderdeel vormt van het eindcijfer van de gehele module. Zowel deelcijfer als eindcijfer dienen voldoende te zijn. Het is mogelijk om vaardigheden waarop onvoldoende wordt gescoord, in latere practica van de module te verbeteren. De beoordeling vindt plaats op basis van de feedback van de assistent naar de student via Blackboard (zie My Grades). Daarnaast zal het practicumverslag ook door andere studenten van feedback worden voorzien (zie Discussion group). Alle activiteiten kunnen gevolgd worden in Blackboard My Grades dat gedurende de hele module zal worden bijgehouden.

- 57 -

Bijlage 7 – Criteria voor peerfeedback bij het vak Practica, Statistiek, Experimental Design, Academische Vaardigheden (PSEDAV)

Verslag Practicum Leren en Geheugen: Onderdeel Titel (1 punt)

letten op sleutelwoorden duidelijk volledig

Samenvatting (2 punten)

lengte probeemgebied vraagstelling onderzoeksopzet bevindingen conclusie

Inleiding (3 punten)

probleemgebied vraagstelling hypothese en alternatief experimentele benadering voorspelling literatuur trechter model samenhangend geheel

Methoden (5 punten)

proefopzet *geteste groepen *behandeling .*variabelen Procedure *handelingen *niveau van details Analyse * maat voor prestatie *statistiek

Resultaten (5 punten)

Onderzoeksobjecten Hoofdresultaat deelresultaat getallen (gemiddelden etc)

Tabellen en grafieken

Overzichtelijkheid Legenda info op assen boven-onderschrift voldoende voor alle resultaten

- 58 -

Discussie (3 punten)

resultaten op hypotheseniveau kritische kijk methode alternatieve verklaringen terugkoppeling naar literatuur terugkoppeling naar theorie terugkoppeling probleemgebied suggesties voor vervolg / verbetering afsluiting conclusie

Literatuurlijst (1 punt)

aanwezig aantal artikelen opmaak

Algemeen (5 punten)

Opbouw volledigheid Zuinigheid formulering spelling Orginaliteit Inzet deadline gehaald?

Totaal (25+2 punten) Cijfer=totaal/2,7

- 59 -

Bijlage 8 – Interview met docent van de cursus Literatuur Werkgroep Scheikunde (LW)

1. Waarom heeft u peerfeedback gebruikt in uw onderwijs? Ik heb peer feedback geïntroduceerd bij het vak Literatuurwerkgroep Scheikunde om het reflectieve leren te stimuleren, om de schrijfvaardigheid te verbeteren, en om het leereffect bij dit vak te vergroten. 2 Wat/wie heeft u op het idee gebracht dit te gebruiken? Ervaringen uit onderzoekspraktijk en de literatuur zijn hierover positief. Peer feedback en peer assessment zijn de vormen van beoordeling in het wetenschappelijke wereld bij het bouwen van nieuwe kennis. Peer assessment is belangrijk ook voor levens lang leren. Peer feedback kan reflectief leergedrag stimuleren wat een belangrijk aspect is van het diepe leren. 3 Heeft het de beoogde resultaten gehad? Grotendeels hebben we de doelen bereikt maar niet helemaal. Het was een experiment. Helaas was er een technisch probleem die een invloed had op het verloop en extra tijd koste aan studenten. 4 Gaat u het volgend jaar weer gebruiken? Ja zeker! 5 Hoe heeft u bepaald op welke manier u het ging structureren? De studenten bij dit vak moesten een scriptie schrijven over literatuuronderzoek. Het structureren van feedback volgde de opbouw en het schrijfproces van een scriptie. 6 Hoe heeft u de lijst met punten in elkaar gezet? (waar heeft u die punten vandaan gehaald?) Uit vorige jaren bleek wat de zwakke punten waren en waar studenten vaak fouten maakten bij het schrijven van een scriptie. De criteria waren op basis hiervan samengesteld. 7 Heeft u verbeteringen ontdekt in de volgende verslagen naar aanleiding van de peerfeedback die ze eerder hebben ontvangen? In algemeen was de eindversie van de scriptie een verbetering. Dit was naar mijn gevoel ook in vergelijking met vorige jaren. Alle studenten hebben bovendien de deadline uitstekend gehaald. Omdat de groep klein was, is het moeilijk om te zeggen dat dit alleen door de peer feedback is gekomen. Ik heb ook soms nog fouten in de eindversie gevonden waar de medestudent al naar heeft verwezen.

- 60 -

Bijlage 9 – Interview met docent van het vak Practica, Statistiek, Experimental Design, Academische Vaardigheden (PSEDAV)

1 Waarom heeft u peerfeedback gebruikt in uw onderwijs? Het lijkt me goed dat studenten ook elkaars werk kritisch beoordelen, aan de hand van criteria die academisch gelden. Dit is een van de leerdoelen van het Bacheloronderwijs. 2 Wat/wie heeft u op het idee gebracht dit te gebruiken? Natasa Brouwer bracht me op het idee om het in deze praktische cursus te doen via blackboard. Ikzelf heb het al enkele jaren bij presentatie beoordelingen van studenten in kleine groepen (1015) toegepast. 3 Heeft het de beoogde resultaten gehad? Eigenlijk niet helemaal. We hadden het commentaar van de studenten moeten verwerken in het commentaar van de begeleider van de proef. Dit was praktisch uiteindelijk helaas niet haalbaar. Ook de studenten zelf vonden dit jammer. 4 Gaat u het volgend jaar weer gebruiken? In ieder geval zoals dit jaar uitgevoerd. Ja dus. Maar, indien mogelijk, als onderdeel van de feedback naar de studenten toe. 5 Hoe heeft u bepaald op welke manier u het ging structureren? Zie antwoorden boven. Was ook in belangrijke mate afhankelijk van de assistenten. 6 Hoe heeft u de lijst met punten in elkaar gezet? (waar heeft u die punten vandaan gehaald?) Criteria zijn opgesteld in samenspraak met de practicum assistenten. Hiervoor is ook enigszins gekeken naar de criteria die bij het tutoraat in het 1e jaar aan de orde kwamen. 7 Wat is de reden dat de studenten niet meer de mogelijk hebben gekregen om de ontvangen feedback te verwerken in hun verslag? De bedoeling was dat zij het commentaar, zowel van assistenten als medestudenten, zouden verwerken in de latere verslagen in de cursus. Sommige studenten hebben zich dit ook voorgenomen in de zelfreflectie die na de 1e helft van het practicum heeft plaatsgevonden. Dit is om praktische redenen niet meer gecheckt door de assistenten. 8 Heeft u verbeteringen ontdekt in de volgende verslagen naar aanleiding van de peerfeedback die ze eerder hebben ontvangen? Voorzover ik naar verslagen en andere schriftelijke opdrachten in het practicum heb gekeken, vind ik dat het tot verbeteringen heeft geleid. Echter de studenten willen dit graag opgemerkt zien. Hebben zelf het gevoel dat daar niet veel mee is gedaan.

- 61 -

Bijlage 10 – Studenten enquête

Beste student, Voor mijn bachelorproject Bio-exact doe ik onderzoek naar peerfeedback, waarbij studenten feedback geven op elkaars werk. Dit hebben jullie afgelopen jaar gedaan bij het vak Practica, Statistiek en Experimentele Design & AV in module 1 (Leren&Geheugen). Ik heb hierover een aantal vragen en stellingen voor jullie. Graag deze beantwoorden of aan te geven in hoeverre je het eens bent met de stellingen. Het invullen kost ongeveer 10 minuten. Ik wil je verzoeken je studentnummer ook in te vullen voor het belang van het onderzoek, de resultaten zullen anoniem verwerkt worden in mijn thesis. Alvast bedankt voor het invullen, Karen van Meeteren Codes: 1=Zeer mee oneens 2=Mee oneens 3=Niet eens, niet oneens 4=Mee eens 5=Zeer sterk mee eens

Studentnummer 1

2 3

4 5

6 7

8 9 10 11

Hoeveel tijd heb je besteed aan het geven van peerfeedback bij module 1 (Leren&Geheugen) per verslag? Ik deed mijn best om mijn medestudent van goede feedback te voorzien. Als ik het verslag van een vriend van mij nakijk dan geef ik deze een hoger cijfer dan als het geen vriend van me is. Voor hoeveel procent ben je het eens met de gekregen peerfeedback? De feedback die ik krijg van een student verwerk ik in mijn verslag zonder te kijken of ik het ermee eens ben. (In het geval dat je deze feedback nog had kunnen verwerken in je verslag) De feedback die ik heb gegeven is nuttig. Voor de peerfeedback is een Blackboard tool Discussion board gebruikt. Ik vind dat deze tool geschikt was voor het geven van feedback. Het geven van peerfeedback motiveerde mij om beter mijn best te doen op mijn eigen verslag. Ik heb alle gekregen peerfeedback goed doorgelezen. De peerfeedback die ik heb gekregen op mijn verslag was nuttig. Ik zou meer vrijheid willen bij het geven van feedback (met minder of geen criteria).

Ongeveer …… minuten per verslag O1

O2

O3

O4

O5

O1

O2

O3

O4

O5

O 0-20%

O 21-40%

O 41-60%

O1

O2

O3

O4

O5

O1

O2

O3

O4

O5

O1

O2

O3

O4

O5

O1

O2

O3

O4

O5

O1

O2

O3

O4

O5

O1

O2

O3

O4

O5

O1

O2

O3

O4

O5

O 61-80%

- 62 -

O 81

12

Ik ontvang het liefst feedback van: (meerdere opties mogelijk)

13

De feedback die ik krijg van een assistent verwerk ik in mijn verslag zonder te kijken of ik het ermee eens ben. (In het geval dat je deze nog had kunnen verwerken in je verslag) Deed je, doordat je wist dat je van medestudenten feedback ging krijgen, beter je best op je verslag? Licht je antwoord op de vorige vraag toe.

14 15

16 17 18

19

20 21

22 23

O 1 medestudent O 1 assistent O meerdere medestudenten O meerdere assistenten O maakt niet uit

O1

O2

O3

O4

O5

O nee O een beetje beter O ja, beter O ja, veel bet

Ik denk dat de student waaraan ik feedback heb O1 O2 O3 O4 O5 gegeven mijn feedback nuttig vond. Bij het geven van feedback leer ik hoe ik zelf een O1 O2 O3 O4 O5 beter verslag kan schrijven. Ik vond het jammer dat ik de gekregen feedback van mijn medestudenten niet meer in mijn verslag O1 O2 O3 O4 O5 kon verwerken. Ik vond de manier waarop de feedback was gestructureerd (lijst met punten waarop je moest letO1 O2 O3 O4 O5 ten in Excel) handig. De feedback die ik aan het eind van de opdracht O1 O2 O3 O4 O5 van de assistent heb ontvangen was nuttig. Ik vond het jammer dat ik de gekregen feedback van de assistent niet meer in mijn verslag kon verO1 O2 O3 O4 O5 werken. Ik heb mijn verslag op tijd (voor het moment van O ja, via discussion board O ja, via dropbox O ja, via de deadline) ingeleverd. O ja, via ………………… O nee Tot slot nog ruimte om opmerkingen te plaatsen die in de vragen niet aan bod zijn gekomen maar naar jouw me wel belangrijk zijn met betrekking tot peerfeedback.

- 63 -

Codes: 1=Zeer mee oneens 2=Mee oneens 3=Niet eens, niet oneens 4=Mee eens 5=Zeer sterk mee eens

Bedankt voor het invullen.

- 64 -

Bijlage 11a – Voorbeelden van peerfeedback van twee studenten van het vak Practica, Statistiek, Experimental Design, Academische Vaardigheden (PSEDAV)

Verslag Practicum Leren en Geheugen: Onderdeel Titel (1 punt)

Samenvatting (2 punten) duidelijke samenvatting

Inleiding (3 punten)

letten op sleutelwoorden duidelijk volledig

1

lengte probeemgebied vraagstelling onderzoeksopzet bevindingen conclusie

2

probleemgebied vraagstelling

hypothese en alternatief experimentele benadering voorspelling literatuur trechter model samenhangend geheel Methoden (5 punten)

Resultaten (5 punten)

opzich goed maar onvolledige manier van sig.

proefopzet *geteste groepen *behandeling .*variabelen Procedure *handelingen *niveau van details Analyse * maat voor prestatie *statistiek

Jullie vraagstelling is geen vraag: In dit onderzoek zal dan ook de volgende vraagstelling centraal staan; Wat de invloed is van positieve en negatieve emoties op het korte termijn geheugen? geen alternatief is niet gegeven

2

5

Onderzoeksobjecten Hoofdresultaat deelresultaat getallen (gemiddelden etc)

- 65 -

Tabellen en grafieken

Overzichtelijkheid Legenda info op assen boven-onderschrift voldoende voor alle resultaten

Discussie (3 punten)

Literatuurlijst (1 punt)

Algemeen (5 punten)

resultaten op hypotheseniveau kritische kijk methode alternatieve verklaringen terugkoppeling naar literatuur terugkoppeling naar theorie terugkoppeling probleemgebied suggesties voor vervolg / verbetering afsluiting conclusie

aanwezig aantal artikelen opmaak Opbouw volledigheid Zuinigheid formulering spelling Orginaliteit Inzet deadline gehaald?

er staat niet bij in of reactietijd in sec. min. Ofzo is. grafiek heeft geen titel 3

geen weinig weinig niet

1.5

1

zinnen lopen soms een beetje raar niet altijd helemaal goed

3

Totaal (25+2 punten)

18,5+2=20,5

Cijfer=totaal/2,7

7.6

Goed verslag. Let iets beter op zinnen die niet lekker lopen.

- 66 -

Bijlage 11b - Voorbeelden van peerfeedback van twee studenten van het vak Practica, Statistiek, Experimental Design, Academische Vaardigheden (PSEDAV)

Verslag Practicum Leren en Geheugen: Onderdeel Titel (1 punt)

Samenvatting (2 punten)

letten op sleutelwoorden duidelijk volledig

lengte probeemgebied vraagstelling onderzoeksopzet bevindingen conclusie

Inleiding (3 punten)

probleemgebied vraagstelling hypothese en alternatief experimentele benadering voorspelling literatuur trechter model samenhangend geheel

Methoden (5 punten)

proefopzet *geteste groepen *behandeling .*variabelen Procedure *handelingen *niveau van details

Wel angst en STM, maar weinig over het onderzoek zelf! Wat voor angst? En hoe? Geen apart titelblad. Er morgen geen literatuurverwijzingen in de samenvatting! Jullie hebben het over een ander onderzoek, en gaan vervolgens verder met: dit onderzoek. Geen duidelijke verwijzing naar jullie eigen onderzoek. Nooit neerzetten; onze vraag is: ... Verwerk het als een lopende zin Lengte is goed. Probleemgebied is duidelijk. Vraagstelling té duidelijk. Onderzoeksopzet, bevindingen en conclusie mooi kort. Probleemgebied misschien iets té uitgebreid beschreven, 3 verschillende onderzoeken helemaal uitgewerkt is te veel! Voor vraagstelling zie mijn commentaar bij samenvatting. Voor hypothese geldt een beetje hetzelfde. Verder mis ik de voorspellingen en de korte opzet van het experiment. Genoeg literatuur, wel teveel beschreven. Trechtermodel is dus ook niet aanwezig. Het geheel probeert samenhangend te zijn, maar omdat er zoveel mist en er heel veel fouten in zitten, lukt dat niet echt. Proefpersonen: waarom 13 vrouwen en 12 mannen? Waar vandaan? Wat voor neutrale foto's? Als je een plaatje gebruikt, moet je hem een naam geven en ernaar verwijzen in je tekst. Proefopzet duidelijk, ik snap alleen niet het: samenvattend... Ik mis het stukje voor de analyse! Welke toets gebruiken jullie om jullie data te analyseren?

- 67 -

0.25

1

1

2.5

Analyse * maat voor prestatie *statistiek

Resultaten (5 punten)

Onderzoeksobjecten Hoofdresultaat deelresultaat getallen (gemiddelden etc)

Tabellen en grafieken

Overzichtelijkheid Legenda info op assen boven-onderschrift voldoende voor alle resultaten

Discussie (3 punten)

resultaten op hypotheseniveau kritische kijk methode alternatieve verklaringen terugkoppeling naar literatuur terugkoppeling naar theorie terugkoppeling probleemgebied suggesties voor vervolg / verbetering afsluiting conclusie

Literatuurlijst (1 punt)

aanwezig aantal artikelen opmaak

Algemeen (5 punten)

Opbouw volledigheid

Er komt later ineens nog een stukje over variabelen waar nog wat gezegd wordt over de proefpersonen, dat zou ik gewoon bij het

Verwijzen naar tabellen! Niet zeggen: volgende tabel, maar zie tabel 1. Zijn er nog proefpersonen uitgevallen? Er staat een stukje methode in! Dat had dus hierboven moeten staan. Verder zijn de resultaten wel duidelijk, maar geven jullie geen specificatie wat het significantieniveau is (fout opgeschreven) etc.

2

Duidelijk, maar ze hebben lang niet allemaal een naam. Er wordt nooit naar verwezen in de tekst. Het boven en onderschrift is vaak niet volledig. Wel genoeg voor alle resultaten.

Bedrijgend?? Resultaten op hypotheseniveau goed, maar ik mis de evaluatie van de methode. Goede terugkoppeling naar literatuur en theorie. Suggesties voor verbetering is een beetje kort door de bocht. Afsluting en conclu-

2.5

sie is wel goed.

Is aanwezig, 3 artikelen is goed. Opmaak is normaal. Alleen de pagina nummers moeten niet schuin geschreven worden.

Geen 1,5 regelafstand in samenvatting De spelling is verschrikkelijk! Verkeerde woorden gebruikt, geen

- 68 -

1

3

Zuinigheid formulering spelling Orginaliteit Inzet deadline gehaald?

meervoud, slechte zinsopbouw. Opbouw is goed. Niet helemaal volledig. Orginaliteit valt wel mee, er Deadline is gehaald. Bovendien is de opmaak heel raar. Pagina's lopen door elkaar (maar dat kan ook aan verschillende versies van word liggen).

Totaal (25+2 punten)

13.25 15.25

Cijfer=totaal/2,7 5.6

Hallo jongens, Ik vind het heel vervelend om jullie zo'n slecht cijfer te geven, maar jullie moeten wel echt wat aan die spelling doen. De hele inleiding is echt verschrikkelijk, lees die eerste alinea maar eens door! Verder miste er gewoon een heleboel. Wat er wel was, is over het algemeen wel goed hoor! Groetjes!

- 69 -

Bijlage 12 – Antwoorden op studenten enquête In de bovenste rij staat het statement, in de linkerkolom het antwoord op dit statement en in de rest van de tabel staan de frequenties waarin deze antwoorden op elk statement zijn gegeven. Statement & Antwoord 1 2 3 4 5

2 0 0 3 45 15

3 6 27 23 7 0

4 0 3 21 35 3

5 28 27 5 1 1

6 0 1 14 43 4

7 9 17 19 18 0

8 8 12 21 21 1

9 0 4 13 38 7

10 0 8 29 23 2

Statement & Antwoord 1 2 3 4 5

11 7 23 27 5 1

12 1 3 10 42 5

14 8 29 14 9 2

15 42 15 4 0

17 0 2 21 37 1

18 2 7 14 31 7

19 1 3 13 42 3

20 2 3 12 39 4

21 2 7 17 29 7

- 70 -