Peer Assessment of 'Let the students do the work!' Een methodiek voor student activerend onderwijs Eggo Müller & Herre Talsma In de nieuwe vormen van het hoger onderwijs staat het leren 'leren' als vaardigheid centraal. In een steeds sneller veranderende beroepswereld, waarin de half waarde tijd van kennis steeds korter wordt, neemt de waarde van kennis af. Het LIFELONG LEARNING wordt anderzijds met hoofdletters geschreven. Om dit doel te bereiken worden studenten steeds meer betrokken bij het beoordelen van hun eigen werk. Daarbij wordt het aanleren van het geven van feedback op het werk van medestudenten als methode gebruikt. Hierdoor leren studenten criteria voor de kwaliteit van werkstukken ontwikkelen. De studenten moeten in staat zijn, deze criteria op hun eigen leerproces, werkstukken en overige vaardigheden toe te passen. In deze tekst vatten we eerst de onderwijskundige argumenten voor peer assessment (het onderling beoordelen van werkstukken door medestudenten) samen. Hierna volgt een beknopt verslag over twee onderwijsprojecten, bij de opleidingen 'theater-, film- en televisiewetenschap' en 'communicatie- en informatiewetenschappen' en de apothekersopleiding. In beide projecten zijn vormen van peer assessment op verschillende wijzen toegepast. 'Let the students do the work' – zo zou je volgens Sally Brown (http://www.lgu.ac.uk/deliberations/assessment/invite.html) van het Britse Institute for Learning en Teaching in Higher Education (http://www.ilt.ac.uk/), het motto van het studentactiverende hoger onderwijs kunnen omschrijven. Ook al doet dit motto denken aan de spreekwoordelijke luie docent, die vooral in zijn wetenschappelijke carrière is geïnteresseerd en dus niet in zijn studenten, dit motto getuigt van een nieuwe visie op de didactiek van het universitaire onderwijs. In het studentactiverende onderwijs staat niet de docent centraal die vooral kennis aan de student wil overdragen, centraal staat de student wiens leerproces wordt begeleid door een stimulerende docent. Dit nieuwe onderwijs is vooral gericht op het ontwikkelen van vaardigheden en competenties, vaak door het werken aan concrete producten of aan projecten die aan de beroepspraktijk gerelateerd zijn. Vandaar dat traditionele onderwijs- en toetsvormen als hoorcolleges en tentamens hooguit deel kunnen uitmaken van de brede set van werk-, leer- en toetsvormen die voor dit type onderwijs geschikt zijn (Brown/Rust/ Gibbs 1994). Wil je de student voor lifelong learning toerusten dan moet deze in staat zijn om zijn eigen leerproces te ontwikkelen, te bewaken en te evalueren. Dit betekent, dat de student de criteria voor het beoordelen van een opdracht, werkstuk, presentatie, onderzoeksverslag of welk resultaat van het leerproces dan ook, uiteindelijk zelf zou moeten kunnen ontwikkelen en toetsen. Volgens recente onderwijskundige literatuur (http://online.northumbria.ac.uk/central_departments/learning_resources/marcet/downl oads/Assessment.pdf ) (Boud 1988; Brown/Glasner 1999; Thorpe 2000; Milius/Oost/Holleman 2001; Schwartz/Webb 2002) ontwikkel je deze competentie net als andere vaardigheden en competenties: door de vaardigheid te oefenen. Door zelfreflectie, feedback en herhaling ontstaat een continue cirkel van kwaliteitsverbetering(De zogenaamde Demming cirkel). Toch zijn er nog weinig pogingen in het hoger onderwijs om studenten meer te betrekken bij het beoordelen van de resultaten van hun leerprocessen. Uit onderwijskundig perspectief kent peer assessment, zoals het onderling beoordelen van werkstukken door medestudenten ook wordt genoemd, de volgende voordelen: •
Het legt meer verantwoordelijkheid voor het leerproces bij de student.
•
Door andermans werk te beoordelen leert een student kwaliteitscriteria te ontwikkelen.
•
De student kan deze kwaliteitscriteria op zijn eigen werk toepassen en leert kritisch naar zijn eigen werk te kijken.
•
De onderlinge feedback vraagt van elke student goed beargumenteerd commentaar, gebaseerd op kennis van de leerstof.
•
Het is kwalitatieve feedback op het moment dat de student daar iets mee kan doen, dus 'formatief' en niet puur 'summatief' zoals het typische tentamineren van de leerstof aan het einde van een cursus.
•
Het draagt bij aan leren samenwerken en is dus gerelateerd aan vaardigheden en attitude vorming in de beroepspraktijk.
•
Het ondersteunt de academische vorming als door Milius, Oost en Holleman beschreven, namelijk het 'vermogen om een kritisch oordeel te vormen over zichzelf, over collega's en over hun werk' (2001, 177).
•
Als toetsvorm sluit het vaak beter aan bij werkvormen die in studentactiverende onderwijsvormen worden toegepast.
Naast deze didactische redenen om studentenfeedback in het hoger onderwijs te hanteren, zijn er ook beleidsmatige redenen, om peer assessment als werk- én toetsvorm te gebruiken. Het werkt uiteindelijk tijdsbesparend voor de staf. Voorwaarde daarvoor is dat docenten én studenten niet incidenteel in een cursus ervaring opdoen met peer assessment, maar dat dit systematisch deel uitmaakt van het gehele curriculum. Uit experimenten binnen de opleidingen theater-, film- en televisiewetenschap (http://www2.let.uu.nl/Solis/tftv/) en communicatie- en informatiewetenschappen (http://www2.let.uu.nl/solis/ciw/) en apothekersopleiding blijkt, dat docenten en studenten flink wat ervaring met peer assessment moeten opdoen, voordat het een betrouwbare en dus het leerproces stimulerende, en student motiverende werk- en toetsvorm kan worden genoemd. Feedback als werkvorm in een eerstejaars cursus van de opleiding theater-, film- en televisiewetenschap en communicatie en informatiewetenschappen, faculteit der Letteren, Universiteit Utrecht Doelstelling van de verplichte eerstejaarscursus 'media, cultuur en maatschappij' is, dat studenten inzicht krijgen in theorieën, die gaan over de rol van de media in de samenleving en dat ze ervaring opdoen met het opzetten van onderzoek in het kader van deze theorieën. Hierbij staat het uittesten van en de reflectie op onderzoeksmethoden centraal. De cursus is opgebouwd uit twee delen. Deel 1 staat in het teken van 'leren, kennen en oefenen': er wordt kennis gemaakt met de belangrijkste theorieën en er wordt onderzoek op dit gebied kritisch geëvalueerd. Studenten moeten per week voor een opdracht kiezen die gericht is •
óf op het theoretische begrip;
•
óf op de methodische toepassing;
•
óf op het opdoen van ervaring door een veldwerkopdracht;
•
óf op methodische reflectie.
Terwijl in deel 1 individueel wordt gewerkt, gaan studenten in deel 2 van de cursus in groepen van drie aan de slag met als opdracht zelfstandig een onderzoeksconcept te ontwikkelen, een kleinschalig proefproject uit te voeren en uiteindelijk een bijgesteld project in de vorm van een aanvraag bij een onderzoeksinstelling (bijv. NWO) te presenteren.
Om het zelfstandig werken in groepen in deel 2 voor te bereiden, is ervoor gekozen, studenten in de werkgroepsbijeenkomsten in deel 1 vooral met elkaar te laten werken met als opdracht dat ze elkaars weekopdrachten becommentariëren en feedback geven op elkaars werk. Studenten mogen twee keer de werkgroepdocent om feedback vragen, maar dit pas nadat ze het commentaar van hun medestudenten verwerkt hebben. De opdrachten moeten uiteindelijk, gebundeld in een dossier worden ingediend en worden door werkgroepdocenten beoordeeld. Het geven van feedback is aan de hand van de eerste opdracht in de werkgroep besproken en geoefend. Tegelijkertijd worden de criteria voor het beoordelen van de kwaliteit van opdrachten samen met de studenten in de werkgroep ontwikkeld. In de praktijk ontstaan een aantal problemen die gedeeltelijk uit de specifieke opzet van de cursus voortkomen, gedeeltelijk voortkomen uit het ontbreken van ervaring met het onderling geven van feedback als werkvorm: •
De autoriteit en meerwaarde van studentenfeedback wordt niet erkend, vooral in vergelijking met docentenfeedback zoals gegeven in andere cursussen.
•
Feedback is vaak erg oppervlakkig (bijv. 'let op de opbouw van je betoog'), inhoudelijk feedback die gebaseerd is op diepgaande kennis van de soms moeilijke leerstof wordt nauwelijks gegeven.
•
Studenten durven geen kritische feedback te geven op het werk van medestudenten, dit mede omdat bij de algemene regels voor het geven van feedback omschreven is dat de feedback 'positief', 'opbouwend', 'concreet' en 'verwerkbaar' moet zijn.
•
Studenten weten vaak niet wat ze met de feedback moeten als ze het inhoudelijk niet eens zijn met de feedback, ze missen de autoriteit van de docent die 'weet hoe het goed is' en wat er precies verbeterd moet worden.
•
Omdat in het begin weinig studenten gebruik hebben gemaakt van de – vrijwillige – docentenfeedback, raakten de werkgroepdocenten het zicht op de kwaliteit van én de feedback én de opdrachten kwijt, wat ongemakkelijk voelde: ze hadden te weinig de controle over het gebeuren.
•
Het zijn vooral de gemotiveerde en wat gevorderde studenten die in een vroeg stadium gebruik maken van de docentenfeedback terwijl juist de minder goede studenten niet om feedback door docenten vragen, met als gevolg dat dit het niveauverschil tussen de studenten vergroot.
•
Omdat de onderlinge feedback zo centraal staat binnen de cursus, is het voor studenten – terecht – onbegrijpelijk dat de feedback zelf geen onderdeel van de toetsing en daarmee van de beoordeling uitmaakt; het elkaar helpen bij het verbeteren van de opdracht is 'te abstract' om motiverend te werken.
Dit laatste punt was te voorspellen geweest als we er aan gedacht hadden, dat voornamelijk de toetsvormen het leergedrag van de studenten aansturen. Met als gevolg, dat docenten het geven van feedback niet alleen maar 'begeleid' hadden, maar dat ze ook uitgebreid tijdens de werkgroepsbijeenkomsten én individueel hun feedback op de studenten feedback gegeven hadden. Wel bleek dat studenten in deel 2 van de cursus waar ze met groepsopdrachten aan de slag gingen en het werk onderling moesten verdelen, goed voorbereid waren om kritisch naar het werk van de andere groepsleden te kijken en desnoods om verbetering of aanpassing te vragen. Nu het om een collectief product ging, was er ook een duidelijke motivatie om commentaar op de kwaliteit van het werk van een medestudent te geven. De docenten hebben de indruk dat studenten daarvoor in deel 1 van de cursus werden voorbereid, de studenten gaven aan dit niet als zodanig te hebben ervaren. Feedback in een derdejaars cursus
Doel van het derdejaarsvak kwaliteitsleer in de opleiding tot apotheker is om studenten gevoel te laten ontwikkelen met betrekking tot het begrip kwaliteit van het geneesmiddelproduct en het gebruik van geneesmiddelen. Kwaliteit moet hierbij altijd gezien worden in zijn context en kan in essentie omschreven worden als 'fitness for intended use'. De student moet in staat zijn om context afhankelijk aan te geven of de kwaliteit 'voldoende' is. Eerst moet er omschreven worden wat er verstaan wordt onder kwaliteit en dit moet middels specificaties (concrete kwaliteitseisen) in een kwaliteitsplan vastgelegd worden. Voor een aantal aspecten van kwaliteit bestaan wettelijke regels, voor een deel beroepsrichtlijnen, maar voor andere aspecten is geen duidelijk criterium voorhanden en moet door de studenten zelf een specificatie ontwikkeld worden. Met name voor het laatste deel zal door de studenten onderlinge afstemming nodig zijn. In hun contact met alle partijen die met kwaliteit te maken hebben (producent, overheid, patiënt en zorgverzekeraar) ontwikkelen de studenten inzicht in hoe verschillende partijen het begrip kwaliteit verschillend invullen. In een interactief proces ontwikkelen de studenten vervolgens een keuringsplan voor het geneesmiddelproduct en de daarbij behorende zorg. Hierop wordt feedback geleverd door de docenten. In de praktijk worden een aantal aspecten van het keuringsplan door de studenten uitgevoerd en moet een conclusie getrokken worden omtrent de kwaliteit van het product en de geleverde zorg. Een goed leermoment t.a.v. de patiëntenzorg ontstaat als de student als mystery guest vol verwachtingen over kwalitatief goede zorg een geneesmiddelproduct wat niet receptplichtig is gaat halen in de apotheek. Vaak blijken theorie en praktijk niet geheel overeen te komen. Belangrijk hierbij is ook dat de studenten zich realiseren dat elke gebruikte methodiek zijn eigen beperkingen heeft en niet altijd een correct antwoord leveren zal. Hiernaast is het schriftelijk eenduidig vastleggen van de kwaliteit in specificaties in een keuringsplan en het trekken van conclusies vaak een struikelblok. Zo is er bijvoorbeeld de vraag of elke specificatie ook gemeten moeten worden of dat er op grond van ervaring of literatuur niet gemeten hoeft te worden en wat elke afzonderlijke specificatie nu echt bijdraagt aan de kwaliteit als geheel (schoonheidsfoutjes ten opzichte van relevante fouten). Als vast onderdeel wisselen de studenten producten uit met elkaar zodat er feedback gegeven kan worden door medestudenten. Deze feedback wordt marginaal getoetst door de docenten. De examinering bestaat uit het beoordelen van een dossier met onderdelen van verslaglegging van voorgaande groepen. Hierbij moet gemotiveerd aangegeven worden wat de beoordeling is in het kader van de eerder opgedane kennis en vaardigheden. Opvallende evaluatiepunten: 1.
De studenten zijn goed instaat om na te gaan of documentatie en verslaglegging in orde zijn. Het leermoment van onvolledige of onduidelijke verslaglegging is er voor de studenten vaak reden toe om hun eigen werk nogmaals kritisch te bekijken en te verbeteren.
2.
Regelmatig wordt geen heldere doelstelling geformuleerd. In het algemeen is dit aanleiding tot geen of onvolledige conclusies.
3.
Studenten vinden met name de afweging van delen van het onderzoek ten opzichte van elkaar lastig. Gaat het om een schoonheidsfoutje of een relevante fout?
4.
Studenten moet geleerd worden dat alleen negatieve feedback (wat is er allemaal fout) vaak afbrekend is terwijl ook positieve feedback (wat was er allemaal wel goed) belangrijk is in het proces tot kwaliteitsverbetering.
Discussie en conclusie Uit deze twee projecten blijkt, dat peer feedback met wisselend succes wordt toegepast. Teneinde het meer effectief in te kunnen zetten is nader onderzoek nodig. Het promotieonderzoek naar Peer assessment van schrijfproducten (http://www.ivlos.uu.nl/curriculumenict/lopendeonderzoek/21005main.html) van Ineke van den Berg bij het IVLOS (www.ivlos.uu.nl) aan de Universiteit Utrecht kan hier hopelijk een belangrijke bijdrage aan leveren. Wat uit de ervaring met deze twee projecten op dit moment geconcludeerd kan worden, is het volgende: •
Feedback hoort bij een academische attitude, om mogelijk lifelong learning te realiseren.
•
Er moet een plek in het curriculum gemaakt worden om studenten het geven van feedback systematisch te leren.
•
Feedback hoort deel uit te maken van de toetsing.
•
Reflectie op het eigen leerproces levert een belangrijke bijdrage aan de academische vorming.
•
De introductie van het portfolio kan mogelijk een belangrijke bijdrage leveren aan het aanleren van systematische feedback.
•
Feedback kan een belangrijk bijdrage leveren aan een student activerende houding, in samenwerking met de docent wordt getracht een optimaal werkstuk af te leveren.
Samenvattend: zowel de student als de docent moet nog wennen aan de nieuwe didactische inzichten. In diverse faculteiten wordt momenteel geëxperimenteerd met onderwijsvormen waarbij het 'leren leren' centraal staat. Het gaat niet alleen meer om kennisoverdracht, maar met name ook om het aanleren van academische vaardigheden, die een lifelong learning capacity introduceren. Peer assessment kan, mits correct toegepast, hieraan een mogelijke bijdrage leveren. Hiertoe dient feedback door medestudenten en docenten wel systematisch in de opleiding geïntroduceerd te worden. Kortom, er is nog veel werk te doen voordat de docenten kunnen roepen: 'Let the students do the work!'
Links naar websites met nuttige tips en trucks voor peer assessment: •
University of Western Australia: Peer Feedback on Teaching
•
Coastal Carolina University: Peer Mentor Program
•
Indiana University Bloomington: Collection Student Feedback
•
Nottingham Trent University: Student Feedback
Literatuur Boud, D. (ed.) (1988). Developing Student Autonomy in Learning. London: Kogan Page.
Brown, S., Rust, C. & Gibs, G. (1994). Strategies for Diversifying Assessment. Oxford: Centre for Staff Developement. Brown, S. & Glasner, A. (1999). Assessment Matters in Higher Education: Choosing and Using Diverse Approaches. Birmingham: Open University Press. Milius, J., Oost, H. & Holleman, W. (2001). Werken aan academische vorming. Utrecht: IVLOS. Schwartz, P. & Webb, G. (2002). Assessment. London: Kogan Page. Thorpe, M. (2000). (http://iet.open.ac.uk/pp/m.s.thorpe/pubs.htm) Encouraging students to reflect as part of the assignment process: student responses and tutor feedback. Active Learning in Higher Education, 1 (1), 79-92.
Auteurs Eggo Müller, Instituut Media en Re/presentatie, Kromme Nieuwegracht 29, 3512HD Utrecht,
[email protected], docent/onderzoeker; onderwijs terrein: naast specialisatiecursussen over televisie en populaire cultuur vooral inleidende cursussen op het gebied van film- en televisieanalyse en mediatheorie binnen de opleidingen Communicatie- en informatiewetenschappen, Theater-, film- en televisiewetenschap, Taal- en cultuurstudies; belangstellingsgebieden: student-activerende onderwijsvormen, projectonderwijs; peer assessment; combinatie onderwijs-onderzoek; ICT in het hoger onderwijs. Herre Talsma, faculteit Farmaceutische Wetenschappen, Postbus 80082, 3508 TB Utrecht
[email protected], senior docent/onderzoeker op het gebied van de kwaliteitsleer. onderwijsgebieden; kwaliteitsleer, farmaceutische microbiologie en medische hulpmiddelen, onderzoeksgebied de keten van kwaliteitszorg van product tot patiënt.
