Faculteit der Sociale Wetenschappen
Handleiding Toetsen en Beoordelen
Vastgesteld door het Faculteitsbestuur op 21 maart 2006, gehoord hebbende de Opleidingscommissies en de Gezamenlijke Vergadering.
Inhoud Inleiding........................................................................................................................... 2 1. De basiseisen aan toetsen ....................................................................................... 3 1.1 Algemene kwaliteitseisen ..................................................................................... 3 Validiteit ................................................................................................................... 3 Betrouwbaarheid....................................................................................................... 3 Transparantie ............................................................................................................ 3 Bruikbaarheid ........................................................................................................... 4 1.2 Toetsvormen.......................................................................................................... 4 1.3 Inhoudstoetsen ...................................................................................................... 5 Validiteit ................................................................................................................... 5 Betrouwbaarheid....................................................................................................... 6 Transparantie ............................................................................................................ 6 Bruikbaarheid ........................................................................................................... 6 Schriftelijke tentamens ............................................................................................. 6 Mondelinge tentamens.............................................................................................. 8 1.4 Vaardigheidstoetsen ............................................................................................. 9 Validiteit ................................................................................................................... 9 Betrouwbaarheid....................................................................................................... 9 Transparantie ............................................................................................................ 9 Bruikbaarheid ......................................................................................................... 10 Schriftelijke opdrachten.......................................................................................... 10 Presentaties ............................................................................................................. 10 Theses ..................................................................................................................... 10 2. De basiseisen aan beoordelen .............................................................................. 11 2.1 Algemene kwaliteitseisen ................................................................................... 11 Normbepaling ......................................................................................................... 11 Intercollegiale toetsing ........................................................................................... 11 Fraude ..................................................................................................................... 11 De Examencommissie ............................................................................................ 11 2.2 Inhoudstoetsen .................................................................................................... 12 Schriftelijke tentamens ........................................................................................... 12 Mondelinge tentamens............................................................................................ 13 2.3 Vaardigheidstoetsen ........................................................................................... 13 Schriftelijke opdrachten.......................................................................................... 13 Presentaties ............................................................................................................. 14 Theses ..................................................................................................................... 14 Literatuur ...................................................................................................................... 15
1
Inleiding Het document Handleiding Toetsen en Beoordelen heeft als doel binnen de Faculteit der Sociale Wetenschappen (FSW) inzicht te geven in de kwaliteitseisen die gesteld worden aan toetsen en beoordelen. In dit document worden de regels zoals die zijn vastgelegd in facultaire regelingen weergegeven, alsmede aanbevelingen gedaan voor de constructie van verschillende toetsvormen en voor het corrigeren en beoordelen van toetsen. Er wordt ingegaan op specifieke problemen bij het toetsen en beoordelen van kennis en vaardigheden, er worden praktische tips en aanbevelingen voor verschillende toetsvormen gegeven en er wordt gekeken naar de praktische gang van zaken rond toetsing. Dit document behoort tot het Handboek Kwaliteitszorg (http://www.intranet.vu.nl, zie: overig/naslagwerken/reglementen) dat VU-breed deel uitmaakt van het systeem van interne onderwijskwaliteitszorg. Bij het interne kwaliteitszorgsysteem spelen zowel externe als interne prikkels een belangrijke rol. Externe prikkels zijn bijvoorbeeld het Nederlands-Vlaamse Accreditatie Orgaan (NVAO), het ministerie, het College van Bestuur en de verwachtingen van de student. Interne prikkels zijn onder andere de mogelijkheid tot hergebruik van kennis, reconstrueerbare werkwijze (afleggen verantwoordelijkheid) en transparantie. Alles is er hierbij op gericht dat een organisatie voorspelbaar en gestructureerd gedrag vertoont. Het document Handleiding Toetsen en Beoordelen is vooral bedoeld als praktische handleiding voor docenten FSW. Voor studenten is het van belang dat zij op de hoogte zijn van de regels ten aanzien van toetsen en beoordelen. In hoofdstuk 1 wordt stilgestaan bij de basiseisen aan het toetsen. Het tweede hoofdstuk behandelt de basiseisen aan het beoordelen. In beide hoofdstukken zullen allereerst de algemene kwaliteitseisen behandeld worden. Vervolgens wordt een onderscheid gemaakt naar verschillende toetsvormen en de verschillende invulling van de kwaliteitseisen ervoor. Veel van wat beschreven wordt, is niet nieuw, maar een weergave van de bestaande praktijk. In het document zijn de regels zoals die gelden binnen FSW in kaders geplaatst, met daarbij een verwijzing naar de betreffende regeling waarin de regel is opgenomen (zie ook: http://student.fsw.vu.nl/faculteit/regelingen/). Wanneer gesproken wordt over kwaliteits- of basiseisen, worden hiermee inhoudelijke eisen bedoeld die ten grondslag liggen aan een goede manier van toetsen en beoordelen. Dit zijn geen vastgestelde regels. Praktische tips en aanbevelingen, onder meer uit het Handboek Kwaliteitszorg, zijn in de tekst verwerkt en veelal door middel van een opsomming weergegeven.
2
1.
De basiseisen aan toetsen
1.1 Algemene kwaliteitseisen Over het algemeen wordt met het begrip toetsing het hele proces van constructie, afname en beoordeling van toetsen bedoeld, als onderdeel binnen het curriculum. Toetsing dient een bijdrage te leveren aan het leerproces van de student. Deze bijdrage kan selecterend zijn, beheerst de student wat hij of zij volgens de eindtermen en leerdoelen zou moeten beheersen, of diagnostisch, wat zijn de zwakkere kanten die nog bijsturing verdienen, en tenslotte kan een toets een voorspellende functie hebben voor het vervolg van het leerproces en de (studie)loopbaan van de student. Het gehele curriculum vormt een mix van deze functies. De term 'toets' wordt in deze tekst niet als synoniem gebruikt voor 'tentamen', maar omvat ook andere toetsvormen zoals schriftelijke opdrachten, mondelinge presentaties etc. Welke functie een toets ook heeft, de toets als meetinstrument kan alleen bruikbare informatie opleveren als aan enkele basis kwaliteitseisen wordt voldaan: • • • •
validiteit: het instrument beantwoordt aan zijn doel en meet wat het beoogt te meten; betrouwbaarheid: op grond van de score kunnen beslissingen worden genomen; transparantie: de student weet wat er van hem of haar verwacht wordt; bruikbaarheid: de toetsvorm past bij de leerstof, leerdoelen en groepsgrootte. De toets is reëel en geschikt binnen de financiële en/of materiële kaders, maar ook de beschikbare tijd.
Gestreefd moet worden naar een optimum van de bovengestelde eisen zodat het meetinstrument daadwerkelijk een uitspraak kan doen over de vorderingen en stand van zaken in het leerproces van de student. Een goed meetinstrument zorgt ervoor dat studenten niet ten onrechte zakken of slagen, maar ook dat studenten een reëel beeld krijgen van hun leerproces. Validiteit De waarde van een toetsuitslag is gebaseerd op de vooronderstelling dat de toets een relevante en representatieve steekproef en controle met betrekking tot de leerdoelen is. De docent is met een valide toets(vorm) in staat een gefundeerde uitspraak te doen over de mate waarin de onderwijsdoelen door de student gerealiseerd zijn. Betrouwbaarheid Een beoordeling van een toets moet verdedigbaar en gedegen zijn en recht doen aan de beoordeelde. Aan de betrouwbaarheid van een toets kan getwijfeld worden indien de beoordeling bijvoorbeeld gebaseerd is op een te beperkt aantal metingen, te weinig getoetste onderdelen of een onvoldoende precieze formulering van de toetsvragen. Transparantie Met transparantie wordt bedoeld dat voor de student duidelijk moet zijn wat er van hem of haar verwacht wordt bij een toets. Dit betekent dat duidelijkheid verschaft dient te worden over de te toetsen stof, het moment van toetsing en het type toets. Hierbij kan gedacht worden aan het duidelijk communiceren van welke literatuur en collegestof getoetst worden, wanneer het tentamen plaatsvindt, welk type vragen er gesteld worden
3
(open vragen of meerkeuze) en in welke mate eventuele schriftelijke opdrachten voldoende dienen te zijn of mee tellen in het eindcijfer. Bruikbaarheid Verschillende toetsvormen variëren in bruikbaarheid, dus in de mate waarin de beoogde functies vervuld worden. Belangrijk bij bruikbaarheid zijn de organisationele en procedurele aspecten. Waar het hier om gaat is de vraag of de geleverde inspanning - zowel van docent als student - in een redelijke verhouding staat tot de hoeveelheid informatie die een bepaalde toets oplevert. 1.2 Toetsvormen Er zijn verschillende toetsvormen te onderscheiden. Bij de keuze voor een bepaalde toetsvorm moet idealiter in de eerste plaats uitgegaan worden van het criterium validiteit, daarna betrouwbaarheid en in de laatste plaats van de bruikbaarheid, en niet andersom. Daarnaast moet het doel van de toets duidelijk zijn. Hierbij valt grofweg een verdeling te maken tussen enerzijds ‘inhoudstoetsen’ waarmee voornamelijk op kennis wordt getoetst, en anderzijds ‘vaardigheidstoetsen’ waarbij vaardigheden als schrijven, verbanden leggen en analyses maken worden getoetst. Indien het doel is de student op kennis te toetsen, ligt het meer voor de hand om hiervoor een schriftelijk of mondeling tentamen te gebruiken als toetsvorm dan een schriftelijke opdracht zoals het schrijven van een essay. Bij het toetsen van schrijfvaardigheid is een schriftelijk of mondeling tentamen logischerwijs juist een minder geschikte toetsvorm en een paper een goede vorm. Mogelijke toetsvormen zijn: • Schriftelijk tentamen o Meerkeuzevragen / Gesloten vragen o Korte antwoordvragen o Essayvragen / Vraagstukken • Mondeling tentamen • Schriftelijke opdrachten o Essay o Paper o Recensie o Parafrase • Presentaties • Theses Schriftelijke en mondelinge tentamens zijn geschikt om kennis te toetsen. Door middel van schriftelijke opdrachten, presentaties en theses kunnen bepaalde vaardigheden getoetst worden. Beide typen toetsen vragen om een andere invulling van de kwaliteitseisen. Er heersen veel vooroordelen ten aanzien van de toetsvorm. Een van die vooroordelen is bijvoorbeeld dat kennis uitsluitend met gesloten vragen getoetst zou kunnen worden. Uit onderzoeken blijkt dat meerdere toetsvormen geschikt zijn om een (cognitieve) vaardigheid te toetsen. Een student die goed scoort op een tentamen met open vragen, doet het ook goed bij een tentamen met gesloten vragen. Studenten hebben vaak het idee dat hun voorbereidingen voor een toets beter tot hun recht komen bij een toets met open vragen. Er zijn verschillende experimenten gedaan om dit te onderzoeken; studenten die zich voorbereid hadden op een toets met gesloten vragen kregen een open vragen 4
toets en andersom. Deze resultaten werden vergeleken met die van studenten die de toets deden waarop zij zich hadden voorbereid; de scores weken niet van elkaar af (Van Berkel, 1999: p. 21 en verder). Bij de motivatie achter de keuze voor een bepaalde toetsvorm spelen niet alleen de algemene kwaliteitseisen en het doel van de toets een rol. Ook argumenten van efficiëntie, representativiteit en objectiviteit van een bepaalde toetsvorm zijn belangrijk. De keuze voor de toetsvorm wordt veelal afgedwongen door argumenten van efficiëntie; hoeveel studenten maken de toets en hoeveel nakijkwerk levert het op, hoeveel tijd is er beschikbaar om bijvoorbeeld mondelinge tentamens af te nemen. Met het oog op de representativiteit van een toets speelt ook het aantal vragen een belangrijke rol; hoe meer vragen je stelt, hoe representatiever de steekproef. Een grote hoeveelheid vragen is in een beperkt tijdsbestek alleen te hanteren bij gesloten vragen. Het aantal vragen dat gesteld kan worden bij een tentamen moet begrensd worden door de beschikbare hoeveelheid tijd. Objectiviteit tenslotte wordt bij open vragen of bij het beoordelen van schriftelijke producten vergroot door het inzetten van meerdere beoordelaars en door te werken met een lijst van vooraf bepaalde criteria waaraan het product moet voldoen. Wat de gekozen toetsvorm ook is, de toets moet nagaan in hoeverre de student de eindtermen/leerdoelen van het vak of onderwijsonderdeel beheerst. Deze eindtermen zijn opgenomen in de vakbeschrijvingen in de digitale studiegids, maar hebben voor het construeren van toetsvragen vaak concretisering nodig. Bij het concretiseren van de leerdoelen helpen inhoudelijke aspecten als de leerstof, het eventueel toekomstig werkveld (bijvoorbeeld voor het formuleren van toepassingsvragen) en discussies tussen studenten en docenten tijdens het onderwijs. 1.3 Inhoudstoetsen Validiteit In geval van een schriftelijk of mondeling tentamen is het van belang dat de vragen een goede afspiegeling vormen van het geleerde, dat alle belangrijk geachte onderwerpen evenredig in het tentamen vertegenwoordigd zijn en dat het tentamen op het beoogde beheersingsniveau meet. Tentamens dienen derhalve zowel wat betreft de inhoud van het onderwijs (inhoudsvaliditeit) als de beheersing van vaardigheden (begripsvaliditeit) valide te zijn. Bij het samenstellen van een tentamen gelden de volgende aanbevelingen: • het tentamen moet een relevante en representatieve steekproef van de te tentamineren stof zijn • de vragen dienen gespreid over de stof gesteld te worden • het aantal vragen wordt bepaald op grond van het aantal te bevragen onderwerpen en de beschikbare tijd. Dit betekent dat indien het doel van het vak is een brede inleiding te geven in een bepaalde discipline (zoals bijvoorbeeld een inleiding in de sociale wetenschappen), er vaak veel onderwerpen aan bod komen. Gezien de representativiteit en de beschikbare tijd voor een schriftelijk tentamen, ligt het dan voor de hand een meerkeuze tentamen als toetsvorm te kiezen. De vragen behoren uitsluitend over de verplichte leerstof te gaan, dus inclusief de collegestof voor zover die schriftelijk of digitaal beschikbaar is gesteld aan studenten. (Onderwijs- en Examenregeling)
5
Betrouwbaarheid Bij open vragen is het lastig te bepalen of een voldoende niveau van betrouwbaarheid gerealiseerd is, zeker in vergelijking met gesloten toetsvormen als meerkeuzevragen. Een toets kan valide zijn, in die zin dat alle belangrijke stof bevraagd wordt, maar toch onbetrouwbaar doordat de vragen slordig geformuleerd zijn. Dit laatste geldt uiteraard ook voor meerkeuzevragen. Betrouwbaarheid kan alleen gegarandeerd worden indien vragen zorgvuldig en ondubbelzinnig geformuleerd worden. Transparantie Hiertoe is het bij tentamens van belang dat meerdere tentamengelegenheden voor een en hetzelfde vak (binnen een studiejaar) vergelijkbaar zijn, bijvoorbeeld door gebruik te maken van parallelvragen (vragen die in verschillende bewoordingen hetzelfde meten). Daarnaast is het voor een goede voorbereiding van de student op de toets van belang om helderheid te verschaffen over het type tentamen en vragen dat men kan verwachten. Om de student in staat te stellen zich goed voor te bereiden, dient voor ieder vak dat met een schriftelijk tentamen wordt getoetst, een proeftentamen of een set proefvragen beschikbaar gesteld te worden via de vakpagina op de onderwijswebsite of op Blackboard. (Richtlijnen voor Schriftelijke Tentamens) Bruikbaarheid Een tentamen dat uit essayvragen bestaat is, gezien de beschikbare tijd, doorgaans beperkt van omvang. Wanneer beoogd wordt op kennisniveau te meten, zal een dergelijk tentamen meestal niet voldoen aan het criterium van inhoudsvaliditeit. Een andere belangrijke factor in dezen is de groepsomvang; een grote groep studenten zal men bij voorkeur geen mondeling tentamen afnemen. Anderzijds loont de extra tijdsinvestering die de constructie van gesloten vragen met zich meebrengt pas bij groepen die groter zijn dan ongeveer vijftig studenten. Wat betreft de uitvoerbaarheid moet de vraag gesteld worden of het tentamen reëel en geschikt is binnen de financiële en/of materiële kaders, maar ook binnen de beschikbare tijd. Deze eisen staan vaak op gespannen voet met elkaar. Zo wordt vanuit overwegingen van efficiëntie of kostenbesparing soms de voorkeur gegeven aan een toetsvorm die vanuit het oogpunt van validiteit en betrouwbaarheid minder adequaat is. Om te voorkomen dat de keuze voor een bepaalde toetsvorm ten opzichte van een van de criteria een nadelig effect heeft, kan een toets uit verschillende toetsvormen worden samengesteld, waarbij de deelscores elkaar kunnen compenseren. Studenten ervaren een dergelijke wijze van toetsen veelal als positief. Schriftelijke tentamens De regels die gelden vóór, tijdens en na afname van een schriftelijk tentamen zijn opgenomen in de documenten Regeling Schriftelijke Tentamens, Richtlijnen voor schriftelijke tentamens en de Instructie voor surveillanten bij schriftelijke tentamens. Hierin worden zaken beschreven als inschrijving voor het tentamen, bekendmaking van het tentamenrooster en –zalen, inzet van surveillanten en hun rol bij het tentamen, orde tijdens het tentamen, fraude, correctietermijn en inzagerecht (mogelijkheid tot bezwaar en mogelijkheid van feedback) na afloop van het tentamen. Waar de algemene regels in de hiervoor genoemde regelingen beschreven worden, wordt de inhoudelijke en vakspecifieke informatie verschaft via de digitale studiegids, 6
de onderwijswebsite en Blackboard. Het verdient sterke aanbeveling dat er tenminste informatie wordt verstrekt over: • de leerdoelen • de hoeveelheid stof • de toetsvorm • de onderlinge verhouding bij eventuele verschillende onderdelen • de norm voor een voldoende • de verantwoordelijke docent • de geplande toetsdatum en herkansingsmogelijkheid • de mogelijkheid tot inzage in de gemaakte toets. Naast heldere informatievoorziening naar studenten voorafgaand aan het tentamen, zoals in de studiegids en op de onderwijswebsite, vraagt het formuleren van tentamenvragen eveneens de aandacht. Bij het maken van de tentamenvragen is het raadzaam onderstaande aanwijzingen in acht te nemen: • stel vragen over de belangrijk geachte hoofdonderwerpen, niet over de details • voorkom kans op verschillende interpretatie van vragen door zorgvuldige formuleringen • maak vragen bij voorkeur in samenwerking met andere docenten • vermeld alle gegevens die nodig zijn voor het beantwoorden van de vraag, denk bijvoorbeeld aan het aangeven van de literatuur waarop een vraag betrekking heeft (indien bijvoorbeeld meerdere artikelen van een auteur zijn gebruikt, kan helderheid verschaft worden door aan te geven op welk artikel van de betreffende auteur de vraag betrekking heeft) • formuleer de vragen zo kort en zakelijk mogelijk • vermijd dubbele ontkenningen • zorg ervoor dat de vraag de eindterm kan meten • laat de gebruikte formulering van de vragen aansluiten op de bestudeerde leerstof. Specifiek voor meerkeuzevragen: • geef een meerkeuzevraag bij voorkeur 3 of 4 alternatieven: de sleutel (het juiste antwoord) en 2 of 3 afleiders • maak de sleutel juist of duidelijk de beste keuze • geef geen (grammaticale) aanwijzingen in de vraagstelling • maak alternatieven alle ongeveer even lang zodat voorkomen wordt dat het ene alternatief meer informatie of details bevat dan het andere • vermijd woordherhalingen in de alternatieven • zorg voor plausibele of aannemelijke alternatieven (geen ‘onzin’ antwoorden opnemen) • vermijd negatieve vraagstellingen, of benadruk een eventuele ontkenning om verwarring te voorkomen, bijvoorbeeld door een onderstreping • vermijd vage, relatieve aanduidingen zoals ‘meestal’ en ‘vaak’ • vermijd absolute beweringen, stellingen met absolute formuleringen als ‘altijd’ en ‘nooit’, zijn zelden altijd juist of altijd onjuist • vermijd het alternatief 'geen van de alternatieven is correct', meestal is deze optie een uiting van gebrek aan inspiratie en geen echt alternatief • laat alternatieven elkaar zo veel mogelijk uitsluiten • sorteer de antwoorden logisch.
7
Specifiek voor open vragen: • maak duidelijk wat de omvang (minimaal en maximaal) van het antwoord is dat verwacht wordt van de student • gebruik liever wat meer korte open vragen dan een of twee lange open vragen zodat de representativiteit groter wordt • maak bij het formuleren van de vraag tegelijkertijd een antwoordmodel • gebruik 'geef uw mening'-vragen alleen als naar argumentatie gevraagd wordt; gebruik liever de formulering ‘beargumenteer….’. Wat betreft de lay-out en indeling zijn de volgende punten van belang: • de vragen dienen zoveel mogelijk de volgorde van de te toetsen stof te volgen • pagina’s zijn bij voorkeur genummerd • gebruik een heldere lay-out waarin verschillende lettertypes een duidelijke functie hebben. De informatie die op het voorblad van het tentamen wordt gegeven dient bij voorkeur te bestaan uit: • naam van het vak • datum van het tentamen • aanvang- en eindtijd van het tentamen • welke gelegenheid het betreft (1e of 2e tentamengelegenheid) • verantwoordelijke docent • aantal pagina’s • aantal vragen • type vraagvormen • instructie gewenste omvang en opzet van het antwoord • de maximaal te behalen score per opgave, en de norm voor een voldoende • melding van de wijze waarop inzage van het gemaakte tentamen mogelijk is. Het aantal te stellen vragen bij het schriftelijk tentamen wordt bepaald door de beschikbare tentamentijd en de omvang van de leerstof. Een tentamen is als meetinstrument minder zuiver indien factoren als snelheid, testslimheid of schrijfvaardigheid een grote rol spelen, omdat deze factoren niets zeggen over de mate waarin de leerstof beheerst wordt. Toch is de invloed van deze factoren niet helemaal uit te sluiten en bovendien mag er op deze onderdelen ook een minimum aan vaardigheid en beheersing worden verwacht van de studenten. Taal- en schrijfvaardigheid van de student geven immers ook informatie over het inzicht van de student in de stof en in het leggen van verbanden. Om het gebruik van telegramstijl of taalfouten te voorkomen, is het raadzaam om op het voorblad van een tentamen te vermelden dat geantwoord dient te worden in leesbaar, correct Nederlands en in volledige zinnen. Zodoende is bij de student bekend dat taalen stijlfouten van invloed kunnen zijn op de beoordeling. Mondelinge tentamens Mondelinge tentamens maken niet standaard deel uit van de onderwijsprogramma’s, wat maakt dat bij deze toetsvorm extra zorgvuldigheid geboden is. In principe wordt niet meer dan één student tegelijkertijd getentamineerd en is het tentamen openbaar tenzij de examencommissie anders beslist of de student hiertegen bezwaar maakt. Het staat de student vrij om iemand van zijn of haar keuze te vragen aanwezig te zijn bij het tentamen, indien dat hem of haar helpt bij het creëren van een veilige omgeving. Eisen van
8
validiteit en betrouwbaarheid gelden natuurlijk ook in het geval van een mondeling tentamen, maar zijn door het vaak wat informele karakter van deze vorm van tentamineren lastiger te waarborgen. Juist daarom is het van belang waar mogelijk de situatie te formaliseren. Het is wat dat betreft aan te bevelen om standaard een tweede docent het mondeling tentamen bij te laten wonen. 1.4 Vaardigheidstoetsen Het toetsen van vaardigheden is gecompliceerd, met name omdat het vaak gaat om een combinatie van verschillende vaardigheden. Het schrijven van een thesis bijvoorbeeld is een ingewikkelde interactie van schrijfvaardigheid en cognitieve vaardigheden als analyse, synthese en structurering. Vaardigheden worden meestal getoetst in de vorm van een product, bijvoorbeeld een thesis, een uitgewerkte opdracht of een (groeps-) presentatie. Bij de beoordeling van het product gaat het om meerdere vragen: • Kent de student de regels omtrent het schrijven van een paper/ het presenteren? • Wat valt te zeggen over het latere functioneren in de praktijk? • Is er sprake van voldoende abstractievermogen? • Is er sprake van voldoende creativiteit? • Is de toepassingsbekwaamheid voldoende? Bij het toetsen van vaardigheden gelden de volgende algemene aanbevelingen: • zorg voor feedback(-mogelijkheden), zonder feedback is het leereffect gering • geef geen opdrachten als ze niet worden nagekeken • studenten kunnen elkaar feedback geven, maar de docent blijft (uiteindelijk) de beoordelaar die het cijfer geeft • beperk het aantal beoordelingscriteria • laat de moeilijkheidsgraad van de criteria toenemen in de loop van een curriculum (aan eerstejaars bachelorstudenten dienen andere eisen gesteld te worden dan aan masterstudenten). Validiteit In het geval van een schriftelijke opdracht of een mondelinge presentatie geldt dat de opdracht logisch dient aan te sluiten bij het vak. De opdracht moet binnen het beschikbare tijdsbestek te schrijven dan wel voor te bereiden zijn. Om alle relevante aspecten terug te laten komen in het product dat de student aflevert, is het van groot belang dat de opdracht en de beoordelings- en feedbackcriteria helder worden geformuleerd. Betrouwbaarheid Bij vaardigheidstoetsen wordt de betrouwbaarheid van de toets sterk beïnvloed door bijvoorbeeld de hoeveelheid beoordelaars (subjectiviteit, interpretatie), het aantal criteria waarop wordt beoordeeld en de omvang van de toets. Wordt er bovendien alleen gekeken naar het eindproduct, of ook naar de periode waarin door de student aan de toets gewerkt is, en dus de manier waarop tot het eindproduct gekomen is? Dat zijn aspecten die vooraf voor student en docent duidelijk moeten zijn. Transparantie Ook voor schrijfproducten of andere vaardigheidstoetsen geldt dat het van belang is dat bij de student duidelijk is wat er van hem of haar verwacht wordt. Hierbij is informatie
9
over de omvang van het product, de precieze opdracht en de beschikbare tijd onontbeerlijk. Bij voorkeur worden daarvoor openbare beoordelings- en feedbackcriteria gebruikt. Bruikbaarheid Bij vaardigheidstoetsen zijn het doorgaans producten die beoordeeld worden. Het heeft alleen zin om van deze toetsvorm gebruik te maken als het haalbaar is om de producten van feedback te voorzien. Bij het geven van feedback gaat het om het geven van een motivatie waarom iets goed of niet goed is. Indien daartoe om bijvoorbeeld organisationele redenen (te veel studenten voor een beperkt aantal docenten) geen gelegenheid is, is het de vraag of het leerproces van de student met een vaardigheidstoets bevorderd wordt. Schriftelijke opdrachten Schriftelijke opdrachten kunnen onder meer dienen: • om studenten te inspireren zo snel mogelijk aan het werk te gaan; • om opgedane kennis aan de praktijk te toetsen; • om na te gaan of de stof echt begrepen is; • om vaardigheden te oefenen. Welk oogmerk men ook heeft, opdrachten schieten hun doel voorbij als ze niet ten minste een feedbackfunctie hebben. Het heeft dan ook geen zin om opdrachten te geven als de mogelijkheid deze na te kijken ontbreekt. Presentaties Een moeilijkheid in het geval van presentaties is dat het proces tegelijkertijd ook het product is. Dit betekent dat het resultaat, meer dan bij andere toetsvormen, niet alleen beïnvloed zal worden door de kennis van het onderwerp maar ook door persoonlijke factoren als sprekersangst, stemmingswisselingen en interesse in het onderwerp. Daarom is het belangrijk een veilig klimaat voor de beoordeelde(n) te creëren. Theses Ook voor het toetsen door middel van een thesis moeten de vier eisen validiteit, betrouwbaarheid, transparantie en bruikbaarheid in acht worden genomen. De inhoudsvaliditeit kan worden vergroot door de student de vrijheid te geven zelf een onderwerp te kiezen voor zijn of haar thesis. Transparantie ontstaat door vooraf duidelijk te maken wat het doel van de thesis is, ofwel welke vaardigheden getoetst worden. Over het algemeen zal gelden dat door middel van een thesis zowel kennis over een bepaald onderwerp getoetst wordt, als cognitieve, redactionele en creatieve vaardigheden, analytisch vermogen en, bijvoorbeeld in het geval van de Masterthesis, inzicht in en begrip van methoden en technieken van sociaal-wetenschappelijk onderzoek. Wat betreft de bruikbaarheid van een thesis als toetsvorm, kan gesteld worden dat het laten schrijven van een thesis door de student alleen dan zinvol is wanneer er voldoende begeleiding gegeven kan worden. Iedere opleiding heeft een eigen leeronderzoeks- en/of thesishandleiding waarin de inhoudelijke- en vormeisen aan het leeronderzoek en/of de thesis zijn opgenomen. (Regeling Masterthesis)
10
2.
De basiseisen aan beoordelen
2.1 Algemene kwaliteitseisen Normbepaling Voor het vaststellen van de (voorlopige) norm voor een voldoende bestaan diverse methoden. Het belangrijkste onderscheid hierbij is of het om een absolute dan wel een relatieve methode gaat. Bij een absolute methode ligt de norm in de stof en staat dus vooraf vast. Bij een relatieve methode is de norm afhankelijk van de groepsprestatie: hierbij wordt de norm dus pas achteraf vastgesteld. Omdat relatieve methoden groepsafhankelijk zijn (eenzelfde score zou in een relatief goede groep slechter uit kunnen pakken dan in een relatief slechter scorende groep) zijn deze op zijn minst omstreden. Het verdient daarom aanbeveling om te werken met een vooraf vastgestelde norm. Wat die norm precies is, is afhankelijk maar dient in grote lijnen wel voor een curriculum vastgelegd te worden. Bij een slagingspercentage lager dan 50% moet door de betrokken docent nader worden onderzocht waarom de score zo laag is. Hierbij moet natuurlijk niet alleen naar de stof en de toets gekeken worden. Contextuele vragen over de roostering, de afstemming met tegelijkertijd geroosterde vakken en andere nietinhoudelijke factoren dienen meegenomen te worden. Het verdient aanbeveling toetsen van eenzelfde vak uit verschillende jaren met elkaar te vergelijken om de moeilijkheidsgraad te bepalen, en bij voorkeur het oordeel van meerdere docenten hierin te betrekken. Intercollegiale toetsing Het is van groot belang dat docenten met enige regelmaat bijeenkomen om zowel toetsen als resultaten van toetsen aan elkaar voor te leggen en te bespreken. De onderwijsmanagers zijn de bewakers van dit proces en worden geacht dergelijke bijeenkomsten te initiëren. Ervaringen, problemen en best practices worden hier uitgewisseld, en beginnende docenten worden gecoacht door de meer ervaren staf. Fraude Fraude kan zowel op het moment van frauderen als achteraf bij de beoordeling vastgesteld worden. In het geval van schriftelijke tentamens is het spieken bij andere studenten of bij zelf meegebrachte hulpmiddelen als fraude aan te merken. In geval van schriftelijk werk, wordt het plegen van plagiaat als fraude aangemerkt. FSW heeft een plagiaatscanner ter beschikking waarmee de docent in geval van schriftelijk werk de toets op plagiaat kan controleren. •
Elk geval van fraude wordt door de examinator (docent) gemeld bij de Examencommissie. • De Examencommissie kan de fraudepleger voor maximaal één kalenderjaar uitsluiten van één of meer toetsen. (Onderwijs- en Examenregeling)
De Examencommissie Wettelijk ligt de formele verantwoordelijkheid voor het afnemen van toetsen en examens bij de Examencommissie. Wat betreft de beoordeling van toetsen geldt het volgende:
11
• • •
Elk onderdeel wordt afgesloten met een eindcijfer. De beoordeling vindt plaats in hele of halve punten, behalve tussen de 5 en de 6. Indien de beoordeling hoger is dan het eindcijfer 5, maar lager dan het eindcijfer 6, wordt de uitslag aan de student vastgesteld in hele punten. De eindcijfers 5,01 t/m 5,49 worden afgerond naar een 5. De eindcijfers 5,5 tot en met 5,99 worden afgerond naar een 6. • Wanneer er sprake is van een testimonium dat bestaat uit deeltoetsen of meerdere onderdelen die alle voldoende moeten zijn, vindt de afronding per deelcijfer en vervolgens per eindcijfer plaats. • Wanneer er sprake is van een testimonium dat bestaat uit deeltoetsen of meerdere onderdelen met deelcijfers, vindt de afronding plaats bij het eindcijfer. (Reglement voor de Examencommissie)
2.2 Inhoudstoetsen Schriftelijke tentamens Zoals hierboven al gesteld is, zijn er verschillende methoden beschikbaar voor het bepalen van de zak/slaaggrens bij tentamens. Bij meerkeuzevragen verdient het aanbeveling de gokkans in de vooraf vastgestelde norm te verrekenen1. Ook bij tentamens met open vragen wordt eerst gekeken naar de absolute score, om vervolgens de relatieve context mee te wegen. Er kan hier natuurlijk niet met een gokkans gerekend worden, maar wel kan vastgesteld worden of een toets of een vraag relatief gezien heel goed of juist heel slecht gemaakt is. Dit kan leiden tot eventuele bijstelling van alle cijfers naar boven. Voordat de cijfers worden toegekend, dus voordat de beoordeling plaatsvindt, dient eerst de score te worden bepaald. Het bepalen van de score, het corrigeren, kan met name bij open vragen problemen opleveren. Bij het nakijken wordt het toetsresultaat vastgesteld en wordt daaruit geconcludeerd hoeveel procent van de stof een student beheerst. Bij het beoordelen gaat het om de vraag of dit resultaat voldoende is. Het is aan de docent om te bepalen welke score behaald moet worden om een voldoende te behalen. De hoogte van deze score hangt af van het soort vak of het soort kennis dat getoetst wordt. Om beoordelingseffecten bij de correctie van open vragen zoveel mogelijk te voorkomen, is het van belang dat van tevoren een goed uitgewerkt antwoordmodel is vastgesteld met een bijbehorende waardering in punten. Proefcorrecties maken of correcties per vraag in plaats van per student zijn hiertoe ook goede hulpmiddelen. Bij de laatste stap in het proces van beoordelen, het geven van een cijfer, is het van belang zoveel mogelijk zekerheid te hebben verkregen over de kwaliteit van het meetinstrument dat is gebruikt. Bij de verwerking van meerkeuzetentamens voert het Onderwijscentrum automatisch een statistische tentamenanalyse uit. Voor tentamens met open vragen gebeurt dit zelden. Achteraf zijn het commentaar van studenten of duidelijk (want statistisch zeer afwijkend) verkeerd geïnterpreteerde of te moeilijke vragen bij een tentamen met open vragen de enige aanknopingspunten. De kwaliteitscontrole vooraf (bijvoorbeeld door de vragen voor te leggen aan een collega) is dus bij open vra1
Voorbeeld: Bij een meerkeuzetentamen dat bestaat uit 60 vierkeuzevragen en een vastgestelde norm (door de docent) heeft van 55% voor het halen van een voldoende, moet een student 55% goed hebben van 45 vragen (60 – 15 gokkans) om een 6 te scoren. Dat betekent dus dat 25 + 15 vragen van de 60 goed moeten zijn.
12
gen van groot belang. Indien een toets een aanzienlijk lager slaagpercentage heeft dan verwacht (in ieder geval indien het slagingspercentage beneden de 50% ligt), verdient het de aanbeveling zowel een statistische als een inhoudelijke analyse uit te (laten) voeren. Wat betreft een inhoudelijke analyse kan het Onderwijscentrum op aanvraag indicaties geven over waarom een bepaalde opgave statistisch opvallend slecht is. Tenslotte is ook bij schriftelijke tentamens de feedback van belang. Aanbevolen wordt om voorafgaand aan of tijdens het tentamen naar studenten te communiceren op welke wijze zij inzage kunnen krijgen in het gemaakte tentamen. Dit kan bijvoorbeeld door op het voorblad van het tentamen aan te geven wanneer de collectieve bespreking plaatsvindt of op welke tijdstippen een student langs kan komen om het tentamen in te zien of te bespreken. Deelnemers aan een schriftelijk tentamen kunnen voorafgaand aan de tweede tentamengelegenheid kennis nemen van de gestelde vragen en gegeven opdrachten van de eerste tentamengelegenheid, alsmede van normen die zijn gehanteerd. Een verzoek daartoe kan schriftelijk worden ingediend bij de betreffende docent. De docent kan ook bepalen dat inzage en/of kennisname plenair geschiedt, op een vaste plaats en een vast tijdstip. Ten behoeve van de tweede tentamengelegenheid geldt een inzagetermijn van twintig werkdagen na de beoordeling. (Richtlijnen voor Schriftelijke Tentamens) Mondelinge tentamens Bij de beoordeling van mondelinge tentamens is het van belang om vooraf de normering vast te stellen. Een duidelijk beoordelingsformulier waarin is opgenomen welke elementen in het antwoord van de student verwacht worden is daarbij van belang. De docent stelt direct na het afnemen van het mondeling tentamen de uitslag vast. (Reglement voor de Examencommissie)
2.3 Vaardigheidstoetsen Het beoordelen van vaardigheidstoetsen is ingewikkelder dan het beoordelen van inhoudstoetsen omdat de beoordeling subjectiever is. Van belang is dat zowel docent als student bij vaardigheidstoetsen bekend zijn met de beoordelingscriteria. Waar moet een werkstuk of thesis aan voldoen? Wat zijn de criteria waarop wordt beoordeeld? Wegen alle criteria even zwaar? Wat wordt er precies beoordeeld: alleen het eindproduct of ook het voorafgaande traject? Bij vaardigheidstoetsen wordt aanbevolen altijd een vooraf vastgesteld beoordelingsformulier beschikbaar te stellen op basis waarvan de student weet waar hij of zij op beoordeeld zal gaan worden. Schriftelijke opdrachten Schriftelijke opdrachten kunnen meewegen in de eindbeoordeling van een bepaald vak; dit dient vooraf duidelijk gemaakt te zijn aan studenten. Bovendien geldt ook hier weer dat de beoordelings- en feedbackcriteria van tevoren bekend moeten zijn bij de student.
13
Presentaties Bij een presentatie wordt voor de beoordeling een groot beroep gedaan op het korte termijngeheugen van de beoordelaar, tenzij de presentatie op video wordt opgenomen. Dit betekent dat het beoordelingsformulier dat gebruikt wordt geen eindeloos lange lijst moet zijn van criteria. Het formulier moet praktisch en snel gebruikt kunnen worden. Ook hier is het weer van belang dat de beoordelingscriteria van tevoren bekend zijn bij de student. Indien er meerdere beoordelaars betrokken zijn bij een presentatie, is het aan te raden dat deze beoordelaars op verschillende aspecten letten. Ook bij een groepsbeoordeling is het nodig, hoewel lastiger, om de individuele bijdrage vast te stellen. Middelen die van nut kunnen zijn voor de docent om op de eigen bijdrage van individuele studenten binnen een groep te reflecteren zijn onderlinge feedback en zelfreflectie door de studenten. Op die manier kunnen de bijdragen van de afzonderlijke studenten zichtbaar worden gemaakt en leiden tot een individuele beoordeling (eventueel als onderdeel van een eindbeoordeling). Theses De betrouwbaarheid van de beoordeling van theses wordt ongunstig beïnvloed door twee factoren: de subjectiviteit van de beoordelaar en de onbetrouwbaarheid van het beoordelingsinstrument. De eerste factor is te beperken door met meer dan een beoordelaar te werken, zoals dat in het geval van de Masterthesis ook standaard gebeurt. De Bachelorthesis wordt door één docent beoordeeld. Het verdient daarom aanbeveling om in geval van twijfel over het al dan niet toekennen van een voldoende, een tweede beoordelaar te raadplegen om op die manier in ieder geval het niveau van de ondergrens van de Bachelorthesis te bewaken. Daarmee is echter nog niet gegarandeerd dat de individuele begeleiding en feedback tijdens het proces op een goede manier verlopen. Door middel van het bijhouden van voortgangsrapportages kan deze begeleiding in kaart gebracht worden. De betrouwbaarheid van het beoordelingsinstrument wordt vergroot door te werken met een beoordelingsschema voor de thesis (niet noodzakelijkerwijs eenvormig), dat vooraf bekend is bij de student (transparantie). • •
Mastertheses worden onafhankelijk beoordeeld door twee docenten om de betrouwbaarheid van de beoordeling te vergroten. (Regeling Masterthesis) Thesisbegeleider en student houden ten behoeve van de thesisvoortgang schriftelijk of elektronisch de planning, gemaakte afspraken en data van bijeenkomsten en/of gesprekken bij. (Regeling Masterthesis)
14
Literatuur • • • • • •
Toetsen en beoordelen. Gids voor docenten van de Faculteit der Economische Wetenschappen en Econometrie. 1996. Amsterdam: Vrije Universiteit. Handleiding Toetsen en Beoordelen. 1998. Amsterdam: Vrije Universiteit, Faculteit der Rechtsgeleerdheid. M. Jaspers en M. Schade. Toets & Beleid. Toetsbeleid en geautomatiseerde toetsing. Fontys Milius, J., Oost, H. en Holleman, W. 2001. Werken aan academische vorming. Ideeën voor actief leren in de onderwijspraktijk. Utrecht: Universiteit van Utrecht. Berkel, H. van. 1999. Zicht op toetsen. Toetsconstructies in het hoger onderwijs. Assen: Van Gorcum. Dousma, T., Hortsen, A. en Brants, J. 1997. Tentamineren. Groningen: WoltersNoordhoff.
Wie zich nader wil verdiepen in het toetsen en beoordelen, kan hiervoor ook bij het Onderwijscentrum van de VU terecht: http://www.onderwijscentrum.vu.nl/. Het Onderwijscentrum biedt in het kader van onderwijskundige professionalisering verscheidene cursussen aan.
15
