Toetsmethoden Maurice de Volder Heerlen 5 maart 2012
Een toets is een middel om de vorderingen van studenten te beoordelen. Alleen wanneer een toets gevolgen heeft voor het behalen van een certificaat spreekt men van een tentamen of examen. Een tentamen of examen is dus een certificerende toets, maar ook de volgende termen zijn gangbaar: summatieve toets, formele toets, cijfertoets en afsluitende toets. We spreken van een formatieve toets, informatieve toets of diagnostische toets wanneer het de enige bedoeling van de toets is om aan studenten feedback te geven betreffende hun vorderingen zodat ze hun studiegedrag kunnen bijsturen. Alhoewel strikt genomen niet alle toetsen ook tentamens zijn, worden de termen toets en tentamen in de praktijk toch vaak als synoniem gebruikt. Om de vorderingen van studenten te beoordelen kunnen de volgende toetsmethoden worden gebruikt: Gesloten vragen: dit zijn vragen waarbij een keuze moet worden gemaakt uit aangeboden alternatieven. Er zijn vier typen gesloten vragen: juist- onjuist vragen, meerkeuzevragen, sorteervragen en ordeningvragen. Toetsing met gesloten vragen gebeurt meestal schriftelijk (papier of computer) maar kan ook mondeling gebeuren al is het laatste niet aan te raden. Open vragen: dit zijn vragen waarbij het antwoord door de student wordt geproduceerd. Dit kan gaan van korte (invul)vragen tot lange (casus)vragen. Toetsing met open vragen gebeurt meestal schriftelijk (papier of computer) maar kan ook mondeling. Het gaat hier uitsluitend om éénrichtingscommunicatie want als er interactie is tussen vraagsteller en student is er sprake van een interactieve vraag. Interactieve vragen zijn vragen waarbij de volgende vraag afhankelijk is van het antwoord op de vorige. Meestal gaat het om een mondelinge dialoog van vraag en antwoord, maar de interactie kan ook via een computersimulatie verlopen. Gedragsobservatie: studentactiviteiten tijdens practica, stages, groepsbijeenkomsten, presentaties, enz. worden geobserveerd en gescoord door een observator (docent, stagebegeleider, medestudent, enz.). Werkstuk: de student levert een product dat wordt beoordeeld door de werkstukbegeleider of een andere beoordelaar. Een werkstuk is van verbale aard (scriptie, beleidsdocument, computerprogramma, enz.) of van non-verbale aard (kunstwerk, bouwplan, toestel, enz.) of een mengvorm van verbale en non-verbale componenten. Leerverslag: dit is een verslag van eigen activiteiten en reflecties daarop, bijvoorbeeld een stageverslag. Biografische gegevens worden geregistreerd zoals bibliotheekbezoek, logins op webpagina’s, aanwezigheid bij conferenties, deelname aan practica, enz.
1
1. Eisen te stellen aan toetsen en tentamens Omdat het tentamen via het verlenen van het certificaat een civiel effect heeft, moet de beoordeling van de individuele prestatie zo correct mogelijk gebeuren. Groepswerk en beoordeling door medestudenten zijn dus uit den boze in de context van certificerende beoordeling, maar kunnen wel nuttig zijn bij formatieve toetsing. Het is bekend dat medestudenten als ‘peer assessors’ in staat zijn om waardevolle feedback te leveren op elkaars werkstuk of gedrag. Bij groepswerk moet de individuele bijdrage daaraan een apart cijfer krijgen. Toetsen en tentamens dienen om te bepalen of de student de leerdoelen van de cursus (of een onderdeel daarvan) bereikt heeft. Daarom wordt aan toetsen en tentamens een aantal algemene eisen gesteld, namelijk betrouwbaarheid, validiteit en adequate organisatie. Voor certificerende toetsen (tentamens en examens) zijn de eisen stringenter dan voor formatieve toetsen.
1.1 Betrouwbaarheid Onder de betrouwbaarheid van een toets verstaat men de mate waarin de meting (de score) het ware niveau van beheersing door de student weergeeft en vrij is van niet bedoelde, toevallige invloeden zoals de keuze van de onderwerpen of de beoordeling door een bepaalde persoon. Concreet wil dit zeggen: in hoeverre zou een student bij het opnieuw afleggen van een vergelijkbare toets (paralleltoets genoemd) onder gelijke omstandigheden eenzelfde score behalen. Met andere woorden: consistentie en generaliseerbaarheid bij herhaalde meting zijn eigenlijk synoniemen van betrouwbaarheid. Twee factoren die de betrouwbaarheid sterk beïnvloeden zijn de objectiviteit en de lengte van de toets. Onder objectiviteit verstaat men dat de bepaling van de toetsscore onafhankelijk moet zijn van de persoon van de beoordelaar. Alle correctoren moeten eenzelfde respons op dezelfde wijze scoren. Dit impliceert dat volledig duidelijk moet zijn wat wel en wat niet als een juist antwoord beschouwd moet worden en dat deskundigen het eens moeten zijn over het juiste antwoord of, in geval van vragen waarbij meerdere juiste oplossingen mogelijk zijn, over de criteria waaraan een juist antwoord moet voldoen. Een langere toets of tentamen is over het algemeen betrouwbaarder omdat de toets dan een grotere steekproef uit het leerdomein vormt. Het feit dat een student net dat ene onderwerp niet goed beheerst speelt dan een kleinere rol dan bij een kortere toets. Studenten krijgen in geval van een langere toets meer kansen om te demonstreren dat ze de desbetreffende leerdoelen gerealiseerd hebben. De betrouwbaarheid wordt kwantitatief uitgedrukt in een getal met twee decimalen tussen 0,00 (volstrekt onbetrouwbaar) en 1,00 (perfect betrouwbaar).
1.2 Validiteit Een betrouwbare toets is niet noodzakelijk valide. Onder validiteit verstaat men de mate waarin men werkelijk datgene meet wat men beoogt te meten. Bijvoorbeeld de scores van buitenlandse studenten op twee paralleltoetsen bedrijfseconomie kunnen wel betrouwbaar zijn maar toch niet valide. De toetsen in kwestie zijn bedoeld om dezelfde kennis te meten maar omdat deze buitenlandse studenten nauwelijks het Nederlands beheersen scoren zij consistent erg laag terwijl bij een vergelijkbare Engelstalige toets blijkt dat zij daarop hoog scoren en ze dus wel de bedoelde
2
bedrijfseconomische kennis bezitten. De Nederlandstalige toets is dus alleen valide voor studenten die de Nederlandse taal voldoende beheersen. Een ander voorbeeld van gebrekkige validiteit dat wel vaker voorkomt: de toets bevat alleen theorievragen terwijl de cursusdoelen zowel theorie als toepassing betreffen. Validiteit van een toets en tentamen betekent dat de vragen in die toets of tentamen representatief moeten zijn voor de leerdoelen die in de cursus worden nagestreefd. Dat wil zeggen dat alle vragen betrekking moeten hebben op de geformuleerde leerdoelen en dat de vragen in de toets of het tentamen evenwichtig gespreid moeten zijn over de verschillende leerdoelen. Dit type van validiteit wordt inhoudelijke validiteit genoemd en wordt normaal niet in een getal uitgedrukt. Dit in tegenstelling tot de predictieve validiteit die de statistische correlatie weergeeft van de betreffende toets met een (veel) latere beoordeling die niet noodzakelijk een paralleltoets is. De predictieve validiteit probeert bijvoorbeeld beroepssucces te voorspellen. Door de veelzijdigheid van de meeste universitaire opleidingen krijgt predictieve validiteit daar minder aandacht dan in het hoger beroepsonderwijs waar het beroepsprofiel van de opleiding meestal duidelijker is. In competentiegerichte opleidingen is ecologische validiteit van belang. Dit is de mate waarin het onderwijs en de toetsing authentiek zijn, met andere woorden de praktijk realistisch weerspiegelen.
1.3 Adequate organisatie Adequate organisatie betekent om te beginnen transparantie van de beoordeling: studenten dienen terdege te worden geïnformeerd over welke leerstof wordt beoordeeld en hoe dat gebeurt, het vereiste beheersingsniveau, wat is toegestaan en wat niet tijdens het tentamen, de gevolgen van onregelmatigheden, enz. Uitermate belangrijk voor het leerproces van studenten is dat het verstrekken van concrete feedback aan studenten over hun individuele vorderingen op doeltreffende wijze is georganiseerd. De toetsing moet ook efficiënt georganiseerd zijn: dit betekent dat de benodigde correctietijd in een redelijke verhouding moet staan tot de meerwaarde van de informatie die dit oplevert. Gebruik in een tentamen met een groot aantal deelnemers dus bijvoorbeeld geen open vragen als u hetzelfde even goed met gesloten items kan toetsen. Maar ook voor de student moet de toetsing efficiënt zijn: bij werkstukken en portfolio dreigt het gevaar dat de grootte, hoeveelheid en complexiteit van de tentamenopdrachten niet in redelijke verhouding staat tot de beschikbare tijd.
1.4 Tentamenkwaliteit en accreditatie Accreditatie is, volgens de wet, ‘het keurmerk dat tot uitdrukking brengt dat de kwaliteit van een opleiding positief is beoordeeld’. Dat keurmerk wordt verleend door de NVAO, de NederlandsVlaamse Accreditatie Organisatie die de feitelijke kwaliteitsbeoordeling laat uitvoeren door een VBI (Visiterende en Beoordelende Instantie). In het gehanteerde kwaliteitskader wordt uiteraard ook aandacht besteed aan beoordelen en toetsen van studenten. Vereist is dat door de beoordelingen, toetsingen en examens adequaat wordt getoetst of de studenten de leerdoelen van (onderdelen van) het programma hebben gerealiseerd. Deze globale eis is door de VBI van de Nederlandse universiteiten, de Quality Assurance Netherlands Universities (QANU), vertaald in een aantal criteria:
3
Het geheel van toetsen, beoordelingen en examens evalueert in voldoende mate dat de beoogde eindkwalificaties van de opleiding ook zijn gerealiseerd.
De toetsing sluit aan op en past bij de inhoud en de leerdoelen van de verschillende programmaonderdelen.
De opleiding geeft individuele studenten een inhoudelijke motivering van de mate waarin aan de verschillende leerdoelen is voldaan (feedback).
De opleiding zorgt ervoor dat de beoordelingen voldoende consistent worden uitgevoerd.
De organisatie van de toetsing is voldoende (herkansingen, bekendmaken van de uitslag, compensatieregelingen et cetera).
De examencommissie functioneert adequaat en in overeenstemming met haar wettelijke taken, te weten het vaststellen van regels met betrekking tot de goede gang van zaken tijdens de tentamens en de in dat verband te nemen maatregelen.
In de QUANU-criteria herkennen we de toetskwaliteitseisen van validiteit, betrouwbaarheid en adequate organisatie die we in de vorige paragraaf hebben belicht. De beoogde eindkwalificaties (ook eindtermen of eindleerdoelen genoemd) van een academische opleiding zijn in vijf categorieën ondergebracht tijdens een conferentie in Dublin van de Europese landen die de Bologna-verklaring hebben ondertekend: kennis en inzicht, toepassen van kennis en inzicht, oordeelsvorming, communicatie en leervaardigheden. Deze vijf categorieën worden de Dublin-descriptoren genoemd.
Tentamenkwaliteit situeert zich op drie niveaus: opleiding, tentamen en tentamenvragen. Idealiter stelt de opleiding een toetsplan op, dit is een systematische beschrijving van alle toetsen van een opleiding gerelateerd aan de te toetsen doelstellingen of competenties. Bij het toetsplan hoort een verantwoording waarin de gemaakte keuzes worden onderbouwd. Voor elk tentamen wordt een tentamenprofiel opgesteld. Het profiel beschrijft de tentamenonderdelen, de vraagtypen, de afnamewijze, de duur, het antwoordmodel, de correctiewijze, de toegestane hulpmiddelen, de cesuurbepaling, etc. Voor tentamens die vooral bestaan uit gesloten vragen wordt een toetsmatrijs opgesteld die bepaalt welke vragen uit een itembank getrokken worden om het tentamen samen te stellen.
2. Toetsmethoden vergeleken We hebben gezien dat toetsmethoden kunnen worden ingedeeld in: gesloten vragen, open vragen, interactieve vragen, gedragsobservatie, werkstuk, leerverslag en biografische gegevens. In de eerste drie methoden worden vragen gesteld aan de studenten. In de volgende drie methoden krijgen de studenten opdrachten die ze moeten uitvoeren. In de laatste methode wordt simpelweg geregistreerd wat de studenten doen. Bij elke vraag en opdracht hoort ook een scoringswijze en feedback aan de student. In dit rapport beschrijven we de verschillende toetsmethoden en gaan we vooral in op hun relatieve voor- en nadelen wat betreft toetskundige kwaliteit: betrouwbaarheid, validiteit en adequate organisatie. We gaan ook in op de scoring en de feedback aan studenten.
4
2.1 Gesloten vragen Gesloten vragen zijn vragen waarbij studenten niet zelf een antwoord moeten formuleren, maar waarbij ze alternatieven krijgen aangeboden waaruit ze moeten kiezen of die ze moeten sorteren, enz. Binnen de categorie gesloten vragen kan men onderscheid maken tussen juist-onjuist vragen, meerkeuzevragen, sorteervragen en ordeningsvragen.
De meest bekende gesloten vraag is de meerkeuzevraag die bestaat uit een zogenaamde stam (de vraag of stelling, eventueel voorafgegaan door een inleiding) gevolgd door een aantal alternatieven. Veel voorkomend is de vierkeuzevraag met vier alternatieven, waarvan drie fout (de afleiders) en één goed (de sleutel). Een variant hierop is dat de sleutel bestaat uit het beste alternatief en de afleiders bestaan uit minder goede antwoorden. Zie het volgende voorbeeld waarin het exacte getal pi niet als sleutel kan fungeren omdat het een oneindig lang decimaal getal is. Alternatief c is goed omdat dit het getal pi het dichtste benadert.
Het getal pi is de verhouding tussen de omtrek en de middellijn van een cirkel. Dit getal pi is gelijk aan: a
3,1412
b
3,1414
c
3,1416
d
3,1418
Hoe groter het aantal alternatieven in een meerkeuzevraag hoe beter omdat dan de kans op correct raden afneemt. Soms is het eenvoudig om veel alternatieven aan te bieden, bijvoorbeeld bij het herkennen van de Latijnse naam van een spier(tje) in het menselijk lichaam. In de praktijk blijkt het in de meeste gevallen moeilijk om meer dan twee ‘goede’ afleiders te vinden en functioneert de derde afleider niet naar behoren. Daarom wordt in de toetsliteratuur aanbevolen om driekeuzevragen te maken tenzij geloofwaardige afleiders voor de hand liggen.
De multiple-responsevraag is een meerkeuzevraag waarbij meerdere alternatieven juist zijn in plaats van dat er slechts één alternatief het goede is. In de volgende vraag zijn de alternatieven a en c beide correct.
Welke landen zijn op 1 januari 2007 lidstaat geworden van de Europese Unie? a
Bulgarije
b
Litouwen
c
Roemenië
d
Tsjechië
De juist-onjuist vraag (ook ja-nee vraag genoemd) is een variant op een tweekeuzevraag waarbij de stam een stelling is en de twee antwoordalternatieven steeds zijn: juist of onjuist (ja of nee). Dikwijls wordt een context of auteur in de stelling vernoemd om ze eenduidig juist of onjuist te maken, zoals in de volgende vraag.
5
Volgens de Griekse astronoom Ptolemaeus draaien de hemellichamen rond de aarde. a
juist
b
onjuist
Bij de stellingenvraag krijgt de student twee of meer stellingen gepresenteerd in de stam met de vraag om combinaties van die stellingen op correctheid te beoordelen. Zie bijvoorbeeld de volgende vraag over energiemanagement.
Beoordeel de juistheid van de volgende twee stellingen over performance contracting: I
Performance contracting geeft wel besparingsgaranties op energie, maar niet op kosten.
II
Bij performance contracting liggen de technische risico’s bij de energiedienstleverancier, de
operationele risico’s liggen bij de afnemer van de dienst.
a.
I en II zijn juist.
b.
Alleen I is juist.
c.
Alleen II is juist.
d.
I en II zijn onjuist.
Een stellingenvraag bestaat eigenlijk juist-onjuist vragen die kunstmatig zijn omgevormd tot een meerkeuzevraag, wat niet zelden tot ongenoegen leidt bij studenten die vinden dat ze benadeeld worden door die kunstmatige omvorming. Immers, studenten die de ene stelling wel goed hebben maar de andere niet, krijgen een nulscore in plaats van een half punt waarop ze menen recht te hebben. Er zijn beroepszaken bekend buiten de OUNL waarbij studenten in het gelijk werden gesteld na een klacht over stellingenvragen. Het verdient daarom aanbeveling de stellingenvraag niet te hanteren.
Bij een sorteervraag moet de student objecten of concepten op de gevraagde manier sorteren, zoals in de volgende vraag.
Geef aan welke steden in welk land (geografische regio) liggen. 1. Aberdeen
A. Engeland
2. Bristol
B. Ierland
3. Cork
C. Schotland
4. Dundee 5. Galway
Deze sorteervraag bestaat eigenlijk uit vijf driekeuzevragen maar de scoring is meestal alles of niets: alleen bij een volledig correct antwoord krijgt de student een punt. Studenten worden hierdoor benadeeld. Het verdient daarom aanbeveling de sorteervraag niet te hanteren tenzij met gedifferentieerde scoring.
6
Sorteervragen die via de computer worden afgenomen kunnen aantrekkelijker gemaakt worden door de sleeptechniek (drag and drop), maar de toetskundige kwaliteit wordt er niet door verbeterd.
Bij een ordeningsvraag moet de student objecten of concepten in de correcte volgorde rangschikken aan de hand van een gegeven criterium, zoals in de volgende vraag.
Rangschik de volgende presidenten in de correcte volgorde van hun ambtsperiode met de eerst regerende president voorop: A. John Adams
1. (oudste) ………
B. Thomas Jefferson
2. ……………………
C. Abraham Lincoln
3. ………………………
D. George Washington
4. (laatste) …………
Wanneer een student weet dat Washington de eerste president was en dat Lincoln in een veel latere periode regeerde dan de andere drie, wordt die kennis toch niet beloond wanneer de scoring alles of niets is. Het verdient daarom aanbeveling de ordeningsvraag niet te hanteren tenzij met gedifferentieerde scoring.
Bij gesloten vragen gebeurt de scoring aan de hand van de sleutel. Als feedback krijgen studenten deze sleutel en daarnaast ofwel een verwijzing naar de relevante bron ofwel een korte uitleg indien de bron niet duidelijk genoeg is over het goede antwoord.
Voordelen van gesloten vragen
-
Het is vrij eenvoudig om veel gesloten vragen te ontwikkelen over kennis en inzicht.
-
Toetsen die uit een groot aantal goed geconstrueerde gesloten vragen bestaan bereiken een hoge betrouwbaarheid.
-
De inhoudelijke validiteit is hoog want door het grote aantal vragen is de toets representatief voor de hoeveelheid en de verscheidenheid van leerdoelen.
-
Aangezien het juiste antwoord vastligt is de scoring volledig objectief.
-
De scoring is simpel en kan geautomatiseerd verlopen wat tijdwinst oplevert bij grote groepen studenten.
-
Gesloten vragen lenen zich goed voor op statistische analyse gebaseerde kwaliteitsbewaking.
-
Het is eenvoudig om veel feedback aan studenten te geven door de sleutel met uitleg te verstrekken of door de sleutel te verstrekken met verwijzing naar de relevante bladzijde(n) in het boek.
Nadelen van gesloten vragen
-
Bepaalde leerdoelen zoals leervaardigheden en communicatievaardigheden kunnen onmogelijk worden getoetst met gesloten vragen.
7
-
Het vraagt veel tijd en creativiteit om gesloten (casus)vragen te maken over het toepassen van kennis en inzicht en over oordeelsvermogen. Daarom is het gevaar groot dat men in een toets of tentamen met gesloten vragen minder vragen opneemt ten aanzien van deze leerdoelen en het grootste deel toespitst op de makkelijker te toetsen leerdoelen, met name kennis en inzicht.
-
Omdat de bewering in een juist-onjuist vraag absoluut juist of onjuist moet zijn, is dit vragen moeilijker te construeren.
-
Bij meerkeuzevragen wordt de student ofwel verzocht om de vragen niet te beantwoorden indien hij niet zeker is van het correcte antwoord (correctie voor raden) ofwel wordt hij verplicht om steeds een alternatief te kiezen, dus om te gokken wanneer hij het antwoord niet weet (gedwongen raden). Beide systemen hebben hun nadelen. Bij correctie voor raden benadelen onzekere studenten zichzelf doordat ze niet beredeneerd gokken. Gedwongen raden vinden sommigen pedagogisch of ethisch niet verantwoord.
-
Hoe minder alternatieven in de vraag, hoe meer vragen gemaakt moeten worden om de raadkans te compenseren. Bij een tweekeuzevraag heeft de student immers 50% kans om correct te gokken, bij een vierkeuzevraag slechts 25%. In de toetsliteratuur wordt aanbevolen dat een toets met vierkeuzevragen uit minimaal veertig vragen moet bestaan, een toets met driekeuzevragen uit minimaal zestig vragen en een toets met tweekeuzevragen uit minimaal tachtig vragen. Omdat een toets met tweekeuzevragen langer moet zijn, vergt hij meer tijd om te construeren en af te leggen.
2.2 Open vragen
Open vragen zijn vragen waarbij studenten zelf een antwoord moeten formuleren. Binnen de categorie open vragen kan men onderscheid maken tussen kort-antwoord-vragen, waarbij studenten alleen met een getal, een woord, een opsomming of een korte zin moeten antwoorden, en lang-antwoord-vragen waarbij studenten een redenering of argumentatie moeten opzetten of een verklaring moeten geven. Het onderscheid tussen kort en lang antwoord is arbitrair: waar eindigt kort en begint lang? Het onderscheid tussen een lang-antwoord-vraag en een schriftelijk werkstuk is ook arbitrair maar bij een werkstuk heeft de student doorgaans meer vrijheid wat betreft onderwerpkeuze, hulpmiddelen, plaats, tijd en tempo. Wanneer alleen een getal of een woord moet ingevuld worden in de kort-antwoord-vraag is er sprake van een aanvulvraag of invulvraag.
2.2.1 Kort-antwoord-vragen
We geven enkele voorbeelden van kort-antwoord-vragen (KAV):
Vraag: Tot welke psychologische school (stroming) behoorde Freud? (1 punt). Scoring: goede antwoorden zijn: de psychoanalytische school, psychoanalyse. Feedback: Freud behoorde tot de psychoanalytische school (zie pagina xx in het handboek).
8
Gegeven: de functie f (x) = x² - 3x + 4 Vraag: Bereken de gemiddelde verandering op het interval [1,5] Scoring: Het goede antwoord is 3. Feedback: a = 3. De berekeningswijze vindt u op pagina xx van het handboek.
Merk op dat de bovenstaande invulvraag ook kan omgevormd worden tot een kort-antwoord-vraag waarbij de student expliciet gevraagd wordt om de stappen in de berekening op te schrijven. De scoring en de feedback worden dan wat complexer want deels goede berekeningen kunnen dan deelpunten opleveren.
Gegeven: een opvallend aspect van de verwerking van de industrialisatie in de Verenigde Staten in vergelijking tot andere geïndustrialiseerde landen is dat er in de Verenigde Staten geen socialistische beweging van betekenis is ontstaan. Vraag: Noem twee oorzaken die hiervoor in de cursus worden aangevoerd (2 punten). Scoring: één punt per correct genoemde oorzaak; alleen de eerste twee genoemde oorzaken tellen mee. Feedback: Er zijn vier mogelijke oorzaken (zie het cursusboek op pagina xx): - De verdeeldheid onder immigranten - De tegenstelling tussen blank en zwart - De ongegeneerde bevoordeling van het bedrijfsleven door de overheid en de rechterlijke macht - De gedachte dat Amerika het land van de onbegrensde mogelijkheden voor iedereen is
Voordelen van kort-antwoord-vragen: -
Kort-antwoord-vragen kunnen redelijk objectief gecorrigeerd worden. Aanvulvragen en invulvragen zijn zo goed als volledig objectief scoorbaar.
-
Door de lengte van het antwoord dwingend te beperken vergen kort-antwoord-vragen minder afnametijd. Zodoende kan de toets veel vragen bevatten wat de betrouwbaarheid en inhoudsvaliditeit ten goede komt.
Nadelen van kort-antwoord-vragen: -
Kort-antwoord-vragen zijn alleen geschikt voor het toetsen van kennis en inzicht en het toepassen van kennis en inzicht.
-
De scoring vergt een corrector en is dus arbeidintensief, behalve bij aanvul/invulvragen die ook automatisch gescoord kunnen worden.
2.2.2 Lang-antwoord-vragen
Lang-antwoord-vragen (LAV) worden ook essayvragen genoemd. Er zijn twee typen: LAV die gescoord worden aan de hand van een modelantwoord en LAV die gescoord worden aan de hand van beoordelingscriteria. We noemen deze typen resp. LAV met modelantwoord en LAV met criteria. Het onderscheid heeft vooral te maken met de leerdoelen die getoetst worden.
9
2.2.2.1 Lang-antwoord-vraag met modelantwoord Wanneer (toepassen van) kennis en inzicht volstaat om de vraag te beantwoorden dan kan een modelantwoord (het ideale antwoord) opgesteld worden om de antwoorden van studenten te scoren. Een scoringsvoorschrift geeft aan hoe de deelpunten verdeeld worden over de elementen van het modelantwoord, zoals te zien is in het volgende voorbeeld.
Vraag: Aan welke vijf vereisten moet voldaan zijn, wil een inroeping van nietigheid op grond van art. 1377 BW kunnen slagen? (5 punten) Scoring: Er wordt één punt toegekend per correct beschreven vereiste. De vijf vereisten zijn: 1. De schuldenaar moet een rechtshandeling hebben verricht. 2. Deze rechtshandeling moet onverplicht zijn verricht. 3. Hierdoor moet een schuldeiser in zijn verhaalsrecht zijn benadeeld. 4. De schuldenaar moet geweten of vermoed hebben dat benadeling van schuldeisers door de rechtshandeling zou optreden (wetenschap van benadeling). 5. Tenzij het een handeling om niet betreft moet ook sprake zijn van de wetenschap van benadeling bij degene met wie de schuldenaar heeft gehandeld. Feedback: zie scoring (dezelfde tekst dient voor de feedback).
2.2.2.2 Lang-antwoord-vraag met beoordelingscriteria Wanneer studenten in hun antwoord blijk moeten geven van oordeelsvermogen waarbij ze zelf nieuwe analyses en evaluaties moeten aanbrengen die niet in de cursus staan, is het niet mogelijk om een modelantwoord op te stellen. Er zijn immers meerdere goede antwoorden mogelijk, maar die moeten wel voldoen aan bepaalde beoordelingscriteria, zoals in het volgende voorbeeld.
Gegeven: Het vergroten van de relevantie is één van de motivatiestrategieën van Keller. Vraag: Bedenk drie verschillende en originele (m.a.w. geen plagiaat uit het cursushandboek) voorbeelden van onderwijssituaties. Beschrijf concreet hoe u in elk van die drie situaties de betreffende motivatiestrategie (enhancing relevance) zou toepassen. (15 punten) Scoring: De volgende beoordelingscriteria gelden: •
alle gevraagde elementen zijn aanwezig (doelrelevantie en middelenrelevantie)
•
adequate lengte
•
originaliteit (geen plagiaat)
•
duidelijk en helder geformuleerd
•
de informatie is inhoudelijk correct
•
de redeneringen kloppen
Er zijn geen deelpunten per criterium omdat de criteria elkaar beïnvloeden: als het antwoord geplagieerd is uit het boek of als elementen afwezig zijn, kunnen de redeneringen wel kloppen maar dan is het antwoord toch onvoldoende. De corrector weegt het totale antwoord met alle criteria tegelijk in gedachten. Feedback: De beoordelingscriteria worden verstrekt, of wat de voorkeur heeft: ze worden nog eens herhaald indien ze van te voren al waren bekend gemaakt. De corrector kan per individueel antwoord toelichten waarom dit een bepaalde score verdient.
10
Voordelen van lang-antwoord-vragen: •
bijna alle leerdoelen kunnen met lang-antwoord-vragen getoetst worden, ook oordeelsvermogen en schriftelijke communicatievaardigheid
•
lang-antwoord-vragen sluiten in het algemeen beter aan bij de opgaven en taken die in het cursusmateriaal verwerkt zijn, vooral wanneer het competentiegerichte gehalte van de cursus hoog is
•
studenten voelen zich vaak meer 'serieus' genomen met dit type vragen, omdat ze meer eigen inbreng hebben en de vragen meer aansluiten bij hun studiestijl en studiemotivatie
•
vooral bij lang-antwoord-vragen met criteria is het zinvol om een open boek tentamen te organiseren waardoor de nadruk nog meer ligt op oordeelsvermogen en niet op parate kennis.
Nadelen van lang-antwoord-vragen: •
lang-antwoord-vragen vergen relatief veel correctietijd en de correctie kan niet geautomatiseerd worden
•
lang-antwoord-vragen laten zich moeilijker objectief scoren, a fortiori wanneer het langantwoord-vragen met beoordelingscriteria betreft
•
een uitgebreid antwoordmodel is nodig, het opstellen ervan kost veel tijd en zelfs dan kunnen correctoren nog in de beoordeling van de antwoorden verschillen
•
bij correctie en scoring van lang-antwoord-vragen bestaat het gevaar dat correctoren beïnvloed worden door aspecten als schrijfstijl en handschrift
•
het kost relatief veel tijd om lang-antwoord-vragen te beantwoorden; in een toets of tentamen kunnen daarom slechts een beperkt aantal vragen worden opgenomen en dit komt de betrouwbaarheid en de inhoudsvaliditeit doorgaans niet ten goede.
2.3 Open versus gesloten vragen
Bij de constructie van toetsen ziet men zich gesteld voor een belangrijke keuze: kies ik voor open of gesloten vragen of voor een combinatie van beide? Bij de keuze van de tentamenvorm spelen naast betrouwbaarheid en validiteit ook organisatorische overwegingen een rol. Zo zal men zich bij kleine groepen studenten bijvoorbeeld moeten afvragen of het de moeite en de kosten loont om een tentamen met gesloten items te ontwikkelen. Bij de keuze van de tentamenvorm zal men ook rekening moeten houden met correctietijd, organisatie van de correctie en beschikbaarheid van correctoren. Zo is het bij gebruik van (lange) open vragen in tentamens wenselijk om een dubbele correctie uit te voeren, maar dit kost extra tijd en geld. Bij de OUNL heeft men, uit financiële overwegingen en uit het oogpunt van objectiviteit, in het verleden ervoor gekozen om vooral met gesloten items te tentamineren, en om open vragen in tentamens alleen te gebruiken als dit door de aard van de leerdoelen noodzakelijk is. Omdat de leerdoelen in de loop der jaren steeds meer een competentiegericht karakter gekregen hebben ziet men een tendens om minder (alleen) gesloten vragen te gebruiken in tentamens.
Of men bij oefentoetsen en herhalingstoetsen open of gesloten vragen (dan wel een combinatie van beide) hanteert, hangt voor een belangrijk deel samen met de gekozen tentamenvorm. De
11
oefentoetsen en in grote lijnen ook de herhalingstoetsen, bereiden voor op het tentamen en dienen qua samenstelling hieraan gelijkwaardig te zijn. Bij de zelftoets is de relatie met het tentamen wat losser.
Wanneer zijn open vragen nu echt noodzakelijk? •
indien het erom gaat dat studenten zelf moeten kunnen formuleren en de formulering op zich wordt getoetst
•
indien de creativiteit of inventiviteit van studenten bij het vinden van oplossingen moet worden getoetst
•
indien studenten informatiebronnen moeten raadplegen en als het weten van de weg in de informatiebronnen van belang is (bijvoorbeeld het kunnen opzoeken van een toepasselijk wetsartikel)
•
indien men wil toetsen of studenten een sluitende argumentatie kunnen opbouwen of als men wil nagaan of en hoe zij een bepaalde methode toepassen.
2.4 Interactieve vragen
Interactieve vragen zijn vragen die gesteld worden als reactie op de antwoorden van studenten. De docent kan bijvoorbeeld doorvragen over bepaalde onderwerpen uit het antwoord van de student tijdens een mondeling tentamen. De mondelinge dialoog is de meest vrije vorm van interactief vragen: er is een bijna onbeperkt aantal mogelijkheden van antwoorden en vragen. Wanneer de schriftelijke dialoog synchroon (in real time) gebeurt heeft deze veel kenmerken gemeen met de mondelinge dialoog. De vragen van de mondelinge en schriftelijke dialoog kunnen eventueel door de student schriftelijk voorbereid worden voorafgaand aan het gesprek. De scoring en het geven van feedback gebeurt tijdens de interactie of daarna. Wanneer het aantal mogelijke antwoorden en vragen ingeperkt wordt, kan de interactie gebeuren via een gesimuleerde dialoog die via de computer gevoerd kan worden.
Voordelen van mondelinge en schriftelijke dialoog: •
De examinator kan reageren op de individuele student: vraag herformuleren die niet (goed) begrepen is, doorvragen om te zien of de student echt begrijpt wat hij vertelt, feedback geven bij het antwoord, enz.
•
Geschikt om oordeelsvermogen en communicatievaardigheid te toetsen naast (het toepassen van) kennis en inzicht
•
Zeer flexibel te organiseren via individuele afspraak met student
•
Via telecommunicatie zijn studenten toetsbaar in het buitenland
•
Weinig voorbereiding nodig en daarom zeer efficiënt bij klein aantal studenten
Nadelen van mondelinge en schriftelijke dialoog: •
Er kunnen maar weinig vragen gesteld worden waardoor de toets niet representatief is: bij toeval kan een student erg moeilijke of juist erg makkelijke vragen krijgen
12
•
De objectiviteit is laag: de beoordeling wordt beïnvloed door vermoeidheid en humeur van de examinator, door geslacht, uiterlijk, stressbestendigheid en taalvaardigheid van de student, en door halo-effecten (uitstraling van in het oog springende goede of slechte antwoorden naar de beoordeling van de andere antwoorden)
•
Bij grote groepen studenten is dit een erg arbeidsintensieve methode en lastig te organiseren
•
Zonder registratie (audio, video) van de mondelinge dialoog is de bewijslast lastig: wat is gezegd en wat niet.
De gesimuleerde dialoog heeft andere voor- en nadelen dan de echte dialoog. Een computerdialoog vergt veel ontwikkeltijd en is daarom alleen bruikbaar bij grote groepen studenten. Summatief gebruik kan alleen in een gesuperviseerde situatie die fraude tegengaat. Deze methode is vooral geschikt om oordeelsvermogen te toetsen en minder voor het toetsen van communicatievaardigheid. Reageren op de individuele student is zo goed als onmogelijk, de objectiviteit is redelijk (de beoordeling ligt vooraf vast) en antwoordregistratie gebeurt automatisch. Om deze redenen wordt de gesimuleerde dialoog nauwelijks gebruikt voor certificerende toetsen maar is hij wel nuttig inzetbaar voor formatieve toetsen.
2.5 Varianten op de klassieke gesloten, open en interactieve vragen
2.5.1 Clustervragen
Clustervragen zijn vragen die bestaan uit meerdere open en/of gesloten subvragen die betrekking hebben op hetzelfde onderwerp dat in een gemeenschappelijke inleiding wordt beschreven. Wanneer dat onderwerp een praktijkcasus is, spreekt men van casusvragen. In tegenstelling tot interactieve vragen worden bij clustervragen alle subvragen van de clustervraag gesteld.
Voorbeeld van een clustervraag: Er zijn zes oplossingen van magnesiumsulfaat. Aan elke oplossing wordt één van onderstaande oplossingen toegevoegd. Geef aan of een neerslag ontstaat: 1
natriumchloride-oplossing
Ja/nee
2
natriumhydroxide-oplossing
Ja/nee
3
natriumsulfaat-oplossing
Ja/nee
4
loodnitraat-oplossing
Ja/nee
5
calciumnitraat-oplossing
Ja/nee
6
bariumnitraat-oplossing
Ja/nee
2.5.2 Casusvragen
Casusvragen lijken erg op clustervragen maar de gemeenschappelijke stam is in dit geval een beschrijving van een praktijksituatie (een casus) gevolgd door een aantal gesloten, open of interactieve deelvragen (subvragen). De casusvraag kent dus vele varianten: alleen gesloten
13
deelvragen, alleen open deelvragen, alleen interactieve deelvragen, of combinaties van open, gesloten en interactieve subvragen. Het is ook mogelijk om de casusinformatie en/of de feedback geleidelijk te presenteren naargelang de studenten de subvragen doorlopen. Wanneer de subvragen en de feedback voortbouwen op het antwoorden van de student is sprake van een interactieve casusvraag. Casusvragen laten toe om dieper op een onderwerp in te gaan, om hogere denkprocessen te toetsen (toepassing van kennis en inzicht; oordeelsvermogen) en om de ecologische validiteit te verhogen. De zogenaamde Overall-toets is een toets bestaande uit casusvragen die goed aansluit bij probleemgestuurd onderwijs maar die ook in het competentiegericht onderwijs nuttig kan zijn. Studenten krijgen een tiental artikelen met multidisciplinaire probleemsituaties voorgeschoteld die ze tijdens een zelfstudieperiode bestuderen waarna ze casusvragen moeten beantwoorden over de probleemsituaties. Deze vragen zijn met name gericht op het analyseren en oplossen van problemen.
Hierna volgt een voorbeeld van een casusvraag met gesloten subvragen uit het vakgebied Psychofarmaca (bron: http://igitur-archive.library.uu.nl/phar/2006-0808200311/brink_05_basalefarmacokinetiek.pdf).
Bij een patiënt wordt gedurende 14 dagen nortriptyline toegepast in een dosering van 2 dd 25 mg. De spiegel (gemeten vlak voor inname van de avonddosering) bedraagt 60 microgram/liter. De dosering wordt op maandag verhoogd tot 25 + 50 mg.
1. De voorschrijver verwacht met deze dosering een spiegel van circa 90 microgram/liter te bereiken. Is dat een goede inschatting? Ja/nee 2. De voorschrijver verwacht dat de nieuwe plasmaconcentratie na ongeveer een week zal zijn bereikt. Is dat een goede inschatting? Ja/nee 3. De t½ van nortriptyline bedraagt circa 30 uur. Betekent dit dat, indien de toediening zou worden gestopt, de spiegel 60 uur na de laatste dosering tot (vrijwel) nul is gedaald? Ja/nee 4. Nortriptyline heeft een verdelingsvolume van ruim 1000 liter. Is dit een verklaring voor het feit dat de antidepressieve werking traag inzet? Ja/nee 5. De biologische beschikbaarheid (F) van nortriptyline bedraagt circa 50 procent. Betekent dit dat niet meer dan de helft van de toegediende hoeveelheid geneesmiddel uit de toedieningsvorm vrijkomt? Ja/nee
Bij deze casusvraag over Psychofarmaca wordt de volgende feedback gegeven ter ondersteuning van het leerproces van studenten:
14
1. Ja. Bij chronische toediening is de evenwichtsconcentratie (Css) recht evenredig met de dosering. Bij verhoging van de dagdosering met 50 procent zal de Css eveneens met circa 50 procent toenemen. 2. Ja. Na introductie van een bepaald doseerregime duurt het vier à vijf maal de halfwaardetijd eer de evenwichtsconcentratie wordt bereikt. Dat geldt ook bij verandering van de dosering. De t½ van nortriptyline bedraagt circa 30 uur. Het nieuwe evenwicht zal na vijf à zeven dagen bereikt zijn. 3. Nee. De meeste geneesmiddelen worden via 'eerste orde kinetiek' uit het lichaam verwijderd. Dat betekent dat per tijdseenheid een vast percentage het lichaam verlaat. Dertig uur na stoppen is de plasmaspiegel nog circa 50 procent van de uitgangswaarde. Weer dertig uur later is deze circa 25 procent et cetera. 4. Nee. Nortriptyline dringt snel in het centrale zenuwstelsel door. Binnen enkele uren is het in een redelijke concentratie op de plaatsen van werking. De trage werkingsinzet is het gevolg van traag verlopende farmacodynamische processen. 5. Nee. De biologische beschikbaarheid wordt vooral door twee factoren bepaald: - De hoeveelheid die in de darm vrijkomt en opgenomen wordt - De hoeveelheid die de eerste leverpassage 'overleeft' en in het bloed komt. Een F van 50 procent kan verschillende oorzaken hebben.
De hiernavolgende casusvraag is afkomstig uit het vakgebied Bestuursrecht. Deze vraag bevat zowel open als gesloten subvragen en de casusinformatie wordt geleidelijk aangevuld.
Casus Achmed Alouni
Achmed Alouni exploiteert een groentewinkel in de gemeente Kouwveld. Onlangs heeft hij een nieuw reclamebord opgehangen op de gevel van zijn winkel. De overburen van Achmed vinden het een lelijk ding en bovendien veel te fel, en klagen bij het gemeentebestuur. Het gemeentebestuur heeft een ambtenaar bouw- en woningtoezicht als toezichthouder aangesteld. Deze ambtenaar komt het reclamebord van Achmed bekijken, en hij vermoedt dat het afwijkt van de voorschriften die op grond van de geldende Algemene Plaatselijke Verordening (APV) verbonden zijn aan de reclamevergunning die aan Achmed verleend is: het bord lijkt te groot en te fel.
1. De controlerende ambtenaar vraagt Achmeds medewerking. Hij wil graag een aankoopbon en de technische specificaties van het reclamebord zien. Is Achmed verplicht deze informatie te geven? Ja/nee
2. Mag de ambtenaar, indien Achmed weigert de informatie te verstrekken, zich met geweld toegang tot diens administratie verschaffen om de gegevens te zoeken?
Naar aanleiding van het onderzoek van de controlerende ambtenaar komt het college van Burgemeester en Wethouders van Kouwveld tot de conclusie dat Achmeds nieuwe reclamebord inderdaad een overtreding van de vergunningsvoorwaarden vormt. Het college overweegt een bestuursdwangaanschrijving jegens Achmed uit te vaardigen.
15
3. Waar is de bevoegdheid van het college om bestuursdwang toe te passen op gebaseerd? a
op afdeling 5.3 van de Algemene wet bestuursrecht (Awb)
b
op hoofdstuk 8 van de Gemeentewet
c
op de gemeentelijke APV
4. Is het gemeentebestuur verplicht bestuursdwang toe te passen?
5. Moet het college in de bestuursdwangaanschrijving aangeven welk voorschrift wordt overtreden? Ja/nee
6. Kan het college meteen na het versturen van de bestuursdwangaanschrijving de bestuursdwang toepassen? Ja/nee
7. Indien Achmed zelf, na het ontvangen van de bestuursdwangaanschrijving en na het verlopen van de hem gegunde termijn, maar nog voordat de gemeente tot de feitelijke uitoefening van bestuursdwang over gaat, het reclamebord alsnog verwijdert en vervangt voor een bord dat wèl aan de vergunningsvoorwaarde voldoet, is hij dan toch verplicht de kosten, verbonden aan de voorbereiding van bestuursdwang, te vergoeden? a
ja
b
ja, tenzij dat niet redelijk zou zijn
c
nee
8. Hoe zal de rechter het besluit tot toepassing van bestuursdwang toetsen?
Scoring en feedback bij de casus Achmed Alouni
1. ja, zie art. 5:16 en 5:17 en 5:20 Awb. In afdeling 5.2 Awb zijn de algemene bevoegdheden van toezichthouders vastgelegd. Het recht informatie te vragen en de plicht van de burger daar aan mee te werken is hierin opgenomen.
2. Dat hangt ervan af. Op zich is de ambtenaar bevoegd de hulp van de sterke arm in te roepen om de winkel te betreden, zie art. 5:15 lid 2 Awb. Hij dient echter zijn bevoegdheden slechts te gebruiken voor zover dat redelijkerwijs nodig is, zie art. 5:13 Awb. Zonder meer met geweld binnentreden, alleen om een bon op te halen, is vermoedelijk niet redelijk. Achmed is voorts weliswaar verplicht mee te werken en de gevraagde informatie te verstrekken, maar dan wel binnen een redelijke termijn, zie art. 5:20 lid 1 Awb, en die moet de ambtenaar hem dan ook gunnen.
3a Niet correct. Afdeling 5.3 van de Awb geeft alleen algemene regels over bestuursdwang, maar schept geen bevoegdheden, zie artikel 5:22 Awb. 3b Correct. Artikel 125 Gemeentewet (Gem.w.) bepaalt dat het gemeentebestuur bevoegd is tot het toepassen van bestuursdwang. Lid 2 van dit artikel bepaalt dat die bevoegdheid wordt
16
uitgeoefend door het college indien het de handhaving van regels betreft welke het gemeentebestuur uitoefent, hetgeen hier het geval is. 3c Niet correct. Dat zou in delegatie wel mogelijk zijn, gezien de tekst van artikel 5:22 Awb die spreekt van ´bij of krachtens de wet´. Het zou echter ook overbodig zijn, nu artikel 125 Gem.w. reeds een algemene bevoegdheid voor het gemeentebestuur schept voor de toepassing van bestuursdwang.
4. Artikel 125 Gem.w. spreekt over een ´bevoegdheid´. Er bestaat op grond van recente jurisprudentie een 'beginselplicht tot handhaven', maar dat neemt niet weg dat het gemeentebestuur bij het handhaven de betrokken belangen dient af te wegen, zie artikel 3:4 lid 1 Awb. Die afweging kan tot de conclusie leiden dat het gemeentebestuur een rechtsplicht heeft tot het toepassen van bestuursdwang, bijvoorbeeld omdat de belangen van omwonenden zwaarder wegen. De conclusie kan echter ook zijn dat bestuursdwang achterwege moet blijven, omdat het belang van Achmed zich daartegen verzet.
5. Ja, zie artikel 5:24 lid 2 Awb.
6. Nee, artikel 5:24 lid 4 Awb bepaalt dat het bestuursorgaan de overtreder een (redelijke) termijn moet geven om de overtreding zelf ongedaan te maken. Dat is slechts anders indien er spoed is vereist, zie lid 5 en 6.
7a Niet correct. In beginsel zal hij deze kosten moeten vergoeden, zie artikel 5:25 Awb, tenzij dat niet redelijk zou zijn. 7b Correct. Zie artikel 5:25 Awb. In beginsel zal hij na het verloop van de begunstigingstermijn deze kosten moeten vergoeden, zie lid 4 en 5 van dat artikel, tenzij dat niet redelijk zou zijn, aldus lid 1. 7c Niet correct. In beginsel zal hij deze kosten moeten vergoeden, zie artikel 5:25 Awb.
8. In beginsel toetst de rechter het besluit marginaal: heeft het bestuur in redelijkheid tot toepassing van bestuursdwang kunnen besluiten? Bij het toepassen van punitieve sancties dient de rechter volledig te toetsen, maar daarvan is bij het toepassen van bestuursdwang geen sprake.
2.5.3 Multimediale vragen Multimediale vragen zijn gesloten, open en interactieve vragen waarbij multimedia worden toegepast bij de vraagstelling. In de praktijk zijn multimedia vooral toepasbaar in computergebaseerde toetsen. Plaatjes, geluid en beweging kunnen toegevoegd worden aan open, gesloten en interactieve vragen die via de computer worden aangeboden. Multimedia verhogen de ecologische validiteit van de toets. Hieronder ziet u twee voorbeelden van vragen die zowel op papier als op computer kunnen worden aangeboden, maar waarbij de computer praktische en
17
economische voordelen heeft gezien de kosten van kleurendruk en de bewerkelijkheid van het aanbieden van fotoboeken.
Een voorbeeld van een casusvraag waarbij multimedia worden toegepast kunt u hier bekijken: http://www.projecten.ou.nl/gmo/animaties/ACTA_MZKC_CASUS_BOT_TUM_002_221.swf
18
Het verdient aanbeveling om multimedia alleen te gebruiken als het noodzakelijk is. Het tonen van de gewelven in de voorbeeldvraag is noodzakelijk om de vraag te kunnen stellen. Bij de ordeningsvraag over de Amerikaanse presidenten is het mogelijk om foto’s te tonen maar dat is niet noodzakelijk en dus niet aan te raden.
2.6 Gedragsobservatie
De activiteiten van studenten die een opdracht uitvoeren tijdens practica, stages, groepsbijeenkomsten, praktijksimulaties, presentaties, enz. worden geobserveerd en gescoord door een observator. De observator kan een docent zijn maar ook een externe beoordelaar (bijvoorbeeld een stagebegeleider) of een medestudent. Observeren kan gebeuren tijdens een kortdurende gestandaardiseerde oefensituatie (bijvoorbeeld een oefenpop ‘reanimeren’) maar het kan ook gespreid in de tijd gebeuren in diverse realistische contexten (bijvoorbeeld meerdere patiënten behandelen tijdens een stageperiode). Meestal gebeurt de observatie gestructureerd, dit wil zeggen aan de hand van een lijst van te observeren aspecten. De observatie gebeurt descriptief (het gedragsaspect is aanwezig of niet) en/of evaluatief (voldoende versus onvoldoende, of een meer gedifferentieerde waardering).
Voordelen van gedragsobservatie: •
De examinator kan reageren op de individuele student: vragen waarom iemand iets doet, de student opnieuw laten proberen, feedback geven bij het gedrag, enz.
•
Zeer geschikt om oordeelsvermogen en communicatievaardigheid te toetsen naast (het toepassen van) kennis en inzicht. Voor complexe vaardigheden (competenties) is gedragsobservatie de toetsmethode bij uitstek, bijvoorbeeld het (para)medische behandelen van een patiënt, het pleiten van een rechtzaak, enz.
•
Zeer flexibel te organiseren via individuele afspraak met de student of geïntegreerd in de reeds geplande activiteiten (practicum, stage, enz.)
•
Relatief weinig voorbereiding nodig en daarom zeer efficiënt bij een klein aantal studenten.
Nadelen van gedragsobservatie: •
Er kunnen doorgaans maar relatief weinig gedragsstalen geobserveerd worden waardoor de toets niet representatief is: bij toeval kan een student erg moeilijke of juist erg makkelijke opdrachten krijgen
•
De objectiviteit is laag: de beoordeling wordt beïnvloed door vermoeidheid en humeur van de examinator, door geslacht, uiterlijk, stressbestendigheid en taalvaardigheid van de student, en door halo-effecten (uitstraling van in het oog springende geobserveerde kenmerken naar andere kenmerken)
•
Bij grote groepen studenten is dit een erg arbeidsintensieve methode en lastig te organiseren
•
Zonder videoregistratie is de bewijslast lastig: wat is exact gedaan en wat niet.
19
2.7 Werkstuk
De student levert een product dat wordt beoordeeld door de werkstukbegeleider, een andere docent, een externe beoordelaar, of (alleen in formatieve zin) door een medestudent. Een werkstuk is van verbale aard (scriptie, beleidsdocument, computerprogramma, enz.) of van nonverbale aard (kunstwerk, bouwplan, toestel, enz.) of een mengvorm van verbale en non-verbale componenten. Het werkstuk kan gemaakt worden onder gecontroleerde omstandigheden maar meestal is de opdracht zo omvangrijk dat de productie zich noodgedwongen onttrekt aan observatie. Doorgaans worden werkstukken dus door de student gemaakt zonder dat de examinator aanwezig is. Het werkstuk wordt globaal (holistisch) beoordeeld en/of analytisch aan de hand van evaluatiecriteria.
Voordelen van werkstuk: •
De examinator kan reageren op de individuele student: gericht commentaar geven, de student nieuwe versie laten maken, feedback geven bij het werkstuk, enz.
•
Zeer geschikt voor het toetsen van oordeelsvermogen, schriftelijke communicatievaardigheid en het toepassen van kennis en inzicht
•
Zeer flexibel te organiseren via afspraak over de voortgang met individuele student of met een groep studenten die een groepswerkstuk maken
•
Werkstukopdrachten zijn vrij makkelijk te bedenken.
Nadelen van werkstuk: •
Aangezien het werkstuk meestal wordt gemaakt in de eigen tijd en buiten de opleidingsplek, is het zeer fraudegevoelig. Plagiaat is moeilijk op te sporen en nog moeilijker is na te gaan of iemand anders het werkstuk heeft gemaakt in de plaats van de student
•
De objectiviteit is laag: de beoordeling wordt beïnvloed door persoonlijke beoordelingsnormen en door halo-effecten (uitstraling van in het oog springende kenmerken naar andere kenmerken van het werkstuk)
•
Bij grote groepen studenten is dit een erg arbeidsintensieve methode: degelijk corrigeren en goede feedback geven vergt erg veel tijd
•
Bij groepswerkstukken moet de individuele bijdrage beoordeeld en meeliften afgestraft kunnen worden.
2.8 Leerverslag
Het leerverslag is een subjectief verslag van eigen activiteiten aangevuld met introspectieve reflecties daarop, bijvoorbeeld een stageverslag. In essentie is het leerverslag een dagboek van de eigen leerervaringen, zowel descriptief als reflectief (evalueren van eigen prestaties en realistisch plannen van toekomstige ontwikkeling). De docent, een externe assessor of een medestudent beoordeelt het leerverslag aan de hand van criteria die specifiek zijn voor
20
leerverslagen, m.a.w. het leerverslag wordt niet beoordeeld als een werkstuk (niet de kwaliteit van het product telt maar de kwaliteit van de leerervaringen).
Voordelen van leerverslag: •
Het leerverslag is de beste en eigenlijk zelfs de enige manier om de leervaardigheden van studenten te beoordelen
•
Zeer flexibel te organiseren en de opdracht aan studenten is min of meer standaard.
Nadelen van leerverslag: •
Aangezien het leerverslag meestal wordt gemaakt in de eigen tijd en buiten de opleidingsplek, is het zeer fraudegevoelig. Plagiaat is moeilijk op te sporen en nog moeilijker is na te gaan of iemand anders het leerverslag heeft gemaakt in de plaats van de student
•
De objectiviteit is laag: de beoordeling wordt beïnvloed door persoonlijke beoordelingsnormen en door halo-effecten (uitstraling van in het oog springende kenmerken naar andere kenmerken van het leerverslag)
•
Bij grote groepen studenten is dit een arbeidsintensieve methode: grondig lezen en relevante feedback geven vergt veel tijd.
2.9 Biografische gegevens
Biografische gegevens zijn objectieve feiten die worden geregistreerd zonder kwaliteitsbeoordeling. Welke boeken hebben studenten geleend bij de bibliotheek, hoeveel logins deden zij op een cursuswebsite, bij welke extracurriculaire activiteiten waren ze betrokken, bij welke conferenties waren ze aanwezig, aan welke practica namen ze deel, welke beroepservaringen hebben ze, welke publicaties staan op hun naam, hebben ze een computerrijbewijs, enz. De opleiding beoordeelt niet de kwaliteit van de activiteit of het product maar gaat ervan uit dat de ervaringen die de studenten opdeden bijdragen aan hun opleiding. De examinator tekent af of aan het biografisch gegeven voldaan is. Een aantal van de zogenaamde bijzondere verplichtingen aan de OUNL behoren tot de biografische categorie: bijvoorbeeld een excursie meemaken of een practicum volgen. Biografische gegevens worden frequent gebruikt als bewijzen voor eerder verworven competenties in een EVC-procedure.
Voordelen van biografische gegevens: •
Biografische gegevens zijn indicatoren van prestaties die op geen andere manier kunnen worden beoordeeld of die nauwer aansluiten bij de dagelijkse realiteit dan de gangbare toetsen. Bijvoorbeeld een jaar vrijwilligerswerk als stervensbegeleider zegt iets over de communicatievaardigheid van betrokkene. Iemand die vijf jaar ervaring heeft als onderwijzer kan wellicht pedagogische kennis toepassen.
•
De biografische gegevens zijn doorgaans makkelijk te verzamelen: de student rapporteert ze zelf of ze worden uit een databank gehaald.
21
Nadelen van biografische gegevens: •
De validiteit van de biografische gegevens is onzeker: er is wel sprake van ‘face validity’ maar men is noodzakelijkerwijs beperkt tot het infereren van competenties vanuit historische gegevens
•
De gegevens worden geïnterpreteerd door een beoordelaar (assessor) wat resulteert in lage objectiviteit: de beoordeling wordt beïnvloed door persoonlijke beoordelingsnormen en door halo-effecten (uitstraling van in het oog springende biografische gegevens naar de andere gegevens).
2.10 Portfolio
Het begrip portfolio is oorspronkelijk afkomstig uit de wereld van de beeldende kunsten. Kunstenaars (beeldhouwers, schilders, fotografen, enz.) verzamelen en showen hun beste eigen werken maar vooral afbeeldingen daarvan in dossiers die portfolio’s worden genoemd. Het studentportfolio bevat echter meestal niet alleen werkstukken maar ook leerverslagen, biografische gegevens, en resultaten van gedragsobservaties en andere toetsmethoden (gesloten, open en/of interactieve toetsen).
Het portfolio is een mix van de andere toetsmethoden en het vertoont derhalve de voordelen en nadelen die zijn verbonden aan de samenstellende toetsmethoden. De combinatie van methoden is tegelijk de sterkte en de zwakte van het portfolio. Door te combineren wordt rekening gehouden met de rijke veelzijdigheid van de studentprestatie. Maar het spreekt ook vanzelf dat de beoordeling van zo’n complexe verzameling geen eenvoudige zaak is.
Aanbevelingen -
Gebruik geen stellingenvragen, juist-onjuist vragen, sorteervragen of ordeningsvragen.
-
Maak toetsen met minimaal zestig driekeuzevragen wanneer afleiders moeilijk te vinden zijn
-
Gebruik multimedia bij CBT-vragen alleen indien dat noodzakelijk is
-
Neem maatregelen tegen fraude bij werkstuk, leerverslag en portfolio
22
