2 Toetsing in soorten en maten

Flexibilisering van Toetsing

2

Toetsing in soorten en maten Toetsen spelen een cruciale rol in het onderwijs. Alle studenten en docenten hebben ermee te maken en ze bepalen in hoge mate het gedrag van deze studenten en docenten (Heijnen en Meeders 1999; Vleuten en Daniëls 2002). Studenten hebben tijdens het leerproces op de eerste plaats behoefte aan een regelmatige beoordeling, zowel formatief als summatief, van hun prestaties en informatieve feedback. Die beoordeling kan dienen om het leerproces tijdig bij te sturen of als ondersteuning van hun inspanningen. Toetsing kan in het onderwijsproces leiden tot rendementsverbetering en/of het verbeteren van het niveau van afgestudeerden. Instituten, opleidingen en docenten hebben de taak om dit zo efficiënt en effectief mogelijk te doen. In dit boek beschouwen we een toets als een ‘opdracht’ en een ‘toetsvraag’ als een ‘miniopdracht’ . Met die gedachte in het achterhoofd zal blijken dat het toepassingsgebied van de toetsvraag en de toets veel breder is dan alleen maar ‘een meting’ doen, een ‘waardering’ geven of een ‘beslissing’ nemen aan het eind van een leerfase (Bax 2001). Het toepassingsgebied betreft juist álle leerfasen. Kader 1 De kwaliteiten van Computer Ondersteund Onderwijs In 1994 beschrijft Marcel Mirande in het boek ‘De kwaliteiten van computerondersteund onderwijs’ (Mirande 1994a) een uitgebreid aantal casussen over de inzet van computers in het onderwijs. De focus ligt op Computer Ondersteund Onderwijs (COO); meestal stand-alone programma’s die studenten helpen om zich op actieve wijze de leerstof eigen te maken. Het internet was nog niet in zicht. Een indeling voor de toepassing van COO die Mirande ziet is de volgende: •

Het wegwerken van deficiënties;

•

Het uitbreiden van oefenmogelijkheden;

•

Het vervanging van werkcolleges;

•

Het vernieuwen van practica;

•

Efficiënte toetsing en toetsvoorbereiding.

Wat opvalt in het boek is dat in alle voorbeelden een belangrijke plaats is weggelegd voor toetsvragen en toetsen. Ze worden echt ingezet als miniopdrachten. In dit boek over Flexibilisering van Toetsing wordt deze zienswijze opnieuw belicht en uitgewerkt voor het internet tijdperk. Het is de taak van onderwijsgevenden om toetsvragen en toetsen op een zinvolle wijze te verweven in het onderwijs. Deze zienswijze levert in dit boek een belangrijke dimensie op voor ‘flexibel toetsen’. Flexibel toetsen gaat over het aanbieden van toetsvragen en toetsen om het leerproces zo optimaal mogelijk in te richten. In dit hoofdstuk staat het groeiende repertoire aan toetsingsmogelijkheden centraal. Dit groeiende repertoire wordt met name veroorzaakt door de voortschrijdende techniek. Toetsen kunnen in de eerste plaats worden afgenomen in verschillende onderwijsfasen. Deze fasen komen aan bod in paragraaf 2.1. Daarnaast zijn er verschillende mogelijke toetsvormen. Deze worden uitgebreid beschreven in paragraaf 2.2. In paragraaf 2.3 gaan we nader in op flexibeler toetsen binnen flexibeler onderwijs. Tot slot gaan we in de laatste paragraaf van dit hoofdstuk (paragraaf 2.4) nader in op de mogelijkheden ICT bij toetsen. 2.1

Toetsen in fasen In het onderwijs kunnen de volgende fasen onderscheiden worden (Smuling, Brants et al. 1990):

pagina 8 van 8


•

de oriëntatiefase

•

de oefenfase

•

de certificeringsfase

In elk van deze fasen onderscheiden we verschillende onderwijsfuncties. In de onderstaande paragrafen gaan we dieper in op deze onderwijsfuncties. 2.1.1 Oriëntatiefase (kennisverwerving) In de oriëntatiefase zet de student de volgende zaken op een rijtje: •

essentiële kenniscomponenten

•

vakspecifieke hulpmiddelen

•

methoden

•

denkwijzen

•

oplossingsmethoden

•

begrippen en doelen die binnen het vakgebied vanzelfsprekend zijn

De onderwijsinstelling helpt de student hierbij door hem de stof aan te bieden en kennis te laten verwerven. Vervolgens moet de student in de gelegenheid worden gesteld om deze kennis te operationaliseren. Het devies voor de onderwijsgevende is om bij deze fase niet te veel met de deur in huis te vallen en niet uit te gaan van ten onrechte veronderstelde voorkennis. Het gebruik van toetsvragen of toetsen in deze fase kan zeer zinvol zijn (Thalheimer 2003). Toetsvragen kunnen heel goed een integraal onderdeel vormen van het instructieontwerp van het onderwijs. Goed ontworpen vragen zijn effectief omdat ze: 1.

oefening aanbieden aan lerenden om kennis te reproduceren en het geheugen te trainen;

2.

lerenden feedback geven over hun misconcepties;

3.

de aandacht van lerenden richten op het meest belangrijke leermateriaal;

4.

de belangrijkste concepten herhaald onder de aandacht kunnen brengen zodat het begrip en de toepassing van kennis versterkt kunnen worden.

Toetsvragen kunnen worden voorgelegd voorafgaand aan, gedurende of aan het eind van de bestudering. Toetsen hebben in deze fase een motiverende functie doordat ze de lerende een gevoel geven van constructieve frictie (Vermunt en Verloop 1999): wat weet ik nog niet, maar kan ik gaan leren (zie ook onderstaand voorbeeld). Ze hebben een activerende functie doordat ze de lerende aanzetten tot nadenken over wat ze nog aan kennis moeten verwerven. Kader 2: Voorbeeld van een toetsvraag die ‘constructieve frictie’ oproept Welke factor heeft de meeste invloed op de mening van studenten over summatieve beeldschermtoetsen? a)

De ‘on-screen’ stijl en lay-out van de toets.

b)

Het wel/niet tonen van feedback op de vragen van de toets.

c)

De kwaliteit van de toetsvragen.

d)

De computervaardigheid van de student.

e)

De kwaliteit van de cursus in het kader waarvan de toets plaatsvindt.

Denk eerst goed na voor u de volgende zin leest. Het goede antwoord op bovenstaande vraag is letter 5 van de volgende reeks: DEABACA.

pagina 9 van 9


2.1.2 Oefenfase (kennistoepassing) Tijdens de oefenfase van het leerproces leert de student de verworven kennis op operationeel niveau toe te passen. Het gaat hier bijvoorbeeld om: •

handelingen leren uitvoeren

•

middelen kiezen

•

de juiste verwaarlozingen doen

•

de juiste theorie toepassen

De instelling reikt de middelen aan waarmee de student zich deze vaardigheden eigen kan maken. Het is van het grootste belang dat de student tijdens deze oefenfase feedback krijgt om de voortgang in kennisopbouw te kunnen evalueren en om bij te kunnen sturen. Ook in deze fase kunnen toetsvragen en toetsen een belangrijke rol spelen. Met name in de bètawetenschappen worden studenten aangespoord om natuurwetenschappelijke kennis toe te passen door problemen op te lossen in de vorm ‘sommen maken’. In andere vakgebieden (alfa, gamma) kunnen studenten oefenen door ‘casussen op te lossen’. Dit kan in de vorm van inventarisaties of rapporten schrijven en het analyseren aan de hand van theorieën. 2.1.3 Certificeringsfase (kennismeting) De derde fase van het leerproces is de certificerende meting, ofwel het vaststellen van het totale leerresultaat door ‘een meting’ doen, een ‘waardering’ geven en een ‘beslissing’ nemen aan de hand van en criterium (wanneer voldoende of onvoldoende). Toetsen aan het einde van een onderwijsonderdeel dienen met name om de prestaties van de student te beoordelen. Deze toetsen hebben vaak de vorm van een tentamen met gesloten of open vragen. In de reguliere literatuur over toetsing (Dousma, Horsten et al. 1997; Berkel 1999; Bax 2001; Berkel en Bax 2002) wordt vooral dit aspect van het gebruik van toetsvragen en toetsen behandeld. Het gaat daarbij om de aspecten rondom het realiseren van een systematisch en verantwoord meetproces met veel aandacht voor validiteits- en betrouwbaarheidsvraagstukken. 2.2

Toetsen in vormen Toetsvragen en toetsen kunnen niet alleen in verschillende leerfasen worden ingezet, maar ook in verschillende vormen. Hieronder hebben we die verschillende vormen voor u op een rij gezet. In Tabel 1 op bladzijde 15 wordt dit overzicht schematisch weergegeven.

2.2.1 Zelftoetsing Een belangrijke vorm van toetsvragen of toetsen is zelftoetsing. Met een zelftoets wordt een student in staat gesteld kennis te verwerven en toe te passen of om zijn beheersing van de stof te meten. Het is aan de student om dit initiatief te nemen en deze toetsen met de voldoende aandacht te beantwoorden en van de feedback te leren. Het vergt een specifieke opbouw van de toetsvragen, de kalibrering van de toetsen en de feedback om dergelijke toetsing effectief te laten zijn. Psychometrisch analyse van dergelijk toetsen is niet zinvol. De reden daarvoor is dat de condities waaronder de toets wordt gedaan niet gecontroleerd zijn. Een interessante categorie van zelftoetsing is de directe voorbereiding op eindtoetsen zoals een tentamen. Deze toetsen combineren elementen van kennisverwerving, oefening en diagnosestelling. De directe voorbereiding biedt studenten zicht op de manier waarop een eindtoets wordt afgenomen en geeft antwoord op de vraag of ze voldoende kennis hebben om een dergelijke

pagina 10 van 10


eindmeting positief af te ronden. Vaak worden dergelijke toetsen door lerenden en onderwijsgevenden aangeduid met de term ‘oefentoets’, maar deze term dekt de lading van zelftoets zoals bedoeld in dit boek niet helemaal. Omdat zelftoetsing door studenten zelf moet worden geëntameerd, is het belangrijk dat materiaal voor zelftoetsing, met name als het gericht is op kennisverwerving en kennistoepassing, zeer aantrekkelijk en motiverend is voor studenten. Door Keller (Keller 1983) worden daarvoor de volgende aanwijzingen gegeven: •

Aandacht. Zorg ervoor dat de opdracht de aandacht van de lerenden zal trekken door

•

Relevantie. Zorg ervoor dat de relevantie van de oefening voor de lerende duidelijk is. Geef

•

Vertrouwen. Zorg ervoor dat complexiteit en het niveau van oefeningen niet te laag en niet te

•

Bevrediging. Als oefeningen zijn afgerond dienen lerenden feedback te krijgen die hen

onverwachte en spannende elementen. een interessante context weer waar de lerenden zich mee kan identificeren. hoog is zodat studenten vertrouwen krijgen in hun eigen kunnen. stimuleert om verder te gaan. Deze aanwijzingen houden voor de vormgeving van zelftoetsingsmateriaal gericht op kennisverwerving en -toepassing in dat dergelijk materiaal er bij voorkeur niet uitziet als een ‘toets’ of ‘tentamen’, maar veel meer als een (interactief) spel. 2.2.2 Formatieve toetsing Een andere toetsvorm is de zogenoemde formatieve toetsing. Formatieve toetsing kan worden gebruikt om lerenden kennis te laten verwerven of te laten toepassen. Deze toetsing heeft geen directe invloed op de eindbeoordeling van een onderwijsonderdeel, maar vindt wel onder beter gecontroleerde condities plaats dan de zelftoetsing. Hierdoor kunnen de met deze toetsing verkregen gegevens gebruikt worden om een diagnose te stellen. Bijvoorbeeld de diagnose welke kennis nog ontbreekt en nog dient te worden verworven en welke toepassing van kennis nog niet wordt beheerst. Het geeft lerenden en onderwijsgevenden informatie (feedback) om het leerproces bij te sturen of de didactische aanpak te wijzigen. Voorbeelden van formatieve toetsen zijn opfristoetsen (Draaijer 2001; Draaijer, Groen et al. 2003; Hulst 2003), voorkennistoetsen, instaptoetsen, ConcepTests (Mazur en Crouch) en Tutorials (Adamson 2003). In de Engelstalige literatuur worden formatieve toetsen en zelftoetsing vaak aangeduid met ‘low-stakes’ testing. Ook de terugkoppelingsfunctie voor docenten van formatieve toetsing is belangrijk. Docenten moeten erachter zien te komen wat studenten wel of niet weten en daar bij voorkeur ook actie op kunnen nemen. Zie onderstaande tekstkaders voor voorbeelden. Kader 3 Peer Instruction en de rol van ConcepTests1 Binnen de context van traditionele instructie (zoals colleges) wordt in het algemeen gezocht naar technieken om grotere groepen studenten te activeren. Een vrij prominente en vaker toegepaste techniek daarin is Peer Instruction. Hierbij activeert de docent studenten door ze zogenoemde ConcepTests voor te leggen. Dat zijn over het algemeen meerkeuzevragen waarin studenten bevraagd worden op hun (mis)concepties van (natuurwetenschappelijke) theorieën. Deze conceptuele vraag moeten studenten via onderling overleg proberen te beantwoorden tijdens een college. Aan de hand van de ‘score’ van de studenten – die de docent eenvoudig kan meten door studenten hun hand op te laten steken voor het antwoord dat ze denken dat goed is – kan de 1

http://galileo.harvard.edu/

pagina 11 van 11


docent besluiten om de theorie nogmaals uit te leggen of door te gaan met een volgende onderwerp.

In één van de casussen die te vinden is op de website Flexibilisering van Toetsing via http://www.du.nl/flextoets wordt de Galileo casus uitgebreider behandeld.

pagina 12 van 12


Kader 4 Toetsen als ‘collegeverbeteraar’ Een docente van het vak Historische pedagogiek aan de VU wilde het onderwijs graag verbeteren. Zij vond dat de gehele kwaliteit van de cursus verhoogd moest worden. Zij besloot om zelftoetsen te gaan maken voor studenten en deze aan studenten aan te bieden via de digitale leeromgeving Blackboard. Het inzetten van zelftoetsen via Blackboard zag zij als een mogelijkheid om: •

Colleges beter te kunnen voorbereiden. Het maken van de toetsen helpt haar om lastige concepten beter uit te leggen tijdens het college.

•

De stof zelf beter te leren beheersen. Het maken van toetsen dwingt haar om de stof weer helemaal door te pluizen.

•

De inhoud en leerdoelen van het vak beter te formuleren. Het maken van toetsen dwingt haar om de stof weer helemaal door te pluizen.

•

De studenten meer te motiveren voor het vak. Door studenten vragen te laten beantwoorden komen ze op een andere manier met de stof in aanraking.

•

De studenten beter voor te bereiden op de toets. Door studenten vragen te laten beantwoorden komen ze meer met de stof in aanraking.

Samen met haar collega heeft ze voor elk hoofdstuk uit de literatuur vragen opgesteld. Wat vonden zij zelf waardevol aan deze onderneming? “Het werken hieraan heeft me veel voldoening opgeleverd en de doelen zijn ook behaald. Ik heb een veel beter inzicht gekregen in mijn eigen vak. De studenten reageerden positief, alhoewel lang niet iedereen de zelftoetsen maakte. Degenen die ze wel maakten waren tijdens het college actiever en stelden meer vragen. Dat maakte het college veel interessanter, zowel voor de studenten als voor mezelf. De studenten in het algemeen waardeerden daarnaast het feit dat een deel van de vragen uit de zelftoetsen terugkwamen in de eindtoets. Dat was voor hen een goede stimulans om gebruik te maken van de zelftoetsen. De eindtoets bestond uit 60 multiplechoicevragen (waarvan 20 uit de zelftoetsen) en 10 open vragen.” Kader 5 De opfristoets Aan het eind van de propedeuse krijgen studenten Biologie van de Vrije Universiteit het vak Plantenfysiologie. Tot dan toe is er in de propedeuse geen aandacht geweest voor plantenfysiologie en de kennis die studenten op het vwo over dit onderwerp hebben opgedaan blijkt meestal diep te zijn weggezakt. Daarom heeft Anneke Wagner in 2001 een voorkennistoets gemaakt zodat zij beter inzicht zou hebben in de voorkennis van studenten (en de leemtes daarin). Zij maakte deze opfristoets met de toetsmodule van Blackboard. De toets bestaat uit 22 vragen, telkens bij een afbeelding. Als studenten de toets afhebben, zien ze direct welke vragen ze goed en fout hebben beantwoord. Het maken van de toetsvragen gebeurt onder gecontroleerde condities in een pc-zaal. De studenten mogen overleggen en de literatuur erbij gebruiken. Dat gebeurt dan ook veelvuldig. De studenten waarderen deze werkvorm zeer. De docente leert vooral dat studenten eigenlijk nog best veel weten, als ze maar – via een geschikte werkvorm – actief met de stof moeten omgaan. Ook komt ze erachter dat ze in haar cursus meer aandacht zou moeten besteden aan het vakspecifieke Engels. De studenten blijken moeilijk de overstap te kunnen maken van Nederlandse biologiekennis naar Engelstalige biologiekennis. Wat is bijvoorbeeld de Engelse term voor scharnier? Het verhaal van Anneke Wagner is uitgebreider te vinden op de e-learningsite van SURF:

pagina 13 van 13


http://elearning.surf.nl/e-learning/artikelen/1118 Haar verhaal wordt helemaal visueel gemaakt op een streaming video. Deze is te bekijken via: http://stream1.surfnet.nl/cgi-bin/users/launch.cgi?v/vu2/mpeg/AnnekeW_ict_totaal.mpg 2.2.3 Summatieve toetsing De derde toetsvorm is de groep toetsvragen of toetsen die in het onderwijsprogramma worden voorgelegd onder gecontroleerde condities en die leiden tot een bindende beslissing. Er zijn, met andere woorden, consequenties verbonden aan de resultaten. Dit noemen we summatieve toetsing. Het gaat op dat moment om certificering. Consequenties kunnen zijn dat studenten een studiepunt wel of niet behalen, dat ze wel of niet een studiefase kunnen afsluiten, of – vaak gekoppeld daaraan – of ze wel of niet een negatief bindend studieadvies krijgen. De term certificering geeft aan dat de opleiding erkent en kan garanderen dat een lerende een bepaald (minimum)niveau heeft behaald. Voorbeelden van summatieve toetsen zijn voortgangstoetsen, tentamens, opdrachten of een praktijkproef. Het spreekt voor zich dat de eisen die studenten mogen stellen aan summatieve toetsen hoog zijn. De toetsen moeten ‘fair’ zijn met een optimale balans tussen betrouwbaarheid, validiteit en uitvoerbaarheid. Dergelijke toetsen moeten systematisch ontwikkeld worden. Fasen in het summatieve toetsproces Er zijn verschillende methoden om de fasen in een summatief toetsproces te onderscheiden. Wij gaan in dit boek uit van de zogenoemde toetscyclus (Jaspers en Schade 2002). Figuur 1 De toetscyclus

Evalueren

Ontwerpen

Construeren items/toetsen

Sanctioneren

Toetsbeheer Samenstellen toets

Analyseren

Scannen

Afnemen toets

Bovenstaande toetscyclus is een model om het werkproces van summatieve toetsing te structureren. Het model is ook geschikt voor formatieve toetsing. In het kader van kwaliteitszorg behoort een formatieve toets ook aan hoge standaarden te voldoen. Idealiter zal dit proces in het geheel en nauwkeurig worden doorlopen. Het model geeft aan dat het onderwijs ontwikkeld moet worden in samenhang met de toetsing: de fase ‘ontwerpen’ is van

pagina 14 van 14


belang om de doelen van het onderwijs en de te ontwikkelen toetsen met elkaar in overeenstemming te brengen, de fase ‘evalueren’ is van belang om terugkoppeling te krijgen of die overeenstemming er is of dat er bijstelling moet plaatsvinden. Toetsen worden ontwikkeld en afgenomen om te kunnen meten of studenten competenties (of leerdoelen) van een curriculum of een cursus hebben gehaald. Nadat de competenties zijn vastgelegd in de fase ‘ontwerpen’, wordt de blauwdruk van de toets ontworpen. Deze blauwdruk geeft in hoofdlijnen aan hoe de toetsing eruit zal zien. Ook bevat de blauwdruk al een aanzet voor de onderwerpen en het niveau waarop getoetst zal worden (toetsmatrijs – garanderen van validiteit). Vervolgens (maar bij voorkeur vormt het ontwikkelen van toetsitems een continu proces).worden toetsitems ontwikkeld, op basis waarvan een toets wordt samengesteld. Dat laatste kan handmatig of geautomatiseerd gedaan worden. Hierna kan de toets worden afgenomen. Dat kan schriftelijk of via het beeldscherm plaatsvinden. De antwoorden van de studenten worden geregistreerd en daarna geanalyseerd. Aan de hand van de analyse zal de kwaliteit van de toetsitems worden beoordeeld en zullen mogelijk toetsitems uit de toets moeten worden gehaald. Ook zal een cesuur worden vastgesteld en beoordeeld. Tot slot zal het gehele proces geëvalueerd worden en zullen aan de hand daarvan de leerdoelen, het toetsplan en de items eventueel worden aangepast. In het midden van het model staat de functie Toetsbeheer. Deze functie geeft aan dat er in elke fase van de ontwikkeling aandacht moet zijn voor het opslaan en bewaken van de gegevens. Dit speelt bij individuele docenten een minder belangrijke rol, maar bij meer complexe toetsorganisaties en een toename van het aantal toetsitems wordt dat aspect steeds belangrijker. Samengevat zijn de belangrijkste onderdelen van het model binnen de context van dit boek: toetsontwikkeling (ontwerpen, construeren van items en toetsen), toetsafname, toetsverwerking (scannen, analyseren, sanctionerern, evalueren) en toetsbeheer. 2.2.4 Tussentoetsen: formatief of summatief? Een interessante categorie toetsen zijn de zogenoemde tussentoetsen, deeltoetsen of tussenopdrachten. Dergelijke toetsen worden door onderwijsgevenden vaak meegerekend in de beoordeling voor het totale eindresultaat. In strikte zin zijn deze toetsen dus summatief. En dat onderscheid is belangrijk: juist bij de overgang van formatieve naar summatieve toetsen wordt veel sturing in het onderwijsproces ingebracht. “[Summatieve] Toetsing dicteert namelijk in belangrijke mate het leren. Voor studenten vormen de toetsen de sleutel voor succes in hun onderwijsloopbaan. De vorm, de inhoud, de programmering en de regelgeving bepalen feitelijk wat en hoe studenten zullen leren. Voor studenten is de toetsing het feitelijke curriculum.” (Vleuten, Schuwirth et al. 1999). Als het gaat om flexibilisering van toetsing, is de keuze tussen formatief of summatief toetsen erg belangrijk.

2.2.5 Overzicht toetsvormen In onderstaande tabel hebben we de verschillende toetsvormen nog eens voor u op een rij gezet. Tabel 1: Overzicht van verschillende toepassingen van toetsvragen in het onderwijsproces Formatief

Summatief

Leren Oriënteren

Meten Oefenen

Diagnose

Certificeren

pagina 15 van 15


stellen Zelftoetsing (niet-gecontroleerde condities)

X

X

X

-

(bijv. Flash

(bijv. COO-

(bijv.

Card

oefening

oefententamen)

X

X

X

X

(bijv. Peer

(bijv. Begeleid

(bijv.

(bijv. deeltoets,

Instruction)

COO)

instaptoets)

tentamen)

oefening) Gecontroleerde condities

2.3

Flexibeler toetsen binnen flexibeler onderwijs Flexibel toetsen kan alleen binnen het kader van flexibel onderwijs. Nog niet zo lang geleden werd het begrip 'flexibel onderwijs' bijna gelijkgesteld aan afstandsonderwijs en plaatsen tijdonafhankelijk leren. In het boek 'Flexible learning in a digital World' van Collis en Moonen wordt een specifiekere omschrijving gegeven (Collis en Moonen 2001): “Het centrale idee hierbij is dat de lerende keuze heeft uit verschillende aspecten van de leerervaring. Flexibel leren is een beweging weg van een situatie waarin sleutelbeslissingen over de leerdimensies genomen worden door de docent of de instelling, naar een situatie waar de lerende een keuze heeft uit een repertoire van mogelijkheden ten aanzien van deze sleuteldimensies.” De onderwijsinstelling en de onderwijsgevenden moeten dit repertoire realiseren. Zij moeten daarom in staat worden gesteld om dit repertoire te kunnen ontwikkelen en aan te bieden en zij moeten op verschillende dimensies keuzen maken en deze tot uitvoer kunnen brengen. In dit handboek betreft het het repertoire op het gebied van het gebruik en de ontwikkeling van toetsvragen en toetsen in verschillende leerfasen en voor diverse formatieve en summatieve functies. Juist bij de sleuteldimensie summatieve toetsing zal dit spanningsveld zeer sterk aanwezig zijn. Het behoeft geen betoog dat een student niet volledig vrij kan zijn in het kiezen van de soort summatieve toetsing. Dit is alleen al strijdig met het feit dat een instelling garant moet staan voor een bepaalde eindkwalificatie en eindniveau. Daarnaast is ook de programmering in de tijd van certificerende toetsmomenten van belang om studenten een studeerbaar onderwijsprogramma te bieden (OAB 2003) We komen dan uit op de volgende definitie van 'flexibele toetsing': Flexibele toetsing is een situatie waarbij er in het onderwijs een breed repertoire van toetsingsmogelijkheden beschikbaar is, waaruit student, docent, opleiding en instelling in onderlinge interactie voor hun leer- of onderwijssituatie een geschikte keuze kunnen maken en tot uitvoer kunnen brengen. In deze definitie is ook de onderlinge interactie van belang. Hiermee bedoelen we dat studenten en docenten elkaars signalen lezen en daar ook iets mee doen (zie onderstaande kadertekst voor een voorbeeld). Kader 6 Reageren op de vraag van studenten De postdoctorale opleiding Fiscaal en beleggingsanalist van de Vrije Universiteit heeft een onderzoek gedaan onder studenten die de opleiding hadden afgerond. Als belangrijk verbeterpunt

pagina 16 van 16


voor het onderwijs noemde zij dat toekomstige studenten meer in de gelegenheid zouden moeten worden gesteld om te oefenen met formatieve toetsen. Het was de afgestudeerden namelijk gebleken dat die eindtoetsing van de opleiding (een examen met multiplechoiceopgaven) uiteindelijk het allerbelangrijkste criterium was waarop het wel of niet slagen voor de opleiding was gebaseerd. Het idee van de studenten was nu dat de opleiding – liefst online – multiplechoicetoetsvragen beschikbaar zou stellen om mee te oefenen. De uitslag van deze formatieve toetsing zou dan besproken moeten worden in de colleges. De opleiding besloot deze wens serieus te nemen. Daartoe formeerden ze een kleine projectgroep die besloot om gebruik te maken van het toetsprogramma Questionmark Perception. Het programma zou gehost worden door een externe partij. In Questionmark Perception zou de opleiding wekelijks een toets klaarzetten voor studenten, precies toegesneden op het onderwerp en de literatuur van die week. Mogelijk dat de studenten ook de eindtoets via het beeldscherm zouden kunnen maken. Ze ontwikkelden een uitgebreide toetsbank met in totaal ongeveer 3000 toetsvragen. In het academisch jaar 2002/2003 en 2003/2004 lukte het - met veel inspanning - om dit aanbod gerealiseerd te krijgen. In de colleges werden de studenten regelmatig aangespoord om gebruik te maken van de mogelijkheden om zichzelf te toetsen. Het gebruik door de studenten van het systeem bleek echter dramatisch laag. Ook na extra aansporing. Van de 80 studenten die de opleiding volgden, bleek gemiddeld slecht 7 tot 8 studenten gebruik te maken van het systeem. Waardoor de participatie laag was werd niet geheel duidelijk. Door deze lage participatie waren ook de resultaten van de toetsen statistisch nietszeggend zodat er ook geen zinvolle feedback tijdens de colleges op kon worden gegeven. Het project op zich om een toetsbank te ontwikkelen en aan studenten aan te bieden was geslaagd. Het probleem werd echter niet opgelost. Wat moest de opleiding gaan doen … Kader 7 Voorkennistoets (Draaijer, Groen et al. 2003) In de cursus Basin analysis (bekkenmodelleren) van faculteit Aard- en Levenswetenschappen van De Vrije Universiteit, is een practicum opgenomen waarin studenten simulaties moeten uitvoeren over de vervormingen van de aardkorst. Het practicum verloopt niet zo goed; de studenten hebben verschillende niveau’s van voorkennis waardoor veel tijd tijdens het practicum verloren gaat aan het ophalen van kennis die de studenten eigenlijk al hadden moeten bezitten. De docenten besluiten om de studenten – voorafgaand aan het uitvoeren van de simulaties – voorkennis vragen aan te bieden, bedoeld voor studenten om weer ‘van te leren’. De vragen worden online via Blackboard voorgelegd aan de studenten.

pagina 17 van 17


Studenten kunnen ze beantwoorden en krijgen na het beantwoorden van de vragen feedback. Uit observaties wordt duidelijk dat de studenten heel verschillend omgaan met de vragen. De postdoctorale studenten maken de vragen geconcentreerd en de feedback geeft aanleiding tot veel discussie met de practicumleiding. De jongvolwassen studenten maken de vragen vrij ongeconcentreerd, slaan de vragen liever over en nemen snel genoegen met de gegeven feedback. Ze willen direct door naar de simulaties. Beide groepen studenten vinden dat ze ‘teveel getoetst’ worden; ze ervaren de voorkennistoets niet als instrument om ‘iets te leren’, maar om ze ‘af te rekenen’. Het resultaat van de nieuwe cursusopzet is dat studenten sneller en met een hoger niveau de cursus afsluiten. Of dat komt door de invoering van de voorkennistoetsen is niet geheel duidelijk omdat de docenten tegelijkertijd meer onderdelen van de cursus en het practicum hebben gewijzigd. De practicumleiding vindt dat ze een beslissing moeten nemen of ze deze voorkennistoetsen wel of niet in het practicum moeten handhaven … Het is duidelijk: het inzetten van een bepaald toetsidee biedt nooit een 100% ‘werkende’ oplossing. Het benutten van kansen vergt inzet van mensen en middelen. Beide zijn echter beperkt voorhanden, daarom zal dit ongetwijfeld spanningen opleveren. Vraag en aanbod moeten in evenwicht worden gebracht. 2.4

Toetsen en ICT Binnen het domein van toetsen en beoordelen met ICT worden veel termen gebruikt die ambigu zijn. Daaronder vallen bijvoorbeeld de termen kennistoetsing, objectieve toetsing, ComputerAssisted Assessment (CAA), Computer Based Assessment (CBA), Computer Based Testing (CBT), computerondersteund toetsen, digitaal toetsen, etc. In dit boek focussen wij op de elementen en processen die vallen onder het begrip computerondersteund toetsen (Computer-Assisted Assessment, kortweg CAA). Wij kiezen daarvoor omdat CAA in de Angelsaksische literatuur een vrij duidelijke inkadering kent (Bull en McKenna 2003). CAA refereert aan het gebruik van computers om toetsen en toetsitems voor zelfstudie, formatieve of summatieve doelen te beheren, aan te bieden aan studenten en te analyseren. Daarnaast omvat CAA ook de processen om toetsgegevens van optische formulieren te verzamelen en te analyseren. ICT kan ingezet worden in elke fase van het toetsproces. In deze paragraaf gaan we met name in op het gebruik van ICT bij toetsafname. Dat kan door middel van beeldschermtoetsen. De voor- en nadelen van beeldschermtoetsen bespreken we in paragraaf 2.4.1. In vergelijking met schriftelijke toetsen kun je bij beeldschermtoetsen meer verschillende vraagtypen inzetten. Deze vraagtypen komen aan de orde in paragraaf 2.4.2.

2.4.1 Beeldschermtoetsen Toetsvragen en toetsen kunnen via het beeldscherm afgenomen worden. Het belangrijkste kenmerk van beeldschermtoetsen is dat de computer in staat is om de antwoorden van de studenten (automatisch) te ontvangen, te analyseren en feedback terug te geven. We kunnen drie soorten digitale toetsvragen en toetsen onderscheiden:

pagina 18 van 18


•

Kennistoetsing: Voornamelijk gesloten vragen zoals multiplechoice-, ja/nee- of multiple-answervragen, gericht op lagere orde cognitieve bevraging.

•

Inzichttoetsing of complexe inzichttoetsing: Gericht op bevraging van hogere orde cognitieve kennis, kennistoepassing en probleemoplossing. De vraagvorm kan gesloten of open zijn.

•

Vaardigheidstoetsen: Geschikt voor hogere orde cognitieve kennis, probleemoplossende of zelfs vaardigheidstoetsen. Deze toetsen worden vaak uitgevoerd in simulatievorm (bijvoorbeeld een online businessgame of een virtuele patiënt).

Veel onderwijsgevenden veronderstellen dat met gesloten vragen alleen een laag cognitief niveau bevraagd kan worden (feiten en weetjes). Volgens onder andere Wolters (Wolters 1998) kan gesteld worden dat de gesloten vraagvorm eigenlijk vooral geschikt is voor de eerste fase van een opleiding, waarin het erom gaat begrippen en terminologie uit vakgebieden te leren kennen. Dit leidt echter snel tot het idee dat ook beeldschermtoetsen alleen geschikt zijn om eenvoudige kennis te bevragen. Ook met gesloten vragen is het echter wel degelijk mogelijk om vragen te formuleren die gericht zijn op hogere cognitieve niveaus (Berkel 1999). Het vraagt echter wel tijd en expertise van toetsontwikkelaars om dergelijke vragen te maken. Daar staat tegenover dat beeldschermafname bevraging op hoger niveau makkelijker maakt, doordat bijvoorbeeld vraagtypes zoals de ordeningsvraag, de parenzoekenvraag of de numerieke vraag zonder veel problemen kunnen worden ingezet (Draaijer 2001). Bij schriftelijke afname zijn dergelijke vraagtypes veel moeilijker automatisch te analyseren. Tot slot maakt beeldschermafname het mogelijk om multimediale en simulatieaspecten toe te voegen aan het vragenrepertoire. Dit kan de authenticiteit en het te bevragen niveau van vraagstukken sterk verhogen. Probleemoplossende vaardigheden kunnen op deze manier beter worden geoefend. Er bestaat ook programmatuur om de computer automatisch (of semi-automatisch) tekstvraagstukken te laten beoordelen. Het gaat dan om de interpretatie van de kwaliteit van open vragen met een omvang van een half A4 tot een aantal pagina’s A4. De toepasbaarheid daarvan voor summatieve doeleinden in het hoger onderwijs is in Nederland echter nog wel beperkt (Hearst 2000; Heuvelmans 2003). Voor formatieve doeleinden kan echter bijvoorbeeld met het programma CODAS al heel wat bereikt worden. In paragraaf 4.5.1 wordt dieper ingegaan op de toepassing van CODAS in het onderwijs en in de bijlage zijn ook een aantal voorbeelden uitgewerkt. Didactische voordelen van beeldschermtoetsing Het afnemen van toetsen via het beeldscherm heeft een aantal belangrijke didactische voordelen. Het belangrijkste voordeel is de interactiviteit. Deze interactiviteit kan zorgen voor een vraagantwoordspel tussen de lerende en de computer. De computer kan feedback geven. Feedback kan verschillende dingen inhouden: •

inhoudelijke terugkoppeling betekenen op gegeven antwoorden;

•

terugkoppeling door het direct geven van een score en resultaatanalyse;

•

terugkoppeling door het aanbieden van andere vragen (adaptief toetsen).

Voor zelftoetsing geldt bovendien dat online toegankelijke beeldschermtoetsen in principe echt tijden plaatsonafhankelijk aan studenten voorgelegd kunnen worden. Opgesomd zijn de didactische voordelen van beeldschermtoetsing:

pagina 19 van 19


•

Interactieve vragen kunnen op elk willekeurig plaats in digitaal onderwijsmateriaal worden ingebouwd;

•

Beeldschermtoetsing kan tijden plaatsonafhankelijk geschieden;

•

Studenten kunnen direct inhoudelijke feedback krijgen als ze de vragen hebben beantwoord;

•

Studenten en docenten kunnen direct de analyse (de score) van een toets ontvangen;

•

Met beeldschermtoetsing kunnen gemakkelijker andere vraagtypen worden gebruikt in

•

Multimediale componenten (zoals video of simulaties) maken authentieke vragen mogelijk;

•

Beeldschermafname maakt het mogelijk studenten verschillende toetsen voor te leggen:

toetsen dan met schriftelijke afname;

•

o

willekeurige vragen uit een bestand van vragen

o

vragen in willekeurige volgorde

o

alternatieven van vragen in willekeurige volgorde

Beeldschermafname maakt het mogelijk dat er conditioneel of adaptief getoetst wordt, zodat er minder toetsvragen nodig zijn;

•

Beeldschermtoetsing maakt het mogelijk dat studenten tijdens het toetsen gebruikmaken van bijvoorbeeld kantoorprogramma’s of beroepsapplicaties voor het beantwoorden van vragen.

Efficiencyvoordelen van certificerende beeldschermtoetsing Een erg belangrijk voordeel voor instellingen om te kiezen voor summatieve beeldschermtoetsen is dat er steeds stringentere eisen worden gesteld aan de snelheid waarmee toetsen worden geanalyseerd. Die snelheid speelt met name een rol bij onderwijskwaliteit en accreditatiemogelijkheden. Om summatieve beeldschermtoetsing optimaal te gebruiken, zal een instelling behoorlijk moeten investeren in tijd, mensen en middelen. Niet in de laatste plaats is er voor summatieve toetsing een betrouwbare en beveiligde infrastructuur nodig. Voor de ontwikkeling van summatieve beeldschermtoetsing geldt zeker de regel: de kost gaat voor de baat uit. Samenvattend zijn de efficiencyvoordelen van certificerende beeldschermtoetsing: •

Minder nakijktijd voor de docent;

•

Eenvoudiger hergebruik van toetsitems voor verschillende doeleinden (zelftoetsing, formatief, summatief);

•

Mogelijkheid om toetsitems eenvoudig voor geavanceerdere doeleinden in te zetten, bijvoorbeeld voor adaptief toetsen (zie onderstaande tekstkader) of toetsing door Multiple Evaluation Testing (Dirkzwager 1998).

Kader 8 Adaptief Toetsen Adaptief toetsen is een toetswijze waarop een student niet in één keer een gehele toets voorgelegd krijgt: afhankelijk van de score op een beperkt aantal vragen besluit de computer om de student al dan niet vervolgvragen voor te leggen en te bepalen welke moeilijkheidsgraad dan voorgelegd wordt (lager, gelijk of hoger). Op deze wijze kan met veel minder vragen een betrouwbaar oordeel worden gegeven over de beheersing van bepaalde stof door een student (Straetmans 1999). Bovendien krijgt iedere student een unieke toets voorgelegd. Dat maakt het mogelijk om studenten te toetsen op het moment dat het ze zelf schikt. Er is software op de markt verkrijgbaar die adaptief toetsen specifiek ondersteund (het programma FastTest via http://www.assess.com). Tijdonafhankelijk toetsen wordt dan sneller mogelijk. Om een adaptieve toets betrouwbaar genoeg te maken dienen er veel items in de toetsbank te zitten waaruit een toets wordt gegenereerd en moeten deze items gekalibreerd zijn: het moet bekend zijn welke moeilijkheidsgraad een item heeft. Dat vergt een uitgekiende en arbeidsintensieve aanpak. Dat is dan ook direct één van de grote struikelblokken voor het invoeren

pagina 20 van 20


van dergelijke toetsen in het hoger onderwijs. De investering is erg hoog, waarbij – door voortdurende verandering van curricula en specifieke lokale eisen – de toepasbaarheid van een dergelijk programma klein is, zeker op een langere termijn. De hierboven genoemde voordelen van beeldschermtoetsing leiden er vaak toe dat beeldschermtoetsing wordt gelijkgesteld aan ‘flexibel toetsen’. Het grootste deel van dit boek gaat erover om deze voordelen ook daadwerkelijk te realiseren. Didactische nadelen van beeldschermtoetsen Beeldschermtoetsen hebben niet alleen maar voordelen, er kleeft ook een aantal nadelen aan vast. De belangrijkste zijn: •

Een slechte programma-interface kan bediening door de student moeilijker maken;

•

de leesbaarheid van een computerbeeldscherm is minder dan van papier, zeker van langere stukken tekst; o

het ‘bladeren’ door de vragen is moeilijker, waardoor het de student meer moeite kost om overzicht te krijgen over de totale toets. Het gevolg kan zijn dat de student gedurende de toets niet goed kan inschatten of alle vragen zijn beantwoord;

o

te veel functies en knoppen leiden af van de eigenlijke taak bij een toets (het beantwoorden van de toetsvragen);

•

De cesuur van een toets moet bij beeldschermafname van tevoren zijn vastgesteld. In de praktijk blijkt dat na de analyse van de toets, de cesuur vaak moet worden aangepast of bijvoorbeeld dat vragen uit de toets worden verwijderd omdat ze niet deugdelijk bleken. Ook kan blijken dat een toets veel te moeilijk of gemakkelijk is geweest. Dan is een hercijfering noodzakelijk, met alle bijbehorende communicatie en organisatie van dien. Alleen adaptief toetsen ondervangt dat probleem.

Aandachtspunten voor het ontwikkelen van beeldschermtoetsen Bovengenoemde voor- en nadelen brengt met zich mee dat ontwikkelaars van beeldschermtoeten veel aandacht moeten besteden aan een duidelijk, uniform en goed interfaceontwerp (Poteralski 1994; Ricketts 2001; Hermans en Hofstee 2004). Ook moeten de didactische voor- en nadelen worden meegenomen bij het ontwikkelen van oriënterende en oefentoetsen en het stellen van een diagnose. Waar op moet worden gelet bij het ontwikkelen van zelf- en diagnostische toetsen is afhankelijk van de functie van de beeldschermtoets. Hieronder vindt u de aandachtspunten per functie. Als de beeldschermtoets een oefenfunctie heeft (Graaff, Hulst et al. 2002; Rayne 2002): •

ontwerp dan oefeningen van eenvoudiger niveau dan de eindtoets (bijvoorbeeld leren toepassen van sleutelconcepten uit de leerstof) en maak de studenten duidelijk dat het niveau niet representatief is voor de eindtoets;

•

maak dan vragen over lastige onderdelen van de leerstof;

•

overweeg dan om een keuzemenu te maken, zodat studenten kunnen kiezen voor vragen

•

laat de antwoordalternatieven bij de stam van een gesloten vraag niet direct zien zodat

•

maak dan meerdere vragen per onderwerp en geef liefst gedetailleerde feedback na iedere

•

plaats dan de vragen in oplopende volgorde van moeilijkheid, zodat studenten niet direct

over bepaalde onderwerpen; studenten eerst voor zichzelf antwoorden kunnen formuleren; vraag, zodat studenten van hun fouten kunnen leren; stuklopen;

pagina 21 van 21


•

voorzie dan de eerste opgaven van aanwijzingen of suggesties in welke richting de oplossing moet of kan worden gezocht of verdeel de opgaven in kleine stappen die voorafgaan aan de uiteindelijke hoofdoplossing;

•

zorg dat de oefeningen een aantrekkelijke vormgeving hebben en niet direct tonen als een ‘tentamen’.

Als de beeldschermtoets een formatief diagnostisch karakter heeft, o.a. naar (Graaff, Hulst et al. 2002): •

dan moet de inhoud representatief zijn voor het niveau van de eindtoets en moet duidelijk zijn

•

dan moet de feedback zowel een totaalscore (voldoende/onvoldoende) als informatie over de

welke leerdoelen/onderwerpen worden bevraagd; beheersing van de verschillenden onderdelen van de leerstof bevatten; •

dan wordt de feedback gegeven nadat de toets geheel is gemaakt;

•

dan moet de registratie gegevens per student én over de hele groep bevatten. Eventueel moeten resultaten kunnen worden weggeschreven naar het studentvolgsysteem van de opleiding.

Feedback geven bij beeldschermtoetsen Anders dan bij schriftelijke toetsen, moet feedback bij computerondersteund toetsen vooraf geformuleerd worden. Er moet dus geanticipeerd worden op mogelijke goede en foute antwoorden. In theorie is het mogelijk om voor ieder antwoordalternatief specifieke feedback te formuleren, maar in de praktijk blijkt dit lastig. Bij vragen op kennisniveau is er vaak niet zo veel verschil tussen feedback op verschillende foutieve antwoorden, terwijl het bij vragen op inzichtniveau moeilijk te voorspellen is welke (redeneer)fout de student kan maken. Meestal kunt u zich daarom beperken tot twee soorten feedback (bij goed respectievelijk fout antwoord) of tot een modelantwoord (bij open vragen). Als het wel belangrijk is om de feedback verder te differentiëren, raden we aan om de verschillende feedback niet automatisch te koppelen aan een specifiek antwoordalternatief, maar om de student zelf uit een menu te laten kiezen voor passende feedback. U gebruikt dan de intelligentie van de student in plaats van de ‘intelligentie’ van het programma. Studenten zijn meestal goed in staat om te beoordelen waarom ze een fout gemaakt hebben, om daar vervolgens de meest passende feedback bij te kiezen. Overigens bestaat deze mogelijkheid alleen in meer geavanceerde toetsprogramma’s. In de meeste eenvoudige programma’s is de mogelijkheid voor feedback beperkt tot twee feedbackteksten: feedback bij een goed antwoord op de vraag en feedback die getoond wordt bij een incorrect antwoord. Feedback op beeldscherm kan ook een negatief effect hebben op de leerprestatie. Feedback moet dan ook zorgvuldig geformuleerd worden. In onderstaande opsomming staan enkele aanwijzingen voor het formuleren van inhoudelijke feedback. Aanwijzingen bij het geven van feedback Naar: (Fenrich 1997; Rayne 2002).

•

Geef pas feedback nadat zeker is dat de lerende een oprechte poging heeft gewaagd om een antwoord te formuleren, bijvoorbeeld door een drempel op te werpen om direct feedback te verkrijgen. Dan kan door pas feedback te geven:

o

als alle vragen zijn beantwoord;

o

als het antwoord goed is of als 80 procent van de antwoorden goed is;

o

door in de feedback niet het juiste antwoord te vermelden maar de student aanwijzingen te geven om het juiste antwoord zelf te vinden.

pagina 22 van 22


•

Formuleer feedback beknopt.

•

Houd de toon van feedback positief/neutraal; feedback bij verkeerd beantwoorde vragen mag nooit neerbuigend zijn, feedback bij goed beantwoorde vragen moet de student niet de hemel in prijzen.

•

Varieer de formulering van feedback (wissel alternatieven zoals ‘goed’, ‘correct’, ‘juist’ af).

•

Geef bij goed beantwoorde vragen aan waarom het gekozen antwoord goed is en waarom de andere antwoorden fout zijn; een student kan door gokken het goede antwoord gekozen hebben.

•

Geef bij gedeeltelijk correct of fout beantwoorde vragen aan wat het juiste antwoord is, waarom dat het juiste antwoord is, waarom het door de student gekozen antwoord fout is en waarom de andere antwoorden fout zijn.

•

Lange antwoorden op open vragen kunnen niet automatisch worden nagekeken, feedback kan hier gegeven worden in de vorm van een antwoordmodel waarmee de student zijn eigen antwoord kan vergelijken. Geef hierbij ook een beoordeling aan (‘Als je ten minste drie van deze punten hebt genoemd, is de vraag voldoende beantwoord.’).

•

Zorg dat de vraag nog te zien is als de feedback verschijnt, herhaal zonodig de vraag in de feedback.

•

Feedback is meestal tekstueel maar soms is een andere vorm duidelijker, zoals een afbeelding.

•

Gebruik geen speciale effecten (zoals geluid of humoristische afbeeldingen) in feedback,

•

Geef studenten zo mogelijk de gelegenheid te kiezen uit verschillende soorten feedback.

•

Behalve inhoudelijke informatie kan feedback ook informatie geven voor strategieën of

deze kunnen studenten afleiden of irriteren.

suggesties om verder te gaan: soms is een hint waarmee een student zelf de oplossing kan zoeken zeer leerzaam. Uiterlijk na de derde poging moet het goede antwoord gegeven worden en moet de student verder kunnen met de volgende vraag. •

Alle informatie die nodig is om de vraag te beantwoorden moet in de vraag staan (het is frustrerend voor studenten als noodzakelijke informatie pas achteraf wordt gegeven in de feedback).

2.4.2 Digitale vraagtypen Digitale vragen kunnen grofweg ingedeeld worden in gesloten en open vragen. Bij gesloten vragen kan de student kiezen uit een aantal alternatieven. Voorbeelden hiervan zijn ja/nee-vragen en multiplechoicevragen. Bij open vragen moet de student zelf het antwoord formuleren. Hieronder vallen bijvoorbeeld aanvullende vragen, mondelinge vragen, kort-antwoordvragen en essayvragen. Met computers kunnen vele toetstypen gemaakt worden, ook open vragen. Zowel open als gesloten vragen brengen voor ICT-innovatie zo hun eigen problematiek mee. Zo zijn er veel ICT-gereedschappen beschikbaar voor de gesloten vraag, maar zeer weinig voor de open vraag. Bij het toetsen met tekstuele open vragen is vooral de verwerking van de vragen interessant, andere fasen uit het toetsproces veel minder. Meer informatie over ICT-systemen voor toetsing met open vragen vindt u in hoofdstuk 4. Hieronder gaan we eerst nader in op het vraagtype ‘gesloten vragen’. We bespreken onder andere de moeilijkheidsgraad, hoe je slechte en irrelevante gesloten vragen kunt voorkomen en variaties in gesloten vragen. Daarna komen de open vragen nader aan bod. Open vragen noemen we ook wel essayvragen; ook hiervan beschrijven we de belangrijkste voor- en nadelen.

pagina 23 van 23


2.4.2.1 Gesloten vragen Gesloten vragen hebben een imagoprobleem. De gedachte is vaak dat een gesloten vraag synoniem is voor multiplechoicevraag en dat hiermee alleen simpele weetjes en feiten kunnen worden bevraagd. Binnen een categorie gesloten vragen zijn echter grote niveauverschillen aan te brengen. Daarbij moet worden bedacht dat voor het niveau van een vraag, de formulering van de stam van de vraag (de stimulus) belangrijker is dan de antwoordvorm of formulering van de antwoordalternatieven (de respons). Er is in dat opzicht ruime ervaring in het ontwikkelen van vragen waarin deze aanpak expliciet wordt gehanteerd: de zogenoemde korte casustoets (Schuwirth 2002) of de Overall Toets (Segers 1998). Daarbij wordt aangenomen dat items die zich richten op het bevragen van essentiële beslissingen binnen probleemsituaties, appelleren aan een hoger cognitief niveau. Een hulpmiddel om vragen van een bepaald niveau te bedenken is het gebruiken van werkwoorden uit Tabel 2, in de stam van een vraag. Tabel 2 Indeling van moeilijkheidsgraad van vragen naar een verkorte versie van de taxonomie van Bloom (Bloom, Krathwohl et al. 1971) Cognitief

Omschrijving

Processen/werkwoo

niveau Kennis-vragen

Geschikt vraagtype

rden Vragen waarbij het voor het beantwoorden

herinneren

TRUE/FALSE

alleen nodig is dat de student zich bepaalde

benoemen

Multiple choice

zaken herinnert.

opsommen

Multiple answer

onthouden

Matching

herhalen

Fill-in-the-blank

definiëren

Hot spot

Begrips-

Vragen die verlangen dat de student

begrijpen

TRUE/FALSE

vragen

classificeert. Hij moet dan hoofdzaken van

beschrijven

Multiple choice

bijzaken onderscheiden, verschillen en

herformuleren

Multiple answer

overeenkomsten noemen, voorbeelden

verklaren

Matching

geven, een begrip hanteren e.d.

samenvatten

Ordering

identificeren

Hot spot

Toepassings-

Vragen waarbij de student bekende en voor

gebruiken

TRUE/FALSE

vragen

de hand liggende regels moet toepassen.

uitvoeren

Multiple choice

Hieronder vallen ook routineberekeningen,

toepassen

Multiple answer

standaard oplosmethoden, algoritmen e.d.

oplossen

Matching

demonstreren

Ordering

construeren

Numeriek Algebraïsch Essay

Analyse-

Voor dit soort vragen is het vereist dat de

uit elkaar

Matching

vragen

student regels weet te vinden die weliswaar

nemen

Ordering

eerder geleerd zijn, maar die bij dit probleem

classificeren

Essay

niet voor de hand liggen. Hij moet de

sorteren

probleemsituatie daartoe analyseren, zodat

categoriseren

hij kan beslissen welke regels geschikt zijn

vergelijken

om erop toe te passen.

contrasteren

Synthese-

Vragen die van de student iets van

creëren

vragen

creativiteit vergen: een voor hem nieuwe

componeren

Essay

pagina 24 van 24


regel zelf ontdekken of een bekende regel

ontwerpen

generaliseren naar een voor hem nieuw

ontwikkelen

toepassingsgebied.

combineren plannen

Evaluatie-

Bij deze vragen moet de student relevante

beoordelen

vragen

criteria ontwikkelen, zoals bruikbaarheid,

evalueren

wenselijkheid en efficiëntie, en deze kunnen

inschatten

toepassen.

beslissen

Essay

meten bekritiseren verdedigen

Dit hulpmiddel kan bij elk vraagtype worden toegepast en stuurt als het ware de moeilijkheidsgraad van een vraag. Sommige vraagtypes lenen zich daarbij beter voor gebruik bij een bepaalde moeilijkheidsgraad dan andere vraagtypen. Zo passen werkwoorden zoals classificeren, sorteren en categoriseren goed bij het vraagtype Matching of Ordering. Door de vraagstelling binnen de basisvorm van dat vraagtype te variëren, kan daarnaast gericht aansluiting gezocht worden bij een hogere moeilijkheidsgraad. Daarbij kan worden meegenomen dat een docent zich bij het samenstellen van oriëntatie- of oefentoetsen minder hoeft te bekommeren om betrouwbaarheid en validiteit. Voor het leereffect van studenten is het belangrijker als de inspanning van de docent zich richt op het aanzetten tot nadenken over leerstof (wellicht ook gewoon ‘begrijpend lezen’). Variatie in de constructie van gesloten vragen kan daarvoor heel behulpzaam zijn. Voorbeelden van deze aanpak vindt u in verschillende publicaties (Verkroost; Dekker 1983; Draaijer 2001; Bull en McKenna 2003). Gesloten vragen kennen bovendien een grote diversiteit, én ze zijn eenvoudig automatisch na te kijken. We geven hieronder een opsomming van verschillende typen gesloten vragen. a.

Eén goed uit meerdere alternatieven (multiple choice)

Een specifieke uitvoering daarvan is de ja/nee- of waar/onwaar-vraag (true/false)

b.

Eén of meer goed uit alternatieven (multiple correct of multiple answer)

pagina 25 van 25


c.

Rangordenen

d.

Paren zoeken (matching)

Het aardige van dit vraagtype is dat deze in vele verschillende verschijningsvormen gepresenteerd kan worden. Bijvoorbeeld als aanwijsvraag (wijs verschillende elementen van een figuur aan), als sleepvraag (drag-and-drop – sleep de juiste term naar de juiste plaats op de figuur) of als matrixvraag (dat is eigenlijk een verzameling van multiplechoicevragen). Het belangrijkste kenmerk van dergelijke vragen is dat in één vraag een grote hoeveelheid gelijksoortige kennis bevraagd kan worden. Zie als voorbeeld onderstaande vraag over variabelen die een bepaalde functie vervullen in een onderzoeksdesign2

2

Voorbeeld afkomstig van Rob Hartog, Wageningen Universiteit http://www.fbt.eitn.wau.nl/

pagina 26 van 26


e.

Aanwijzen (hot spot)

f.

(Variabel) numeriek antwoord

3

Toetsprogramma’s kunnen heel veel met numerieke vragen. Zo kan bijna altijd aangegeven worden binnen welke marges een numeriek antwoord zich moet bevinden. In een aantal programma’s kan een opgave ook variabele parameters krijgen zodat elke student een uniek

3

Voorbeeld van WebAssign

pagina 27 van 27


numeriek antwoord moet geven. g.

Algebraïsch antwoord

h.

Samengestelde vragen/itembank (toetsvragen met een combinatie van bovenstaande typen)

i.

Casusvragen (een gegeven stam waarover meerdere vragen worden gesteld)

j.

Een grote serie vraagvormen gericht op zelftoetsing met speelelementen erin, zoals No Answer, Fact Cards, Flash Cards, Pick A Letter, Glossary, Practice Quiz, Challenge, Battle Ship (Quia 1999-2004; Respondus 2004)

pagina 28 van 28


4

In tegenstelling tot de situatie in 1994 (Mirande 1994a) is het is nu bij vrijwel alle programma’s voor beeldschermtoetsen eenvoudig mogelijk om afbeeldingen, geluid, video of simulaties toe te voegen in zowel de vraag- als de antwoordalternatieven. Daarnaast kunnen gesloten vragen (al dan niet met speciale programma’s) op uiteenlopende manieren ingebouwd worden in digitaal onderwijsmateriaal, zeker als die via het het internet worden aangeboden. Zo kunnen bij een digitale online syllabus eenvoudig een aantal vragen gesteld worden die betrekking hebben op de informatie op het scherm (zie onderstaand voorbeeld).

4

Voorbeeld van Quia

pagina 29 van 29


Figuur 2 Schermafbeelding van een online syllabus met bijbehorende vragen om de leerstof actiever te bestuderen5

Een ander voorbeeld kan zijn om binnen een ‘game’ of ‘simulatie’ progressie te boeken of naar een volgend onderdeel van de game te geraken door bijvoorbeeld een aantal vragen te beantwoorden. In digitale leeromgevingen kunnen toetsvragen ingebouwd worden in digitale leerobjecten. 2.4.2.2 Open vragen Programma’s voor beeldschermtoetsen bieden meestal twee typen open vragen aan: 1.

Aanvulvragen (ook wel gatenvragen, of in het Engels ‘fill in the blank’); deze kunnen automatisch nagekeken worden door ze te vergelijken met vooraf opgegeven juiste antwoorden. De gaten kunnen in veel programma’s op willekeurige plaatsen in een tekst worden opgenomen.

2.

Essayvragen; deze kunnen beperkt automatisch nagekeken worden. In hoofdstuk 4 en bijlage 1 gaan we hier dieper op in.

Essayvraagstukken zijn behoorlijk anders van karakter dan gesloten vraagstukken. Daarom staan we iets langer stil bij deze open vragen.

5

Bron: http://www.brookes.ac.uk/geology/8307/a40frame.html

pagina 30 van 30


Een essayvraagstuk kan op twee manieren ingezet worden als toets(middel): •

Een beeldschermtoets waarbij studenten in een beveiligde omgeving een tekstdocument

•

Het produceren van een tekst door individuele studenten of een groep studenten (rapportage,

moeten produceren in een korte tijdspanne (zeg één uur). De toets is summatief van karakter. verslag, essay, onderzoeksverslag, scriptie) onder niet gecontroleerde condities. De toets kan formatief of summatief van karakter zijn. Essayvragen worden gezien als een geschiktere methode om studenten op een hoog niveau te bevragen dan gesloten vragen. Studenten moeten bij open vragen immers aantonen dat ze zelfstandig redeneringen op kunnen zetten en verbanden kunnen leggen. Of dit vraagtype gebruikt zou moeten worden, is onder meer afhankelijk van het vakgebied en de doelen die daarbij nagestreefd worden. Daarnaast spelen ook andere afwegingen een rol bij de keuze voor open vragen. De voordelen van essayvragen •

een dergelijke toets is efficiënt als de groep studenten klein is;

•

de constructie van een open vraag is eenvoudiger dan die van andere toetsvormen. Bij een gesloten vraag maken de antwoordmogelijkheden deel uit van de vraagstelling, bij een open vraag daarentegen moet het volledige antwoord van de student komen;

•

de student heeft vrijheid in het beantwoorden van een vraag;

•

het is een goede manier om na te gaan of en hoe de student in staat is uitleg te geven, te

•

het biedt een goede mogelijkheid om na te gaan wat de redactionele eigenschappen van de

vergelijken en samen te vatten; studenten zijn; •

het is goed mogelijk om een combinatie van vaardigheden te toetsen;

•

een student kan het goede antwoord niet raden.

De nadelen van essayvragen (met name op het gebied van validiteit, betrouwbaarheid en efficiency) •

de constructie van een essaytoets vraagt nog altijd tijd, van tevoren moeten de ideale

•

een toets die slechts bestaat uit open vragen zal meestal een beperkt aantal vragen bevatten.

antwoorden worden geformuleerd; Hierdoor daalt de validiteit en evenwichtigheid (de verdeling van de vragen over de stof van de toets); •

de correctie van een open vraag vergt veel tijd; de docent besteedt de meeste tijd aan de correctie;

•

een hoge betrouwbaarheid van de beoordeling is moeilijk te realiseren (maar kan wel goed onderzocht worden (Gruiter 1999);

•

goede schriftelijke uitdrukkingsvaardigheid van de student leidt tot een positievere uitslag, met andere woorden een dergelijke toets meet meer dan alleen of de student de stof kent of heeft begrepen;

•

een student kan bluffen door om de kern heen te draaien.

pagina 31 van 31

2 Toetsing in soorten en maten

Recommend Documents