Toetsen met gesloten vragen Een handleiding voor het construeren van toetsen met meerkeuzevragen
H. Moelands, J. Noijons en J. Rem
Citogroep Arnhem, juli xxxx
Grafische vormgeving, opmaak en productie: Dienst Productie (Cito). Art. nr. 48631 © citogroep xxxx Niets uit deze uitgave mag zonder voorafgaande schriftelijke toestemming van het Instituut voor Toetsontwikkeling worden verveelvoudigd en/of openbaar gemaakt door middel van druk, fotokopie, microfilm, computersoftware of op welke wijze dan ook.
Woord vooraf
In deze brochure komen toetsen met gesloten vragen aan bod: vragen waarbij kandidaten uit twee of meer alternatieven het juiste antwoord dienen te kiezen. Het construeren van dit type toetsen blijkt in de praktijk nogal problematisch te zijn, reden waarom in deze brochure uitvoerig op de feitelijke constructie wordt ingegaan. Daarnaast krijgt de docent een overzicht van de kaders waarbinnen dit soort toetsen goed kunnen functioneren, en van de soorten gesloten vragen die er zijn. De brochure wordt afgesloten met een controlelijst, te hanteren bij de constructie van toetsen met gesloten vragen. De voorbeelden die in deze brochure worden gegeven, zijn geput uit allerhande examens, schoolonderzoeken en proefwerken. Daarbij komen verschillende soorten leerstof aan de orde. We hopen ermee duidelijk te maken dat gesloten vragen bij vele leervakken gebruikt kunnen worden. Deze brochure is de zesde in een reeks waarin het Cito beoordelingsproblemen op een heldere en beknopte wijze behandelt. De brochures zijn bestemd voor docenten in het voortgezet onderwijs.
Arnhem, augustus 1992
J. Noijons, voorzitter redactiecommissie
Inhoud
Woord vooraf
Inleiding Doel Opzet
7 7 7
Kaders
9
Toetsmatrijs 9 Leerstof, gedrag en vraagvorm Keuze vraagvorm 13
Constructie
11
15
De basisvorm van de meerkeuzevraag Het formuleren van de stam 17 Het formuleren van de alternatieven Taalgebruik 27
Soorten gesloten vragen
Algemene eisen bij gesloten vragen
Controlelijst
37 37 38 38
39
21
31
Standaardtype 31 De vraag met twee uitspraken 31 De vraag met twee of meer uitspraken De herordeningsvraag 32 De combinatievraag 33 De waar/niet-waarvraag 34
Relevantie Objectiviteit Specificiteit Efficiëntie
15
32
37
Inleiding
Doel Het doel van deze brochure is docenten een handreiking te bieden bij het zelf construeren van toetsen (overhoringen, proefwerken, schoolonderzoeken e.d.1 met gesloten vragen, dat wil zeggen: vragen waarbij de leerling uit twee of meer alternatieven het (reeds geformuleerde) goede antwoord dient te kiezen. In de brochure komt een aantal problemen aan de orde die zich kunnen voordoen bij het construeren van zulke vragen en toetsen. Die problemen kunnen zich voordoen bij de voorbereidende werkzaamheden en tijdens het formuleren van de toetsvragen. Naast gesloten vragen bestaan er ook open vragen. Een open vraag is een vraagtype waarbij een leerling het antwoord zelf moet formuleren; ten behoeve van de beoordeling moet er een correctiemodel of een beoordelingsschema zijn. Over het construeren van open vragen gaat deze brochure niet. Voor degenen die daarin geïnteresseerd zijn, verwijzen wij naar de brochure ‘Toetsen met open vragen’, die ook in deze reeks is verschenen. Wij hebben ons niet geconcentreerd op bepaalde vakken, want in principe kan de gesloten vraag gebruikt worden bij alle leer- en lesstof waar kennis en inzicht verlangd worden. Natuurlijk zal een aantal praktische vaardigheden moeilijk met behulp van gesloten vragen bevraagd kunnen worden, maar dat hoeft niet te betekenen dat die vragen daar geheel niet toepasbaar zijn. Het is goed denkbaar dat bij zulke vaardigheden de kandidaten via gesloten vragen naar procedures, wijzen van aanpak en dergelijke gevraagd kan worden. De voorbeelden die hier gepresenteerd worden zijn zo gekozen, dat iedere docent duidelijk zal worden hoe men gesloten vragen construeert. De oplossingen die voor allerlei problemen geboden worden, kunnen zowel voor de docent van theoretische vakken als voor die van praktijkvakken van praktisch nut blijken.
Opzet In het volgende hoofdstuk komen de kaders waarin de gesloten vragen geconstrueerd dienen te worden aan bod. Uitgangspunt bij het samenstellen van een toets is het leerplan of het examenprogramma van het desbetreffende vak. De lesmethode, het cursusboek, is meestal de concrete uitwerking van het leerplan waarvoor men gekozen heeft. Bij het samenstellen van een toets is het van belang, dat die een goede weergave vormt van het leerplan, voor zover dat behandeld is. Een toetsmatrijs vormt hierbij een hulpmiddel. In de toetsmatrijs wordt aangegeven welke leerstof in de toets aan de orde moet worden gesteld en welke vaardigheden de leerlingen moeten tonen. Kortom, de toetsmatrijs is een blauwdruk van de te maken toets. Na het opstellen van de toetsmatrijs kan een keuze worden gemaakt voor het soort vragen (open, meerkeuze, opstel, etc.) dat in de toets
7
moet worden opgenomen. In deze brochure wordt vervolgens alleen ingegaan op het construeren van gesloten vragen. Aan de gesloten vraag zijn voor- en nadelen verbonden. De voordelen betreffen met name de efficiëntie en de betrouwbaarheid van de meting: een toets met gesloten vragen is eenvoudig na te kijken en zal in het algemeen geen beoordelingsproblemen opleveren, omdat van te voren is bepaald wat de goede antwoorden zijn. De nadelen komen vooral tijdens de constructiefase naar voren, hoewel ze ook bij het scoren van de antwoorden zullen blijken. In het dan volgende hoofdstuk over constructie wordt duidelijk gemaakt, waaraan een goed antwoord dient te voldoen. Een van de aanbevelingen ten aanzien van de constructie is, om bij iedere gesloten vraag eerst een goed antwoord te formuleren en om voor de toets als geheel een sleutel te maken, dat wil zeggen: een lijst met de goede antwoorden. Daarnaast wordt aandacht besteed aan het opstellen van de foute antwoorden. Het is daarbij mogelijk gebruik te maken van eerdere foute antwoorden van leerlingen bij een open variant van de vraag. Ook kunt u er bekende problemen die leerlingen met de lesstof hebben, laten terugkomen. Aan de formulering van de foute antwoorden moet de nodige zorg worden besteed, willen ze niet direct herkenbaar zijn als fout. Vervolgens kunt u lezen over de verschillende soorten gesloten vragen die er bestaan, en de brochure wordt afgesloten met een controlelijst die men kan hanteren tijdens het opstellen van toetsvragen.
8
Kaders
Een vraag staat in de regel nooit op zichzelf, maar vormt een onderdeel van een toets. Bij het samenstellen van een toets is het van belang te weten wat voor uitspraak men op basis van de toets wil doen. In het onderwijs willen we met een toets gewoonlijk nagaan of een bepaald onderwijsdoel of bepaalde onderwijsdoelen gerealiseerd is of zijn. Het is daarvoor van belang dat alle relevante onderwerpen waarover men een uitspraak wil doen, ook werkelijk in de toets zijn opgenomen. Men zegt ook wel: een goede toets moet representatief zijn voor de leerstof die is aangeboden. De praktijk leert, dat het niet altijd mogelijk is alle doelstellingen in de toets aan bod te laten komen: dat zou vooral te veel tijd vragen. Daarom moeten er keuzes gemaakt worden: de essentiële onderwerpen van de leerstof dienen in de toets aan de orde te komen. Welke dat zijn, is niet altijd eenvoudig te bepalen. Een criterium kan zijn: de tijd die u in het onderwijs aan de desbetreffende onderwerpen besteed hebt. Hoe meer tijd u voor een onderwerp uittrekt, des te belangrijker het is en des te meer vragen over dat onderwerp in de toets moeten worden opgenomen. Onderdelen die voor u van minder belang zijn, kunt u de ene keer wel en de andere keer niet in de toets opnemen. Een ander criterium kan het soort beslissingen zijn, dat op basis van de toets genomen wordt. Als het gaat om het eventueel bijsturen van het leerproces van de leerling, is een nauwe relatie met de opbouw van de leerstof en een zorgvuldige dekking van alle relevante leerstof van groter belang dan bijvoorbeeld bij overgangstoetsen. Als de toets is afgenomen, kunnen de scores (het aantal goede antwoorden) van de leerlingen aanleiding zijn voor een aantal acties, te ondernemen door de docent, de leerling, of door beiden. De docent kan besluiten stof te herhalen, de leerling extra werk te geven en de leerling zou kunnen besluiten harder te gaan werken, bijles te gaan nemen, etc. Het is dus van belang altijd goed voor ogen te houden welk doel een toets moet dienen.
Toetsmatrijs Een handig hulpmiddel bij de samenstelling van een toets is een toetsmatrijs: dat is een overzichtstabel, waarin aangegeven wordt hoe vragen kunnen worden verdeeld over leerstof en vaardigheden. Ook maakt een toetsmatrijs het mogelijk over dezelfde leerstof meerdere toetsen te construeren die inhoudelijk vergelijkbaar zijn. Een toetsmatrijs werkt als een blauwdruk voor een toets. In één oogopslag is te zien om welke leerstof het in de toets zal moeten gaan en over welke vaardigheden de leerling zal moeten beschikken.
9
Hieronder ziet u voorbeelden van een toetsmatrijs. Bij het examenprogramma voor het vak verkooppraktijk: percentage
percentage totaal
aantal vragen kennis inzicht
kennis
inzicht
1 Dienstbetoon
20%
11%
9%
7
5
2 Kassa/geldstroom
20%
13%
7%
8
4
3 Goederen
20%
11%
9%
7
5
4 Artikelen/ presentatie
20%
14%
6%
9
3
5%
4%
1%
3
-
10%
7%
3%
4
2
5%
5%
0%
3
-
35%
41
19
5 Internelexterne organisatie 6 Marktonderzoek Prijsbeleid 7 Wetgeving
100%
65%
Bij het examenprogramma voor het vak maatschappijleer:
Reproductie
Gedrag Identificatie
..........
..........
..........
.......... .......... .......... .......... .......... .......... .......... .......... .......... .......... ..........
.......... .......... .......... .......... .......... .......... .......... .......... .......... .......... ..........
.......... .......... .......... .......... .......... .......... .......... .......... .......... .......... ..........
Productie
Onderwerpen Politieke besluitvorming I 1.1 1.1 1.3 2.1 2.2 3 4 5.1 5.2 6.1 6.2
10
POLITIEKE EN JURIDISCHE ASPECTEN fasen pol. besl. vervolg van beleidsvorming prioriteiten/compromissen taken regering-parlement verhouding reger.-parlement rol ambtenaren functie pol.partijen democratie invloed burger bezwaren wijziging pol. stelsel
Leerstof, gedrag en vraagvorm De beschrijving van de leerstof kan gebaseerd zijn op de wettelijke omschrijving van de examenstof of op een analyse van de gebruikte leerboeken. Bij een beperktere hoeveelheid stof kan het gaan om (delen van) hoofdstukken. In dat laatste geval zullen we zien dat het soms niet de moeite loont om een toetsmatrijs te maken. Bij de beschrijving van het gedrag moeten we denken aan de vaardigheden die we van de leerling verwachten. Voorbeelden van gedrag zijn: kennis : het kunnen herkennen of het zich herinneren van eerder verworven leerstof begrijpen : het kunnen vatten van de betekenis of de bedoeling van leerstof toepassen : het zich herinneren van regels, procedures en principes en het kunnen toepassen daarvan in nieuwe situaties analyse : het ontdekken van relaties tussen leerstofcomponenten Wanneer we nu in het eindexamenprogramma of in een andere verzameling van einddoelstellingen lezen, dat van de kandidaat kennis en inzicht in het vak worden verwacht, dan dienen we in de toetsmatrijs kennis en inzicht te laten terugkomen. Het hangt dus van het toetsdoel af, welke vaardigheden in de toetsmatrijs moeten worden opgenomen. In de praktijk blijkt vaak, dat we met een eenvoudige indeling in gedragscategorieën kunnen werken: reproductie, identificatie en productie (zoals ook gebeurd is in het tweede voorbeeld van een toetsmatrijs). Van reproductie is sprake, wanneer een kandidaat wordt geacht een min of meer letterlijke weergave van eerder verworven informatie (jaartallen, definities, regels, inhouden) te kunnen leveren. Bij identificatie dient de kandidaat na te gaan, of en in hoeverre in de opgave gegeven informatie gelijk is aan eerder aangeboden informatie of aan informatie in grafieken, plaatjes, etc., behorende bij de opgave. Wanneer van de kandidaat productie wordt verlangd, dan dient hij een uitwerking, bewerking, verklaring, samenvatting, uitleg, parafrase, conclusie of beoordeling te kunnen geven van gegeven informatie. Elke cel van de toetsmatrijs heeft dus betrekking op een doelstelling, dat wil zeggen op een deel van de leer- of examenstof, en op een vaardigheidsaspect. Langs de randen van de matrijs noteert u de verdeling van de vragen over de verschillende gedeelten van de leerstof en de vaardigheden.
11
leerstof
gedrag reproductie
totaal per vakonderdeel productie
A
4
B
3
C
1
D
1
totaal
4
8
in totaal 12 vragen of een veelvoud ervan
De bovengenoemde matrijs geeft bijvoorbeeld aan, dat er in de toets vier keer zoveel vragen (moeten) zitten over leerstof A als over leerstof D. Die verhouding (4:l) kan veroorzaakt worden door het examenprogramma. Maar het kan ook zijn dat u het ene onderdeel belangrijker vindt dan het andere en op basis daarvan de verhouding bepaalt. Bij het opstellen van de toetsmatrijs voor uw vak dient u per aangegeven cel na te gaan, op welke wijze – met welke vraagvorm – u wilt toetsen of een leerling de desbetreffende doelstelling bereikt heeft. Men kan een leerling op verschillende manieren van zijn kennis laten getuigen. Men kan hem die kennis laten reproduceren, bijvoorbeeld door hem een stelling te laten opschrijven. Maar men kan hem ook een opgave voorleggen, waarin kennis van die stelling onontbeerlijk is. Het is verstandig in de toetsmatrijs in ieder geval aan te geven of u de kandidaat zijn kennis wil laten reproduceren, of dat hij een stapje verder moet gaan en die kennis in een of andere vorm moet produceren. Bij een schriftelijke toets moet u beslissen of u gebruik gaat maken van een open vraag of een gesloten vraag. In een aantal gevallen zal de doelstelling die getoetst wordt bepalend zijn voor de te gebruiken vraagvorm. In deze brochure zullen we verder alleen spreken over gesloten vragen. Waarom en wanneer u voor deze vraagvorm moet kiezen komt in het volgende hoofdstuk aan de orde. Voordelen van het gebruik van een toetsmatrijs zijn: – u vermijdt dat er teveel opdrachten worden gemaakt die gericht zijn op dezelfde leerstof dan wel op dezelfde vaardigheid; – wanneer de toetsmatrijs een juiste verhouding weergeeft van het aantal vragen ten opzichte van de verschillende onderdelen van het leer- of examenprogramma, zal de toets een representatieve steekproef vormen van de te toetsen doelstellingen; – u kunt, als u twee toetsen over dezelfde leerstof wilt maken, de gelijkwaardigheid van die toetsen vergroten door ze beide op te stellen aan de hand van één toetsmatrijs; – de toetsmatrijs kan dienen als een verantwoording van de inhoud van de toets naar anderen, bijvoorbeeld collega-vakdocenten en inspectie. N.B. Bedenk dat het maken van een toetsmatrijs een tijdrovende bezigheid kan zijn. U zult zelf moeten afwegen of de genoemde voordelen opwegen tegen de tijdsinvestering.
12
Bij belangrijke toetsen, bijvoorbeeld in het schoolonderzoek, adviseren wij u in ieder geval die tijdsinvestering te doen en een toetsmatrijs op te stellen. TIP
Maak een toetsmatrijs: – bepaal de verschillende vakinhouden – bepaal de verschillende vaardigheden – bepaal het aantal vragen per vakinhoud en vaardigheid.
TIP
Bepaal per doelstelling de vraagvorm waarvan u gebruik wilt maken in de toets.
Keuze vraagvorm Welke vraagvorm het meest geschikt is, is afhankelijk van de situatie en van het doel dat getoetst moet worden. Hieronder geven we een overzicht van de belangrijkste voor- en nadelen van de gesloten vragen. Daarna geven we ook nog de belangrijkste voor- en nadelen van open vragen. Mocht u twijfelen of de gesloten vraag wel de beste vraagsoort is voor een bepaalde toets, dan kunt u nog eens kijken of misschien een open vraag een betere oplossing is. Ook kunt u dan overwegen uw toets te laten bestaan uit een gedeelte met gesloten vragen en een gedeelte met open vragen. Over de laatste vraagsoort zult u in deze brochure overigens geen verdere informatie meer vinden. Voordelen gesloten vragen – – – – –
het corrigeren kost weinig tijd; bij geprecodeerde vragen kan dit zelfs met behulp van een mal; de beoordeling is volledig objectief: er zullen geen verschillen optreden tussen beoordelaars; ook zal één beoordelaar alle leerlingen gelijk beoordelen; het speelt geen rol, of leerlingen goed of slecht kunnen formuleren; er is veel kennis af te vragen in korte tijd; ze zijn goed te gebruiken voor statistische berekeningen (moeilijkheidsgraad, betrouwbaarheid).
Nadelen van gesloten vragen – – – –
niet alle soorten doelen kunnen met gesloten vragen getoetst worden; zie ook het eerstgenoemde voordeel van open vragen; er wordt vaak een groter beroep gedaan op de leesvaardigheid van de leerlingen dan bij open vragen; voor bepaalde leerlingen kan dit een probleem vormen; naarmate het aantal alternatieven kleiner is, is de kans groter dat het goede antwoord door raden gekozen wordt; de constructie is moeilijk en tijdrovend.
13
Voordelen van open vragen –
–
–
sommige doelen kunnen alleen met open vragen getoetst worden, bijvoorbeeld doelen waarbij creativiteit een rol speelt (het ontwerpen van een onderzoeksopzet) of wanneer de kennis van de verschillende leerlingen heel divers is (bijvoorbeeld: ‘Noem de namen van twee Hanzesteden uit de Middeleeuwen’. Niet alle leerlingen zullen dezelfde steden noemen); de leerlingen hoeven bij het beantwoorden van een open vraag niet in hun vrijheid beperkt te worden en kunnen daardoor, als dat gewenst is, creatief bezig zijn; – de docent kan aan de antwoorden van leerlingen zien of de vraag al dan niet duidelijk gesteld was; als er problemen van die aard blijken te zijn, dan kan de vraag voor gebruik in een andere toets worden bijgesteld; de docent kan aan de antwoorden van een leerling zien in welke mate die de stof beheerst en waar zich problemen voordoen.
Nadelen van open vragen –
–
–
het is lastig open vragen zo te formuleren dat het voor leerlingen duidelijk is, wat voor antwoord van hen wordt verlangd: worden leerlingen die de vraag niet goed begrepen hebben voor hun onbegrip gestraft? ook als een open vraag helder gesteld is, kan de beoordeling van de antwoorden van docent tot docent verschillen; dit vormt niet zozeer een probleem wanneer één docent een werk beoordeelt, maar vooral als het gaat om gemeenschappelijke proefwerken en schoolonderzoeken; een groot deel van de problemen is op te vangen met een vooraf opgesteld, vrij nauwkeurig correctiemodel; het corrigeren kan tijdrovend zijn.
We willen hier met nadruk vermelden dat het construeren van gesloten vragen geen sinecure is, maar dit geldt zeker ook voor de open vragen. Een goede open vraag is voorzien van een antwoordmodel, waarvan de constructie nogal wat tijd en overleg vraagt. Voor welke vraagvorm u kiest, zal bepaald moeten worden door de doelstelling van de toets die u uiteindelijk samenstelt en door de randvoorwaarden waarbinnen afname en verwerking moeten plaatsvinden.
14
Constructie
De basisvorm van de meerkeuzevraag De schriftelijke vraagvormen kunnen op velerlei manieren worden onderverdeeld. Een bekende indeling is een tweedeling in open en gesloten vragen. Een open vraag is een vraagtype waarbij een leerling het antwoord zelf moet formuleren; ten behoeve van de beoordeling moet er een correctiemodel of een beoordelingsschema zijn. De basisvorm van de gesloten vraag, waarbij het goede antwoord naast een aantal foutieve antwoorden is gegeven, ziet er als volgt uit:
Stam :
In welke plaats is de Citogroep gevestigd?
Alternatieven :
A B
C D E
in in in in in
Amsterdam Arnhem Enschede ‘s-Gravenhage Utrecht
afleider goede antwoord afleider afleider afleider
U ziet, dat één van de alternatieven het goede antwoord genoemd wordt. De andere alternatieven noemen we afleiders.
De stam In de stam staat een heldere vraag of probleemstelling. Bij het uitvoeren van de opdracht in de stam bestaan er voor de leerling twee mogelijkheden:
15
–
na het doornemen van de stam moet hij voor zichzelf het goede antwoord formuleren en bij de alternatieven dat goede antwoord opzoeken en aangeven.
Voor welk soort activiteit worden in Nederland de meeste industriële robots gebruikt? A B C D E
–
beladen van machines lassen montage palletiseren verfspuiten
na het doornemen van de stam moet de leerling op basis van gegeven alternatieven het goede antwoord aangeven. Deze variant treffen we met name bij wiskunde aan. Gegeven is de functie f:x ➞ x2 – 2x + 3. Welke van de volgende lijnen is een raaklijn aan de grafiek van f ? A B C D
y y y y
= = = =
2x 2x 2x 2x
-2 -1 +2 +3
De alternatieven •
Het goede antwoord
De opdracht die de leerling in een meerkeuzevraag krijgt, kan vaak een tweeledig karakter hebben: ‘Geef aan wat het goede of beste antwoord is.’ Meestal is het zo dat òf het goede,òf het beste antwoord gegeven tal moeten worden. Goede antwoord: Wat is de hoofdstad van Noord-Holland? A B C D
16
Alkmaar Amsterdam ‘s-Gravenhage Haarlem
Beste antwoord: Which of the following best describes ‘the mood’ (line 51 Henry was In? A B C D
•
Henry Henry Henry Henry
felt lonely. was afraid. was happy. was uncertain.
De afleiders
Afleiders zijn in de eerste plaats bedoeld als alternatieve (foute) antwoorden naast het goede antwoord. Dat houdt in, dat ze niet bij voorbaat als fout antwoord te herkennen mogen zijn. De leerling moet op grond van relevante kennis, inzichten of vaardigheden (na enig nadenken) zien dat de desbetreffende alternatieven geen goede antwoorden zijn. Daarnaast kunnen de afleiders nog andere functies hebben: als een leerling voor een bepaalde afleider kiest, kan de docent soms een indicatie krijgen welk gedeelte van de lesstof nog niet goed beheerst wordt. Hiervoor dient bij de constructie wel met het een en ander rekening gehouden te worden. Voorts is het van belang dat de afleiders ook inderdaad in voldoende mate gekozen worden door de leerlingen. Ter illustratie komen wij terug op de vraag over de vestigingsplaats van de Citogroep. De afleiders bij deze vraag waren: A C D E
in in in in
Amsterdam Enschede Groningen Utrecht
De keuze voor deze afleiders is in eerste instantie bepaald door het feit, dat er in onze grotere en belangrijkere steden wel meer bekende bedrijven, instanties en instituten gevestigd zijn. Aan het rijtje grote belangrijke steden had ook bijvoorbeeld Rotterdam kunnen Borden toegevoegd. Hierbij dient u te bedenken dat de afleiders ook inderdaad moeten functioneren. Als geen van de leerlingen voor een bepaalde afleider kiest, had die afleider net zo goed weggelaten kunnen worden.
Het formuleren van de stam Er zijn verschillende manieren om de stam van een meerkeuzevraag te formuleren: • positief en negatief • directe vraagstellingen en variaties daarop • ‘verzwegen’ stammen (bijv. bij luistertoetsen: twee alternatieven met als verzwegen vraag ‘Wat werd hier gezegd?‘)
17
Positief en negatief geformuleerde stammen Het verdient de voorkeur om de stam van een vraag of probleemstelling, als het maar enigszins mogelijk is, positief te formuleren. Een voorbeeld van een meerkeuzevraag met een positief geformuleerde stam is: Hoeveel millimeter komt overeen met één micrometer? A B C D
0,1 0,01 0,001 0,0001
mm mm mm mm
Het is ook mogelijk om de stam van een vraag negatief te formuleren. Een voorbeeld hiervan is: Welke van de onderstaande gereedschappen wordt niet gerekend tot de aanwijzende meetgereedschappen? A B C D
een een een een
binnenschroefmaat blokwinkelhaak meetklok met standaard schuifmaat
Laat een eventueel negatief geformuleerde vraagstelling duidelijk zien, bijvoorbeeld door het negatieve element te KAPITALISEREN, te cursiveren of te onderstrepen, of door een combinatie hiervan. Zo valt duidelijker op dat de vraagstelling negatief geformuleerd is. Een negatieve formulering roept problemen op: • het bepalen van het goede antwoord is moeilijk als de vraag negatief geformuleerd is. Waarop wijst zwarte ontlasting vaak niet? 1 een blindedarminfectie 2 een bloeding hoog in het spijsverteringskanaal 3 een bloeding in het laatste deel van de darmen A B C D E F
18
alleen 1 zowel 1 als 2 alleen 2 zowel 2 als 3 alleen 3 alle drie
•
de vraag wordt nog moeilijker te beantwoorden als In één van de alternatieven ook een ontkenning of een negatief aspect voorkomt.
Het hierboven genoemde voorbeeld is hiervan een goede illustratie. Stelt u zich voor dat er bij 1 had gestaan: geen blindedarminfectie’, of bij F ‘geen van de drie’. Dan was het vinden van het goede antwoord nog problematischer geworden.
•
soms is het onwaarschijnlijk dat een leerling zelf het goede antwoord had geformuleerd zoals dat bij het goede antwoord in de gesloten vraag is gebeurd; enerzijds omdat zijn taalgebruik afwijkt, anderzijds omdat de vraag meerdere oplossingen kent.
Stel dat de vraagstelling van een gesloten vraag luidt: Wat wordt niet gerekend tot gezonde voeding?
De kans dat het goede antwoord dat de leerling zou geven op deze vraag (als die open was), overeenkomt met het door de constructeur aangegeven goede antwoord op die vraag, is uitermate klein. Er is namelijk een groot scala aan niet-gezonde voeding denkbaar. De kans is groot dat een goed antwoord van een leerling niet overeenkomt met het vermelde goede antwoord bij deze vraag. Tip
Begin bij het formuleren van alternatieven met het opschrijven van het goede of beste antwoord.
Tip
Gebruik als afleiders ook leermoeilijkheden en veel voorkomende vergissingen van leerlingen.
Tip
Neem alleen die afleiders op waarvan u verwacht dat leerlingen die ook werkelijk zullen kiezen.
Tip
Formuleer de stam bij voorkeur positief.
Tip
Accentueer een negatief geformuleerde vraagstelling door het negatieve element te KAPITALISEREN, te cursiveren of te onderstrepen.
Directe vraagstellingen en de variaties daarop Het verdient voorkeur de vragen te formuleren als directe vragen, dat wil zeggen: vragen of opgaven waarbij aan het eind van de vraag of opdracht duidelijk is wat van de kandidaat verwacht wordt. Hij moet onmiddellijk aan de slag kunnen met het bedenken van het goede antwoord en niet eerst enige tijd bezig zijn met het uitvinden van wat er nu eigenlijk van hem verwacht wordt. Natuurlijk is het mogelijk om de leerlingen een hoeveelheid informatie – relevant en niet-relevant – te geven waaruit zij bij het bepalen van het goede antwoord moeten putten, maar dat moet hun duidelijk verteld worden. Een voorbeeld van zo’n directe vraag is:
19
Op welke datum begint de zomer? A B C D
1 juni 21 juni 1 juli 21 juli
Twee variaties op de directe vraag zijn: •
De opgave met weglating op het eind. Bijvoorbeeld: ‘Benelux’ is de naam van een A B C
•
groep samenwerkende landen. soort elektrisch apparaat. soort kousen.
De opgave met weglating in het midden. Bijvoorbeeld: Wij zullen ons . . . die beslissing moeten neerleggen. A B C D E
aan bij met tegen voor
Het is niet de bedoeling dat u voor dit vraagtype zinnen letterlijk uit een leerboek overneemt en uit zo’n zin een woordje weglaat dat ingevuld moet worden. De kans is groot dat dan visueel geheugen getoetst wordt in plaats van kennis van zaken. Bij het laatste voorbeeld dient u ervoor te zorgen, dat het aantal puntjes dat gebruikt wordt om aan te geven waar iets weggelaten is, door de hele toets heen hetzelfde is. Zo wordt elke suggestie in de richting van (de lengte van) het goede antwoord vermeden. Tip
Formuleer de vragen bij voorkeur als directe vragen.
Tip
Neem bij opgaven met weglatingen in de tekst geen zinnen letterlijk over uit het leerboek.
20
Het formuleren van de alternatieven Het goede antwoord Vaak vindt men het moeilijk om bij een meerkeuzevraag plausibele alternatieven te bedenken. Het belangrijkste alternatief, het goede antwoord, levert doorgaans geen problemen op. U moet echter wel met de formulering daarvan beginnen, omdat u de zekerheid moet hebben dat er ook werkelijk een goed antwoord op uw vraag te formuleren valt. Indien u dit niet doet, zou u kunnen merken dat u een aantal alternatieven voor niets heeft zitten formuleren. Overigens past hier de kanttekening die we al eerder maakten, dat de opdracht die de leerling bij het beantwoorden van een meerkeuzevraag krijgt, vaak een tweeledig karakter heeft: hij dient aan te geven wat het goede of beste antwoord is. Misschien dat er altijd wel iets op het door u geformuleerde goede antwoord af te dingen is. Zorg er dan in ieder geval voor dat het duidelijk het beste antwoord is. Het wordt namelijk lastig als er een nog beter antwoord is dan in de alternatieven wordt aangeboden. Dat antwoord zal dan alsnog toegevoegd moeten worden, of liever nog: het tot dan toe beste antwoord moet vervangen worden door het allerbeste. Bijvoorbeeld: bij de volgende meerkeuze-opgave is A als het goede antwoord aangegeven. Voor grote huishoudelijke apparaten, bijvoorbeeld wasmachines, stelt de fabrikant een adviesprijs. Een A B C D
adviesprijs is de hoogste prijs die de winkelier voor het apparaat mag vragen. de laagste prijs die de winkelier voor het apparaat mag vragen. de prijs die de winkelier in zijn advertentie moet noemen. de prijs die de winkelier voor het apparaat moet vragen.
Het is twijfelachtig of A wel het goede antwoord is. In ieder geval bestaat de indruk dat de adviesprijs door de winkelier vooral ook gebruikt wordt om te suggereren hoeveel korting hij op de prijs geeft. A zou hier vervangen moeten worden door een antwoord als: de hoogste prijs waarmee de winkelier zijn eigen prijzen mag vergelijken. De oorspronkelijk A handhaven heeft als bezwaar, dat er dan eigenlijk twee antwoorden zijn die delen van de waarheid bevatten. Een alternatief dat alle facetten van een goed antwoord bevat, kan soms erg lang zijn en is daardoor minder geschikt voor een meerkeuzevraag. Men kan beter alleen de belangrijkste elementen in een goed antwoord opnemen. Dat heeft het gevaar – we zagen het in het voorgaande voorbeeld ook al – dat de goede antwoorden uit halve waarheden bestaan. Voor de formulering van de afleiders geeft dat ook problemen: die mogen dan helemaal geen waarheid bevatten, anders zal de kandidaat zich moeten gaan afvragen welke helft van de waarheid als goed antwoord bedoeld is.
21
Bij meerkeuzevragen is er dus maar één goed of beste antwoord. Mocht het zo zijn, dat andere deskundigen dan uzelf ernstige twijfels hebben bij het door u bedoelde juiste alternatief en zich afvragen of niet één van de andere alternatieven het goede of beste antwoord is, dan kunnen we maar één advies geven: bedenk een andere vraag. Een goed antwoord mag niet opvallen door zijn formulering. Bij het theoretische gedeelte van het vroegere rijexamen bestond het goede antwoord nog wel eens uit een letterlijk citaat uit de wetstekst en waren de foute alternatieven vlot-geformuleerde varianten daarop. Bijvoorbeeld: Wat duidt dit bord aan? A B C
Verboden in te rijden voor alle gemotoriseerd verkeer. Niet inrijden, behalve als men hier woont. Alleen toegang voor voetgangers.
Alternatief A onderscheidt zich door het formele taalgebruik, terwijl met name alternatief B door zijn vlotte formulering opvalt. Het zal ongetwijfeld voorgekomen zijn dat kandidaten met veel taalgevoel en weinig kennis van zaken dergelijke vragen juist beantwoordden, terwijl kandidaten met weinig leesvaardigheid en vergelijkbaar weinig kennis van zaken de (foute) alternatieven kozen die ze tenminste nog begrepen. Tenslotte dient men – onder andere bij tekstbegrip en bij vragen naar kennis – in het goede antwoord “echo’s” (letterlijke gedeelten van de uitgangstekst) te vermijden, wanneer in de andere alternatieven geen echo’s voorkomen. Het blijkt namelijk dat een antwoord met een echo een extra grote aantrekkingskracht op kandidaten heeft. Dat moet er natuurlijk niet toe leiden dat men in het goede antwoord geen echo opneemt en in de andere alternatieven juist wel. Als een definitie gevraagd wordt, zal het gebruik van de letterlijke tekst soms onvermijdelijk zijn. Zorg er dan voor dat ook in de afleiders min of meer letterlijke definities (van andere verschijnselen, etc.) gegeven worden. Tip
Formuleer eerst het goede antwoord.
Tip
Vergewis u ervan dat het door u geformuleerde goede antwoord ook werkelijk het goede antwoord is.
Tip
Zorg ervoor dat het goede antwoord zo volledig mogelijk is.
Tip
Vermijd formuleringen waarbij het goede antwoord als zodanig zal opvallen.
De afleiders Het blijkt in de praktijk niet altijd eenvoudig om genoeg relevante alternatieven te vinden bij een bepaalde vraagstelling. Een goede werkwijze is zich te laten inspireren door leermoeilijkheden bij een bepaald onderwerp of door gebruik te maken van veel
22
voorkomende vergissingen. Uw eigen praktijk reikt vaak vele voorbeelden aan. Er is nog een andere manier om aan afleiders te komen. Als u tot nu toe de leerstof in open vraagvorm hebt bevraagd en u wilt op de meerkeuzevorm overstappen, gebruik dan de foute antwoorden die leerlingen eerder op deze open vragen gegeven hebben als afleiders bij de meerkeuzevragen. De afleiders moeten diegenen die de stof nog niet in voldoende mate beheersen, van het goede antwoord afleiden. Voor de constructie van de afleiders geldt een aantal regels, die wij hieronder puntsgewijs aan de orde stellen. •
De afleiders moeten zo helder geformuleerd worden, dat de onderlinge essentiële verschillen duidelijk uitkomen. Wat is volgens het kookboek de kooktijd voor hardgekookte eieren? A B C D E
minder dan 10 minuten ongeveer 10 minuten 10 minuten iets meer dan 10 minuten ruim 10 minuten
Niet: De termen ‘ongeveer’, ‘iets minder’, ‘iets meer’ en ‘ruim’ zijn nogal vaag en kunnen elkaar gedeeltelijk overlappen. Deze alternatieven en afleiders kunnen als volgt duidelijker worden gemaakt. Wel: Wat is volgens het kookboek de kooktijd voor hardgekookte eieren? A B C
•
minder dan 10 minuten precies 10 minuten meer dan 10 minuten
De afleiders moeten plausibel zijn voor degenen die de stof niet goed hebben bestudeerd.
In het hieronder gegeven voorbeeld is geen van de alternatieven bij voorbaat af te wijzen; de in de alternatieven genoemde aantallen zijn alle mogelijke uitkomsten van rekenkundige bewerkingen.
23
De kern van een deeltje bestaat uit 1 proton en 1 neutron. Het deeltje heeft een lading van 1+. Hoeveel elektronen heeft dit deeltje? A B C D
0 1 2 3
Met dit soort afleiders wordt de didactische waarde van de vraag groter dan met andere afleiders. Hierbij dient u nog te bedenken dat de afleiders ook inderdaad moeten functioneren. Als geen van de cursisten voor een bepaalde afleider kiest, had die afleider net zo goed weggelaten kunnen worden. •
De alternatieven dienen in een logische volgorde te worden gerangschikt, omdat uw leerlingen anders wellicht informatie uit de volgorde zouden kunnen afleiden. In de Cito-examensituatie zijn over de rangschikking de volgende afspraken gemaakt: opklimmende getalgrootte Tussen welke aantallen ligt het juiste aantal exposanten aan deze najaarsbeurs? A B C D E
200 300 400 500 600
– – – – –
300 400 500 600 700
alfabetische volgorde Zij fopt je Welke uitdrukking past bij deze zin? A B C D
•
24
Zij Zij Zij Zij
neemt je bij de neus. praat je naar de mond. strooit zand in je ogen. zit op je lip.
Alle alternatieven bij een opgave moeten overeenkomen in uitgangspunt, grammaticale structuur en algemene indruk (lengte).
In het volgende voorbeeld wordt door de grammaticale constructie van de stam en alternatief D gewezen naar het goede antwoord:
Niet: Wie eens steelt is altijd een dief. Wat betekent dit spreekwoord? A B C D
Als je iemand bedriegt, word je zelf ook bedrogen. Als je niet eerlijk bent, kun je dat nooit meer vergeten. Als je slecht bent, zul je ook slecht over anderen denken. Wie eenmaal een misstap begaat, is altijd onbetrouwbaar.
Wel: Wie eens steelt is altijd een dief. Wat betekent dit spreekwoord? A 6 C D
•
Als Als Als Als
je je je je
iemand ooit bedriegt, zul je zelf ook bedrogen worden. niet eerlijk bent, kun je dat nooit meer vergeten. ooit iets fout hebt gedaan, word je nooit meer vertrouwd. slecht bent, zul je ook slecht over anderen denken.
Het alternatief ‘geen van bovengenoemde’ of ‘alle bovengenoemde’ is in het algemeen niet wenselijk.
Niet: Waarmee moet in de beoordeling van iemands persoonlijkheid rekening gehouden worden? A B C D E
zijn aanleg zijn situatie zijn sociale positie alle bovengenoemde geen van bovengenoemde
Het probleem is, dat de antwoorden D en E: ‘alle/geen van bovengenoemde’ geen antwoorden op de feitelijke vraag kunnen zijn. Dit probleem kan opgelost worden door de vraag om te werken tot een vraag waarbij twee of meer uitspraken worden gedaan.
25
Dus: In de beoordeling van iemands persoonlijkheid dient rekening gehouden te worden met: 1 zijn aanleg 2 zijn situatie 3 zijn sociale positie. A B C D E
•
1 en 2 zijn juist 1 en 3 zijn juist 2 en 3 zijn juist alle drie zijn juist geen van de drie is juist
Afleiders mogen elkaar niet uitsluiten.
Niet: Wat zegt de spreker hier over de geschiktheid voor piloot? A B C
Mannen en vrouwen zijn geschikt. Mannen zijn het meest geschikt. Vrouwen zijn het meest geschikt.
Afgezien van de stelligheid van de alternatieven B en C (maar de spreker kan zoiets echt gezegd hebben) is dit geen goede opgave, omdat er feitelijk geen drie, maar slechts twee alternatieven gegeven zijn. Immers, neigt men B als goed antwoord te kiezen, dan is bij voorbaat C al uitgesloten. Alleen A zou nog kunnen, afhankelijk van de stelligheid waarmee de spreker het een en ander heeft beweerd. Dergelijke uitspraken zijn dus vaak moeilijk te bevragen. •
De verschillen tussen de alternatieven dienen niet te groot te zijn. Van welke beroemde Britse eerste minister was de moeder Amerikaanse? A B C D
Edmund Burke Winston Churchill Charles de Gaulle William Gladstone
Alternatief C behoort duidelijk niet tot de groep en valt al bij voorbaat af als goed antwoord. De opdracht kan hier ook te gemakkelijk worden wanneer het goede antwoord er als het ware uitspringt. Men kan de opgave moeilijker maken door de verschillen tussen de alternatieven te verfijnen. Let er wel op dat de opgave dan geen leesoefening wordt.
26
•
Zorg ervoor dat de formulering van de alternatieven niet direct in een bepaalde richting wijst.
Zoals hiervoor al is opgemerkt, wijst het gebruik van absolute woorden als ‘altijd’ en ‘nooit’ in alternatieven bijna altijd op afleiders. Immers, op de meeste uitspraken of onderzoeksresultaten komen wel uitzonderingen voor. Absolute woorden geven daardoor in alternatieven vaak direct aan dat zij niet het goede antwoord kunnen zijn. Achteraf kan geconstateerd worden of alle afleiders in voldoende mate gekozen zijn. Is dat niet het geval en wordt de vraag hergebruikt, dan kunnen de niet voldoende gekozen afleiders weggelaten worden. Ook zal met een bijstelling van de meest trekkende afleider al veel hersteld zijn.
Taalgebruik Een juist taalgebruik is bij het schrijven van opgaven van groot belang. Het moet voorkomen worden dat de moeilijkheid van de opgave ligt in de formulering ervan. U moet proberen bij het schrijven met de volgende punten rekening te houden: •
Maak de zinnen niet te lang. Probeer zinnen van maximaal tien woorden in de alternatieven te gebruiken. U kunt proberen het alternatief ‘binnen de regel’ te houden; dat vergemakkelijkt het lezen.
Niet: Waar gaat dit bericht over? A B C
Er komt een televisiekanaal waarop alleen maar voetbalwedstrijden worden uitgezonden. Er komt een televisiekwis waarin kandidaten gevraagd wordt naar hun kennis op het terrein van het Europees voetbal. Er komt een nieuwe presentatie van de uitslagen van de voetbaltoto.
Wel: Waar gaat dit bericht over? Er komt A een t.v.-kanaal met alleen voetbal. B een t.v.-kwis over Europees voetbal. C een nieuwe presentatie van de voetbaltoto op de t.v.
27
•
Vermijd zoveel mogelijk constructies met bijzinnen.
Het gaat hier niet alleen om ‘ingebedde’ bijzinnen als: “De spanning, die men, wanneer de proefopstelling zich in een magnetisch veld bevindt, kan meten.“, maar ook om samengestelde zinnen als in het vorige voorbeeld: “Er komt een televisiekanaal waarop alleen maar voetbalwedstrijden worden uitgezonden.” In de alternatieven verdient een niet-samengestelde, korte, krachtige zin de voorkeur. Probeer relevante informatie in een inleiding of in de stam op te nemen. •
Probeer het aantal gegevens per zin klein te houden.
Korte, krachtige zinnen met een duidelijk opbouw verdienen de voorkeur. •
Vermijd ‘weggevertjes’ in de formulering van de afleiders, zoals ‘nooit’, ‘altijd’, ‘alle’, etc.
Zoals al eerder is opgemerkt, zijn absolute uitspraken maar zelden waar. •
Vermijd in de alternatieven herhaling van zaken die ook éénmaal in de stam genoemd kunnen worden.
Niet: Wat wordt bedoeld met incrementeel programmeren? A B C
dat de coördinaten opgegeven worden ten opzichte van de laatste coördinaten dat de coördinaten opgegeven worden ten opzichte van het machine-nulpunt dat de coördinaten opgegeven worden ten opzichte van het werkstuk-nulpunt
Wel: Met incrementeel programmeren wordt bedoeld dat de coördinaten worden opgegeven ten opzichte van A B C
•
de laatste coördinaten. het machine-nulpunt. het werkstuk-nulpunt.
Gebruik geen zinnen die letterlijk in de leerboeken staan.
Eerder, bij het formuleren van het goede antwoord, is al gewezen op het feit dat het goede antwoord niet moet opvallen door het letterlijk citeren uit de uitgangstekst. De kans is voorts groot, dat kandidaten bij letterlijke citaten het antwoord op basis van hun visueel geheugen geven. Als de letterlijke tekst wel opgenomen moet worden, dan zou u in de afleiders ook letterlijke citaten moeten opnemen.
28
•
Gebruik geen dubbele ontkenningen.
Het is voor leerlingen uiterst verwarrend om zinnen te moeten lezen met ‘nooit geen’ of ‘niet onmogelijk’, hoe juist zo’n bewering op zich ook kan zijn. De kans is groot dat de kandidaat een fout antwoord zal kiezen, omdat hij de vraag niet goed gelezen heeft, en niet omdat hij de stof niet beheerst. •
Als de alternatieven uit hele zinnen bestaan, beginnen ze met een hoofdletter en eindigen met een punt. Wat doet de schrijver met deze tekst? A B C D
•
Hij Hij Hij Hij
doet verslag van een gebeurtenis. geeft ergens een beschrijving van. legt zijn lezers iets uit. roept zijn lezers op iets te doen.
Als de stam doorloopt in de alternatieven, beginnen de alternatieven met een kleine letter en eindigen met een punt. Met incrementeel programmeren wordt bedoeld dat de coördinaten worden opgegeven ten opzichte van A B C
•
de laatste coördinaten. het machine-nulpunt. het werkstuk-nulpunt.
In andere gevallen liggen de regels minder vast. Vaak beginnen de alternatieven dan met een kleine letter en eindigen zonder punt. Wat wordt verstaan onder een pakkerd? A B C
een dief een inpakker een pakzoen
29
Soorten gesloten vragen
Standaardtype Het standaardtype van de gesloten vraag is in het vorige hoofdstuk al ter sprake gekomen. Voor de goede orde volgt het hier nogmaals.
Stam:
In welke plaats is de Citogroep gevestigd?
Alternatieven:
A B C D E
in in in in in
Amsterdam Arnhem Enschede ‘s-Gravenhage Utrecht
afleider goede antwoord afleider afleider afleider
Het gaat hier om meerkeuzevragen waarbij het aantal alternatieven kan variëren van drie tot zes. De alternatieven staan in alfabetische volgorde als ze beginnen met een woord. Als de alternatieven cijfers zijn, dan is de volgorde van laag naar hoog.
De vraag met twee uitspraken Dit vraagtype wordt gerekend tot de groep van de zogenaamde stellingvragen. Het is een moeilijk vraagtype, zowel om te construeren als om te beantwoorden. De vorm van het vraagtype is als volgt: Wat geldt voor de volgende beweringen? I Er is sprake van een duidelijke samenhang tussen het zoutgebruik en de hoogte van de bloeddruk. ll Het is goed om mensen met verhoogde bloeddruk aan te raden veel zoute pinda’s te eten. A B C D
I en ll zijn juist. Alleen I is juist. Alleen ll is juist. I en ll zijn niet juist.
Bij dit vraagtype geldt de afspraak, dat de beweringen I en ll niet los van elkaar mogen staan. Er moet sprake zijn van een samenhang. Is dat niet het geval, dan zijn het feitelijk twee waar/niet-waar vragen onder elkaar (zie het betreffende vraagtype).
31
De vraag met meer dan twee uitspraken Ook deze vraag wordt gerekend tot de groep van stellingvragen. Dit vraagtype leent zich er heel goed voor, om over een bepaalde probleemstelling meerdere uitspraken te doen en te laten beoordelen welke uitspraken betrekking hebben of van toepassing zijn op de geschetste probleemstelling. Dit vraagtype ziet er als volgt uit: Welke manier(en) is (zijn) juist om een ongegronde klacht te behandelen? 1 De klant beleefd doen inzien dat de klacht ongegrond is en een regeling treffen. 2 De klant duidelijk maken dat alleen gegronde klachten in behandeling worden genomen. 3 De klant op zijn/haar ongelijk wijzen en beslist geen enkele vorm van schadeloosstelling aanbieden. A B C D E F G H
alleen 1 zowel 1 als 2 zowel 1 als 3 alleen 2 zowel 2 als 3 alleen 3 alle drie geen van de drie
Alle denkbare alternatieven zijn hier geformuleerd. Dit houdt niet in, dat altijd al die denkbare alternatieven aangeboden dienen te worden. Alleen die alternatieven komen in aanmerking, die reëel gekozen zullen worden en/of die een indicatie kunnen geven van mogelijke leemtes in de kennis bij de leerling.
De herordeningsvraag De naam geeft al aan waar het om gaat. Leerstof is volgens bepaalde ordeningsprincipes opgebouwd. De kandidaat moet tonen dat hij de relevante ordeningsprincipes adequaat kan hanteren.
32
Een voorbeeld van een herordeningsvraag is: Hieronder staan in willekeurige volgorde zes historische gebeurtenissen. Vier daarvan hebben met elkaar te maken. 1 2 3 4 5 6
aanval op Pearl Harbor bezetting van het Ruhrgebied herstelbetalingen slag om Stalingrad verdrag van Locarno vredesverdrag van Versailles
Welke vier gebeurtenissen horen bij elkaar en staan in chronologische volgorde? A B C D E
1,2,5,3 1,4,5,6 2,1,4,5
2,1,5,3 ...enz...
Uit de stam van deze vraag blijkt, dat de ordeningsprincipes die voor de alternatieven worden gebruikt, ook worden toegepast in de stam, als daar sprake is van opsommingen en dergelijke. In dit geval zijn de elementen 1 t/m 6 alfabetisch geordend. Ook voor de stam geldt dat hij logisch of alfabetisch dient te zijn opgebouwd. Aan de hand van dit voorbeeld moge duidelijk worden dat dit vraagtype alleen toegepast kan worden indien een aantal gegevens in een bepaalde volgorde gezet kan worden (historische gebeurtenissen, handelingen bij een proces).
De combinatievraag Dit is een vraagtype dat vergelijkbaar is met de herordeningsvraag. Alleen moeten nu op een andere manier de gegevens uit de ene rij gecombineerd worden met de gegevens uit een andere rij.
33
Een voorbeeld van een combinatievraag: Hieronder staan de namen van een aantal dieren. A B C D E F
beer ezel hond kat leeuw varken
Vul in de volgende zinnen het toepasselijke dier in. Doe dat door middel van het aangeven van de betreffende letter. (Een dier kan meerdere malen voorkomen!) 1 2 3 4
Zo ziek als een ... Zo sterk als een ... Zo trouw als een ... Zo dom als een ... enz.
De waar/niet-waarvraag Hoewel het in alle meerkeuzevragen gaat om de vraag of een alternatief waar of niet waar is, betreft het hier toch een vraagtype dat wat afwijkt van de standaard meerkeuzevraag. Er wordt een uitspraak of bewering gedaan, waarbij aangegeven moet worden of die klopt of niet klopt. De standaardvorm van dit vraagtype is als volgt: In alle slagaders stroomt het bloed van het hart af. Waar/niet waar
Hier volgt nog een voorbeeld van een samengestelde waar/niet-waarvraag uit het muziekonderwijs, die goed de mogelijkheden toont van het vraagtype.
34
Geef aan welke muziekinstrumenten in het volgende fragment voorkomen. 1 2 3 4 5
fluit harp gitaar bekkens trompet
ja/nee ja/nee ja/nee ja/nee ja/nee
Bij dit vraagtype is grote voorzichtigheid geboden. Uit onderzoek blijkt, dat het niet altijd betrouwbare gegevens oplevert. Ten eerste blijkt het heel moeilijk te zijn om volledig ware alternatieven te construeren. Sommige leerlingen wijzen een als “waar” bedoeld alternatief af, omdat het niet volledig is. Ten tweede is het presenteren van een onware bewering een ongebruikelijke handeling in het onderwijs, waar ‘de docent’ toch in het algemeen geassocieerd wordt met ‘het overdragen van feiten en waarschijnlijkheden’.
35
Algemene eisen bij gesloten vragen
De inhoud van deze brochure tot nu toe is vooral gericht geweest op de specifieke en vaak technische aspecten van de constructie van meerkeuzevragen. Er zijn ook nog enkele algemene eisen die aan meerkeuzevragen gesteld worden. Op de belangrijkste wordt nu ingegaan, met hier en daar een verwijzing naar de consequentie van die eis, met betrekking tot de constructie van deze vragen. Het hier gemaakte onderscheid is erg kunstmatig. De onderscheiden aspecten kunnen bij de beoordeling van sommige vragen in elkaar overlopen.
Relevantie Algemeen uitgangspunt bij toetsconstructie is, dat de vragen die gesteld worden relevante vragen zijn. Dit lijkt een open deur. Toch komt het een enkele maal voor dat vragen niet of minder relevant zijn. Om daarvan enkele voorbeelden te noemen: ο Er is eigenlijk te weinig stof om relevante vragen over te stellen. ο De vraag valt buiten de leerstof. ο De vraag is een stokpaardje van de docent. ο De vraag is een strikvraag.
Objectiviteit Een vraag wordt als objectief gezien, als verschillende experts allen hetzelfde alternatief als het goede antwoord aanwijzen. Objectiviteit heeft in deze betekenis ti te maken met de inhoud van de vraag; die kan (en zal soms) zeer subjectief zijn. Van problemen met de objectiviteit is onder andere sprake in de volgende gevallen: ο als de meningen van de deskundigen verdeeld zijn. (Overigens, als dat het geval is, is het aan te raden om de vraag maar te laten vervallen, want herstelwerkzaamheden aan de vraag hebben, voor zover wij daar ervaring mee hebben, vaak niet het gewenste effect.) ο als er meerdere alternatieven juist zijn. ο als het goede antwoord er niet bij staat. ο als er gevraagd wordt naar de mening van een leerling. Vragen als “Wat vind jij van ..?“, of “Wat zou jij doen als ..?” zijn in principe nooit objectief. Wat ons betreft zijn ze dus, in welke toets dan ook, gevaarlijk.
37
Specificiteit Deze eis houdt in dat de vragen alleen maar goed beantwoord zouden mogen worden door diegenen die het betreffende onderwijs gevolgd hebben. De vraagstelling kan bijvoorbeeld niet-specifiek zijn, doordat ο woorden als nooit, altijd, alle, alleen, bijna altijd in een bepaalde richting wijzen. ο het juiste alternatief in lengte afwijkt van de andere alternatieven. ο het juiste alternatief systematisch op een bepaalde plaats staat. ο de taalvorm van het juiste alternatief afwijkt van de andere alternatieven. ο er afhankelijkheid tussen de vragen bestaat, dat wil zeggen dat door het goed beantwoorden van een willekeurige vraag uit de toets, ook duidelijk wordt wat het goede antwoord op een andere vraag uit dezelfde toets is.
Efficiëntie Eigenlijk zou elke vraag efficiënt moeten zijn. Dit houdt in dat de vraag relevante informatie verschaft, terwijl de tijd die de leerling nodig heeft om de vraag te kunnen beantwoorden, zo kort mogelijk is. Ook hier is er wel eens iets mis, bijvoorbeeld: ο er is sprake van nodeloos ingewikkelde zinsconstructies. ο er worden voor de cursist volstrekt onbekende woorden gebruikt, of zelfs woorden die niet bestaan. ο de aansluiting tussen de stam en één of meer alternatieven is taalkundig niet correct. ο er is sprake van overbodige informatie.
38
Controlelijst
De volgende lijst is bedoeld om afgerond conceptmateriaal aan een kritische proeve te onderwerpen. Het materiaal dat u ontworpen hebt, kunt u het beste eerst een tijdje laten liggen. Later kunt u het controleren met behulp van deze lijst. U kunt natuurlijk ook een collega vragen eens kritisch naar uw materiaal te kijken.
Algemeen ο
Lees en beantwoord de vraag zonder naar de sleutel te kijken.
ο
Als het antwoord fout is, ligt dat dan aan de vraag? Controleer hiervoor of: a er wel een goed antwoord is; b er misschien meerdere goede antwoorden zijn; c de vraag onduidelijkheden bevat; d de alternatieven onduidelijkheden bevatten.
ο
Voer de controle b t/m d ook uit als het antwoord goed was.
ο
Is de vraag belangrijk genoeg om te stellen? (Raakt hij aan hoofdzaken; past hij in de toetsmatrijs?)
ο
Meet de vraag ook wat de toetsconstructeur wilde meten? (Is het doel duidelijk?)
ο
Is de vraag alleen te beantwoorden op basis van vakinhoudelijke kennis?
De stam ο
Bevat de stam een duidelijke vraag of opdracht?
ο
Bevat de stam voldoende informatie om de vraag te kunnen beantwoorden?
ο
Bevat de stam geen overbodige informatie?
ο
Is de stam precies, beknopt en grammaticaal juist geformuleerd?
ο
Bevat de stam geen dubbele ontkenning?
ο
Als de stam een ontkenning bevat, is dat dan duidelijk zichtbaar gemaakt?
39
De alternatieven ο
Hebben alle afleiders enige plausibiliteit?
ο
Wordt in het goede alternatief niet een term uit de stam herhaald?
ο
Staan er geen woorden als ‘altijd’ of ‘nooit’ in enkele afleiders?
ο
Ontstaat er geen dubbele ontkenning tussen de stam en één of meer alternatieven?
ο
Sluiten de alternatieven elkaar uit?
ο
Zijn de alternatieven ongeveer even lang?
ο
Sluiten de alternatieven grammaticaal en inhoudelijk goed aan op de stam?
ο
Bevatten de alternatieven geen herhalingen uit de stam of van elkaar?
ο
Zijn de alternatieven logisch gerangschikt?
ο
Zijn de alternatieven voldoende van elkaar te onderscheiden?
40
