7 Het construeren van open vragen. 7 Het construeren van open vragen

7 Het construeren van open vragen



Tom Erkens

Dit hoofdstuk gaat over open vragen, dat wil zeggen vragen, taken en opdrachten waarbij de leerling zelf het antwoord moet formuleren. Eerst worden de verschillende soorten open vragen en de voordelen en nadelen van open vragen behandeld. Daarna wordt ingegaan op het constructieproces van open vragen. Een aparte paragraaf is gewijd aan de problemen die zich voordoen bij het corrigeren van open vragen en de mogelijke oplossingen voor deze problemen. Op diverse plaatsen in het hoofdstuk staan tips die nuttig kunnen zijn bij het construeren van open vragen. Aan het einde van het hoofdstuk vindt men een checklist die gebruikt kan worden bij het samenstellen, beoordelen en redigeren van open vragen.

7.1 Soorten open vragen Open vragen zijn vragen waarbij leerlingen zelf het antwoord moeten formuleren. Dat antwoord kan in lengte variëren van één woord of enkele woorden tot een volledig betoog. De correctie van open vragen dient door (vak)deskundigen te gebeuren. De open vraag wordt in het onderwijs veel gebruikt. Een docent stelt bijvoorbeeld open vragen tijdens het onderwijs leergesprek, tijdens mondelinge of schriftelijke overhoringen, als onderdeel van proefwerken en bij toetsen of examens. In de centrale examens van vmbo, havo en vwo zijn de meeste vragen open vragen. De open vraag heeft weliswaar voordelen, zie paragraaf 7.2, maar geeft ook problemen die doorgaans pas worden ontdekt tijdens of na de afname van de toets. De problemen zijn voor een niet onbelangrijk deel terug te voeren tot kwesties die met formuleren te maken hebben. Met andere woorden: het gaat veelal om taalproblemen. Een niet juist of niet volledig juist geformuleerde vraag levert een niet verwacht of gewenst antwoord op van de leerlingen en veroorzaakt daardoor problemen bij de beoordeling. Open vragen zijn bij uitstek geschikt om hogere cognitieve vaardigheden te toetsen. Dat betreffen vaardigheden als toepassen, analyseren, synthetiseren en evalueren. In de Nederlandse onderwijspraktijk zien we echter dat open vragen ook gebruikt worden voor het toetsen van feitenkennis. Men kan zich afvragen of open vragen daarvoor gebruikt moeten worden. Het is gebleken dat feitenkennis op een veel efficiëntere en betrouwbaardere wijze met behulp van gesloten vragen kan worden bevraagd. In hoofdstuk 2 zagen we echter dat bij de keuze voor een bepaalde vraagvorm soms andere overwegingen een rol kunnen spelen. Open vragen komen in diverse vormen voor. Er is daarbij een onderscheid te maken naar de lengte van het antwoord, en naar de benodigde tijd voor de beantwoording.

112

Cito | Toetsen op School

In- en aanvul vragen Bij dit soort vragen wordt van leerlingen verwacht dat zij een onvolledige zin, berekening of tekening completeren. Lezen en beantwoorden van een dergelijke vraag kost weinig tijd. Voorbeelden van een in- en aanvulvraag zijn:

De langste rivier van Europa is de ...

De moord op ... vormde de directe aanleiding tot de Eerste Wereldoorlog.

Kort-antwoord vragen Op kort-antwoord vragen moet met een citaat, met enkele woorden, een enkelvoudige zin, een getal, een (eenvoudige) tekening of formule worden geantwoord. De tijd voor het lezen en de beantwoording zal meestal niet meer dan een minuut vergen. Een voorbeeld van een kort-antwoord vraag, gesteld aan de hand van een context, is:

Van welke vorm van werkloosheid is hier sprake?

Lang-antwoord vragen Leerlingen dienen lang-antwoord vragen te beantwoorden met samenhangende zinnen. Ook een toelichting, een gecompliceerde berekening, tekening of een bewijs bestaande uit verschillende stappen, zijn voorbeelden van antwoordmogelijkheden. Voor het lezen en beantwoorden van een dergelijke vraag is al gauw drie tot vijf minuten nodig. Een voorbeeld van een lang-antwoord vraag, gesteld aan de hand van een context, is: Leg uit waarom het voor sommige bedrijven economisch gezien voordelig kan zijn afval opnieuw te gebruiken. Opstel en betoog vragen Typische antwoorden op opstel en betoog vragen zijn: een samenhangende tekst, gestructureerd bijvoorbeeld naar inleiding, midden en slot, of een zeer gedetailleerde tekening of berekening die beide als een afgerond geheel worden beschouwd. Het lezen en antwoorden van een dergelijke vraag is een tijdrovende aangelegenheid. Vijftien tot dertig minuten voor een dergelijke opdracht is niet ongebruikelijk.

113

Het construeren van open vragen

Een voorbeeld van een opstelvraag is: De heer Anders reageerde met een ingezonden brief op een artikel in Het Hollands Dagblad over bijbaantjes voor scholieren. Zijn brief begon als volgt: ‘In uw krant verscheen onlangs een artikel waarin de minister van Onderwijs, Cultuur en Wetenschappen zijn bezwaren tegen bijbaantjes van scholieren uiteenzet. Hieronder wil ik de voordelen van bijbaantjes voor scholieren voor de Nederlandse economie uiteenzetten …’

Schrijf het vervolg van de brief.

In de brief moeten de volgende aspecten aan de orde komen: a de bijdrage van bijbaantjes van scholieren aan het terugdringen van de frictiewerkloosheid in de toekomst b het multipliereffect van de stijgende bestedingen van scholieren

Open vragen kunnen ook onderscheiden worden naar de omvang van het antwoord en de benodigde antwoordtijd. Veelal blijken leerlingen meer tijd voor de beantwoording nodig te hebben dan wordt aangenomen. De gemiddelde antwoordtijd op vragen staat weergegeven in onderstaande tabel. Vraagtype Beantwoordingstijd Open vraag, antwoord vergt één woord of zin

1 minuut

Open vraag, antwoord vergt 1/4 pagina-A4

5 minuten

Open vraag, antwoord vergt 1/2 pagina-A4

10 minuten

Open vraag, antwoord vergt één pagina-A4

25 minuten

Open vraag, antwoord vergt twee pagina’s-A4

60 minuten

7.2 Voordelen van open vragen Sommige doelstellingen zijn beter te toetsen met open vragen dan met gesloten vragen. Dit geldt voor doelen waarbij originaliteit of creativiteit een rol spelen (bijvoorbeeld bij het ontwerpen van een onderzoeksopzet), bij de toetsing van complexere vaardigheden of wanneer het te toetsen kennisdomein omvangrijk is. Dat wil zeggen: • B ij de beantwoording van een open vraag (vooral de lang-antwoord vraag) hoeven de leerlingen niet in hun vrijheid te worden beperkt. Bij de beantwoording kunnen de leerlingen voldoende creativiteit aan de dag leggen.

Een voorbeeld van een vraag die met behulp van twee bronnen moet worden beantwoord, is:

Gebruik bron 16 (prent) en 17 (toespraak). In de prent geeft de tekenaar zijn mening over de toespraak van president Truman. Wat is de mening van de tekenaar? Ondersteun je antwoord door twee elementen uit de prent te verbinden met twee elementen uit de toespraak.

114


• D aar waar taalvaardigheidaspecten bij de toetsing een rol spelen, verdient de open vraag de voorkeur boven de gesloten vraag. De leerlingen kunnen immers bij de beantwoording van open vragen productief gebruik maken van de taal.

Een voorbeeld van een dergelijke vraag is:

Maak een goedlopende samenvatting in correct Nederlands van maximaal 200 woorden van de tekst ‘De liefde tot zijn land is ieder aangeboren’. Zorg ervoor dat je samenvatting begrijpelijk is voor iemand die de oorspronkelijke tekst niet kent. Uit je samenvatting moet duidelijk worden: - welke overeenkomsten er zijn tussen de identiteit van het gezin en de natie; - welk gevaar zich voordoet op het niveau van de identiteit van de natie; - welke factoren dit gevaar beperken en waardoor deze factoren remmend werken; - met welke redenering kosmopolitisme geen alternatief wordt gevonden voor de behoefte aan een nationale identiteit; - wat wordt geconcludeerd ten aanzien van het trots zijn op de eigen nationale identiteit.

7.3 Nadelen van open vragen • V oor taalzwakke leerlingen leveren open vragen extra problemen op. Het is niet altijd duidelijk of een ‘foute’ beantwoording van de vraag uitsluitend te wijten is aan onvoldoende kennis dan wel (mede) het gevolg is van een onvoldoende taalbeheersing. Met andere woorden: is de taal of de vakinhoud het probleem? • Het eenduidig formuleren van open vragen is lastig. Niet eenduidig geformuleerde vragen zijn voor leerlingen op meer manieren te interpreteren. Zodra leerlingen moeten interpreteren, zal het door de docent gewenste of verwachte antwoord waarschijnlijk niet worden gegeven. • Niet eenduidig geformuleerde open vragen leveren beoordelingsproblemen op omdat de leerlingen een ander antwoordgedrag vertonen dan was beoogd. • Ook indien de vraag eenduidig is geformuleerd, kunnen verschillen ontstaan tussen beoordelaars. Beoordelaars die bijvoorbeeld van mening verschillen over het juiste antwoord. Of een beoordeling van één docent die niet consistent op het antwoord van iedere leerling wordt toegepast. • De beantwoording van open vragen kost meer tijd dan de beantwoording van gesloten vragen. Voor het beantwoorden van een gesloten vraag is een minuut meestal voldoende. Hiervoor zagen we dat, afhankelijk van de vraagstelling, het beantwoorden van open vragen vaak veel meer tijd kost. Dit heeft nadelige gevolgen voor het aantal vragen dat, gegeven de beschikbare toetstijd, gesteld kan worden. • Het beoordelen van de antwoorden op open vragen is zeer arbeidsintensief.

7.4 Constructieregels voor open vragen Een aantal problemen met open vragen kunnen worden voorkomen indien de constructeur van de vragen zich houdt aan een aantal regels. Regel 1: Formuleer bij open vragen eerst het modelantwoord en vervolgens de vraag Een vraag kan uiteenlopende antwoorden uitlokken die stuk voor stuk te verdedigen zijn.

115


Dit komt omdat de antwoorden terug zijn te voeren op uiteenlopende interpretaties van de vraag. Het probleem wordt voorkomen door andersom te werk te gaan. Formuleer eerst het wenselijke antwoord, het zogenoemde modelantwoord, en dan pas de bijbehorende vraag. Een voorbeeld van een dergelijke vraag is: Bedenk een reden waarom een politieman of vrouw die zijn of haar werk doet, toch voor een rechter moet kunnen verklaren waarom hij of zij geweld heeft gebruikt. Regel 2: Voeg zo nodig antwoordrestricties aan de vraag toe Een ander probleem dat zich voordoet, is dat leerlingen in hun antwoord uitvoeriger dan wel beknopter zijn dan de docent verwacht. Dit gebeurt vooral bij vragen waarbij de docent geen of onvoldoende antwoordrestricties voor de leerlingen heeft geformuleerd, zoals hoeveel voorbeelden moeten er worden gegeven, uit hoeveel woorden het antwoord maximaal mag bestaan, enz. Een voorbeeld van een dergelijke vraag is:

Er zijn meerdere redenen om alcohol of drugs te gaan gebruiken. Noem er enkele.

Regel 3: Geef bij iedere toets(deel)vraag aan hoeveel punten kunnen worden behaald Leerlingen zijn niet altijd in staat een inschatting te maken van het relatieve belang van de vraag respectievelijk de vraagonderdelen. Hierdoor komt het voor dat leerlingen aan bepaalde toetsvragen of vraagonderdelen die slechts een beperkt aantal scorepunten opleveren, relatief veel tijd besteden. Regel 4: Ontwikkel open vragen samen met collega’s Bij het formuleren van een open vraag realiseren docenten zich niet altijd dat leerlingen een bepaalde manier van lezen hebben. Zodoende zijn docenten zich niet bewust van de vele interpretaties die mogelijk zijn. Het volgende, aan de examenpraktijk ontleende voorbeeld, is in dit verband illustratief. De vraag luidde:

Waarom bepaalt het KNMI elk uur de temperatuur op een groot aantal meetpunten?

Bij de correctie van deze vraag signaleerden docenten verschillende antwoorden. Die antwoorden bleken afhankelijk te zijn van de wijze waarop leerlingen de vraag hadden gelezen: • Nadruk op waarom: dat levert nuttige informatie op voor boeren en tuinders. • Nadruk op KNMI: dat behoort tot de taken van dat instituut. • Nadruk op elk uur: dat levert een grotere betrouwbaarheid van de meting op in vergelijking met een kleiner aantal meetmomenten. • Nadruk op temperatuur: voor het doen van een goede weersvoorspelling zijn temperatuur gegevens onmisbaar. • Nadruk op een groot aantal meetpunten: temperaturen kunnen van plaats tot plaats nogal verschillen.

116


Het probleem met deze vraag had waarschijnlijk voorkomen kunnen worden door de vraag te laten beoordelen en beantwoorden door verschillende deskundigen/docenten, ook docenten van buiten het vakgebied. Het is steeds weer verrassend om te zien hoe verschillende deskundigen/docenten de vraag interpreteren. Laat docenten de vragen beantwoorden zonder dat zij beschikken over een modelantwoord. Verzamel hun antwoorden en eventuele open aanmerkingen. Gebruik deze informatie om de vraag en het antwoord bij te stellen. Regel 5: Splits de vraag op in een informatiegedeelte en een vraaggedeelte Het probleem hiervoor had ook voorkomen kunnen worden door de vraag te splitsen in een informatiegedeelte en een vraaggedeelte. Zo zou de KNMI-vraag als volgt kunnen worden opgesplitst:

Het KNMI bepaalt elk uur de temperatuur van een groot aantal meetpunten. a Geef één reden waarom dat elk uur gebeurt. b Geef één reden waarom dat op een groot aantal meetpunten gebeurt.

Regel 6: Hanteer concrete opdrachten en vragen en vermijd formuleringen die het gewenste antwoord niet oproepen Sommige vraagformuleringen leiden tot ongewenste dan wel ontwijkende antwoorden omdat ze onduidelijke antwoordinstructies bevatten en een concrete opdracht ontbreekt. Voorbeelden van dergelijke formuleringen zijn:

‘Probeer eens uit te leggen waarom …’ De vraag suggereert een poging maar het gaat om de uitleg.

‘Kun je aangeven op welke manier …’ De vraag suggereert dat de leerlingen iets kunnen aangeven maar het gaat erom of leerlingen de manier aangeven. ‘Zal de maatregel leiden tot een stijging of een daling …’ Leerlingen volstaan met het antwoord ‘ja’ omdat beide ontwikkelingen immers mogelijk zijn. Regel 7: Kom tot afspraken voor wat betreft vraagformuleringen: gebruik een beperkt aantal vraagformuleringen en geef aan vraagformuleringen steeds eenzelfde betekenis In de praktijk worden voor hetzelfde type open vragen verschillende formuleringen gebruikt. Deze verschillende formuleringen kunnen bij leerlingen een, niet beoogd, verschillend antwoordgedrag oproepen. En er kunnen zich problemen voordoen als bepaalde formuleringen niet steeds consequent gebruikt worden. Ook is uit onderzoek gebleken dat niet alle formuleringen het gewenste gedrag van leerlingen daadwerkelijk oproepen. Voor leerlingen is het prettig als zij bij een bepaalde opdracht- of vraagvorm bij alle vakken eenzelfde soort antwoord moeten geven. Het is daarom goed te komen tot een gemeenschappelijke lijst van vraagformuleringen. Door het hanteren van een dergelijke lijst ontstaat er voor de leerlingen duidelijkheid over het per vraag vereiste antwoord. Als voorbeeld van een dergelijke afspraak geven we hierna het overzicht van formuleringen dat bij de centrale examens vmbo, havo en vwo wordt gebruikt:

117


Standaardformuleringen voor kort-antwoord vragen Formulering

Toelichting en/of voorbeeld

Noem/schrijf

Te gebruiken bij een vraag naar iets concreets zoals termijn, plaats, gebeurtenis, kenmerk, aspect.

op

Voorbeeld: • Noem twee gasvormige afvalproducten van elektriciteitscentrales die, zonder tegenmaatregelen, de voornaamste bijdrage leveren aan de verzuring van het milieu.

Geef (aan)

Dit kan een kort- of lang-antwoord vraag zijn, moet dus nader gespecificeerd worden. Als kortantwoord vraag te gebruiken voor concrete zaken. Voorbeeld: • Geef de formule van de prijselasticiteit van de vraag. • Geef één voorbeeld van een winkelketen die aan … voldoet. • Geef aan of de volgende beweringen juist zijn of onjuist.

Hoe

Te gebruiken bij kwantitatieve vragen en vragen naar concrete zaken of verschijnselen. Voorbeeld: • Hoeveel % van de pakken zal minder dan 1 kg bevatten? • Hoe groot is de afstand van … naar … ? • Hoe vaak …? • Hoe lang duurt …? • In een winkel worden schappen op drie verschillende hoogten onderscheiden. Bukhoogte en grijphoogte zijn er twee van. Hoe heet de derde hoogte?

Wie

Te gebruiken bij reproductie- of identificatievragen. Voorbeeld: • Wie heeft het buskruit uitgevonden?

Wat

• Wat is de betekenis van de afkorting AIVD? Of: Waarvan is AIVD een afkorting? • Wat wordt verstaan onder arbeidsproductiviteit?

Waar

Te gebruiken bij een concrete plaatsaanduiding. Voorbeeld: • Waar heeft … plaatsgevonden?

Welke

Te gebruiken bij een vraag naar een concreet object of concrete categorie. Voorbeeld: • Welke drie muziekinstrumenten hoor je achtereenvolgens? • In welke vier delen van Nederland is volgens de kaart de vervuiling door ammoniakuitstoot het grootst? • Voor welke waarde van … geldt …?

Wanneer

• Wanneer vond de Tweede Wereldoorlog plaats?

Arceer

• Arceer op het uitwerkblad het gebied dat onder water loopt als de dijk doorbreekt.

Journaliseer

Te gebruiken voor het debiteren en crediteren van bedragen in grootboekrekeningen. Voorbeeld: • X en Y brengen hun zaken bijeen in een VOF. Journaliseer de inbreng van X.

Citeer

118

• Citeer het eerste en laatste woord van de zin waarin dat staat.


Standaardformuleringen voor lang-antwoord vragen Formulering


Geef (aan)

Kan kort- of lang-antwoord vraag zijn, moet dus nader gespecificeerd worden. Als lang-antwoord vraag te gebruiken bij een vraag naar iets abstracts zoals reden of oorzaak (dus niet: waarom …). Voorbeeld: • Geef de oorzaak voor het ontstaan van conjuncturele werkloosheid. • Geef een verklaring voor het ontstaan van ….

Geef de berekening

Bij deze vraag moet ook de berekening zelf gegeven en beoordeeld worden.

van

Voorbeeld: • Geef de berekening van de totale constante kosten per jaar.

Laat met een

Te gebruiken wanneer de uitkomst van de berekening al in de vraag staat aangegeven.

berekening zien

Voorbeeld: • Laat met een berekening zien dat de prijs € 10,25 is.

Stel op/samen

Te gebruiken bij het opstellen van vergelijkingen. Voorbeeld: • Stel de balans samen.

Leid af

Te gebruiken om op basis van verstrekte gegevens het gevraagde af te leiden. Voorbeeld: • Leid uit het model de hoogte van het nationale inkomen af waarbij sprake is van inkomensevenwicht.

Onderzoek

Te gebruiken voor het onderzoeken van een serie eigenschappen van een functie of voor beweringen, o.a. in de statistiek. Voorbeeld: • Onderzoek of de steekproef groot genoeg is om de vereiste nauwkeurigheid te bereiken.

Bewijs

Te gebruiken wanneer op deductieve wijze bewezen moet worden dat een bewering waar is door deze te herleiden tot definities, stellingen of axioma’s. Voorbeeld: • Bewijs dat de steekproef groot genoeg is om de vereiste nauwkeurigheid te bereiken.

Toon aan

Te gebruiken wanneer een bewering aannemelijk moet worden gemaakt zonder deductieve redenering. Voorbeeld: • Gegeven is … . Toon aan dat bij het inkomensevenwicht sprake is van een tekort op de overheidsbegroting.

Leg uit (waarom)

Te gebruiken wanneer een redenering of argumentatie gegeven moet worden die uit enkele afzonderlijke denkstappen bestaat. Voorbeeld: • Leg uit waarom het voor sommige bedrijven economisch gezien voordelig kan zijn om afval opnieuw te gebruiken.

Zie vervolg tabel op volgende pagina.

119


Formulering


Beschrijf

Bij ‘beschrijf’ moet een antwoordrestrictie worden opgenomen. In het volgende voorbeeld is de antwoordrestrictie: ‘in een gesloten economie zonder overheid’. Voorbeeld: • Beschrijf de werking van de multiplier in een gesloten economie zonder overheid.

Beredeneer

Deze standaardformuleringen komen voor in de examens Nederlands, en worden vaak

Beargumenteer

gevolgd door een aanwijzing over de lengte van het antwoord.

Beoordeel/geef een

Voorbeeld:

beoordeling

• Beredeneer dat voorlichting over de gevaren van roken een averechts effect kan hebben.

Vat samen

Gebruik maximaal 40 woorden.

Geef een verklaring

• De schrijver van fragment 2 maakt een verwijt naar de schrijver van fragment 1.

voor

Beoordeel of dit verwijt terecht of niet terecht is. Geef bij je standpunt één op de tekst gebaseerd argument. • Maak een samenvatting in correct Nederlands van maximaal 180 woorden van de tekst … Zorg ervoor dat deze samenvatting begrijpelijk is voor iemand die de oorspronkelijke tekst niet kent.

Regel 8: Formuleer de vraag zodanig dat leerlingen de vraag taalkundig begrijpen. Laat de conceptvragen zo nodig beoordelen door ter zake deskundigen. In de praktijk is er in een aantal gevallen sprake van geringere toetsprestaties van allochtone en vrouwelijke leerlingen. Uit onderzoek is gebleken dat sommige opgaven moeilijker waren voor allochtone dan voor autochtone leerlingen. Dit als gevolg van hun andere culturele en linguïstische achtergrond. Ook bleek dat sommige opgaven moeilijker waren voor meisjes dan voor jongens als gevolg van hun andere interesses en achtergrondkennis. Het verschijnsel dat een verschil in moeilijkheidsgraad van een opgave voor verschillende groepen leerlingen veroorzaakt wordt door aspecten van de opgave die niet relevant zijn voor wat de opgave beoogt te meten, wordt in de testliteratuur ‘itembias’ genoemd. Zie de website van Cito waar over dit onderwerp een publicatie van K. Bügel en P.F. Sanders (1998) kan worden gedownload, getiteld ‘Richtlijnen voor de ontwikkeling van onpartijdige toetsen’, www.cito.nl > Onderzoek en wetenschap > Psychometrie > Richtlijnen ontwikkeling toetsen. Allochtone leerlingen of leerlingen die niet erg taalvaardig zijn, mogen niet benadeeld worden door onnodig complex of al te zeer cultuurgebonden taalgebruik in een toets. Men moet zich er altijd bewust van zijn dat er onbedoelde en ongewenste culturele aspecten getoetst kunnen worden. Dat gevaar dreigt vooral als er meerdere culturen in het spel zijn. Toetsconstructeurs moeten voorkomen dat leerlingen fouten maken die het gevolg zijn van te moeilijk of te vaag taalgebruik. Cultuurgebonden verwijzingen, (te) lange zinnen en teksten, figuurlijk taalgebruik en het gebruik van verwijswoorden leveren bij minder taalvaardige leerlingen problemen op. Het taalgebruik moet echter ook weer niet zo versimpeld worden dat het inhoudelijke niveau van een toets of examen omlaag gaat. Regel 9: Gebruik contexten die aansluiten op het algemene niveau dat van de leerlingen verwacht mag worden. Let daarbij in het bijzonder op de aansluiting van het materiaal bij de voorkennis en het taalniveau van de doelgroep. Gebruik geen contexten en voorbeelden die overwegend inspelen op de belangstelling en ervaring van bepaalde groepen leerlingen. Bij veel open vragen worden de vragen gesteld naar aanleiding van een context, bijvoorbeeld een situatie, een tekst, afbeelding, cartoon, tekening of advertentie. Voor de context geldt dat deze functioneel moet zijn met betrekking tot wat we willen toetsen. Ook moet de context (binnen grafische beperkingen) inhoudelijk en qua vormgeving overeenkomen met teksten en

120


afbeeldingen zoals men deze in werkelijkheid tegenkomt. Het mag niet zo zijn dat de leerlingen zonder zich in de context te verdiepen de vraag kunnen maken. Ook dient voorkomen te worden dat de context of het voorbeeld overwegend aansluiten bij de voorkennis van een bepaalde groep leerlingen, bijvoorbeeld uitsluitend bij vrouwen of mannen. Wanneer toetsvragen overwegend aansluiten bij de voorkennis, ervaring en belangstelling van steeds dezelfde groep leerlingen, wordt deze groep bevoordeeld ten opzichte van andere groepen leerlingen.

7.5 Verschillen bij de beoordeling van open vragen Bij open vragen wordt een zo objectief mogelijke beoordeling nagestreefd. Het is belangrijk dat beoordelaars de antwoorden van de leerlingen zo nauwkeurig mogelijk en steeds op gelijke wijze beoordelen. Dat verhoogt de betrouwbaarheid van de toets (zie hoofdstuk 3). Uit diverse onderzoeken blijkt dat er in de praktijk grote verschillen bestaan tussen de wijze waarop de antwoorden van leerlingen op toetsvragen worden beoordeeld. De belangrijkste oorzaken voor die verschillen, de zogeheten beoordelaarseffecten, worden in onderstaande paragraaf besproken. Oplossingen om deze verschillen te verminderen en het gebruik van het correctie voorschrift worden daarna besproken. 7.5.1 Verschillen tussen beoordelaars We bespreken hier negen beoordelaarseffecten bij de beoordeling van open vragen. Lage intra- en interbeoordelaarsovereenstemming De beoordelaar die hetzelfde antwoord op een later tijdstip opnieuw beoordeelt, bijvoorbeeld omdat leerlingen hebben geprotesteerd tegen de uitslag, komt nogal eens tot een ander oordeel. We spreken dan van een geringe intrabeoordelaarsovereenstemming. Van een geringe interbeoordelaarsovereenstemming is sprake indien twee of meer beoordelaars onafhankelijk van elkaar tot aanzienlijk verschillende beoordelingen van dezelfde toetsvragen komen (zie ook hoofdstuk 3). Strengheid en mildheid Hiermee bedoelen we de neiging van beoordelaars om consequent streng of mild te beoordelen. Normverschuiving Met normverschuiving bedoelen we de neiging van de beoordelaar om de beoordelingen aan te passen aan het gemiddelde niveau van de groep leerlingen. Zo kan het voorkomen dat een aanvankelijk strenge beoordelaar tijdens het beoordelen gaandeweg milder wordt. Centrale tendentie Hiervan is sprake als beoordelaars geen extreem hoge of lage scores geven maar voornamelijk het midden van de beoordelingsschaal gebruiken. Zo geven sommige docenten nooit cijfers hoger dan 8 of lager dan 4. Sequentie-effect Hiervan is sprake als de beoordeling beïnvloed wordt door voorafgaande beoordelingen. Beoordelaars hebben de neiging om na een (groot) aantal slechte prestaties een relatief goede prestatie over te waarderen. Het omgekeerde, na een (groot) aantal goede prestaties een relatief slechte prestatie onderwaarderen, komt ook voor.

121


Contaminatie-effect Indien beoordelaars aan de beoordelingen van de leerlingen nog andere functies toekennen dan louter de beoordeling van de prestaties van de leerlingen, spreken we van het contaminatieeffect. Zo kunnen docenten de resultaten van ‘hun’ leerlingen beschouwen als een maatstaf voor de kwaliteit van hun onderwijs en hier bij het geven van scores rekening mee houden. Halo-effect Hiermee bedoelen we de neiging van beoordelaars om als gevolg van een positieve beoordeling van eerdere vragen/toetsen van leerlingen, ook andere vragen/toetsen van die leerlingen positief te beoordelen. Horn-effect Hiermee bedoelen we de neiging van beoordelaars om als gevolg van een negatieve beoordeling van eerdere vragen/toetsen van leerlingen, ook andere vragen/toetsen van die leerlingen negatief te beoordelen. Signifisch effect Hiervan is sprake als beoordelaars de beoordelaarstaak eigenzinnig, dat wil zeggen anders dan andere beoordelaars, opvatten Zo kan een docent die bij de beoordeling van een opstel uitsluitend op inhoud en opbouw let een opstel daardoor veel hoger waarderen dan andere docenten die ook andere aspecten van het opstel beoordelen. 7.5.2 Oplossingen voor beoordelaarseffecten Het is een utopie te geloven dat de situatie zou kunnen ontstaan dat beoordelaars volledig met elkaar overeenstemmen. Tegen de ongewenste beoordelaarseffecten zijn echter een aantal oplossingen voorhanden die de effecten enigszins teniet kunnen doen: • O m normverschuiving te voorkomen, moet niet steeds het werk van dezelfde leerlingen als eerste nagekeken worden. Aanbevolen wordt om de volgorde van beoordelen regelmatig te wijzigen. • Het sequentie-effect kan beperkt worden door per vraag in plaats van per leerling de antwoorden van de leerlingen te beoordelen. • Het contaminatie-effect is moeilijk oplosbaar zolang er geen scheiding is aangebracht tussen doceren en beoordelen. Intercollegiaal uitwisselen van beoordelingsactiviteiten, docent A beoordeelt de toets van leerlingen van docent B, en andersom, biedt een oplossing. • Het halo-effect kan beperkt worden door de toets anoniem na te kijken. Aan leerlingen wordt gevraagd om niet hun naam op de toets te zetten maar hun identificatienummer. Het haloeffect kan eveneens worden gematigd door het inschakelen van een onafhankelijke tweede beoordelaar. Een tweede beoordelaar beperkt ook het contaminatie-effect. Indien in plaats van de eigen docent een buitenstaander als beoordelaar optreedt, doen beide genoemde effecten zich niet voor. Het inzetten van een tweede beoordelaar zal de beoordeling niet alleen duurder maken maar ook langer laten duren. Of een tweede dan wel onafhankelijke beoordeling echt nodig is, hangt af van de functie van de toets. De betrouwbaarheid van summatieve toetsen op grond waarvan wordt bepaald of een leerling slaagt of zakt, dan wel of een leerling wel of niet wordt toegelaten tot een vervolgstudie, moet uiteraard hoger zijn dan die van formatieve toetsen. Dus vooral bij toetsen waarvan de uitslag vergaande gevolgen heeft voor de leerling, is een betrouwbare uitspraak over een voldoende of onvoldoende van groot belang. Het is daarom aan te bevelen om de toets van leerlingen met een toetsscore rond de zak/slaaggrens door een tweede beoordelaar te laten nakijken.

122


7.5.3 Correctievoorschrift Wanneer beoordelaars een correctievoorschrift hanteren, verkleint dat de verschillen tussen beoordelaars. Een correctievoorschrift leidt ertoe dat (extreem) strenge en (extreem) milde beoordelaars zich matigen. Het gebruik van een dergelijk voorschrift voorkomt ook dat docenten verschillende criteria hanteren bij de beoordeling. Een correctievoorschrift is meer dan een eenvoudige checklist aan de hand waarvan de beoordelaar de antwoorden naloopt. Een correctievoorschrift bevat algemene en vakspecifieke regels voor de beoordeling en voorbeelden van juiste, gedeeltelijk juiste en (voor de hand liggende) onjuiste antwoorden. Ook bevat het modelantwoord de maximaal te behalen score per vraag en (waar zinvol en mogelijk) de verdeling van deze maximumscores in deelscores. De algemene regels gaan in op de wijze van beoordelen en hoe de beoordelaar moet omgaan met gedeeltelijk juiste antwoorden en antwoorden die niet in het modelantwoord voorkomen, zoals doorwerkende fouten (d.w.z. een eerder gemaakte fout die de rest van het antwoord ook fout maakt), identieke fouten en taalfouten. Daarnaast kunnen de algemene regels enkele tips bevatten die beoordelaarseffecten tegengaan.

7.6 Checklist We sluiten dit hoofdstuk af met een checklist die gebruikt kan worden bij de controle van vragen. Die controle kan gedaan worden door de samensteller van de toets of door een collega die de toets screent. De meeste van de genoemde punten zijn ook al bij het onderdeel over de constructieregels besproken.

123


Checklist voor het samenstellen, beoordelen en redigeren van open vragen Taalgebruik • Is de vraag grammaticaal juist geformuleerd? • Bevat de vraag ingewikkelde zinsconstructies? • Bevat de vraag een dubbele ontkenning? • Bevat de vraag onnodige tussenvoegsels? • Is de vraag onnodig negatief gesteld? • Kan de formulering van de vraag aanleiding geven tot misverstanden? • Kan de vraag door een verschuiving van de klemtoon een andere betekenis krijgen? Informatie • Bevat de vraag voldoende informatie voor beantwoording? • Geeft de vraag voldoende informatie over de gewenste lengte en vorm van het antwoord? • Is duidelijk dat een antwoord moet worden verklaard/toegelicht? • Zijn informatie en probleemstelling duidelijk gescheiden? Relevantie • Kan de vraag met gebruik van andere dan de beoogde kennis worden beantwoord? • Suggereert de vraag een probleem dat niet aan de orde is? • Bevat de vraag onbedoelde hints voor de beantwoording? • Is de moeilijkheidsgraad van de vraag respectievelijk van de gehele toets acceptabel? • Wordt de moeilijkheidsgraad van de vraag onnodig verhoogd door irrelevante gegevens? Context • Is het gebruik van context (tekeningen, grafieken, teksten, afbeeldingen) functioneel? • Is de context duidelijk en correct weergegeven? • Bevat de context irrelevante informatie? Presentatie • Zijn de vragen en de vraagonderdelen duidelijk van elkaar te onderscheiden? • Is de nummering van de vragen logisch en overzichtelijk? • Zijn de conventies wat betreft spelling, symboolgebruik, interpunctie, e.d. in acht genomen? • Zijn de verwijzingen in de vraag naar teksten, tekeningen, e.d. juist?

124


7 Het construeren van open vragen. 7 Het construeren van open vragen

Recommend Documents