Toetsen met open vragen Een handleiding voor het construeren van toetsen met open vragen
T.T.M.G. Erkens H.A. Moelands
Citogroep Arnhem, januari xxxx
Grafische vormgeving, opmaak en productie: Afdeling Tekst- en Uitgaveverzorging (Cito). Art. nr. 46612 © citogroep xxxx Niets uit deze uitgave mag zonder voorafgaande schriftelijke toestemming van het Instituut voor Toetsontwikkeling worden verveelvoudigd en/of openbaar gemaakt door middel van druk, fotokopie, microfilm, computersoftware of op welke wijze dan ook.
Woord vooraf
In deze brochure komen de zogenaamde open vragen aan bod: vragen waarbij de leerling zelf het antwoord moet formuleren, Hoewel deze vraagvorm binnen het onderwijs zeer algemeen gebruikt wordt, kleven er allerlei problemen aan. Problemen die vaak pas blijken wanneer de leerlingen de vragen al beantwoord hebben. Deze brochure geeft docenten praktische tips hoe men bij de constructie van een vraag kan voorkomen dat er ongewenste effecten optreden. Daarbij wordt zowel aandacht besteed aan de formulering van de vraag (en het gewenste antwoord) als aan de beoordeling van de door de leerlingen gegeven antwoorden. Bij de samenstelling van de inhoud van deze brochure is soms geput uit allerhande materiaal dat het Cito in de loop van de tijd (gedeeltelijk voor intern gebruik) gepubliceerd heeft. Daarbij is onder andere gebruik gemaakt van het werk van R. Alberts, J. Kok, R. van Krieken, A.J.M. Luijten en H. Groen. Deze brochure is de vijfde in een reeks waarin het Cito beoordelingsproblemen op een heldere en beknopte wijze behandelt. De brochures zijn bestemd voor docenten in het voortgezet onderwijs. Arnhem, december 1991
J. Noijons, voorzitter redactiecommissie
Inhoud
Woord vooraf
Inleiding
7
Doel Opzet
Kaders
3
7 7
9
Toetsmatrijs 9 Leerstof en gedrag Vraagvorm 11
Constructie
10
13
Keuze vraagvormen 13 Vormen van open vragen Constructie 15 Standaardisatie 22 Revisie 25
Correctievoorschriften
14
27
Antwoordmodel 27 Beoordelingsmodel 28 Scoringsvoorschriften 29 Cijfers 30 Beoordelaarsinstructies 30
Controlelijst 33 Taalgebruik 33 Informatie 33 Relevantie 33 Context 34 Presentatie 34 Correctievoorschrift
34
Inleiding
Doel Het doel van deze brochure is docenten een handreiking te bieden bij het zelf construeren van toetsen (overhoringen, proefwerken, schoolonderzoeken, e.d.1 met open vragen, dat wil zeggen vragen waarbij de leerling zelf het antwoord zal moeten formuleren. De brochure belicht een aantal problemen die zich kunnen voordoen bij het construeren van zulke toetsen. Die problemen kunnen zich voordoen bij de voorbereidende werkzaamheden, tijdens het formuleren van de toetsvragen en tijdens de correctie van de leerlingenantwoorden. Wij hebben ons geconcentreerd op de maatschappijgerichte vakken, met name economie en aardrijkskunde, omdat in deze disciplines open vragen zeer frequent in toetssituaties gebruikt worden. Echter, deze brochure is ook goed bruikbaar voor docenten van andere vakken, zoals bijvoorbeeld Nederlands en de moderne vreemde talen (literatuur en kennis van land en volk) of van praktische vakken met een theoretisch gedeelte. De voorbeelden die hier gepresenteerd worden, zijn zo gekozen dat iedere docent duidelijk zal worden hoe open vragen geconstrueerd kunnen worden. De oplossingen die voor allerlei problemen geboden worden, kunnen zowel voor de talenleraar als voor de leraar economie van praktisch nut blijken.
Opzet In het volgende hoofdstuk komt eerst het kader waarin de open vragen geconstrueerd dienen te worden aan bod. Uitgangspunt bij het samenstellen van een toets is het leerplan of het examenprogramma van het desbetreffende vak. De lesmethode, het cursusboek, is meestal de concrete uitwerking van het leerplan waarvoor men gekozen heeft. Bij het samenstellen van een toets is het van belang dat die een goede weergave vormt van het leerplan, voor zover dat behandeld is. De toetsmatrijs vormt hierbij een hulpmiddel. In de toetsmatrijs wordt aangegeven welke leerstof in de toets aan de orde moet worden gesteld en op welke wijze de leerstof bevraagd moet worden. Kortom, de toetsmatrijs is een blauwdruk van de te maken toets. Na het opstellen van de toetsmatrijs kan een keuze worden gemaakt voor het soort vragen (open, meerkeuze, opstel etc) dat in de toets moet worden opgenomen. In deze brochure wordt vervolgens alleen ingegaan op het construeren van open vragen. Aan de open vraag zijn nadelen verbonden. Deze nadelen komen zowel tijdens de constructiefase als tijdens de correctie van de antwoorden naar voren. De toetsconstructeur wil met behulp van een open vraag een bepaald gedrag bij de leerling uitlokken. In de praktijk zal vaak blijken dat de leerling feitelijk ander gedrag vertoont dan was beoogd. Mede hierdoor levert de correctie van een vraag problemen op. Daarnaast
7
ontstaat er bij de correctie nog een probleem dat verband houdt met het feit dat een corrector – al dan niet bewust – subjectieve overwegingen hanteert bij de correctie. In het hoofdstuk over constructie gaan we aan de hand van concrete voorbeelden in op deze problemen. Steeds wordt duidelijk aangegeven hoe de desbetreffende constructieproblemen kunnen worden opgelost. Een van de aanbevelingen ten aanzien van de constructie is om bij iedere open vraag en bij iedere toets een antwoordmodel te maken. In het volgende hoofdstuk wordt duidelijk gemaakt hoe zo’n antwoordmodel niet alleen tijdens de constructie van vragen goede diensten kan bewijzen, maar dat het vooral ook van belang is bij de correctie van de leerlingenantwoorden. Een probleem dat zich nog wel eens voordoet is dat dezelfde docent op verschillende momenten andere beoordelingen geeft van gelijke leerlingenantwoorden. Ook kan het gebeuren dat verschillende docenten zeer uiteenlopende beoordelingen geven van identieke leerlingenantwoorden. Het antwoordmodel blijkt in veel van die gevallen onontbeerlijk te zijn. Dit hoofdstuk eindigt met een serie aanbevelingen. De brochure wordt afgesloten met een controlelijst die men kan hanteren tijdens het opstellen van toetsvragen en antwoordmodellen.
8
Kaders
Een vraag wordt in de regel niet zo maar gesteld. De docent zal bijvoorbeeld willen nagaan of de leerling beschikt over bepaalde kennis of inzicht. Met andere woorden: een vraag wordt gesteld om na te gaan of, en in welke mate, een bepaald onderwijsdoel gerealiseerd is. Het antwoord zou aanleiding kunnen zijn tot een aantal acties, te ondernemen door òf de docent òf de leerling, of beiden. De docent kan besluiten stof te herhalen, de leerling extra werk te geven en de leerling zou kunnen besluiten harder te gaan werken, bijles te gaan nemen, etc. Het merendeel van de op school gemaakte toetsen wordt gedurende het leerproces afgenomen en is bedoeld om het leerproces bij te sturen. Aan dergelijke toetsen kunnen andere eisen worden gesteld dan aan een toets in het kader van de schoolbeoordeling of het schoolonderzoek. Het is dus van belang altijd goed voor ogen te houden welk doel een toets moet dienen. Bij het samenstellen van een toets is het van belang dat de vragen waaruit de toets bestaat een goede weergave vormen van de leerstof, het leerplan of het examenprogramma waarop de toets betrekking heeft. Een examenprogramma is vaak zo omvattend, dat het onmogelijk is alle doelstellingen in de toets aan bod te laten komen; dat zou dagenlange zittingen vergen. In dergelijke situaties moeten keuzes gemaakt worden aan welke doelstelling (en in welke mate) in de te construeren toets aandacht besteed gaat worden. Besloten zou kunnen worden over onmisbare onderdelen van het examenprogramma altijd één of meer vragen te stellen. De andere onderdelen zouden de ene keer wel en de andere keer niet in de toets opgenomen kunnen worden. Maar ook bij een bescheidener omvang van de te bevragen leerstof dient men weloverwogen te werk te gaan. Het heeft weinig zin in een toets uitvoerig zaken aan bod te laten komen die uiteindelijk relatief van weinig belang zijn. Als niet het meten van de ijver van de leerlingen het belangrijkste toetsdoel is, kan men beter vragen stellen die van de leerling iets meer verwachten dan het puur reproduceren van opgedane kennis.
Toetsmatrijs Een toetsmatrijs is een handig hulpmiddel om een kader te scheppen voor de samenstelling van een toets. Het is een overzichtstabel, waarin aangegeven wordt hoe vragen kunnen worden verdeeld over leerstof en vaardigheden. Ook maakt een toetsmatrijs het mogelijk over hetzelfde onderwerp meerdere toetsen te construeren die inhoudelijk vergelijkbaar zijn. Een toetsmatrijs werkt als een blauwdruk voor een toets. In één oogopslag is te zien om welke leerstof het in de toets zal moeten gaan en over welke vaardigheden de leerling zal moeten beschikken (welk gedrag de leerling zal moeten tonen). Hierna ziet u zo’n toetsmatrijs.
9
leerstof
gedrag reproductie
totaal per vakonderdeel productie
A
4
B
3
C
1
D
1
totaal
4
8
in totaal 12 vragen of een veelvoud ervan
Leerstof en gedrag De beschrijving van de leerstofkan gebaseerd zijn op de wettelijke omschrijving van de examenstof of op een analyse van de gebruikte leerboeken. Bij een beperktere hoeveelheid stof kan het gaan om (delen van1 hoofdstukken. In dat laatste geval zullen we zien dat het soms de moeite niet loont om een toetsmatrijs te maken. Bij de beschrijving van het gedrag moeten we denken aan de vaardigheden die we van de leerling verwachten. Voorbeelden van gedrag zijn: kennis het kunnen herkennen of herinneren van eerder verworven leerstof begrijpen het kunnen vatten van de betekenis of de bedoeling van leerstof toepassen het zich herinneren en toepassen van regels, procedures en principes op nieuwe situaties analyse het ontdekken van relaties tussen leerstofcomponenten Wanneer we nu in het eindexamenprogramma of in een andere verzameling van einddoelstellingen lezen dat van de kandidaat kennis en inzicht in het vak wordt verwacht dan dienen we in de toetsmatrijs kennis en inzicht te laten terugkomen. Het hangt dus van het toetsdoel af welke vaardigheden in de toetsmatrijs dienen te worden opgenomen. In de praktijk zal vaak blijken dat we met een eenvoudige indeling in gedragscategorieën kunnen werken: productie en reproductie (zoals ook gebeurd is in het voorbeeld van de toetsmatrijs). Van reproductie is sprake wanneer een kandidaat wordt geacht een min of meer letterlijke weergave van vroeger verworven informatie (jaartallen, definities, regels, inhouden) te kunnen leveren. Wanneer van de kandidaat productie wordt verlangd, dan dien deze een uitwerking, bewerking, verklaring, samenvatting, uitleg of beoordeling te kunnen geven van gegeven informatie. Elke cel heeft dus betrekking op een doelstelling, dat wil zeggen op een deel’van de leerof examenstof en op een vaardigheidsaspect. Langs de randen van de matrijs noteert u de verdeling van de vragen over de verschillende gedeelten van de leerstof en de vaardigheden. De bovengenoemde matrijs geeft bijvoorbeeld aan dat er vier keer zoveel
10
vragen in de toets (moeten) zitten over leerstof A dan over leerstof D. Die verhouding (4:l) kan veroorzaakt worden door het examenprogramma. Maar het kan ook zijn dat u het ene onderdeel belangrijker vindt dan het andere en op basis daarvan de verhouding bepaalt.
Vraagvorm Bij het opstellen van de toetsmatrijs voor uw vak dient u per aangegeven cel na te gaan, op welke wijze u wilt toetsen of een leerling de desbetreffende doelstelling bereikt heeft. Een leerling kan bijvoorbeeld op verschillende manieren van zijn kennis getuigen. Hij kan zijn kennis moeten reproduceren, bijvoorbeeld door een stelling op te schrijven. Maar ook kan hij zijn kennis moeten toepassen in een opgave waarin kennis van die stelling onontbeerlijk is, zonder dat er om veel inzicht wordt gevraagd. Het is verstandig in de toetsmatrijs in ieder geval aan te geven of u de kandidaat zijn kennis wil laten reproduceren of dat hij een stapje verder moet gaan en die kennis in een of andere vorm moet produceren. Bij een schriftelijke toets moet u beslissen of u gebruik gaat maken van een gesloten vraag of een open vraag. In een aantal gevallen zal de te toetsen doelstelling bepalend zijn voor de te gebruiken vraagvorm. In deze brochure zullen we verder alleen spreken over open vragen. Waarom en wanneer u voor deze vraagvorm zou moeten kiezen, komt in het volgende hoofdstuk aan de orde. Voordelen van het gebruik van een toetsmatrijs zijn: – U vermijdt dat teveel opdrachten worden gemaakt die gericht zijn op dezelfde leerstof dan wel op dezelfde vaardigheid; – Wanneer de toetsmatrijs een juiste verhouding weergeeft van het aantal vragen in vergelijking met de verschillende onderdelen van het leer- of examenprogramma, is de kans dat de toets een representatieve steekproef vormt van de te toetsen doelstellingen groter; – U kunt als u twee toetsen over dezelfde leerstof wilt maken de gelijkwaardigheid tussen die toetsen vergroten door ze beide op te stellen aan de hand van één toetsmatrijs; – De toetsmatrijs kan dienen als een verantwoording van de inhoud van de toets naar anderen, zoals collega-vakdocenten, inspectie, enz. NB
Bedenk dat het maken van een toetsmatrijs een tijdrovende bezigheid kan zijn. U zult zelf, met name bij eenvoudige toetsen, moeten afwegen of de genoemde voordelen opwegen tegen de tijdsinvestering. Bij belangrijke toetsen, bijvoorbeeld in het schoolonderzoek, adviseren wij u die tijdsinvestering te doen en een toetsmatrijs op te stellen.
Tip
Maak een toetsmatrijs: – bepaal de verschillende vakinhouden – bepaal de verschillende vaardigheden – bepaal het aantal vragen per vakinhoud en vaardigheid
Tip
Bepaal per doelstelling de vraagvorm waarvan u gebruik wilt maken in de toets.
11
Constructie
Een veel gebruikte indeling van vraagvormen is de onderscheiding in open en gesloten vragen. Open vragen zijn vragen waarbij de leerling het antwoord zelf moet formuleren. Dat antwoord kan in lengte variëren van één woord of enkele woorden (kortantwoordvraag) tot een volledig betoog (opstelvraag). Bij gesloten vragen, ook wel meerkeuzevragen genoemd, dient het antwoord te worden gegeven door het aankruisen van het juiste antwoord.
Keuze vraagvormen Welke vraagvorm het meest geschikt is, is afhankelijk van de situatie en van het doel dat getoetst moet worden. Hieronder wordt een overzicht gegeven van de belangrijkste vooren nadelen van de open vragen. Daarnaast geven we hier ook de voor- en nadelen van gesloten vragen. Mocht u twijfelen of de open vraag wel de beste vraagsoort is voor uw toets, dan kunt u daar nog eens kijken of dan misschien een gesloten vraag toch niet een betere oplossing is. Ook kunt u dan overwegen uw toets te laten bestaan uit een gedeelte met open vragen en een gedeelte met gesloten vragen. Echter, over de laatste vraagsoort zult u in deze brochure overigens geen verdere informatie meer vinden. Voordelen van open vragen –
–
–
–
Sommige doelen kunnen alleen met open vragen getoetst worden. Bijvoorbeeld doelen waarbij creativiteit een rol speelt (het ontwerpen van een onderzoeksopzet) of wanneer de kennis van de verschillende leerlingen heel divers is (bijvoorbeeld: Noem de namen van twee Hanzesteden uit de Middeleeuwen; dit behoeven niet voor alle leerlingen dezelfde steden te zijn). De leerlingen worden bij het beantwoorden van een open vraag niet in hun vrijheid beperkt en kunnen daardoor creatief, als dat gewenst is, bezig zijn. Dit voordeel geldt meer voor de lang-antwoordvragen dan voor de kort-antwoordvragen. De leerlingen maken productief gebruik van de taal, waaronder ook de vaktermen, als belangrijk communicatiemiddel, als dat tenminste bij de desbetreffende leerstof of het betreffende vak relevant is. De docent kan aan de antwoorden van leerlingen zien of de vraag al dan niet duidelijk gesteld was. Als er problemen van die aard blijken te zijn, dan kan de vraag voor gebruik in een andere toets worden bijgesteld.
Nadelen van open vragen –
Het is lastig open vragen zo te formuleren dat het voor leerlingen duidelijk is wat voor antwoord van ze wordt verlangd. Worden leerlingen die de vraag niet goed begrepen hebben voor hun onbegrip gestraft?
13
–
–
Ook als een open vraag helder gesteld is, kan de beoordeling van de antwoorden van docent tot docent verschillen. Dit vormt niet zozeer een probleem wanneer één docent een werk beoordeelt, maar vooral als het gaat om gemeenschappelijke proefwerken en schoolonderzoeken. Een groot deel van de problemen is op te vangen met een vooraf opgesteld, vrij nauwkeurig correctiemodel. Het corrigeren kan nogal tijdrovend zijn.
Sommige van deze bezwaren zullen voor de docent aanleiding zijn om van het gebruik van open vragen te willen afzien. Het is dan goed eerst ‘eens te kijken in onderstaande lijst van voor- en nadelen van gesloten vragen of die een alternatief bieden. Vaak is er geen keus en zal er gebruik moeten worden gemaakt van open vragen. Het is de opzet van deze brochure om zoveel mogelijk aan de bezwaren die hier genoemd zijn tegemoet te komen. Voordelen van gesloten vragen – – –
Het corrigeren kost weinig tijd. Bij geprecodeerde vragen kan dit zelfs met behulp van een mal. De beoordeling is volledig objectief: er zullen geen verschillen optreden tussen beoordelaars; ook één beoordelaar zal alle leerlingen gelijk beoordelen. Of leerlingen goed of slecht kunnen formuleren, speelt geen rol.
Nadelen van gesloten vragen – – –
–
–
Niet alle soorten doelen kunnen met gesloten vragen getoetst worden. Zie ook het eerstgenoemde voordeel van open vragen. Er wordt vaak een groter beroep gedaan op de leesvaardigheid van de leerlingen dan bij open vragen. Voor bepaalde leerlingen kan dit een probleem vormen. Naarmate het aantal alternatieven kleiner is, is de kans groter dat het goede antwoord door raden gekozen wordt. Dit nadeel speelt minder een rol naarmate het aantal vragen groter is. In de praktijk ziet men vaak dat vragen naar te reproduceren kennis (‘weetjes’, definities, feiten) overheersen, en dat vragen die op een hoger denkniveau mikken (begrippen, toepassing) vrijwel ontbreken. Het construeren van goede gesloten vragen is niet eenvoudig. Dit klemt des te meer omdat een gebrek in de vraag niet direct duidelijk wordt uit de antwoorden van leerlingen. Daarvoor is grondiger analyse nodig, waarvoor docenten vaak niet de mogelijkheden hebben.
Met name het laatste bezwaar tegen gesloten vragen kan een extra reden zijn voor docenten om te kiezen voor de open vraag. Daarbij zou het een misverstand zijn te denken dat een open vraag dan ‘gemakkelijk’ te construeren is, om maar niet te spreken van de te verwachten beoordelingsproblemen. Het gaat hier om een relatief begrip. Maar met behulp van deze brochure zal het voor de docent wellicht eenvoudiger zijn om een open vraag te formuleren dan om een in de praktijk goed werkzame gesloten vraag te construeren.
14
Vormen van open vragen Open vragen kunnen in diverse vormen voorkomen. Een onderscheid is daarbij te maken naar de lengte van het antwoord: – in- en aanvulvragen Van de leerling wordt verwacht dat hij een onvolledige zin, berekening of tekening completeert. Voorbeeld: De hoogste berg van Europa is de … De moord op … vormde de directe aanleiding tot de eerste wereldoorlog. –
kort-antwoordvragen Van de leerling wordt verwacht dat hij de vraag beantwoordt door middel van een citaat, enkele woorden, een enkelvoudige zin, getal, (eenvoudige) tekening of formule. Voorbeeld: Van welke vorm van werkeloosheid is hier sprake?
–
lang-antwoordvragen Van de leerling wordt verwacht dat hij de vraag beantwoordt door middel van een samengestelde zin of een toelichting, een gecompliceerde berekening of tekening, of een bewijs bestaande uit verschillende stappen. Voorbeeld: Leg uit waarom loonmatiging één van de voorwaarden is om de koppeling in stand te houden.
–
opstelvragen Van een leerling wordt verwacht dat hij een aanzienlijk stuk tekst, gestructureerd bijvoorbeeld naar inleiding, midden en slot, of een zeer gedetailleerde tekening of berekening produceert, die beide als een afgerond geheel beschouwd kunnen worden. Voorbeeld: Uit bijgaand artikel blijkt dat Duisenberg voorstander is van het verlagen van de reële arbeidskosten t.o.v. de rendementen. Duisenberg maakt hier gebruik van de zgn. jaargangentheorie. Laat m.b.t. het jaargangenmodel van het CPB zien dat de verlaging van de reële arbeidskosten kan zorgen voor werkgelegenheid. Maak gebruik van een grafische weergave en de termen economische veroudering, arbeidscoëfficiënt en economische levensduur.
Constructie Bij de constructie van open vragen kunnen zich allerlei problemen voordoen. Een aantal van deze problemen heeft te maken met de constructie van de vraag (de tekst), die de leerlingen voorgelegd krijgen. Met sommige van die problemen wordt u als docent overigens pas geconfronteerd tijdens de beoordeling van het antwoord van de leerling op de vraag. De formulering van de vraag Vraag: Wat is een verkavelingspatroon? En geef daarvan twee voorbeelden. Dit lijkt een eenduidige vraag. Maar kijk eens naar drie mogelijke antwoorden.
15
Antwoord 1: ❚ ❚
Een bepaalde regelmaat in kavelvormen Voorbeelden: – strookberkaveling – blokverkaveling
Antwoord 2: ❚ ❚
De wijze waarop een gebied verkaveld is Voorbeelden: – regelmatig – onregelmatig
Antwoord 3: ❚ ❚
De vorm en verdeling van kavels over een gebied Voorbeelden: – rationeel bepaald – door traditie (erfrecht) bepaald
De vraag lokt uiteenlopende antwoorden uit die stuk voor stuk te verdedigen zijn, omdat ze strikt genomen betrekking hebben op uiteenlopende interpretaties van de vraag. Het antwoord van de leerling zegt ook niet veel over de mate waarin het onderwijsdoel is bereikt: het onderwijsdoel zelf is immers in de vraag onduidelijk weergegeven. We weten bijvoorbeeld niet of de leerling van antwoord 1 weet wat ‘blokverkaveling’ inhoudt. Het lijkt niet waarschijnlijk dat het onderwijsdoel alleen zal zijn geweest dat leerlingen van de termen op de hoogte zijn. Bij antwoord 2 zien wij hoe de leerling het eerste deel van de vraag beantwoordt op een wijze die ook door volstrekte leken op dit gebied zou kunnen zijn gedaan: door zijn kennis van het Nederlands toe te passen en voor ‘patroon’ een synoniem te geven, geeft hij een niet af te wijzen antwoord. Tip
Formuleer bij open vragen altijd een normantwoord, het gewenste goede antwoord dus, hoe simpel de vraag ook lijkt.
Deze eerste aanbeveling zal nog nader worden uitgediept. Daartoe kan het tweede voorbeeld goede diensten bewijzen.
16
Onderstaand voorbeeld laat een vraag zien waarbij inderdaad een normantwoord is geformuleerd: de eerste aanbeveling is dus opgevolgd. Vraag Noem enkele factoren die van invloed zijn op de bodemvorming. Normantwoord Natuurlijke factoren – – – – –
klimaat natuurlijke plantengroei bodemleven moedergesteente reliëf
Menselijke factoren – –
bemesten ontwateren
Laten we nu eens de vraag met het normantwoord vergelijken en daarbij uitgaan van het normantwoord. Opvallend is dan dat het normantwoord uitvoeriger is dan uit de vraag blijkt. Een kandidaat kan immers van mening zijn dat het vermelden van twee (= enkele) factoren voldoende is, terwijl hij volgens het normantwoord zeven factoren moet noemen en daarbij onderscheid moet maken tussen natuurlijke en menselijke factoren. Tip
Controleer de vraag steeds vanuit het antwoord. Nog beter is het eerst het normantwoord te omschrijven en dan pas de vraag te formuleren,
Toepassing van deze twee tips zou ertoe kunnen leiden dat de laatste vraag aldus geformuleerd wordt: Vraag Noem drie natuurlijke en twee menselijke factoren die van invloed zijn op de bodemvorming Normantwoord Natuurlijke factoren Voorbeelden van juiste antwoorden: – klimaat – natuurlijke plantengroei – reliëf – moedergesteente – bodemleven
Menselijke factoren Voorbeelden van juiste antwoorden: – bemesten – ontwateren – irrigeren
Erg nauw verbonden met het aangeven van het normantwoord is de verdeling van het aantal te behalen scorepunten bij de gestelde vraag. In het volgende hoofdstuk over de correctievoorschriften wordt daar nader op ingegaan. Toch dient u in deze fase van het constructieproces al aan te geven welke delen van het antwoord van het grootste gewicht
17
zijn en hoeveel punten u daaraan (voorlopig) zoudt willen toekennen. Normantwoord In de periode 1970/1977 zijn in gebied A jaarlijks gemiddeld 24447 mensen meer vertrokken dan er zich vestigden.
3 punten
De onderstreepte woorden mogen elk met 1 punt gehonoreerd worden.
Tip
Geef bij een normantwoord aan op welke wijze de te behalen scorepunten verdeeld moeten worden over de delen van het antwoord.
Bij het formuleren van een vraag moet u er ook voor zorgen dat de vraag niet voor meerdere uitleg vatbaar is. Een voorbeeld: Waarom bepaalt het KNMI elk uur de temperatuur op een groot aantal meetpunten?
Deze vraag kan door het verschillend leggen van de klemtoon voor velerlei uitleg vatbaar zijn en dus tot uiteenlopende antwoorden leiden. Waarom bepaalt het KNMI elk uur de temperatuur op een groot aantal meetpunten? – nadruk op ‘waarom’: Omdat dat nuttige informatie voor o.a. boeren en tuinders oplevert. – nadruk op ‘het KNMI’: Omdat het tot de taken van dat instituut behoort. – nadruk op ‘elk uur’: Omdat dat een grotere betrouwbaarheid oplevert vergeleken bij een kleiner aantal meetmomenten. – nadruk op ‘de temperatuur’: Omdat temperatuurgegevens onmisbaar zijn voor het doen van goede weersvoorspellingen. – nadruk op ‘op een groot aantal meetpunten’: Omdat temperaturen nogal kunnen verschillen van plaats tot plaats.
Iedereen heeft een bepaalde manier van lezen en zal zich niet zonder meer bewust zijn van de vele interpretaties, die in een zin gelegd kunnen worden. Daarom is het goed collega’s – eventueel ook buiten het vakgebied – eens een blik te laten werpen op de conceptvragen. Tip
18
Laat (terzake deskundige) collega’s de conceptvragen maken (en niet alleen doorlezen). Verzamel de antwoorden en de eventuele op- en aanmerkingen en vergelijk die met uw eigen antwoorden. Stel op basis daarvan de vragen bij.
Het verschillend interpreteren van een vraag kan vaak worden opgelost, of liever verzacht, door het splitsen van de vraag in een informatiegedeelte en een vraaggedeelte. Bijvoorbeeld op de volgende manier. Het KNMI bepaalt elk uur de temperatuur via een groot aantal meetpunten. 1. Geef een reden waarom dat elk uur gebeurt. 2. Geef een reden waarom dat op een groot aantal meetpunten gebeurt.
Tip
Splits, indien mogelijk, een vraag in een informatiegedeelte en een vraaggedeelte.
Antwoordrestricties Veelal zullen aanpassingen in een vraag neerkomen op het duidelijker aangeven in de vraag wat u van de leerling verwacht. Indien u een vraag stelt waarvan u het vermoeden heeft dat deze kan leiden tot niet gewenste antwoorden, kunt u gebruik maken van antwoordrestricties. Antwoordrestricties kunt u zien als extra informatie aan de leerlingen, die aangeven in welke richting het antwoord wel of niet moet gaan. Enkele voorbeelden: Wat is het huidige bodemgebruik van de fluvioglaciale gebieden aan de zuidrand van de Veluwe? Normantwoord: Bos of heide. Niet gewenst:
Elk ander bodemgebruik dan bos of heide dat door de leerling wordt genoemd, omdat deze bekend is met een lokale situatie.
oplossing:
antwoordrestrictie toevoegen … overheersende bodemgebruik …
19
Noem een reden waarom er steeds meer maïs wordt verbouwd in de zandgebieden. Normantwoord: Veel vee ➝ veel mest ➝ maïs kan veel bemesting verdragen en verkleint daarmee het mestprobleem Niet gewenst:
Vergroting van rentabiliteit van de bedrijfsvoering.
Oplossing:
antwoordrestrictie toevoegen Zie bij de beantwoording af van directe economische redenen,
Juist de noodzaak om in open vragen afdoende antwoordrestricties in te bouwen, maakt het construeren van open vragen tot een moeilijke opgave. Toch is dit een essentieel onderdeel, dat met name ook voor de beoordeling van belang is. Tip
Maak gebruik van antwoordrestricties als de gestelde vraag andere dan bedoelde antwoorden zou kunnen oproepen.
Zorg bij de constructie van vragen ervoor dat de inleiding op de vraag de leerling niet op het spoor zet waarop de vraag geen betrekking heeft. Een voorbeeld. Het zoutgehalte van het water van het Veerse Meer wordt beïnvloed door elkaar tegenwerkende factoren. – –
Noem twee factoren die het zoutgehalte kunnen verlagen. Noem twee factoren die het zoutgehalte kunnen verhogen.
ad 1
Antwoorden
– –
neerslag afwatering aangrenzend land
ad 2
Antwoorden :
– – –
schutwater verdamping zoute kwel
Bovenstaande vraag zet de leerling op het spoor van de waterhuishouding van een specifiek gebied in Zeeland, terwijl de vraag in feite iets beoogt, dat voor alle afgesloten zeearmen geldt. Via de volgende redactie ‘sporen’ de informatie in de vraag en de vraag zelf weer met elkaar.
20
Het zoutgehalte van het water van ingedijkte zeearmen, zoals Veerse Meer, Grevelingen en Lauwersmeer, wordt beïnvloed door elkaar tegenwerkende factoren. – –
Noem twee factoren die het zoutgehalte kunnen verlagen. Noem twee factoren die het zoutgehalte kunnen verhogen.
Sommige vraagformuleringen in leerboeken, proefwerken en soms ook examens leiden tot problemen, omdat ze geen of onduidelijke antwoordinstructies bevatten. Ter illustratie hiervan geven we nu enkele voorbeelden. Bij de voorbeelden zullen we aangegeven waarom de vraagformulering voor verbetering vatbaar is. –
Probeer eens uit te leggen waarom..... De uitleg is van belang en niet de poging.
–
Waarom berekent het KNMI..... Bij deze vraag is onduidelijk hoeveel argumenten moeten worden gegeven.
–
Kun je aangeven op welke manier.... Het gaat er niet om of de leerling iets kan aangeven, maar dat hij de manier aangeeft.
–
Zal de maatregel leiden tot een stijging of een daling van het besteedbare inkomen? De leerling zal zowel bij stijging als bij daling met ‘ja’ kunnen volstaan, hetgeen vast niet de bedoeling is geweest.
Bovenstaande voorbeelden laten zien, dat er in deze formuleringen geen concrete opdrachten of vraag zijn aangegeven. Ook is er geen houvast geven voor de mate van volledigheid van het vereiste antwoord. Van dat laatste probleem – de onduidelijkheid over de volledigheid van het verwachte antwoord – volgen hier nog enkele andere voorbeelden. –
Hoe verliep de binnenlandse migratie van landsdeel West na 1980?
–
Wat betekent het dat het autobezit in Nederland steeds meer toeneemt?
–
Wanneer zal het mestprobleem van de Nederlandse boeren drastisch kunnen worden teruggedrongen?
Het zal duidelijk zijn dat ook deze formuleringen soms zeer uiteenlopende interpretaties toestaan, zeker als het gaat om de richting waarin het antwoord gegeven moet worden.
21
Tip
Hanteer concrete opdrachten en vragen als: ‘noem drie...‘, ’leg uit...‘, ‘geef twee redenen waarom...,’ etc.
Tip
Ga kritisch om met opdracht- en vraagformuleringen. Vermijd die formuleringen die niet duidelijk het gewenste gedrag oproepen.
Standaardisatie Wanneer u proefwerken en schoolonderzoeken bekijkt, zult u een aantal verschillende vraag-en opdrachtformuleringen tegenkomen. Voorbeelden van veel gebruikte formuleringen zijn o.a.: beschrijf..., leg uit..., verklaar..., bereken..., leid af..., wanneer..., welke..., hoelang ... . Op zich is er met deze verschillende opdrachten en vraagformuleringen niets aan de hand, maar de praktijk laat zien dat ze bij leerlingen vaak eenzelfde antwoordgedrag oproepen. Voorts kunnen zich problemen voordoen als bepaalde formuleringen niet steeds consequent gebruikt worden. Voor leerlingen is het prettig als zij bij een bepaalde opdracht- of vraagvorm bij alle vakken eenzelfde soort antwoord moeten geven. Het is daarom goed te komen tot een gemeenschappelijke lijst van vraagformuleringen. Door het hanteren van een dergelijke lijst ontstaat er voor u en uw leerlingen duidelijkheid over het per opdracht- en vraagvorm vereiste antwoord. Algemene uitspraken in de zin van zó moet het en zó mag het beslist niet, zijn op het punt van vraagformuleringen helaas niet te doen, op wellicht deze ene na: Wees kritisch. Stel u dus voortdurend de vraag of er geen onbedoelde interpretaties aan opdrachten en vragen gegeven kunnen worden. Kort-antwoordvragen Formulering
eventuele aanwijzing met voorbeeld
Noem
Dit is een kort-antwoordvraag die te gebruiken is bij een vraag naar iets concreets zoals term, plaats, gebeurtenis; bijvoorbeeld: • •
Noem 2 factoren die de hoogte van het inkomen bepalen. Noem 5 kenmerken van een ontwikkelingsland.
Geef (aan)
‘Geef..’ kan een kort-antwoordvraag zijn of een lang-antwoordvraag (zie aldaar), die te gebruiken is bij een vraag naar iets abstracts zoals een reden, oorzaak. (Dus niet: waarom...) Bijvoorbeeld: • Geef de formule van de prijselasticiteit van de vraag.
Hoe
Deze kort-antwoordvraag is te gebruiken bij kwantitatieve vragen; bijvoorbeeld: • •
Wie
22
... Hoeveel % van de pakken zal minder dan 1 kg bevatten? ... Hoe groot is de gemiddelde speling?
‘Wie’ kan gebruikt worden bij reproductie- of bij identificatievragen.
Een voorbeeld van deze kort-antwoordvraag: •
Wat
Dit is een kort-antwoordvraag; bijvoorbeeld: • •
Waar
... Wanneer is de freesmachine afgeschreven?
Een voorbeeld van deze kort-antwoordvraag: •
Journaliseer
Welke informatie verschaft de prijselasticiteit van de vraag? Voor welke waarde van ... geldt ...?
Een voorbeeld van deze kort-antwoordvraag: •
Arceer
... Waar zal het bedrijf zich vestigen?
‘Welke’ is bij voorkeur een vraag naar een concreet object of een concrete categorie. Voorbeelden van deze kort-antwoordvraag: • •
Wanneer
Wat is de betekenis van de letters in de afkorting AIDA? Wat wordt verstaan onder arbeidsproductiviteit?
‘Waar’ heeft betrekking op een concrete plaatsaanduiding. Voorbeelden van deze kort-antwoordvraag: •
Welke
... Wie is eigenaar van de boot op het moment dat de boot vergaat?
Arceer op het uitwerkblad het grondvlak van
Deze kort-antwoordvraag kan gebruikt worden voor het debiteren en crediteren van bedragen in grootboekrekeningen; bijvoorbeeld: •
... A en 6 brengen hun zaken bijeen in een VOF. Journaliseer de inbreng van A.
Lang-antwoordvraag Formulering
eventuele aanwijzing met voorbeeld
Geef (aan)
‘Geef..’ kan een lang-antwoordvraag zijn of een kort-antwoordvraag (zie aldaar), die te gebruiken is bij een vraag naar iets abstracts zoals een reden, oorzaak. (Dus niet: waarom...) Bijvoorbeeld: •
Teken
Dit is een lang-antwoordvraag; bijvoorbeeld: •
Geef de berekening van
... Teken het schema van de goederenstroom door het bedrijf.
Dit is een lang-antwoordvraag waarbij ook de berekening zelf gegeven en beoordeeld moet worden+ bijvoorbeeld: •
Laat met een berekening zien
Geef de oorzaak voor het ontstaan van conjuncturele werkloosheid.
Geef de berekening van de totale constante kosten per jaar.
Dit is een lang-antwoordvraag naar een berekening waarbij de uitkomst van de berekening al in de vraag staat aangegeven; bijvoorbeeld: •
Laat met een berekening zien dat de totale constante kosten f 500.000,– per jaar bedragen.
23
Stel op/samen
Kan gebruikt worden voor het opstellen van vergelijkingen, ongelijkheden, functievoorschriften, vectorvoorstellingen, matrices, balansen enz. Dit is een lang-antwoordvraag. Een voorbeeld: •
Leid af
Dit is een lang-antwoordvraag die gebruikt kan worden om op basis van verstrekte gegevens het gevraagde af te leiden. Als de berekening of argumentatie verwacht wordt, moet dit in de vraag worden aangegeven. Een voorbeeld: •
Onderzoek
Leg uit waarom het voor sommige bedrijven economisch gezien voordelig kan zijn afval opnieuw te gebruiken.
Bij ‘beschrijf’ moet een antwoordrestrictie worden opgenomen. De restrictie bij deze vraag is: ‘in een gesloten economie zonder overheid’. Een voorbeeld van deze lang-antwoordvraag: •
24
Gegeven is ... Toon aan dat bij het inkomensevenwicht sprake is van een tekort op de overheidsbegroting.
Deze lang-antwoordvraag kan gebruikt worden wanneer een redenering of argumentatie gegeven moet worden die uit enkele afzonderlijke (denk)stappen bestaat. Een voorbeeld: •
Beschrijf
Bewijs dat de steekproef groot genoeg is om de vereiste nauwkeurigheid te bereiken.
Hierbij moet een bewering aannemelijk worden gemaakt zonder deductieve redenering. Een voorbeeld van deze lang-antwoordvraag: •
Leg uit (waarom)
Onderzoek of de steekproef groot genoeg is om de vereiste nauwkeurigheid te bereiken.
Dit is een lang-antwoordvraag waarbij op deductieve wijze bewezen moet worden dat een bewering waar is door deze te herleiden tot definities, stellingen of axioma’s. Voorbeelden: •
Toon aan
Leid uit het model de hoogte van het nationale inkomen af waarbij sprake is van inkomensevenwicht.
Deze lang-antwoordvraag kan gebruikt worden voor het onderzoeken van – een serie van eigenschappen van een functie; – beweringen, onder andere in de statistiek. Een voorbeeld: •
Bewijs
... Stel de balans samen.
Beschrijf de werking van de multiplier in een gesloten economie zonder overheid.
In de praktijk is gebleken dat met bovenstaande formuleringen nagenoeg alle (soorten) vragen gesteld kunnen worden. Meestal is het goed mogelijk ‘afwijkende’ opdrachtformuleringen om te zetten in één van de hierboven gegeven formuleringen. Een uitzondering hierop vormen die opdrachtformuleringen die vakspecifiek zijn. Zo functioneert bij bedrijfseconomie de formulering ‘Stel op/Stel samen’ prima wanneer naar balansen en andere overzichten gevraagd wordt. Ook de formulering ‘journaliseer’ kan gezien worden als een vakspecifieke formulering voor bedrijfseconomie. In het algemeen dient men telkens na te gaan of het gewenste gedrag van de leerling ook door de desbetreffende vraagvorm opgeroepen wordt. Opdracht- of vraagformuleringen die niet duidelijk het gewenste gedrag aangeven moeten dus vermeden worden. Tip
Kom tot afspraken wat betreft opdracht- en vraagwoorden. Gebruik een beperkt aantal opdracht- en vraagwoorden. Geef aan opdracht- en vraagwoorden steeds eenzelfde betekenis.
Revisie De ervaring leert dat het reviseren van de vragen naar aanleiding van op- en aanmerkingen van terzake kundige collega’s een groot probleem is, dat tot veel frustraties kan leiden. Het is daarom van (psychologisch) belang dat degene die open vragen construeert een commentaarronde inbouwt waarin collega’s worden uitgenodigd kritiek te leveren. In de praktijk zal dit wellicht enige vertraging bij de productie opleveren, maar de winst op langere termijn is groot. Enerzijds zal het de kwaliteit van de vragen ten goede komen: men kan nu eenmaal niet alle consequenties van een vraag overzien, anderzijds vergroot zo’n procedure de kans dat bij de beoordeling van de leerlingprestaties dezelfde maatstaven worden gehanteerd: de vraag is een gemeenschappelijke verantwoordelijkheid geworden. Mocht de vraag in de praktijk niet geheel voldoen, dan zal er eerder overleg plaatsvinden. Het gaat hier dan alleen nog maar om de formulering van de vragen en nog niet expliciet over de normantwoorden. Veelal zal ook daaraan gesleuteld moeten worden om tegemoet te komen aan de gemaakte opmerkingen van collega’s. Tip
Bouw bij de constructie een commentaarronde in. Betrek daarbij nadrukkelijk de normantwoorden.
25
Hieronder vindt u de belangrijkste stappen in het constructieproces nog eens op een rijtje: –
Formuleer altijd eerst het normantwoord.
–
Controleer de vraag steeds vanuit het normantwoord. Beter nog: formuleer eerst het normantwoord en dan pas de vraag.
–
Vermijd formuleringen die misschien niet het gewenste gedrag oproepen.
–
Splits de vraag in een informatie- en een vraaggedeelte.
–
Hanteer concrete opdracht- en vraagformuleringen.
–
Streef (met uw collega’s) naar een aantal standaardformuleringen.
–
Maak zo nodig gebruik van antwoordrestricties.
–
Geef aan hoe de te behalen scorepunten verdeeld moeten worden over delen van het antwoord.
–
Laat de conceptvragen en normantwoorden beoordelen door collega deskundigen. Stel, indien nodig, de vragen bij.
26
Correctievoorschriften
Wij hebben gezien dat tot de taak van de docent niet alleen behoort het samenstellen van toetsvragen, maar ook de beoordeling van de antwoorden. Bij gesloten vragen zitten de goede antwoorden in de vraag besloten. Bij open vragen ligt dat anders: docenten zullen duidelijk moeten maken welke antwoorden zij als goed, gedeeltelijk goed en als fout beschouwen. In feite moeten zij dus vooraf vaststellen aan welke normen de antwoorden van de kandidaten moeten voldoen en hoeveel punten voor de goede antwoorden en de gedeeltelijk goede antwoorden beschikbaar zijn. Dit alles is nodig om een zo objectief en gelijk mogelijke beoordeling van de leerlingen te krijgen. Immers, gelijke prestaties moeten ook leiden tot een gelijke waardering. Bij een juiste beoordeling speelt de objectiviteit een belangrijke rol: U dient voor uzelf of voor andere beoordelaars bij een toets de goed te rekenen antwoorden en de daarop te behalen punten van te voren vast te leggen. Het subjectieve oordeel van de corrector wordt zo bij het beoordelen uitgeschakeld. Het probleem van een subjectieve beoordeling doet zich met name voor bij open vragen. Daarnaast moet men streven naar een hoge beoordelaarsbetrouwbaarheid. De beoordelaar dient het werk van leerlingen zo nauwkeurig mogelijk en ook steeds op gelijke wijze te beoordelen. Het blijkt dat bij een beoordelaar onbewust allerlei effecten een rol spelen, die de beoordeling beïnvloeden. Deze effecten bespreken we later in dit hoofdstuk. In het vorige hoofdstuk kwam het begrip correctievoorschrift reeds ter sprake. Het is bij een toets met een open vraagvorm een onmisbaar hulpmiddel dat de docent in staat stelt de correctie van de leerlingwerken objectief en betrouwbaar uit te voeren. Het woord correctievoorschrift is een verzamelterm voor: – een antwoordmodel of een beoordelingsmodel; – scoringsvoorschriften; – beoordelaarsinstructie.
Het antwoordmodel Een antwoordmodel is een opsomming van goede – soms ook gedeeltelijk goede – en onjuiste antwoorden, bedoeld als richtlijn voor de beoordelaar. U dient er voor te zorgen dat u duidelijk aangeeft welke antwoorden van de leerlingen de maximumscore verdienen en welke antwoorden in aanmerking komen voor een gedeelte van de score. Ook zult u moeten aangeven hoe groot deze score dan zal zijn. Het al eerder geformuleerde normantwoord bij de vraag over het getal 24447 in een tabel kunt u zien als een voorbeeld hiervan.
27
Normantwoord In de periode 1970/1977 zijn in gebied A jaarlijks gemiddeld 24447 mensen meer vertrokken dan er zich vestigden. 3 punten
Hoe moeten de drie punten nu over het antwoord verdeeld worden? Onderstaand voorbeeld geeft aan hoe in dit geval de correctieaanwijzingen zouden kunnen zijn. Normantwoord In de periode 1970/1977 zijn in gebied A jaarlijks gemiddeld 24447 mensen meer vertrokken dan er zich vestigden. 3 punten Correctieaanwijzing De onderstreepte woorden moeten in het antwoord zijn weergegeven of omschreven en mogen elk met 1 punt gehonoreerd worden.
Men kan nu wellicht tegenwerpen dat een docent prima in de gaten kan houden hoe diverse antwoorden geïnterpreteerd moeten worden en dat hij zodoende in staat is bij verschillende leerlingen tot gelijkwaardige uitspraken te komen. Maar denkt u eens aan een situatie waarin er sprake is van een gemeenschappelijke toets, die voor parallelklassen bestemd is en die door verschillende docenten zal worden gecorrigeerd (bijvoorbeeld bij het schoolonderzoek). Om nog maar niet te spreken van de examensituatie. Bij het ontbreken van dit soort correctievoorschriften is de kans groot dat verschillende docenten tot uiteenlopende interpretaties van overigens identieke antwoorden komen. En dat kan niet de bedoeling zijn als het gaat om een vergelijkende toets.
Het beoordelingsmodel Als er geen sluitend antwoordmodel gemaakt kan worden, bijvoorbeeld bij de meer vrije opdrachten en bij opstelvragen, kunt u gebruik maken van een beoordelingsmodel. Dat is een instructie, soms in de vorm van een schema, die dient als richtlijn bij de beoordeling van uitwerkingen bij opgaven waarbij geen eenduidig antwoordmodel op te stellen is. In het beoordelingsmodel formuleert u criteria aan de hand waarvan u de uitwerking of het antwoord beoordeelt. Hieronder treft u een voorbeeld van zo’n beoordelingsmodel aan.
28
Een antwoord moet worden goed gerekend, wanneer: 1. de leerling zowel met betrekking tot de eerste als met betrekking tot de tweede vraag nagaat welke consequenties een (positief) antwoord op die vraag volgens hem/haar heeft of zou kunnen hebben voor de kijk van de mens op zichzelf en op diens relatie tot de wereld om hem heen; 2. de leerling uiteenzet welke van de bij (1) bedoelde consequenties voor hem/haar het zwaarste wegen, het meest ingrijpend zijn; 3. de leerling op basis van (2) de conclusie trekt dat hij/zij het met de auteur eens is, respectievelijk het niet met de auteur eens is.
Scoringsvoorschriften Naast het antwoord- of beoordelingsmodel vormen de scoringsvoorschriften een belangrijk onderdeel van het correctievoorschrift. Hierin legt u de maximale toetsscore vast, het aantal scorepunten per vraag of onderdeel, en de storing van gedeeltelijk goede antwoorden. Als voorbeeld citeren we hier een gedeelte uit de scoringsregels uit een VWO-examen Economische wetenschappen. 1
De examinator vermeldt de scores per vraag en de totaalscores op een aparte lijst. Per vraag is in het antwoordmodel een maximumscore aangegeven.
2
Bij de storing van een onderdeel van het schriftelijk werk zijn alleen gehele punten geoorloofd. Een toegekende score kan nooit lager zijn dan 0.
3
Een volledig juiste beantwoording van een vraag levert het aantal punten op dat in het antwoordmodel als maximumscore staat aangegeven.
4
Voor het schriftelijk werk kunnen maximaal 100 scorepunten toegekend worden. De kandidaat krijgt 10 scorepunten vooraf. De score voor het schriftelijk werk wordt dus uitgedrukt op een schaal van 10 tot en met 100 punten.
5
Indien een gegeven antwoord niet in het antwoordmodel voorkomt en dit antwoord op grond van aantoonbare vakinhoudelijke argumenten als “juist” of “gedeeltelijk juist” gekwalificeerd kan worden, moet het aantal beschikbare punten geheel of gedeeltelijk aan het gegeven antwoord worden toegekend naar analogie of in de geest van het antwoordmodel.
6
Indien in een gegeven antwoord een gevraagde verklaring, uitleg of berekening ontbreekt, dan wel foutief is, kunnen geen punten worden toegekend, tenzij in het antwoordmodel anders is aangegeven.
29
7
Indien een kandidaat meer antwoorden (in de vorm van voorbeelden, redenen e.d.1 geeft dan er expliciet gevraagd worden, dan komen alleen de eerstgegeven antwoorden voor beoordeling in aanmerking. indien er slechts één antwoord expliciet gevraagd wordt, wordt dus alleen het eerstgegeven antwoord in de beoordeling betrokken.
8
Een fout mag in de uitwerking van een opgave maar één keer in rekening gebracht worden, ook al werkt ze verder in de uitwerking door, tenzij daardoor de opgave aanzienlijk vereenvoudigd wordt, of tenzij in het antwoordmodel anders is vermeld.
9
Identieke fouten in verschillende vragen moeten steeds in rekening gebracht worden, tenzij in het antwoordmodel anders is vermeld.
10
Indien in het antwoordmodel een gedeelte van het antwoord tussen haakjes staat, behoeft dit gedeelte niet noodzakelijk in het antwoord van de kandidaat voor te komen.
11
Voor rekenfouten worden geen punten afgetrokken. Wanneer echter de kandidaat bij een berekening kennelijk verzuimd heeft door schatting controle op het antwoord uit te oefenen, wordt voor deze fouten één punt afgetrokken tot een maximum van twee punten per opgave.
Cijfers Het verdient aanbeveling om bij een toets het eindoordeel niet direct uit te drukken in een cijfer van 1 tot en met 10, maar in een score. Zorg ervoor dat u deze scorepunten tevoren, dus tijdens de constructiefase van de toets (zie hierboven), toekent aan vragen of vraagonderdelen. Zet pas in tweede instantie de scorepunten om in cijfers.
Beoordelaarsinstructies Vermijd bij de beoordeling van een toets dat ongewenste effecten optreden die de score van de kandidaat mede afhankelijk maakt van degene die de score bepaalt. Formuleer daartoe beoordelaarsinstructies. Dit zijn algemene richtlijnen die aangeven hoe de toets beoordeeld moet worden. De ongewenste effecten kunnen zich overigens voordoen zonder dat beoordelaars zich daarvan bewust zijn. Voorbeelden van ongewenste effecten zijn: –
30
Onduidelijkheid over beoordelingstaak Wanneer duidelijke richtlijnen voor de beoordeling van een examenwerk ontbreken, kan dat leiden tot aanzienlijke verschillen in de beoordeling van hetzelfde werk. Een voorbeeld in dit verband is een opstelvraag bij het vak geschiedenis. Wanneer niet duidelijk is aangegeven op welke aspecten de beoordelaars moeten letten, bestaat de kans dat de ene beoordelaar alleen let op de vakinhoudelijke argumenten, terwijl de andere beoordelaar ook grammaticale aspecten in zijn beoordeling meeneemt.
Tip
Instrueer beoordelaars zo, dat het duidelijk is waarop zij moeten letten bij de beoordeling. Geef duidelijk aan hoe zij verschillende onderdelen of aspecten moeten wegen.
Tip
Wanneer 2 of meer docenten het werk van leerlingen bij eenzelfde toets moeten beoordelen dan kan het zinvol zijn: – het werk van de eerste 4 leerlingen samen te beoordelen en apart verder te beoordelen; of: – na het werk van de eerste 4 leerlingen beoordelingsproblemen te bespreken en apart verder te beoordelen.
–
Invloed van niet ter beoordeling staande kwaliteiten Het is mogelijk dat docenten soms (voor de toets) niet-relevante kwaliteiten in hun beoordeling betrekken. Zo kan de prestatie van attente leerling hoger gewaardeerd worden dan dezelfde prestatie van een lastige leerling. Ook zal bij eenzelfde prestatie soms het duidelijke handschrift van de ene leerling tot een hogere waardering leiden dan het moeilijk leesbare handschrift van de andere leerling.
Tip
Neem alleen relevante beoordelingscriteria op in het beoordelingsschema; Houdt u tijdens de beoordeling aan het beoordelingsschema.
–
Nawerking van voorafgaande beoordelingen Een leerkracht zal na enkele zwakke leerlingwerken de neiging hebben om aan een volgend redelijk goede prestatie een hoger cijfer geven dan wanneer dat werk zou zijn gevolgd op enkele zeer goede prestaties.
Tip
Beoordeel van alle leerlingen eerst vraag 1 en daarna van alle leerlingen vraag 2 enzovoort. Wissel bij de beoordeling per vraag de volgorde van de leerlingen.
–
Een leerkracht heeft vaak de neiging zich in de strengheid van zijn beoordelingen aan te passen aan het gemiddelde niveau van een groep leerlingen. Daarnaast bestaat het probleem dat sommige leerkrachten gemiddeld hoge cijfers geven, terwijl andere leerkrachten lagere cijfers geven. Docenten beoordelen de prestaties vaak zodanig dat het percentage onvoldoendes ongeveer hetzelfde blijft, ongeacht de kwaliteit van de prestaties.
Tip
– –
Geef tijdens de beoordeling nog geen cijfers, maar punten; Beperk de vrijheid van verdeling van de punten; geef per beoordelingscriterium aan hoeveel punten gescoord kunnen worden.
–
Toekenning van andere functies aan een beoordeling Zelfs wanneer het duidelijk is wat in een toets ter beoordeling staat, zal de beoordelaar, vooral de docent die de kandidaten kent, soms aan een prestatie een waardering geven die niet gebaseerd is op de feitelijke prestatie. Een docent kan een leerling een voldoende geven om hem te bemoedigen, hoewel dit cijfer eigenlijk te hoog is; of een docent houdt op het kerstrapport de cijfers bewust laag om de leerlingen aan te sporen hun best te blijven doen.
31
Hoe goed bedoeld dit overigens ook is: om een betrouwbare en voor anderen inzichtelijke beoordeling te waarborgen dient dit soort handelingen vermeden te worden. Tip
– –
Houdt u tijdens de beoordeling aan het beoordelingsschema. Probeer pedagogisch-didactische middelen ter stimulering van leerlingen te vinden die een waardering van de feitelijke prestatie niet in de weg staan.
Hieronder volgen de belangrijkste adviezen die in dit hoofdstuk zijn gegeven nog eens op een rijtje. – – – – –
– – –
32
Maak een antwoordmodel waarin duidelijk aangegeven staat waar de beoordelaar bij de beoordeling op moet letten. Neem alleen relevante beoordelingscriteria op in het antwoordmodel. Wissel bij de beoordeling per vraag de volgorde van de leerlingen. Geef tijdens de beoordeling nog geen cijfers maar punten. Geef per beoordelingscriterium aan hoeveel punten gescoord kunnen worden: wanneer het maximaal aantal te behalen scorepunten en wanneer slechts een gedeelte. Wijk tijdens de beoordeling niet van het antwoordmodel af. Maak afspraken over de wijze van beoordelen, wanneer meerdere docenten dezelfde toets moeten gaan beoordelen. Spreek af dat een fout in een antwoord bij de beoordeling maar één keer in rekening kan worden gebracht. Spreek af wanneer van deze afspraak afgeweken mag worden.
Controlelijst
In deze brochure is een aantal aspecten aan bod gekomen, die relevant zijn voor het maken van open vragen. Uiteraard zijn er nog veel meer aspecten verbonden aan het maken van een deugdelijke open vraag. Denk aan het taalgebruik, de eenduidigheid van verstrekte gegevens, de aansluiting van de gegevens bij de vraag, de moeilijkheidsgraad van de vraag, enzovoorts. Deze aspecten gelden niet specifiek voor de open vragen. We geven hieronder een controlelijst, waarin punten opgenomen zijn die tot nu toe niet expliciet behandeld zijn, maar wel van belang zijn voor de constructie van open vragen. De punten zullen hier verder onbesproken blijven.
Taalgebruik – – – – – – – –
Is de vraag grammaticaal juist geformuleerd? Bevat de vraag een te ingewikkelde zinsconstructie? Bevat de vraag een dubbele ontkenning? Bevat de vraag onnodige moeilijke woorden? Bevat de vraag onnodige tussenvoegsels? Is de vraag onnodig negatief gesteld? Kan de formulering van de vraag aanleiding geven tot misverstanden? Bestaat er gevaar dat de vraag door klemtoonverschuiving duidelijk van betekenis verandert?
Informatie – – – –
Bevat de vraag voldoende informatie om het goede antwoord te kunnen geven? Geeft de vraag voldoende informatie over de gewenste lengte en vorm van het antwoord? Weet de kandidaat of een antwoord gemotiveerd moet worden? Zijn de informatie en de probleemstelling duidelijk te onderscheiden?
Relevantie – – – –
Blijkt uit de vraag duidelijk welke stof en/of welke vaardigheid getoetst wordt? Kan de vraag met een andere dan de bedoelde vaardigheid beantwoord worden? Is de vraag een strikvraag, dat wil zeggen: suggereert hij een probleem dat er niet is? Bevat de vraag onbedoelde hints voor het juiste antwoord? Dat wil zeggen: kunnen leerlingen die ‘testwise’ zijn daarmee de vraag beantwoorden?
33
– – – – –
Heeft de vraag een aanvaardbare moeilijkheidsgraad (schatting) voor het bedoelde schooltype? Wordt de moeilijkheidsgraad van de vraag onnodig verhoogd door irrelevante gegevens? Is de vraagvorm geschikt voor het doel van de toetsing? Is de moeilijkheidsgraad van de toets als geheel aanvaardbaar voor het bedoelde schooltype? Vormt de toets als geheel een redelijke representatie van de doelstellingen, zoals die voorkomen in het ‘toetsprogramma’?
Het gebruik van context – – – – –
Is het gebruik van plaatjes, grafieken etc. functioneel? Zijn de plaatjes, grafieken, tekeningen, etc. duidelijk getekend? Zijn de tekeningen correct? Is de eventuele toelichting bij de plaatjes etc. duidelijk, kort en helder geformuleerd? Bevat de toegevoegde tekst onnodige overbodige informatie?
Presentatie – – – – –
Zijn de vragen en vraagonderdelen duidelijk van elkaar te onderscheiden? Is de nummering van de vragen inzichtelijk? Heeft men zich gehouden aan algemeen geldende conventies wat betreft symboolgebruik, interpunctie e.d.? Zijn tabellen e.d. op fouten gecontroleerd? Zijn de verwijzingen in de vraag naar een tekst, tekening, tabel juist?
Het correctievoorschrift – – – – – – – – – –
34
Is bij elke vraag een antwoordmodel opgesteld? Zijn de antwoorden in het antwoordmodel waarschijnlijk? Is duidelijk aangegeven wat er in de antwoorden van kandidaten als ‘niet juist’ of ‘niet geheel juist’ beoordeeld moet worden? Is duidelijk aangegeven hoeveel punten aan de juiste elementen uit de antwoorden toegekend kunnen worden? D.W.Z. zijn de scoringsvoorschriften duidelijk? Zijn richtlijnen van algemene aard opgenomen Zijn duidelijke beoordelaarsinstructies opgenomen? Indien het onmogelijk is bij één of meer vragen een antwoordmodel te formuleren, zijn er dan beoordelingscriteria in het correctievoorschrift opgenomen? Is het correctievoorschrift te algemeen, te globaal, waardoor van een uniforme beoordeling weinig terecht komt? Is het correctievoorschrift te gedetailleerd in die zin dat het voor de beoordelaar moeilijk hanteerbaar is, door de omvang? Is de lay-out van het correctievoorschrift zodanig, dat de beoordelaar snel inzicht kan krijgen in zijn beoordelingstaak?
