De correctie van open vragen in de examens moderne vreemde talen: een toelichting De examens moderne vreemde talen mavo/havo werden in 2002 voor de derde maal niet meer door de computer van de Citogroep ‘nagekeken’, die van het vwo voor de tweede maal. Doordat de examens nu uit zowel open als gesloten vragen bestaan moet het nakijken met de hand gebeuren, zoals dat al jarenlang gewoon is voor alle examens met een gemengde vraagvorm. In veel gevallen komen eerste en tweede corrector zonder problemen tot overeenstemming, in sommige gevallen echter zijn er grote meningsverschillen, en kunnen de emoties hoog oplopen. Alleen in een utopie zullen alle correctoren van toetsen volledig met elkaar overeenstemmen. Het antwoordmodel moet in veel gevallen enige ruimte laten aan de corrector; de antwoorden van kandidaten kunnen enorm variëren, de grens tussen goed en net fout is vaak lastig te bepalen. Bovendien is er nu eenmaal een verschil in mildheid en strengheid tussen correctoren; er zijn precieze en slordige correctoren; en er zullen ondanks alles altijd fouten in de officiële antwoordmodellen mogelijk zijn. Maar waar een centraal examen pas sinds een paar jaar een eerste en tweede corrector kent, zijn er nog wel enige zaken die verduidelijking kunnen gebruiken. In het onderstaande worden de volgende punten nader belicht: 1. 2. 3. 4. 5.
Het correctievoorschrift Waardoor maken kandidaten het de corrector vaak moeilijk? Waarop moeten correctoren bedacht zijn? Correctie meerkeuzevragen Hoe dient het vanaf 2003 ingevoerde onderdeel schrijfvaardigheid in de GL/TL examens Engels beoordeeld te worden?
1
Het correctievoorschrift
Het correctievoorschrift bestaat uit 4 gedeelten: 1. Regels voor de beoordeling. Zij gaan over de formele afhandeling van het werk van de kandidaten door directeur, eerste en tweede corrector, en bepalen dat bij gebrek aan overeenstemming tussen beide correctoren het rekenkundig gemiddelde van het door ieder van hen voorgestelde aantal scorepunten de eindscore wordt. 2. Algemene regels. Deze gaan met name over de verplichting tot het hanteren van het antwoordmodel, het toekennen van scorepunten en bevatten aanwijzingen over het omgaan met gevallen waarvoor het antwoordmodel geen expliciete aanwijzingen geeft. Door het opstellen van deze algemene regels kan het antwoordmodel bij een vraag kort en volgens een strak patroon geformuleerd worden.
1/7
3. Vakspecifieke regels. Voor moderne vreemde talen staan hier de volgende regels: − open vragen dienen in het Nederlands beantwoord te worden, tenzij uit de vraagstelling blijkt dat het antwoord in de vreemde taal mag of moet staan; − met taalfouten wordt in de beoordeling geen rekening gehouden. 4. Het antwoordmodel. Dit bevat als voornaamste onderdeel het geheel van de goede antwoorden bij een examen, met de bijbehorende score. Wat de algemene regels betreft, verdienen de daarin genoemde artikels 3.3, 3.4 en 3.5 speciale aandacht. 3.3 indien een antwoord op een open vraag niet in het antwoordmodel voorkomt en dit antwoord op grond van aantoonbare, vakinhoudelijke argumenten als juist of gedeeltelijk juist aangemerkt kan worden, moeten scorepunten toegekend worden naar analogie of in de geest van het correctiemodel. Deze bepaling kan de overwegingen omtrent een afwijkend antwoord gemakkelijker maken, al kunnen natuurlijk alleen duidelijke vakinhoudelijke argumenten de doorslag geven. Een voor de hand liggend voorbeeld waarbij deze regel toegepast kan worden is het geval waarin de kandidaat bij een citaatvraag zich niet strikt houdt aan het geven van de eerste twee en de laatste twee woorden van het gevraagde citaat, maar alleen het eerste en het laatste. 3.4 indien één voorbeeld, reden, uitwerking, citaat of andersoortig antwoord gevraagd wordt, wordt uitsluitend het eerstgegeven antwoord beoordeeld. De kandidaat die het gevraagde antwoord wèl opgeschreven heeft, maar dit vergezeld laat gaan van andere antwoorden, krijgt zo alleen een scorepunt als het goede antwoord als eerste genoteerd staat. Staat het op een andere plaats in een reeks gegeven antwoorden, dan wordt dus geen scorepunt toegekend. Een (versimpeld) voorbeeld: Is het goede antwoord ‘Piet’, dan dient dit alleen een scorepunt te krijgen als het als eerste van een reeks namen genoteerd staat. Bij een door de kandidaat opgeschreven reeks ‘Jan, Piet, Klaas’, wordt dus géén scorepunt toegekend. 3.5 indien meer dan één voorbeeld, reden, uitwerking, citaat of andersoortig antwoord gevraagd wordt, worden uitsluitend de eerstgegeven antwoorden beoordeeld, tot maximaal het gevraagde aantal. Ook deze regel schept duidelijkheid wanneer een kandidaat meer dan het gevraagde aantal antwoorden heeft opgeschreven. De corrector dient geen aandacht te schenken aan antwoorden genoteerd nà het maximaal gevraagde aantal. Bestaat dus het goede antwoord uit het element ‘Piet’ en uit het element ‘Klaas’, en is de maximumscore 2, dan dient aan een antwoord als ‘Klaas, Jan, Piet’ maar één scorepunt toegekend te worden.
2/7
De vakspecifieke regel die bepaalt dat open vragen in het Nederlands beantwoord dienen te worden is tot stand gekomen op grond van de volgende argumenten: − Zo worden de kandidaten niet mede beoordeeld op schrijfvaardigheid. − Zo kunnen de kandidaten niet hele stukken uit de tekst overschrijven, of half in de vreemde taal en half in het Nederlands schrijven, om dan maar aan de corrector over te laten of het gegeven, halfslachtige, antwoord juist is. Het is voor de corrector moeilijk uit te maken of de kandidaat de tekst werkelijk heeft begrepen als hij het antwoord niet in eigen woorden hoeft te geven. De CEVO heeft in de in 2001 aan de scholen verstuurde “Novemberbrief” aan de eis van de beantwoording in het Nederlands de volgende overweging toegevoegd: “De CEVO gaat ervan uit, dat voor het afleggen van een examen vbo/mavo c/d, havo of vwo in Nederland een op het betreffende niveau te verwachten beheersing van de Nederlandse taal een voorwaarde vooraf is. De eisen die bij de moderne vreemde talen aan de beheersing van het Nederlands worden gesteld, gaan zeker niet boven deze algemene eis uit.” Beantwoording in het Nederlands is dus een vereiste. Bij de voorbereiding op het examen zou dit de kandidaten op het hart gedrukt moeten worden. Bij het antwoordmodel verdienen speciale aandacht: • het begrip ‘antwoordelement’ • de gebruikte terminologie in het antwoordmodel • geen aftrek van scorepunten • het begrip ‘antwoordelement’ Een antwoordelement is een welomschreven kenmerk, onderdeel of aspect van een denkbaar antwoord, vermeld in een correctievoorschrift, dat recht geeft op de toekenning van een (deel)score. Een antwoordelement omschrijft wat een minimaal kenmerk van het antwoord van een kandidaat moet zijn. Elk antwoordmodel bij een vraag met méér dan één antwoordelement bevat een opsomming of een beschrijving van de afzonderlijke antwoordelementen, gevolgd door de deelscore. De maximumscore is gelijk aan het aantal antwoordelementen, volgens het principe dat per antwoordelement één scorepunt toegekend wordt. Bijvoorbeeld: Maximumscore 2 Antwoorden met de volgende strekking: . slecht voor de verkeersveiligheid/ leidt te veel af . te veel reclame-uitingen op de weg/ lelijk
1 1
Op deze een-op-een regel worden drie uitzonderingen gemaakt: o wanneer een antwoord bestaande uit meerdere elementen inhoudelijk waardeloos is, indien een van de elementen ontbreekt of fout is; o wanneer het eerste element zo voor de hand ligt dat er geen punt voor kan worden gegeven; o wanneer er sprake is van een stellingvraag.
3/7
o antwoord waardeloos De eerste uitzondering wordt gemaakt wanneer er sprake is van een zodanige samenhang tussen de elementen, dat bij ontbreken, of fout zijn van één element, het gegeven antwoord waardeloos wordt. Bij dit soort vragen bevat het antwoordmodel meer elementen, maar hoort een maximumscore die lager is dan het aantal antwoordelementen. Het correctiemodel geeft dan aan wat de corrector moet doen indien een of meer antwoordelementen ontbreken of fout zijn: dan zal de score 0 toegekend moeten worden. Bijvoorbeeld: Maximumscore 1 De kern van het goede antwoord is: · Omdat de immigranten meer geld/premie (voor de sociale voorzieningen) betalen · dan ze aan uitkering/aan geld ontvangen. Indien het element ‘dan ze ontvangen’ (of woorden van gelijke strekking) ontbreekt
0
o antwoord vanzelfsprekend De tweede uitzondering komt het meeste voor bij de eindterm-1 vragen, waar de kandidaat moet aangeven of bepaalde informatie in de tekst staat, en zo ja, wat de informatie is. Dus wanneer de vraag bijvoorbeeld luidt: Staat in de bibliografie een boek dat je voor een presentatie over (...) kunt gebruiken? Zo ja, geef de titel van het betreffende boek. Zo nee, antwoord ‘nee’. In het geval dat het bewuste boek ook werkelijk in de bibliografie te vinden is, is het antwoord ‘ja’ zo vanzelfsprekend, dat dit in het antwoordmodel tussen haakjes staat, en dus niet meetelt. De kandidaat krijgt hier een scorepunt voor het juist weergeven van de gevraagde informatie. o Stellingvraag Op deze een-op-een regel wordt verder ook een uitzondering gemaakt bij de vragen waarbij de kandidaten stellingen op juist/onjuist moeten beoordelen. De scoretoekenning gaat bij dit soort vragen volgens een door de CEVO voorgeschreven systeem. • de gebruikte terminologie in het antwoordmodel Heel vaak zal een goed antwoord in het antwoordmodel voorafgegaan worden door een zinsnede als: ‘De kern van het goede antwoord is’, ‘een antwoord met de volgende strekking’, ‘een voorbeeld van een juist antwoord is’. Hiermee wordt aangegeven dat er niet één formulering voor het goede antwoord is, maar dat er meer denkbaar zijn. De corrector krijgt hiermee de niet altijd even gemakkelijke taak om het modelantwoord uit het correctiemodel inhoudelijk te vergelijken met het door de kandidaat gegeven antwoord. De terminologie houdt dus enerzijds in dat men niet op de automatische piloot kan corrigeren, anderzijds verschaft deze meer, noodzakelijke, vrijheid bij de beoordeling.
4/7
• geen aftrek van scorepunten Bij de examens moderne vreemde talen wordt uitgegaan van een positieve benadering: er worden scorepunten toegekend voor goede antwoorden; foute antwoorden krijgen een score van 0. Het kan dus niet voorkomen dat een antwoordelement waarvoor al een punt is toegekend, dit punt in feite weer verliest doordat er een strafpunt wordt afgetrokken voor een fout, of een lacune, verderop in het antwoord. 2
Waardoor maken kandidaten het de corrector vaak moeilijk?
•
Kandidaten beantwoorden open vragen in de vreemde taal, terwijl het antwoord inhoudelijk klopt. Zoals eerder gezegd: kandidaten dienen bij de voorbereiding op het examen met nadruk gewezen te worden op de regel dat zij in het Nederlands moeten antwoorden, en dat zij anders een score 0 krijgen. Zij kunnen er bovendien op gewezen worden dat in de examens boven de opgaven de volgende regel staat: ‘Let op: beantwoord de open vragen altijd in het Nederlands, behalve als het anders is aangegeven. Als je in het (…) antwoordt, levert dat 0 punten op.’
•
Kandidaten geven meer antwoorden, voorbeelden, e.d., dan gevraagd; het goede antwoord staat niet aan het begin. In een dergelijk geval (zie 3.4 en 3.5 uit de algemene regels van het correctievoorschrift) dient de score 0 toegekend te worden. Ook op deze regel moeten kandidaten in de voorbereidingstijd gewezen worden.
•
Kandidaten citeren bij ‘citaatvragen’ meer dan alleen de gevraagde hoeveelheid tekst, of kandidaten lezen, wanneer wordt gevraagd een ‘zinsgedeelte’ te citeren, over dit woord heen, en citeren een zin. Over het algemeen dient aan een te uitgebreid antwoord de score 0 toegekend te worden: mits de opgave klopt, wordt door een te uitgebreid citaat niet precies genoeg verwezen naar juist datgene wat in de vraag aan de orde wordt gesteld. Dus wanneer bijvoorbeeld gevraagd wordt een kenmerk aan te geven door middel van een citaat, zou het citaat moeten bestaan uit alléén woorden die betrekking hebben op het gevraagde kenmerk, en niet óók nog de rest van de zin waarin het kenmerk beschreven staat: Citeer uit alinea 2 de eerste twee en de laatste twee woorden van het zinsgedeelte waarin de voorbeelden van kenmerken van ‘emotional maturity’ gegeven worden. Antwoord: ‘(personal qualities such as) an ability (...) big picture’ Het bovenstaande item leverde in het examenjaar 2002 veel antwoorden op waarbij de kandidaten - ten onrechte - aan het antwoord de rest van de zin: ‘counted for much more than analytical skills’ toevoegden. Bij de voorbereiding op het examen is het daarom nuttig kandidaten het verschil tussen ‘zin’ en ‘zinsgedeelte’ voor te houden.
5/7
•
Kandidaten formuleren slordig, vreemd, of zonder de zin af te maken, zodat alleen met goede wil het gegeven antwoord goed gerekend kan worden. Na een lange periode waarin de kandidaten alleen meerkeuzevragen beantwoordden, is het wennen dat er zelf geformuleerd moet worden. Het is echter in het eigen belang van de kandidaten dat zij correct en duidelijk formuleren. Zij maken het de eerste en tweede corrector moeilijker om tot overeenstemming te komen bij een antwoord dat net zo goed als juist of als onjuist beoordeeld kan worden. Ook een aandachtspunt bij de voorbereiding dus.
•
Kandidaten goochelen met (vertaalde) woorden uit de tekst om ten slotte op onzin uit te komen. Een wakkere corrector zal zich hierdoor natuurlijk niet om de tuin laten leiden. Maar veel correctiewerk maakt wel eens slaperig... Het lijkt in ieder geval nuttig om de kandidaten te trainen op het gebruik van hun eigen bewoording. Hierdoor leren zij enige afstand tot de tekst te nemen, hetgeen het begrip van de tekst bevordert, evenals het tot uitdrukking brengen daarvan.
3
Waarop moeten correctoren bedacht zijn?
Uit de literatuur is het bekend dat bij correctie een aantal effecten optreden. Zo kan het voorkomen dat: − een corrector tijdens de beoordeling steeds milder wordt; − antwoorden die aanvankelijk als onjuist werden beoordeeld, in een later stadium, bij andere kandidaten, goed gerekend worden; − na een aantal slechte prestaties een relatief goede prestatie overgewaardeerd wordt. (andersom kan dit ook voorkomen.); − de kennis die correctoren van hun leerlingen hebben meespeelt; − strenge en soepele correctoren verschillende criteria hanteren. Bij de examens wordt een aantal van deze effecten gecompenseerd doordat een tweede corrector bij de correctie betrokken moet worden. Toch wordt het overleg tussen eerste en tweede corrector gemakkelijker wanneer beide partijen zich bewust zijn van dit soort verschijnselen. Er zijn een aantal bekende middelen om de effecten enigszins tegen te gaan: − de volgorde van de antwoordbladen van de kandidaten kan regelmatig worden omgedraaid bij de correctie; − de gegeven antwoorden kunnen per vraag in plaats van per kandidaat beoordeeld worden; − de namen op de antwoordbladen kunnen afgedekt worden (dit werkt niet wanneer docenten het handschrift van hun leerlingen herkennen!). Wat de benadering van de correctoren ten opzichte van de opgaven zelf betreft, is het wellicht nuttig erop te wijzen dat het antwoordmodel gebaseerd is op het uitgangspunt dat een corrector kennis heeft genomen van de opgaven. Bij de correctie is begrip van de tekst en van de opgaven, in combinatie met het antwoordmodel, van groot belang!
6/7
4
Correctie meerkeuzevragen Het nakijken van de antwoorden op de meerkeuze-antwoorden behoort sinds twee jaar ook tot de taak van de corrector. De antwoordbladen die door de Citogroep ter beschikking worden gesteld via de site van de Citogroep maken het nakijken van de meerkeuze opgaven redelijk gemakkelijk: er kunnen malletjes gelegd worden op de door de kandidaten gegeven antwoorden. Toch werd in de afgelopen jaren door tweede correctoren gemeld dat zij fouten ontdekt hadden in de door de eerste corrector gecorrigeerde meerkeuze-opgaven. Hier kan alleen de noodzaak tot precisie benadrukt worden.
5
Hoe dient het vanaf 2003 ingevoerde onderdeel schrijfvaardigheid in de GL/TL examens Engels beoordeeld te worden?
Een novum in de centrale examens is het onderdeel schrijfvaardigheid in de GL/TL examens Engels. De kandidaten krijgen de opdracht om een korte brief te schrijven aan de hand van een aantal in de opgave verstrekte gegevens. De corrector dient te beoordelen of de kandidaat het vereiste aantal inhoudselementen van een opdracht op zodanige manier heeft uitgewerkt dat de boodschap volledig en duidelijk overkomt en dat het taalgebruik correct is. Daarbij moet hij vier beoordelingscategorieën hanteren: • Taalgebruik • Specifieke conventies • Inhoud • Communicatieve effectiviteit Elke categorie is voorzien van een percentage van de scorepunten. Deze benadering, die ook weer positief van aard is, dat wil zeggen dat geen strafpunten worden toegekend, houdt in dat de corrector per categorie een globaal oordeel bepaalt. Het is dus niet de bedoeling dat alle fouten per stuk aangerekend worden. • Bij de categorie Taalgebruik moet de corrector beoordelen op zinsbouw, woordgebruik en -volgorde, grammatica, spelling, gebruik hoofd- en kleine letters en interpunctie. Over het algemeen kan gezegd worden dat de volgorde waarin de te beoordelen aspecten bij Taalgebruik genoemd worden maatgevend is voor het gewicht van de fouten. • Bij Communicatieve effectiviteit dient beoordeeld te worden of de kandidaat helder en goed op de lezer gericht formuleert -dus echt communiceert-, wat structuur betreft zorgt voor een samenhangend, goedlopend geheel en gevarieerd formuleert. Digna Samson Projectleider cluster talen havo/vwo Citogroep Arnhem
7/7
