GOEDE TOETSEN INZETTEN IN HET GROENE VMBO ERVARINGEN UIT DE PRAKTIJK
JOSÉ DAMS, IDA BONTIUS EN WENDY ANKERSMIT
WWW.CINOP.NL
2
GOEDE TOETSEN INZETTEN IN HET GROENE VMBO ERVARINGEN UIT DE PRAKTIJK In het kader van het project ‘Toetsen met kwaliteit’ van de AOC Raad hebben van 2011 tot 2013 een aantal pilots plaatsgevonden. Eén van de doelen daarvan was het verbeteren van de kwaliteit van de toetsen en examens die in het groene vmbo worden ingezet. Docenten zijn geschoold in de rol van toetsconstructeur en dit voorjaar hebben ze de eerste resultaten van hun werk opgeleverd. In dit artikel gaan CINOP Advies-consultants José Dams, Ida Bontius en Wendy Ankersmit in op de opbrengsten. Wat is de kwaliteit van de verbeterde toetsen? En zijn er verdere verbeteringen nodig?
Door José Dams, Ida Bontius en Wendy Ankersmit In de zomer van 2013 heeft CINOP Advies een screening uitgevoerd van 17 schoolexamens die vier AOC’s hebben aangeleverd. Het ging om tien vakgebieden: economie (2 toetsen), Engels (1 toets), maatschappijleer (1 toets), Nederlands (2 toetsen), natuurkunde/scheidkunde (3 toetsen), wiskunde (3 toetsen), biologie (1 toets), dierverzorging (1 toets), voeding en gezondheid (2 toetsen) en techniek (1 toets). Naast de resultaten van de screening hebben de scholen een uitgebreide toetstechnische feedback op hun toetsen gekregen in de vorm van heel concrete verbetersuggesties. In dit artikel gaan we in op de hoofdlijnen van die feedback, die zich richt op de kwaliteit van de toetsmatrijs, het schoolexamen voor de leerling en het antwoordmodel. Maar eerst geven we een korte toelichting op de samenstelling van een complete toetsset.
HOE ZIET EEN COMPLETE TOETSSET ERUIT? In de publicatie De toetscyclus, handvat voor integraal toetsbeleid (AOC Raad, 2012: pagina 23 en verder)1 is een uitgebreide handleiding opgenomen voor docenten die toetsen construeren. Constructeurs en vaststellers kunnen deze handleiding gebruiken om tot een complete toetsset te komen of om te checken of een opgeleverde toets compleet is. De kenmerken van een goede toets die in deze toetscyclus zijn beschreven, zijn door CINOP Advies gehanteerd als normatief kader bij het screenen van de 17 toetsen. Daarmee werd stap drie van deze handleiding uitgevoerd. Het volledige stappenplan ziet er zo uit:
1 Zie ook http://toetskwaliteit.toetsplaza.nl
HET VERBETEREN VAN DE KWALITEIT VAN TOETSEN EN EXAMENS
3
• Stap 1: Als constructeur aan de slag met een heldere opdracht. De constructeur weet op basis van PTO/PTA welke toets hij gaat maken en heeft de beschikking over een vastgestelde toetsmatrijs. Het is duidelijk wanneer de toets klaar dient te zijn en bij welke leerlinggroepen (leerweg) deze ingezet zal worden. De constructeur kent de procedure: weet wie de opdracht geeft voor de constructie van deze toets, hoe het vaststellen verloopt en aan wie de constructeur zich verantwoordt. • Stap 2: Het construeren van de toets of het examen. Achtereenvolgens maakt de constructeur de volgende onderdelen (samen de toetsset genoemd): – de opgaven of vragen voor de leerling, – de instructie voor de leerling, – de instructie voor de beoordelaar/ examinator, – het beoordelingsmodel, de cesuur en de normering, – condities voor afname. • Stap 3: Het vaststellen van de toets of het examen. Nadat de constructeurs hun werk gedaan hebben, gaat een andere docent aan de slag in de rol van vaststeller en controleert of de toets of het examen aan alle eisen voldoet. Ook beoordeelt de vaststeller of de toetsset compleet is. De vaststeller rapporteert bijvoorbeeld aan de toetscommissie. Vervolgens stelt de constructeur de toets eventueel bij. De examensecretaris zorgt tenslotte voor archivering nadat de toets definitief vastgesteld is.
• Stap 4: De evaluatie van de toets of het examen. Nadat de toets afgenomen is, vindt een evaluatie plaats van de bij uitvoering gebleken toetstechnische kwaliteit. Na afname kan daarnaast aan de leerlingen een vragenlijstje voorgelegd worden ter beoordeling van de toets. Ook andere evaluatiegegevens worden erbij betrokken, bijvoorbeeld die uit het protocol voor afname. De toets wordt op basis van de evaluatie eventueel voor een volgende afname aangepast.
DE TOETSMATRIJS NORMATIEF KADER - HET DOEL VAN DE TOETSMATRIJS Een toetsmatrijs geeft de dekking van de eindtermen aan en biedt een kort overzicht van de inhoud en vorm van de toets. De toetsmatrijs is bedoeld om de validiteit van de toets te borgen en wordt opgesteld voordat begonnen wordt met het maken van een toets. Ook als met methodetoetsen gewerkt wordt is een toetsmatrijs nodig, want daarmee kan een vaststeller bepalen of de toets voldoet (voldoende dekkend, passend niveau van de leerweg en taxonomie). In de toetsmatrijs wordt verwezen naar de eindtermen en bijbehorende onderwerpen die getoetst worden. Als de link met de eindtermen/kerndoelen glashelder is, kan de toets op een passend niveau geconstrueerd worden. Ook valt in de toetsmatrijs te lezen welke onderwerpen en vragen of opdrachten bij welke eindtermen (kerndoelen) horen.
AAN DE SLAG MET EEN HELDERE OPDRACHT
4
Toetsmatrijs geleverd Economie
1
Engels
1
Maatschappijleer
1
Nederlands
2 2
1
Wiskunde
2
1
Bij de gescreende toetsen is in zeven gevallen een toetsmatrijs geleverd, in tien gevallen niet. Als de toetsmatrijs ontbreekt, rust de toets op een wankele basis: worden de eindtermen/ kerndoelen uit het PTA wel gedekt en op welk niveau wordt er dan eigenlijk gemeten? Ook bij de screening van de toetsen is het ontbreken van de matrijs een handicap. Het bovenstaande overzichtje laat zien voor welke vakken de toetsmatrijs wel of niet geleverd was.
WAT KAN BETER? Elke toets zou op basis van een toetsmatrijs gemaakt en vastgesteld moeten worden; dat zou uiteraard de belangrijkste verbetering zijn. Bij de screening zijn ter verbetering van de wel geleverde matrijzen onder andere de volgende aandachtspunten gesuggereerd:
2 Taxonomie: kennisvragen, inzichtvragen, reproductieve vaardigheid en productieve vaardigheid.
1
Dierverzorging
1
Voeding en gezondheid
2
Techniek
1
Totaal
DE TOETSMATRIJS BIJ 17 TOETSEN VOOR VMBO GROEN
1
NAS Biologie
De vragen of opdrachten kunnen met behulp van een taxonomie worden verdeeld, zodanig dat de vaardigheden op een bij de eindtermen passende manier aan bod komen.2 Zo wordt duidelijk welke eindtermen in de toets gedekt worden en op welke wijze ze worden getoetst.
Toetsmatrijs niet geleverd
7
10
• Klopt de link met de kerndoelen? Er is bijvoorbeeld in een toets aandacht besteed aan vocabulaire terwijl dat in de benoemde kerndoelen niet voorkomt. Een ander geval: er komt in de toetsmatrijs een onderwerp voor dat geen link heeft met de genoemde kerndoelen. In een derde geval ontbreekt de koppeling van de onderwerpen uit de toets aan de eindtermen in de matrijs. Daarom is het niet mogelijk echt na te gaan of de toets werkelijk toetst wat er getoetst moet worden. • Is de taxonomie juist ingevuld? Een onderdeel van een bepaalde toets is geplaatst onder de noemer ‘toepassen’; de leerling moet hier echter ‘begrijpen en ordenen’ in het schoolexamen. Daarom hoort dit onderdeel bij de taxonomie in de kolom: ‘begrijpen’ thuis (er vanuit gaande dat de taxonomie bestaat uit ‘onthouden’, ‘begrijpen’, ‘toepassen’.) • Voor welke leerweg is de toets? Een toets kan niet tegelijk voor GL en KL ingezet worden als de stof in de beide leerwegen verschillend is aangeboden. Beter is een aparte toets voor beide leerwegen met elk een eigen toetsmatrijs.
5
DE TOETS VOOR DE LEERLING NORMATIEF KADER - HOE ZIET EEN GOEDE TOETS ERUIT VOOR DE LEERLING? Elke toets dient een voorblad en vragen en/of opdrachten te bevatten, volgens een vast format van de school opgemaakt in eenzelfde layout. Dit komt de herkenbaarheid en leesbaarheid voor de leerling ten goede. Een goed voorblad bevat bovendien de volledige informatie voor de leerlingen en docenten. Ook een leerlinginstructie maakt deel uit van de toets. Voorblad en instructie samen bevatten bijvoorbeeld informatie over: • de duur van het schoolexamen, • de eindtermen of onderwerpen die worden getoetst, • de hulpmiddelen die de leerling mag gebruiken, • indien relevant: de opbouw van het schoolexamen (bijvoorbeeld eerst meerkeuzevragen en dan open vragen), • de berekening en/of puntentelling en de cesuur: wanneer is er een voldoende behaald? • Bijlage of rekenblad. Als dit allemaal op het voorblad of in de instructie bij elkaar staat, kan de leerling goed voorbereid aan de toets beginnen. Bovendien is essentieel dat de toetsvragen helder, eenduidig en passend bij de eindtermen worden geformuleerd.
DE TOETS VOOR DE LEERLING BIJ 17 TOETSEN VOOR VMBO GROEN Bijna alle aangeleverde toetsen bevatten een voorblad voor de leerling. Alleen bij de twee toetsen Nederlands ontbreekt een dergelijk voorblad. Bij 12 toetsen is bovendien een instructie voor de leerling bijgevoegd, soms apart, soms verwerkt in het voorblad. Bij de screening bleek dat de toetsvragen soms niet helder waren geformuleerd.
WAT KAN BETER? Elke toets zou een standaard voorblad moeten bevatten en een instructie voor de leerling. De screening heeft daarnaast onder andere tot de volgende aandachtssuggesties geleid: • Is het voorblad volgens format en compleet? Al heeft de toets een voorblad, dan is dat toch niet altijd voor alle toetsen van dezelfde groene vmbo-school hetzelfde. Ook als er een format-voorblad voor de school als geheel beschikbaar is, wordt dat niet altijd gebruikt. Verder wordt op basis van de informatie op het voorblad of de leerlingeninstructie niet altijd duidelijk wanneer de leerling een voldoende heeft. Dat komt doordat de cesuur en de berekening van de punten niet opgenomen zijn. • Is de instructie voor de leerling helder? In de instructie is lang niet altijd duidelijk opgenomen uit welke onderdelen de toets bestaat. Soms weet de leerling niet of zijn berekening van een opdracht genoteerd en ingeleverd dient te worden (bijvoorbeeld omdat de berekening meetelt bij de berekening van het cijfer). • Zijn de toetsvragen helder? – De toetsvraag is niet altijd helder en duidelijk geformuleerd. Zo was in een bepaalde toets niet expliciet en duidelijk aangegeven dat het erom gaat dat de leerling noteert wat het verschil is tussen het bakverlies tussen twee soorten appelflappen. – Dezelfde toetsvragen zijn nog al eens ingezet voor meerdere leerwegen; daardoor sluiten met de examens onvoldoende aan bij het niveau van de leerling. – In de toetsen zijn soms woorden gebruikt die mogelijk te moeilijk zijn voor leerlingengroepen, zoals ‘neveneffect’. – In een vraag is niet altijd duidelijk aangegeven hoe lang het antwoord moet zijn. Een voorbeeld was de opdracht: ‘Leg uit’ ; die opdracht kan zowel een heel kort als een
MAAK DE TOETSVRAAG ALTIJD HELDER EN DUIDELIJK GEFORMULEERD
6
LEG HET CORRECTE ANTWOORD VAST
HET ANTWOORDMODEL
het gegeven antwoord. Dat legt de basis voor een betrouwbare beoordeling. Bij het antwoordmodel hoort een beoordelaarsinstructie. Deze zou zo uitgebreid moeten zijn dat iedere vakdocent de toets op eenzelfde manier zou beoordelen. Met een goede instructie is het voor de beoordelaar duidelijk hoe het cijfer berekend moet worden. De informatie is dan zo concreet dat verschillende beoordelaars op dezelfde, betrouwbare manier om zullen gaan met de puntenverdeling. Ook de cesuur wordt in het antwoordmodel vastgelegd.
NORMATIEF KADER – UIT WELKE ONDERDELEN BESTAAT EEN GOED ANTWOORDMODEL?
HET ANTWOORDMODEL BIJ 17 TOETSEN VOOR VMBO GROEN
Bij alle toetsen is een antwoordmodel nodig waarin de normering voor de vragen en het correcte antwoord uit de toets vastgelegd is. Er kan gebruik gemaakt worden van een normeringstabel. In een goed antwoordmodel staat duidelijk wat het juiste antwoord op een vraag is. Bovendien wordt per (deel)vraag aangegeven hoeveel punten er te verdienen zijn en wordt volkomen duidelijk gemaakt hoe deze punten verdeeld zijn over
Bij de meerderheid van de toetsen is een antwoordmodel geleverd. Er is echter lang niet altijd sprake van een puntenverdeling en normering. De cesuur is in ongeveer de helft van de toetsen benoemd. Een instructie voor de beoordelaar ontbreekt bij de meeste toetsen. Kortom: het antwoordmodel, een belangrijk element van een complete toetsset, is bij een groot aantal van de gescreende toetsen niet volledig of ontbreekt soms helemaal. Slechts in twee gevallen is
heel lang antwoord oproepen. Beter is te benoemen in hoeveel regels het antwoord gegeven moet worden. – Vragen zijn niet altijd actief geformuleerd. Zo kan de vraag ‘Hoe werkt een diode’ beter anders geformuleerd worden, bijvoorbeeld: ‘Schrijf in maximaal 3 zinnen in je eigen woorden op hoe een diode werkt’. – Soms zijn er twee vragen in één geformuleerd terwijl een onderscheid in een A- en een B-vraag duidelijker zou zijn.
7
er sprake van een toets met een compleet antwoordmodel (normering en puntenverdeling, cesuur en instructie voor de beoordelaar). Het onderstaande overzichtje brengt de bevindingen in beeld.
WAT KAN BETER? De belangrijkste verbetering die kan worden toegepast is de toevoeging van een antwoordmodel waar dat ontbreekt, zodat iedere docent de toets na kan kijken en daarbij tot hetzelfde cijfer kan komen. De screening heeft daarnaast onder andere geleid tot de volgende verbetersuggesties voor het antwoordmodel, de normering en puntenverdeling, de cesuur en de instructie voor de beoordelaars: • Zijn normering en puntenverdeling kloppend en is de instructie voor de beoordelaar helder? - Er is lang niet altijd concreet aangegeven wat het juiste (deel)antwoord is en hoe de beoordelaar deze antwoorden moet beoordelen, c.q. de punten over de antwoorden moet verdelen.
Antwoordmodel aanwezig Ja
Nee
- Een duidelijke normeringstabel ontbreekt vaak eveneens; daardoor is het lastig voor de beoordelaar om op eenduidige wijze het cijfer aan een score toe te kennen. - Een correcte aanwijzing voor berekening van het eindcijfer is ook lang niet altijd opgenomen. Het komt zelfs voor dat de leerling meer dan een 10 kan halen als alle vragen goed zijn (inclusief een bonus). - De beoordelaar wordt soms in het ongewisse gelaten over hoe om te gaan met een fout antwoord dat in een volgende vraag weer gebruikt moet worden (m.n. berekeningen die gebruikt moeten worden in een volgende vraag). - In de instructie is niet opgenomen hoe omgegaan zal worden met eventuele schrijffouten; worden daar eventueel punten voor afgetrokken?
Normering en puntenverdeling aanwezig Ja
Nee
Cesuur benoemd Ja
Nee
2
Instructie beoordelaar aanwezig Ja
Nee
1
1
Economie
2
2
Engels
1
1
Maatschappijleer
1
Nederlands
1
1
NAS
2
1
1
2
1
2
1
2
Wiskunde
2
1
2
1
2
1
1
2
1
1 1
1
2
2
2
Biologie
1
1
Dierverzorging
1
1
Voeding en gezondheid Techniek Totaal
2 1 10
2 1
7
7
1
1
1 1
1
2
2
1 10
8
1 9
4
13
8
TOT SLOT Het AOC-project Toetsen met kwaliteit ging van start om in de groene vmbo’s een kwaliteitsslag te maken in de toetsing. De achterliggende gedachte is: toetsen van goede kwaliteit komen de prestaties van leerlingen en van scholen ten goede. De leerling kan in de onderbouw beter gedetermineerd worden en in de examenfase heeft de leerling een betere kans omdat schoolexamen en landelijk examen met elkaar sporen. Met goede toetsing kan de school instaan voor de kwaliteit van het diploma en dat verhoogt het rendement. De screening van de 17 toetsen voor 10 verschillende vakgebieden die enkele pilotscholen van het project aangeleverd hebben, laat zien dat de scholen een belangrijke stap gezet hebben. Hun toetsen zijn vaker ingebed in een toetsmatrijs, voorzien van instructies voor leerlingen en voor beoordelaars en gekoppeld aan een beoordelingsmodel. Toch zijn er bij de hier gescreende toetsen wat dit betreft nog steeds veel hiaten gesignaleerd. Als we bedenken dat het hier om scholen gaat die al enkele jaren actief zijn in het versterken van
hun toetsing, vragen we ons af: hoe zal het ervoor staan in andere groene vmbo’s? Het is duidelijk dat het in het vmbo nog niet vanzelfsprekend is dat bij toetsing gewerkt wordt volgens algemeen aanvaarde kwaliteitsstandaarden voor goed toetsen. Het vereist – ook nu het landelijke AOC-project afgelopen is - een blijvende inspanning van de groene vmbo’s om tot toetsing met kwaliteit te komen. Daarvoor is nodig dat het bestuur en de schoolleiding een zekere prioriteit geven aan toetsing, de versterking ervan verankeren in een toetsbeleidsplan en daar consequent mee sturen. Ook is het nodig dat het proces van constructie en vaststelling van toetsen op een transparante wijze georganiseerd wordt en ook echt wordt doorlopen. En, last but not least: elk groen vmbo heeft een aantal docenten nodig die als expert een rol kunnen vervullen bij de constructie en vaststelling van toetsing. Dat vraagt om een gerichte professionalisering van deze experts. Om deze klus te klaren lijkt samenwerking tussen groene vmbo’s, in ieder geval binnen hetzelfde AOC, een noodzakelijke voorwaarde.
LAST BUT NOT LEAST
COLOFON Redactie: Anja van Kleef Vormgeving: Evert van de Biezen
José Dams is als projectleider en adviseur specialist op het terrein van examinering, zowel in het vmbo en mbo als hbo. Zij is voorzitter van het landelijke Netwerk Examineren en heeft uitgebreide ervaring bij het ontwikkelen van visie, kaders, formats en exameninstrumenten.
CINOP Advies Postbus 1585 5200 BP ’s-Hertogenbosch 073-6800800
Ida Bontius’ kennis en ervaring ligt met name op het gebied van onderwijsontwikkeling, organisatieontwikkeling en verandermanagement. Waaronder herontwerp van opleidingen, examinering en kwaliteitsontwikkeling in teams.
www.cinop.nl Wendy Ankersmit heeft als instructietechnoloog onder andere over specifieke kennis op het gebied van e-learning, het screenen van examenmateriaal en het trainen op het gebied van examinering.
9
