Verschillende vormen van afname van de rekentoets Eindrapportage, mei 2015
Inhoudsopgave Samenvatting ......................................................................................................................................................................... 3 Inleiding ................................................................................................................................................................................... 5 Objectiviteit van de scoring ............................................................................................................................................ 5 Vorm en inhoud van de rekentoetsen ........................................................................................................................ 6 Kladpapier .............................................................................................................................................................................. 6 Door de rekentoets heen en terug bladeren ............................................................................................................ 6 Innovatieve itemtypen ...................................................................................................................................................... 7 Gebruik van opgavenbanken .......................................................................................................................................... 8 Organisatielast ...................................................................................................................................................................... 9 Kwantitatief onderzoek: prestatieverschil tussen papieren en digitale afname .................................. 10 Conclusie .............................................................................................................................................................................. 12 Bronnen ................................................................................................................................................................................ 14 Bijlage: Vaardigheidsscores ......................................................................................................................................... 15 © Stichting Cito, Arnhem 2015
2
Samenvatting Vanaf het schooljaar 2015-‐2016 zal de rekentoets vo een verplicht eindexamenonderdeel zijn. De rekentoets telt dan mee in de slaag-‐/zakregeling. De toets is bedoeld om ervoor te zorgen dat kandidaten een basisniveau bij rekenen bereiken, de zogeheten referentieniveaus 2F en 3F. De commissie Bosker (2014) heeft onderzocht of de operationalisering van de referentieniveaus goed is en hoe deze verder verbeterd kan worden. De commissie Bosker adviseerde onder andere om de mogelijkheden en consequenties van verschillende vormen van afname (papier en digitaal) te onderzoeken. In dit rapport worden de voor-‐ en nadelen van een papieren afname ten opzichte van een digitale afname op een rij gezet. In een afzonderlijke literatuurstudie is de huidige stand van zaken van internationaal onderzoek naar verschillende aspecten van digitale afname van toetsen beschreven. In dit onderzoek wordt dieper ingegaan op de specifieke afwegingen die zijn gemaakt om de rekentoets in digitale vorm af te nemen. Er is onderzoek gedaan naar de verschillen tussen digitale en papieren afname van dezelfde opgaven. Er is onderzocht in hoeverre een digitale afname tot andere resultaten leidt dan een papieren afname. Aspecten die hierbij aan bod kwamen, zijn: de objectiviteit van de scoring, het gebruik van kladpapier, het kunnen terugbladeren binnen de rekentoets, de mogelijkheid om innovatieve soorten opgaven te gebruiken en verscheidene voordelen die verbonden zijn aan het gebruik van een opgavenbank. Ten slotte heeft er een kwantitatief onderzoek plaatsgevonden om de gevolgen van een papieren of een digitale afname van rekenopgaven voor de behaalde score van kandidaten te analyseren. Digitale afname kent een aantal voordelen, zoals: • er is de mogelijkheid van flexibele afnames; • de normhandhaving kan zeer nauwkeurig worden uitgevoerd; • de automatische scoring vormt een objectieve scoring; • een goede vergelijkbaarheid door de jaren heen faciliteert de monitoring van het rekenniveau; • het is mogelijk om in de toekomst een directe uitslag te geven; • het is mogelijk een grotere diversiteit aan (innovatieve) itemtypen te gebruiken; • het leidt tot een lagere correctielast voor docenten. Hier staat een aantal nadelen tegenover, zoals: • in de fase dat de opgavenbank opgebouwd werd, moesten de opgaven geheim blijven met gevolgen voor inzage en transparantie; • voor scholen is de organisatielast van een digitale afname groter, vanwege de planning; • de automatische correctie stelt strengere eisen aan de vraagstelling en aan de manier van scoretoekenning; • bij automatische scoring kan het gebeuren dat een kandidaat geen punten krijgt als hij/zij een antwoord geeft dat afwijkt van het antwoordmodel, maar dat niet per se fout is. © Stichting Cito, Arnhem 2015
3
De conclusie van dit onderzoek is dat een digitale afname geen negatieve gevolgen heeft voor een kandidaat. Met digitale toetsen kunnen rekenkennis en vaardigheden net zo goed gemeten worden als met papieren toetsen. Er is inmiddels veel kennis en ervaring met de digitale rekentoets opgedaan en die neemt elk jaar toe. De voordelen van digitale afname afwegende tegen de nadelen leidt tot de conclusie dat de digitale afname van de rekentoets de voorkeur heeft.
© Stichting Cito, Arnhem 2015
4
Inleiding Bij de invoering van de rekentoetsen is gekozen voor een digitale afnamevorm. De commissie Bosker (2014) heeft geadviseerd de mogelijkheden en consequenties in kaart te brengen van zowel een apieren afname van de rekentoetsen als de huidige digitale afname, in kaart te brengen. In het afzodnerlijk literatuuronderzoek (zie het aparte rapport hierover) wordt ingegaan op de stand van zaken met betrekking tot verschillen tussen digitale en papieren afname. In dit rapport wordt ingegaan op de overwegingen die hebben geleid tot de keuze om de rekentoetsen digitaal af te nemen en op de consequenties van een mogelijke afname van de rekentoetsen op papier. Digitale afname biedt mogelijkheden die bij papieren afname lastiger te bewerkstelligen zijn. Om een volledig beeld te schetsen van de verschillen worden vier aspecten van toetsontwikkeling en -‐gebruik nader toegelicht. Daar waar relevant, wordt in dit rapport verwezen naar onderzoek uit de literatuurstudie. Achtereenvolgens komen de volgende onderwerpen aan bod: • objectiviteit van de scoring; • vorm en inhoud van de rekentoetsen; • organisatielast; • gebruik van itembanken. Ten slotte wordt in dit rapport een deelonderzoek gepresenteerd waarin de verschillen tussen digitale en papieren afname nader worden beschouwd. Dit rapport levert argumenten om een uitspraak te kunnen doen over welke afnamevorm de voorkeur heeft.
Objectiviteit van de scoring Een belangrijk aspect van iedere toets is dat de antwoorden van de kandidaten op eerlijke, betrouwbare en valide wijze worden omgezet naar een score op de toets. Het is belangrijk dat het niet uitmaakt wie de scores aan de kandidaat toekent. De score moet een indicatie zijn van wat een toets moet meten. Als menselijke beoordelaars de transformatie van de antwoorden naar de toetsscore, de scoretoekenning, verzorgen, dan is een goed correctievoorschrift noodzakelijk. Bij menselijke beoordeling is niet volledig te voorkomen dat er een subjectief element aan de scoretoekenning verbonden is. Dit betekent dat de toetsscore niet alleen de vaardigheid van de leerling weergeeft, maar ook de strengheid van de menselijke beoordelaar (Gwet, 2014). Twee leerlingen die dezelfde antwoorden hebben gegeven, maar door verschillende beoordelaars een toetsscore toegewezen hebben gekregen, kunnen een ander toetsresultaat krijgen. Dit is een onwenselijk aspect van menselijke beoordelaars. Daarnaast heeft menselijke beoordeling het nadeel dat het kostbaar is. Menselijke beoordelaars zijn er relatief veel tijd aan kwijt. De opgaven in de rekentoets lenen zich goed om automatisch gescoord te worden, omdat de antwoorden op deze opgaven een getal of het antwoord op een meerkeuzevraag betreffen. Automatische scoring is objectiever dan menselijke beoordeling, doordat hetzelfde antwoord altijd exact dezelfde score krijgt. De objectiviteit uit zich in het feit dat voor iedere kandidaat dezelfde scoringsregels gelden. Automatische scoring van de antwoorden is bovendien een goedkoop alternatief, omdat de benodigde software beschikbaar is. © Stichting Cito, Arnhem 2015
5
Automatische scoring heeft echter ook een nadeel. Soms vertonen kandidaten bij de rekentoets onvoorzien antwoordgedrag, waardoor kandidaten ten onrechte een scorepunt wordt onthouden. Of het tegenovergestelde is het geval: een kandidaat krijgt ten onrechte een scorepunt toegewezen. Bij gebruik van automatische scoring moeten de toetsconstructeurs continu evalueren of alle correcte antwoorden goed worden gerekend. Samengevat, automatische scoring kent voordelen boven scoring door menselijke beoordelaars, maar heeft als nadeel dat sommige antwoorden ten onrechte fout worden gescoord. Het advies is om automatische scoring toe te passen met daarbij een continue, kritische evaluatie van de juistheid van automatische scoretoekenning.
Vorm en inhoud van de rekentoetsen Diverse aspecten van de vorm en inhoud zijn verbonden met de digitale afname van de rekentoetsen. In deze paragraaf worden die aspecten uitgelicht die zijn benoemd door de commissie Bosker. Het betreft achtereenvolgens het gebruik van kladpapier en de mogelijkheid om door de toets te bladeren. Ten slotte wordt aandacht besteed aan een derde aspect, namelijk de mogelijkheid om innovatieve vormen van rekenopgaven in de toets op te nemen.
Kladpapier De commissie Bosker stelt dat kandidaten bij een digitale rekentoets weinig geneigd zijn om gebruik te maken van kladpapier. Hoewel de kandidaten is toegestaan om kladpapier te gebruiken, lijkt dat kandidaten dat niet vaak doen. Uit de literatuur blijkt inderdaad dat kandidaten bij een digitale afname minder geneigd zijn om van kladpapier gebruik te maken (Texas education agency, 2008; Kingston, 2009). Het gebruik van kladpapier is een belangrijk hulpmiddel om slordigheidsfouten te voorkomen. Inzet van dit hulpmiddel leidt dus mogelijk tot betere prestaties op de rekentoetsen. Het is vooral de taak van het onderwijs om het gebruik van kladpapier bij een digitale afname bij kandidaten een automatisme te laten worden. Extra voorlichting en vooral ook oefening met het gebruik van kladpapier kan een snelle winst opleveren met betrekking tot de prestaties op de rekentoetsen. Scholen informeren over het positieve effect van het gebruik van kladpapier bij rekenopgaven kan bijdragen aan hogere prestaties op de rekentoets. Extra aandacht voor het gebruik van kladpapier, ter ondersteuning van de berekeningen, vermindert de kans op onnodige rekenfouten.
Door de rekentoets heen en terug bladeren De rekentoetsen bestonden voor een deel uit opgaven waarbij de kandidaat een rekenmachine mocht gebruiken en voor een ander deel uit opgaven waarbij de kandidaat geen rekenmachine mocht gebruiken. Bij de ene opgave mocht een kandidaat wel een rekenmachine gebruiken en bij de andere opgave niet. De digitale rekenmachine was soms wel en soms niet beschikbaar. Om dit probleem op te lossen was ervoor gekozen de kandidaten niet toe te staan terug te bladeren naar een reeds gemaakte opgave. Dit was mogelijk vanwege de digitale afname. Bij een papieren afname zou een dergelijke restrictie onuitvoerbaar geweest zijn. © Stichting Cito, Arnhem 2015
6
De commissie Bosker gconstateerde dat dit een onwenselijk aspect was van de rekentoets. Een nadeel is dat de kandidaten niet eerst de opgaven kunnen maken die ze relatief gemakkelijk vinden en de lastigere opgaven tot het eind bewaren (Pearson educational measurement, 2005). Het gevolg is dat kandidaten veel tijd besteden aan de lastige opgaven en daardoor te weinig tijd hebben om de relatief eenvoudigere opgaven aan het eind van de toets correct te beantwoorden. In april 2013 is bij de afname van het centraal examen rekenen 2F in het mbo een onderzoek uitgevoerd waarbij kandidaten wel door de toets heen en terug konden bladeren. Bij dit onderzoek is een aantal varianten in twee secties opgesplitst, namelijk een sectie opgaven waarbij geen rekenmachine gebruikt mocht worden en een sectie waarbij wel een rekenmachine gebruikt mocht worden. Binnen ieder sectie is het de kandidaten toegestaan om heen en terug te bladeren. Doordat in dit onderzoek gebruik werd gemaakt van zowel varianten waarin heen en terugbladeren mogelijk was als van varianten waarin alleen vooruit gebladerd kon worden, was het mogelijk om te onderzoeken of de kandidaten nadeel ondervonden van het niet kunnen terugbladeren. Er is niet geconstateerd dat de varianten waarin kandidaten heen en terug konden bladeren beter werden gemaakt dan de varianten waarin kandidaten niet konden terugbladeren (Straat, 2014). Een belangrijke kanttekening is dat er geen indicatie is dat bij het centraal examen rekenen 2F in het mbo de beschikbare tijd een beperkende factor is geweest voor de kandidaten. Mogelijk dat het niet kunnen terugbladeren wel een effect had bij de rekentoetsen 3F in het vo en het mbo. Vanaf het schooljaar 2014-‐2015 bestaan de rekentoetsen uit twee secties: een sectie zonder gebruik van de rekenmachine en een sectie waarbinnen de rekenmachine wel gebruikt mag worden. Binnen elke sectie kan een leerling heen en terug bladeren tussen de opgaven. Er is één beperkende factor: wanneer de eerste sectie is afgesloten, heeft de kandidaat geen mogelijkheid meer om naar dat toetsdeel terug te keren en de antwoorden te herzien. Hierbij moet echter worden opgemerkt dat het ook bij een papieren variant wenselijk is om afzonderlijke secties zonder rekenmachine en met rekenmachine te hebben. Dit is noodzakelijk om te kunnen garanderen dat er geen rekenmachine wordt gebruikt bij het toetsdeel waarbij dit niet is toegestaan. De organisatielast bij een papieren afname zou extra inzet van de surveillant vergen. Tijdens de afname moeten immers na het beëindigen van het toetsdeel zonder rekenmachine de antwoorden op de betreffende opgaven worden verzameld, voordat kandidaten een rekenmachine mogen gaan gebruiken voor het deel met rekenmachine. Dat scenario zou ook een nieuw risico met zich mee brengen. Het is namelijk lastig te garanderen dat alle koppelingen tussen beide toetsdelen correct zullen plaatvinden.
Innovatieve itemtypen Digitale afname maakt het mogelijk om innovatieve itemtypen te gebruiken die niet eenvoudig op papier af te nemen zijn. Te denken valt aan items met een breder gebruik van beeld, geluid, video, animaties en interactieve toepassingen. Van deze mogelijkheden wordt op dit moment in de rekentoets nog geen gebruik gemaakt. Robuustheid en betrouwbaarheid van het examensysteem zijn heel belangrijke factoren bij het besluiten wel of niet van de mogelijkheden gebruik te maken. Ook andere redenen om bepaalde itemtypen wel of niet te gebruiken, spelen mee. Bij papieren afnames is het bijvoorbeeld niet gebruikelijk om de toetsen en examens in kleur af te drukken in verband met hogere kosten. Bij digitale afname zijn de kosten voor kleuren en zwart-‐wit gelijk, waardoor het mogelijk is om grafieken en andere figuren in kleur af te beelden. Hierdoor kunnen authentieke bronnen gebruikt worden en je kunt duidelijker verwijzen in de figuren. Het risico dat © Stichting Cito, Arnhem 2015 7
een kandidaat een item niet goed kan beantwoorden door een onduidelijke afbeelding wordt daardoor verkleind.
Gebruik van opgavenbanken Een verzameling van toetsopgaven wordt in een opgavenbank opgeslagen. Een dergelijke verzameling van toetsopgaven is meer dan een boekhouding van opgaven die ooit in de rekentoetsen zijn gebruikt. De opgaven in de opgavenbank kunnen opnieuw worden gebruikt in de rekentoetsen, zodat er geprofiteerd kan worden van kennis over de hergebruikte opgaven. Om van deze bestaande kennis over het functioneren van de opgaven te kunnen profiteren, is het van groot belang dat de toetsopgaven evenveel informatie geven over het rekenniveau van de kandidaten in de nieuwe afname als in de oude afname. Als bijvoorbeeld kandidaten de opgaven uit het hoofd gaan leren, wordt niet alleen het rekenniveau getoetst, maar ook de mate waarin de kandidaten zich het goede antwoord herinneren. Dit is onwenselijk. Om te voorkomen dat leerlingen antwoorden uit hun hoofd leren, moeten opgaven in de opbouwfase van een opgavenbank geheim gehouden worden. Bij digitale afname is het eenvoudiger om te zorgen dat opgaven geheim blijven dan bij papieren afnames, omdat papieren afnames (per ongeluk) mee naar huis kunnen worden genomen of eenvoudig op een andere manier achtergehouden kunnen worden door ze niet te publiceren. Bij digitale afname kunnen allerlei veiligheidsrestricties worden ingebouwd. Daardoor is het ook mogelijk om meerdere toetsvarianten uit te brengen die door scholen op flexibele wijze gedurende een afnameperiode, bijvoorbeeld twee weken zoals nu het geval is, kunnen worden ingezet. Doordat een deel van de opgaven in meerdere toetsvarianten voorkomen, is het mogelijk om moderne psychometrische technieken te gebruiken voor het vergelijkbaar maken van de toetsvarianten. Daardoor kunnen de prestaties van de kandidaten op de verschillende toetsen op een eerlijke manier worden vergeleken door te corrigeren voor de verschillen in moeilijkheid van de verschillende toetsvarianten. Een ander voordeel is dat kandidaten die op hetzelfde moment de rekentoets maken, verschillende toetsvarianten voorgelegd kunnen krijgen, zodat kan worden voorkomen dat de kandidaat de correcte antwoorden van een andere kandidaat kan overnemen. Een opgavenbank dient uit een minimaal aantal opgaven te bestaan om alle voordelen van digitale toetsing te kunnen benutten. Ieder jaar worden een aantal varianten van de rekentoets afgenomen en vervolgens worden de items opgenomen in de opgavenbank. Zodra een opgavenbank groot genoeg is, kunnen de toetsvarianten grotendeels uit herbruikbaar materiaal bestaan. De kennis over deze hergebruikte opgaven maakt het mogelijk om de toetsafname in de toekomst gebruiksvriendelijker te maken en de kwaliteit van de rekentoetsen te verbeteren. Gebruiksvriendelijkheid kan worden vergroot door direct na de afname de uitslag aan de kandidaat mee te delen. Omdat al bekend is hoe deze opgaven in de rekentoets functioneren, kan vóór afname al worden bepaald hoe het aantal correcte antwoorden op een toetsvariant zich verhoudt tot het cijfer. De kandidaat weet daardoor dus meteen na afname of de prestatie die is geleverd voldoet of dat er herkanst moet worden. Op termijn is het ook mogelijk om de kennis over de items te gebruiken voor een vorm van adaptieve toetsing (Meijer and Nering, 1999). Dat wil zeggen dat de items dusdanig op de kandidaat worden afgestemd dat er optimale informatie over het rekenniveau van de kandidaat wordt verkregen. Een kandidaat hoeft daardoor geen opgaven te maken die naar verwachting veel te moeilijk of veel te © Stichting Cito, Arnhem 2015
8
makkelijk zijn. De kandidaat krijgt een toets voorgelegd die per definitie zowel maakbaar als voldoende uitdagend is. Omdat iedere kandidaat een selectie toetsopgaven krijgt die is aangepast aan zijn rekenniveau, is het ook mogelijk om de kandidaat binnen de toetsafname te toetsen op een hoger referentieniveau dan passend bij de schoolsoort. De commissie Bosker heeft aanbevolen om de rekentoetsen transparanter en meer openbaar te maken. Door meer opgaven openbaar te maken, krijgen kandidaten een beter gevoel voor wat van hen verwacht wordt. Momenteel wordt de openbaarheid gerealiseerd door jaarlijks voorbeeldtoetsen openbaar te maken. De commissie Bosker adviseert om dit aantal te vergroten alsook om de mogelijkheden tot inzage te bevorderen. Met opgavenbanken is het mogelijk om state-‐ of-‐the-‐art-‐toetsen te ontwikkelen en een flexibele afname te realiseren. Met een opgavenbank waarin opgaven voorkomen die van voldoende hoge kwaliteit zijn en waar voldoende betrouwbare informatie over beschikbaar is, wordt het mogelijk om in de toekomst direct de uitslag te geven of om adaptief te kunnen toetsen.
Organisatielast De organisatielast voor scholen zou behoorlijk toenemen als de rekentoetsen op papier zouden worden afgenomen. Als referentiepunt kunnen de centrale examens worden genomen waarbij een behoorlijke groep kandidaten tegelijk examen doet. Bij de rekentoets is het aantal kandidaten dat de toets moet doen veel groter. Het betreft niet alleen eindexamenkandidaten, maar ook kandidaten uit het voorlaatste jaar. Bovendien kennen de rekentoetsen de mogelijkheid om meerdere malen te herkansen en moeten verschillende schooltypen veelal tegelijkertijd de toets afleggen. Bij een papieren afname moeten al deze afnames op hetzelfde tijdstip plaatsvinden om oneigenlijk voordeel door het uitlekken van toetsopgaven uit te sluiten (zie ook ‘Gebruik van opgavenbanken’). Digitale afname geeft scholen de mogelijkheid om deze afnames over twee weken te verspreiden waardoor de organisatiedruk door één afnamemoment behoorlijk kan worden gereduceerd. Scholen kunnen baat hebben bij een flexibele afnamemogelijkheid. Een combinatie van de mogelijkheid om de rekentoets in het voorlaatste jaar af te ronden en de mogelijkheid om maximaal vier maal de rekentoets te maken, leidt ertoe dat de organisatiedruk voor scholen hoog kan zijn. Deze keuzes voor meerder afnamemogelijkheden passen beter bij een digitale afname dan bij een papieren afname, omdat digitale afnames flexibeler kunnen plaatsvinden. Een nadeel van de digitale afname is dat er scholen zijn die de ICT-‐infrastructuur nog niet op orde hebben en mede daardoor bij een digitale afname organisatiedruk hebben. Wanneer er wordt overgegaan op een papieren afname, zal dat zeker consequenties hebben voor de mogelijkheid om in het voorlaatste jaar en tot zelfs tot vier keer toe deel te nemen aan de toets. Dit zal de organisatiedruk voor scholen vergroten. Digitale afname biedt veel voordelen en zal in de toekomst steeds vaker -‐ ook bij andere vakken dan rekenen -‐ worden toegepast. Scholen worden gestimuleerd om te investeren in ICT-‐infrastructuur om in de toekomst flexibel met toetsafnames om te kunnen gaan.
© Stichting Cito, Arnhem 2015
9
Kwantitatief onderzoek: prestatieverschil tussen papieren en digitale afname Onderzoek naar het verschil tussen papieren en digitale afnames wordt al drie decennia gedaan (Fiddes, Koraninski, Youngson, and MacMillan, 2002; Mead and Drasgow, 1993; Wang et al. 2007). De literatuur laat grotendeels het beeld zien dat kandidaten geen nadeel ondervinden van een digitaal afgenomen toets vergeleken met een op papier afgenomen toets. Er is een verzameling rekenopgaven beschikbaar die zowel op papier als digitaal is afgenomen in het onderzoek van het CvTE ten behoeve van de referentiesets (College voor Toetsen en Examens, 2014). Omdat er sprake kan zijn van een toetsspecifiek effect van de afnamevorm, worden deze afnamegegevens gebruikt om een uitspraak te doen over het verschil in de prestaties tussen kandidaten die opgaven in een digitale afnameomgeving hebben gemaakt en kandidaten die dezelfde opgaven op papier hebben gemaakt. Er zijn 22 opgaven beschikbaar die bij het onderzoek referentiesets 2F rekenen (College voor Toetsen en Examens, 2014) zijn afgenomen in papieren vorm en bij de rekentoets vo 2F in het schooljaar 2013 in tijdvak 1 in digitale vorm zijn afgenomen. Deze opgaven zijn bijzonder geschikt om een vergelijking te maken tussen de prestaties van de kandidaten. Het onderzoek referentiesets 2F rekenen is het kernonderzoek op basis waarvan het referentieniveau 2F rekenen is geoperationaliseerd. Ook is vastgelegd welke prestatie een kandidaat moet leveren om aan het referentieniveau 2F te voldoen. De rekenopgaven uit de referentiesets 2F rekenen zijn gekoppeld aan de rekentoets vo 2F. Deze koppeling maakt het mogelijk om de volgende vraag te beantwoorden: als een kandidaat een bepaald aantal opgaven goed heeft van de papieren variant, hoeveel opgaven zou dezelfde kandidaat dan goed hebben op de digitale variant? Idealiter zou de uitkomst zijn dat dit altijd hetzelfde aantal opgaven is. In het onderzoek zijn opgaven gebruikt die bij de referentiesets 2F rekenen op papier zijn afgenomen bij 300 tot 400 kandidaten en dezelfde opgaven die bij de rekentoets vo 2F 2013 tijdvak 1 zijn digitaal afgenomen bij 3000 tot 5000 kandidaten. Bij drie opgaven mochten de kandidaten in het onderzoek referentiesets geen rekenmachine gebruiken, terwijl de rekenmachine wel is toegestaan bij de rekentoets vo. Als we deze opgaven zouden mee tellen, blijken deze opgaven makkelijker te zijn in de rekentoets vo. Echter, dit is geen effect van de afnamevorm, maar van het gebruik van een rekenmachine. Om een eerlijke vergelijking te kunnen maken tussen de beide afnamevormen, is ervoor gekozen om het onderzoek te beperken tot de 19 resterende opgaven. Voor deze 19 opgaven geldt dat 3 opgaven voor kandidaten makkelijker bleken in de digitale afname dan in de papieren afname, 6 opgaven waren moeilijker en 10 opgaven bleken ongeveer even moeilijk in de digitale afname als in de papieren afname. Er hebben verschillende kandidaten deelgenomen aan beide toetsen. Als bijvoorbeeld de groepen kandidaten die de opgaven correct heeft gemaakt bij beide afnamevormen wordten vergeleken, is niet te bepalen of een gevonden effect is toe te schrijven aan de afnamevorm of aan een verschil in vaardigheid tussen de kandidaten op de beide toetsen. De 19 opgaven worden beschouwd als één toets die twee afnamevormen heeft, digitaal en papier. Voor iedere afnamevorm geldt dat er een omzetting is gedaan van het aantal correct beantwoorde opgaven naar een vaardigheidsscore. Door een vaardigheidsscore te gebruiken wordt het hierboven © Stichting Cito, Arnhem 2015 10
beschreven probleem van het niet kunnen vergelijken van toetsen opgelost. In de bijlage wordt kort ingegaan op wat een vaardigheidsscore inhoudt. Tabel 1 op pagina 11 geeft een overzicht van de resultaten. Het valt op dat alleen bij een score 0 (alles fout) de geschatte vaardigheid bij de papieren afname significant hoger is dan bij de digitale afname. Dit is te zien aan een negatief getal in de kolom Verschil. Bij de meeste ruwe scores is de geschatte vaardigheid bij de digitale afname hoger dan de geschatte vaardigheid bij de papieren afname, maar de verschillen zijn over het algemeen klein. Tabel 1 laat zien dat de digitale afname iets moeilijker blijkt te zijn dan de papieren afname, want bij evenveel opgaven correct krijgt de kandidaat een iets hoger geschatte vaardigheid. De verschillen zijn echter klein en daardoor kunnen hieraan geen definitieve conclusies worden verbonden. Als het onderzoek herhaald zou worden, zouden de resultaten ook zo kunnen uitvallen dat juist de papieren afname iets moeilijker blijkt te zijn. Dit wordt bevestigd door de bevinding dat er zowel opgaven zijn die moeilijker blijken in de papieren afname, als opgaven die moeilijker blijken in de digitale afname.
© Stichting Cito, Arnhem 2015
11
Tabel 1. Omzetting van ruwe score naar vaardigheidsscore op de digitale en de papieren afname. Score 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19
Digitaal -‐1.66 -‐0.83 -‐0.55 -‐0.32 -‐0.12 0.04 0.16 0.27 0.36 0.45 0.53 0.61 0.69 0.77 0.85 0.93 1.03 1.16 1.34 1.72
Papier -‐1.36 -‐0.86 -‐0.55 -‐0.30 -‐0.12 0.03 0.15 0.25 0.34 0.42 0.50 0.57 0.64 0.71 0.78 0.86 0.96 1.08 1.25 1.62
Verschil -‐0.30 0.02 0.00 -‐0.01 0.00 0.01 0.01 0.02 0.03 0.03 0.04 0.05 0.05 0.06 0.06 0.07 0.08 0.08 0.09 0.10
Conclusie Het onderzoek met opgaven die zijn afgenomen bij de rekentoets vo 2F laat zien dat digitale afname een verwaarloosbaar negatief effect heeft. Als de afzonderlijke opgaven worden beschouwd, blijkt dat soms de papieren opgave en soms de digitale opgave moeilijker is. Wetenschappelijke literatuur onderschrijft dat op toetsniveau er doorgaans nauwelijks of geen verschillen tussen papier en digitaal worden geconstateerd. Kandidaten worden dus niet benadeeld noch bevoordeeld doordat zij een toets in digitale of papieren vorm moeten maken. Digitale afname van de rekentoetsen heeft voordelen boven een papieren afname. Digitale afname zorgt voor een objectievere scoring van de antwoorden, maakt flexibele afname van de toets mogelijk, biedt de mogelijkheid om direct na de toetsafname de uitslag te bepalen en heeft de mogelijkheid om in de toekomst een toets af te nemen die goed aansluit bij het specifieke rekenniveau van iedere individuele kandidaat (adaptief toetsen). Er kleven ook nadelen aan een digitale afname. Daar waar een digitale afname een belemmering vormt, luidt het advies om zoveel mogelijk deze belemmeringen weg te nemen. Het uitgangspunt is te zorgen dat automatische scoring zo accuraat en rechtvaardig mogelijk gebeurt. Samengevat, uit vergelijkend onderzoek tussen papieren en digitale afname van de rekentoets in de context van de referentiesets blijkt dat de rekenvaardigheid met digitale en papieren afname ongeveer even goed gemeten wordt. Ook blijkt dat leerlingen op de papieren toets niet beter presteren dan op de digitale variant, of andersom. © Stichting Cito, Arnhem 2015
12
Er is inmiddels veel kennis en ervaring met de digitale rekentoets opgedaan en die neemt elk jaar toe. In de enquêtes die na de rekentoetsen in het voorjaar van 2015 zijn afgenomen geeft 49% van de docenten aan een voorkeur te hebben voor digitale afnames en 25% van de docenten voor papieren afnames. Met digitale toetsen kunnen rekenkennis en rekenvaardigheden net zo goed gemeten worden als met papieren toetsen. De voordelen van digitale afname afwegende tegen de nadelen leidt tot de conclusie dat het verstandig is om de digitale afname van de rekentoets te handhaven.
© Stichting Cito, Arnhem 2015
13
Bronnen College voor Toetsen en Examens (2014). Rapportage referentiesets Nederlandse taal (lezen) en rekenen: verantwoording project. Utrecht, Nederland. Commissie Bosker (2014). Advies over de uitwerking van de referentieniveaus 2F en 3F voor rekenen in toetsen en examens. SLO Commissie Meijerink (2008). Over de drempels met taal en rekenen. Eindrapportage van de expertgroep doorlopende leerlijn taal en rekenen. Fiddes, D. L., Korabinski, A. A., McGuire, G. R., Youngson, M. A., & MacMillan D. (2002). Does the mode of deliviery affect mathematics examination results? Research in learning technology, 10, 60-‐ 69. Gwet, K. L. (2014). Handbook of inter-‐rater reliability, 4th edition. Gaithersburg: Advanced analytics, LLC. Kingston, N. M. (2009). Comparability of computer-‐ and paper-‐administered multuple-‐choice tests for K-‐12 populations: A synthesis. Applied Measurement in Education, 22, 22-‐37. Meijer, R. R., & Nering, M. L. (1999). Computerized adaptive testing: Overview and introduction. Applied Psychological Measurement, 23, 187-‐194 Pearson Educational Measurement (2005). Recent trends in comparability studies. Austin, TX: Author Straat, J. H. (2014). Terugbladeronderzoek COE 2F Rekenen. Intern rapport. Arnhem: Cito. Texas education agency (2008). A review of literature on the comparability of scores obtained from examinees on computer-‐based and paper-‐based tests. Technical report series. Wang, S., Jiao, H., Young, M. J., Brooks, T., & Olson, J. (2007). A meta-‐analysis of testing mode effects in grade K-‐12 mathematics tests. Educational and Psychological Measurement, 67, 219-‐238.
© Stichting Cito, Arnhem 2015
14
Bijlage: Vaardigheidsscores In de psychometrie wordt gebruik gemaakt van itemresponsmodellen om de prestatie op een toets op te splitsen in een persoonskenmerk en een toetskenmerk. Een uitgebreide beschrijving van het gebruikte itemresponsmodel is ook te lezen in Bijlage 2 van het Bosker onderzoeksrapport ‘Onderzoek discrepantie rekentoets vo 2F en CE wiskunde vmbo bb en kb’. De prestatie op de toets is bijvoorbeeld gedefinieerd als het aantal correct gemaakte opgaven. Er zijn verschillende redenen mogelijk om deze prestatie te verklaren, bijvoorbeeld de kandidaat is vaardig, de toets is eenvoudig of een combinatie van beiden. Als prestaties van kandidaten op verschillende toetsvarianten met elkaar vergeleken moeten worden, dan is het noodzakelijk om de vaardigheid van de kandidaat en de moeilijkheid van de toets te scheiden. Door enerzijds de vaardigheid van de kandidaten en anderzijds de moeilijkheid van de toetsvarianten te kwantificeren, is het mogelijk om kandidaten die verschillende toetsvarianten hebben gemaakt met elkaar te vergelijken. Er kan dan dus een uitspraak worden gedaan als: een kandidaat die 26 van de 45 opgaven goed heeft op de ene toetsvariant zou naar verwachting 28 van de 45 opgaven goed moeten hebben op de andere variant. Omdat de tweede variant makkelijkere opgaven bevat, scoort dezelfde kandidaat daarop naar verwachting meer punten. De toetsscores op verschillende toetsvarianten worden met deze methode dus vergelijkbaar, oftewel er wordt gecontroleerd voor de moeilijkheid van de toets.
© Stichting Cito, Arnhem 2015
15
