Verslag referentieniveaus Rekenen-wiskunde medio/eind jaargroep 8 Afronding van een pilotstudie in opdracht van het Ministerie van OCW onder basisscholen in Arnhem en Den Haag
Jan van Weerden Charlotte Jacobs
Cito, oktober 2010
1
© Stichting Cito Instituut voor Toetsontwikkeling Arnhem (2010) Niets uit dit werk mag zonder voorafgaande schriftelijke toestemming van Stichting Cito Instituut voor Toetsontwikkeling worden openbaar gemaakt en/of verveelvoudigd door middel van druk, fotografie, scanning, computersoftware of andere elektronische verveelvoudiging of openbaarmaking, microfilm, geluidskopie, film- of videokopie of op welke wijze dan ook.
2
Inhoud
1
Inleiding
5
2
Procedure voor het vaststellen van referentieniveaus Rekenen-wiskunde
3
Het onderzoek
4 4.1 4.2
De uitkomsten 11 De uitkomsten in Den Haag 11 De uitkomsten in Arnhem 13
5
Gebruik van referentieniveaus in het LOVS
6
Samenvatting en conclusies
7
Literatuur
9
17
19
3
15
7
4
1
Inleiding
Op 7 oktober 2009 is het definitieve referentiekader taal en rekenen naar de Tweede Kamer gestuurd, onder leiding van de ‘Expertgroep doorlopende leerlijnen taal en rekenen’. Hierin staat precies beschreven wat een leerling moet kennen en kunnen op het gebied van taal en rekenen op verschillende momenten in hun schoolloopbaan. Voordat de adviezen vastgelegd zijn, is het veld uitgebreid geraadpleegd. De veldraadpleging was gericht op inventarisatie van input van leerkrachten, schoolleiders en besturen over de inhoud van de domeinen en de haalbaarheid van de referentieniveaus. Ook zal de kennis en bewustwording in het veld ontwikkeld en versterkt moeten worden. Het ministerie van Onderwijs, Cultuur en Wetenschappen heeft Cito daarom gevraagd om op basis van de toetsen van het leerlingvolgsysteem (de LVS-toetsen) streef- of referentieniveaus te ontwikkelen voor Nederlandse taal en rekenen-wiskunde. Deze pilotstudie richt zich op de ontwikkeling van referentieniveaus halverwege jaargroep 5 en 8. Referentieniveaus halverwege het basisonderwijs maken de leraren duidelijk welke basale vaardigheden leerlingen bij de afsluiting van de onderbouw zouden moeten beheersen en bij welke leerlingen dat niet is gerealiseerd, terwijl referentieniveaus einde jaargroep 8 aangeven welk kwaliteitsniveau aan het einde van het basisonderwijs nagestreefd zou moeten worden. Dit verslag is een aanvulling op bovengenoemde pilotstudie die zich richt op de ontwikkeling van referentieniveaus halverwege jaargroep 5 en einde jaargroep 8. In het kader van de pilotstudie halverwege groep 5 hebben bijeenkomsten plaatsgevonden in Arnhem en Den Haag. Tijdens deze bijeenkomsten hebben leraren van basisscholen in Arnhem en Den Haag vaardigheidsniveaus vastgesteld voor referenties Minimum en Voldoende. Zij hebben deze niveaus vastgesteld op basis van opgaven die zijn gerelateerd en ontleend aan LVS-toetsen begrijpend lezen, technisch lezen en rekenen-wiskunde. Daarbij is voor technisch lezen gebruik gemaakt van verschillende instrumenten. Uitgangspunt was dat referentie Voldoende door de meeste leerlingen – zeg 70% tot 75% – bereikt zou moeten worden en referentie Minimum niveau door vrijwel alle leerlingen – zeg 90% tot 95%. Bij het bepalen van het referentieniveau rekenen-wiskunde eind groep 8, is gekozen voor het vaststellen van drie referentieniveaus, aansluitend bij die van de Expertgroep Doorlopende Leerlijnen (EGDLL): Minimum, Fundamenteel en Streefniveau. Een minimumniveau wordt door de EGDLL niet gedefinieerd, maar is wel onderdeel van de procedure bij PPON, het project waar deze vorm van standard setting vandaan komt. Voor de continuïteit met het eerste deel van dit project is daarom gekozen voor deze drie standaarden, waarbij dus het minimumniveau en het fundamentele niveau overeenkomen met die van de eerste pilot. Toegevoegd is het streefniveau van de EGDLL. In plaats van voldoende niveau wordt nu de term fundamenteel niveau gebruikt, maar wel met dezelfde definitie. Uitgangspunt was dat het Minimum niveau door vrijwel alle leerlingen – zeg 90% tot 95% en het Fundamenteel niveau door de meeste leerlingen – zeg 70% tot 75% – bereikt zou moeten worden. Het streefniveau zou door 50% van alle leerlingen bereikt moeten worden, althans bij rekenvaardigheid. Op 26 november 2009 heeft in Den Haag een bijeenkomst plaatsgevonden met als doel: – Het bepalen van nieuwe referentieniveaus voor medio/eind groep 8 voor rekenen-wiskunde. – Uitleg geven over de reeds uitgevoerde pilot waarin referentieniveaus van groep 5 bepaald zijn en aansluitend een adviserend vervolggesprek, waarbij de onderwijsbegeleidingsdienst HCO zorgt voor advies en informatie. Eenzelfde bijeenkomst was voorzien voor de scholen in Arnhem die aan deze studie hadden deelgenomen, maar deze is vervallen vanwege een gebrek aan voldoende inschrijvingen. Wel is rond de zomervakantie van 2010 uitvoering gegeven aan een standaardsetting op schoolniveau in de regio Arnhem. Daarbij is een aanvulling gepleegd op de standaarden zoals die in Den Haag waren vastgesteld. Deze ervaringen zijn gebruikt in de voortzetting van het project Leerstandaarden zoals dat gestalte heeft gekregen in het project Streef dat samen met het GION van de Universiteit Groningen wordt uitgevoerd. We beschrijven in deze aanvullende rapportage deze twee activiteiten en de uitkomsten daarvan.
5
6
2
Procedure voor het vaststellen van referentieniveaus rekenen-wiskunde
Voor rekenen-wiskunde zijn LVS-toetsen beschikbaar, die op grote schaal door scholen worden gebruikt. Omdat het niveau van rekenen-wiskunde halverwege en aan het eind van groep 8 gemiddeld genomen dicht bij elkaar ligt, is er voor gekozen toetsopgaven medio groep 8 in te zetten om de referentieniveaus vast te stellen. De procedure voor het bepalen van referentieniveaus wordt uitvoerig beschreven in het eerdere tussentijdse verslag (Van der Schoot, 2009). De beoordelaars De referentieniveaus zijn in de laatste fase van deze pilot vastgesteld met medewerking van basisschoolleraren uit Den Haag, gefaciliteerd door HCO. Hiervoor zijn dezelfde scholen benaderd als bij de bijeenkomst voor groep 5. Vervolgens is er een beoordelaarpanel samengesteld. De omvang van dit panel was ± 15 leraren en 2 deskundigen van onderwijsbegeleidingsdienst HCO. In de procedure worden de leraren in de gelegenheid gesteld tot onderling overleg. De bijeenkomst in Den Haag heeft in november 2009 plaatsgevonden. De bijeenkomst in Arnhem is afgelast, omdat er nauwelijks respons was. Stichting Pas en de scholen in Arnhem die wel belangstelling hadden voor een bijeenkomst, zijn opnieuw uitgenodigd op 15 februari 2010 om in ieder geval de uitkomsten van de vorige bijeenkomst te bespreken en van adviezen te voorzien. Ook voor die datum was de respons te gering Vervolgens is rond de zomervakantie uitvoering gegeven aan de standaardsetting met een procedure op schoolniveau. De eerste twee rondes werden in schoolteams uitgevoerd. De laatste ronde werd via een e-mailprocedure afgerond. Deze experimentele werkwijze leverde verdere input op voor de standaarden in Arnhem. In deze setting waren dus geen onderwijsadviseurs betrokken zoals in Den Haag. Drie referentieniveaus Voor het bepalen van het fundamenteel niveau wordt de beoordelaars gevraagd aan te geven wat leerlingen zouden moeten kennen en kunnen, met andere woorden welk vaardigheidsniveau zij moeten bereiken, om te spreken van een fundamenteel niveau. Dit niveau zou door de meerderheid van de leerlingen bereikt moeten worden, dat is 70% tot 75%. Naast een fundamenteel niveau, zal ook een Minimum niveau vastgesteld worden. Daarmee wordt een ondergrens aangegeven: Het niveau dat leerlingen minstens bereikt moeten hebben als zij het Fundamentele niveau niet kunnen bereiken. Dit niveau zou door (vrijwel) alle leerlingen bereikt moeten worden, dat wil zeggen door 90% tot 95% van de leerlingen. Er zijn leerlingen zijn die sneller dan gemiddeld de leerstof beheersen. Om deze groep extra te motiveren is het Streefniveau ingevoerd. Het Streefniveau zou door 50% van alle leerlingen bereikt moeten worden. Hoe zijn de referentieniveaus vastgesteld? Voor het onderzoek wordt een beoordelaarpanel samengesteld, in dit geval dus vooral bestaande uit leraren van jaargroep 8 en deskundigen van onderwijsbegeleidingsdienst HCO. De beoordelaars krijgen een serie opgaven of taken voorgelegd met de vraag aan te geven bij welke opgaven of in hoeverre deze taken beheerst moeten worden, er sprake is van een minimum, referentie- en streefniveau. Om inconsistenties in oordelen te voorkomen worden de opgaven gerangschikt naar moeilijkheidsgraad. Het beoordelingsproces verloopt daarbij in drie fasen. In de eerste fase maken en bestuderen de beoordelaars de opgaven en geven op de corresponderende vaardigheidsschaal voor bovengenoemde niveaus aan in hoeverre de voorgelegde opgavenverzameling dan beheerst zou moeten worden. Het betreft dan een getransformeerde vaardigheidsschaal, zodat de beoordelaars niet geïnformeerd zijn over de feitelijke vaardigheidsverdeling in de populatie en hun oordeel dus vrijwel uitsluitend kunnen baseren op de inhoudelijke kenmerken van de opgaven. Vervolgens mogen zij in kleine groepen overleggen over de gemaakte keuzes. Ze nemen dan kennis van elkaars oordelen en wisselen daarbij de argumenten uit die aan deze keuzes ten grondslag liggen. Aan het einde van deze discussiefase geeft iedere beoordelaar voor elk referentieniveau zelfstandig een tweede oordeel af. De discussies binnen de groepen behoeven dus niet noodzakelijk te leiden tot een eensgezind groepsoordeel. Vaak zien we overigens dat door deze discussies in kleine groepen de consensus binnen de groep als geheel sterk toeneemt (Van der Schoot, 2006).
7
De oordelen uit de tweede fase worden verzameld. Vervolgens ontvangen beoordeelaars de werkelijke vaardigheidsschaal. Op deze schaal zijn ook de posities aangegeven van de percentielen 10, 25, 50 en 75, zodat de posities van de afgegeven oordelen direct gerelateerd kunnen worden aan deze percentielniveaus en daarmee de feitelijke prestaties van de leerlingen van de normeringsgroep van de LOVS-toetsen. Het resultaat wordt met de beoordelaarsgroep besproken, zodat iedere individuele beoordelaar en de groep als geheel kan zien hoe de oordelen zich onderling verhouden en zich verhouden tot de werkelijke vaardigheidsverdeling in de populatie. Vervolgens geeft iedere beoordelaar nog zijn of haar eindoordeel. Eventueel kan dan op grond van de additionele informatie het eerdere oordeel worden bijgesteld. Dit derde oordeel vormt dan de basis voor het de referentieniveaus, waarbij we ons baseren op de mediaan van de oordelen.
8
3
Het onderzoek
Op 26 november 2009 heeft een bijeenkomst voor docenten en deskundigen op het gebied van rekenen/ wiskunde eind groep 8 plaatsgevonden in Den Haag. Het doel van de bijeenkomst was tweeledig: – Het bepalen van referentieniveaus rekenen/wiskunde, eind groep 8 – Evalueren en toelichten van de resultaten van de eerder uitgevoerde pilot, waar de referentieniveaus zijn bepaald van groep 5. De onderwijsinstelling HCO geeft aansluitend informatie over eventuele begeleiding. Een onderdeel van dit advies waren twee presentaties over Stimulans Begrijpend lezen en HCO rekenadvies. De toets De leraren hebben Minimum, Fundamenteel en Streefniveau vastgesteld op basis van een toets van 20 opgaven. De opgaven van deze toets zijn ontleend aan de LVS-toetsen voor rekenen-wiskunde van de niveaus E6, M7, E7, B8, M8. De opgaven vormden een inhoudelijk representatieve verzameling van de diverse leerinhouden die in deze toetsen zijn vertegenwoordigd en werden in volgorde van moeilijkheidsgraad – te beginnen met de gemakkelijkste opgave – aangeboden. De referentieniveaus De beoordelaars hebben drie keer een oordeel gegeven voor drie niveaus. De eerste keer individueel en op basis van een getransformeerde schaal zodat zij niet geïnformeerd waren over de werkelijke vaardigheidsverdeling in de populatie, de tweede keer na afsluiting van de discussies in kleine groepen op dezelfde schaal en de derde keer op basis van de werkelijke schaal met daarop afgebeeld de positie van de percentielniveaus 10, 25, 50 en 75.
9
10
4
De uitkomsten
4.1
De uitkomsten in Den Haag
De resultaten laten zien dat de eerste en de tweede beoordelingsronde vrijwel gelijk zijn. Het oordeel voor het Minimum niveau is vrijwel gelijk aan het Minimum niveau volgens de definitie. Het oordeel voor het Fundamenteel en Streefniveau ligt aanmerkelijk hoger dan het Fundamenteel en Streefniveau vastgesteld door de commissie Meijerink. Op basis van de mediaan van de oordelen in de derde fase liggen de niveaus: voor het Minimum niveau bij vaardigheidsscore 93, een niveau dat volgens de normeringstabel door ongeveer 90% van de leerlingen wordt bereikt. voor het fundamenteel niveau bij vaardigheidsscore 106, een niveau dat volgens de normeringstabel door ongeveer 55% van de leerlingen wordt bereikt. Voor het Streefniveau bij een vaardigheidsscore van 116,5, een niveau dat volgens de normeringstabel door ongeveer 25 % van de leerlingen wordt bereikt. Daarmee correspondeert het Minimumniveau met het beoogd percentage leerlingen, te weten 90 tot 95%. Het Fundamenteel niveau ligt volgens de beoordelaars op het punt dat door 55% van de leerlingen wordt bereikt. Het Fundamenteel niveau, zou volgens de commissie Meijerink door 75% van de leerlingen behaald moeten worden, dus we zien hier een discrepantie van circa 20%. Voor het Streefniveau is die discrepantie nog iets groter, ongeveer 25%. We gaan daarbij uit van het percentage van 50% dat door de commissie is gesuggereerd voor dit niveau bij Rekenen. Volgens de beoordelaars in Den Haag e.o. ligt het streefniveau bij het punt op de vaardigheidsschaal dat nu door 35% van de leerlingen in Nederland daadwerkelijk wordt behaald.
Tabel 1 Oordelen in Den Haag voor de referentieniveaus Minimum, Fundamenteel en Streef op de LOVSschaal Rekenen-wiskunde Oordelen
Mediaan
InterkwartielMin - max bereik Minimum (score voor percentiel 10 is 92) Oordeel 1 96 88-97 80-100 Oordeel 2 96 94-96 80-100 Oordeel 3 93 92-95 81-100 Fundamenteel (score voor percentiel 25 is 98) Oordeel 1 106 100-110 86-112 Oordeel 2 107 106-110 86-112 Oordeel 3 106 103-108 92-110 Streef(score voor percentiel 50 is 108) Oordeel 1 116 114-118 94-122 Oordeel 2 116 114-118 94-120 Oordeel 3 116,5 110-118 98-118
11
Gemiddeld (s.a.) 92,8 93,6 92,9 103,4 105,1 104 112,4 112,8 112,7
Figuur 1 Minimum, Fundamenteel en Streefniveau in relatie tot een aantal voorbeeldopgaven
Figuur 2 Uitkomsten standaardenonderzoek Den Haag e.o.; Minimum, Fundamenteel en Streefniveau volgens beoordelaars (interkwartielrange)
12
4.2
De uitkomsten in Arnhem
Vanwege de problematische werving van beoordelaars is in de regio Arnhem een alternatieve benadering gekozen om tot standaarden te komen. In plaats van uitleg op een centrale plaats op een vast moment is hier gekozen voor een aantal kleinschaliger sessies op een aantal scholen. De rondes werden nu ook anders ingevuld, omdat er in kleiner verband moest worden gewerkt. In onderstaande tabel is de uitkomst van de tweede ronde weergegeven. Dat is de ronde nadat de eerste eigen inschatting is gemaakt en men de gelegenheid heeft gehad dit eerste oordeel bij te stellen op basis van de discussie met andere beoordelaars, in dit geval collega’s. In totaal zijn er 26 beoordelaars die standaarden hebben bepaald voor de drie niveaus. De uitkomsten zijn weergegeven in tabel 2. Het minimum niveau ligt exact rond de aangegeven range van 90 tot 95% van de leerlingen, met andere woorden: de keuze van items die de beoordelaars hebben gemaakt als zijnde geschikt voor 90 tot 95% van de leerlingen, komt overeen met het vaardigheidsniveau zoals dat in het normeringsonderzoek van LOVS is gemeten bij de percentiel 90 leerling. Bij het fundamentele niveau is er wel sprake van een discrepantie tussen het niveau aangegeven door de beoordelaars en dat wat is gemeten bij LOVS. De mediaan van dit oordeel ligt immers op 105, terwijl de vaardigheid van de percentiel 25 leerling op 98 ligt. De beoordelaars verwachten dus een hoger niveau van de leerlingen, dan wat ze nu laten zien. Voor het hoogste niveau, het niveau streef, geldt hetzelfde. Ook daar is er een discrepantie tussen wat de beoordelaars op basis van de opgaven in de toets redelijk vinden voor de gemiddelde leerling in groep 8 en wat er feitelijk in groep 8 wordt gemeten met het LOVS. Het niveau dat beoordelaars haalbaar achten ligt op een punt dat op dit moment in het LOVS door 20% van de leerlingen wordt gehaald. Dat levert dus een discrepantie met de verwachting op van 30%. Opvallend is verder dat de spreiding toeneemt met het niveau, dat betekent dat men over het minimumniveau weinig van mening verschilt, bij het fundamentele niveau het meer met elkaar oneens is en over het streefniveau het meest verschillend oordeelt. In figuur 3 zijn de uitkomsten voor de beoordelaars in Arnhem in beeld gebracht. De uitkomsten komen in grote lijnen overeen met die van Den Haag, alleen bij het Streefniveau zien we een duidelijk verschil. Opvallend genoeg komt het oordeel over het minimumniveau nagenoeg overeen en het is in beide gevallen een vrij eensluidend oordeel. Bij het niveau fundamenteel zien we dat er wel een verschil is, ook al liggen de medianen niet ver van elkaar (respectievelijk 107 en 105). De range begint in Arnhem op percentiel 25, het referentiepunt uit de definitie, terwijl dat bij de oordelen van Den Haag pas begint op percentiel 47 en eindigt bij percentiel 50. De discrepantie met het werkelijke niveau is in Arnhem dus minder groot. Een groter verschil in oordelen zien we bij het streefniveau. De mediaan van oordelen ligt in Arnhem veel hoger dan in Den Haag. Daarbij moet wel bedacht worden dat juist bij deze standaard de beoordelaars het meest van mening verschillen. De toename van spreiding in oordelen is dan ook in beide regio´s waarneembaar en van een vergelijkbare omvang.
Tabel 2 Oordelen in Arnhem voor de referentieniveaus Minimum, Fundamenteel en Streef op de LOVSschaal Rekenen-wiskunde (tweede ronde, N=26) Oordelen per niveau minimum fundamenteel Streef
Mediaan 91 105 118
Interkwartielbereik 90-95 97.5-105.5 111.5-128
Min - max 88-95 92-110 94-130
13
Gemiddeld (s.a.) 92 (2.6) 103 (5.7) 117 (12)
ter vergelijking p10 = 92 p25 = 98 p50 = 108
Figuur 3 Resultaten tweede beoordeling Arnhem
14
5
Gebruik van referentieniveaus in het LOVS
In de eerste fase van dit project zijn referentieniveaus vastgesteld voor groep 5 voor de gebieden rekenenwiskunde, begrijpend lezen en technisch lezen (Zie Van der Schoot e.a., 2008). In de volgende fase van het project die in dit verslag wordt beschreven zijn twee doelstellingen gecombineerd: 1 advies geven over het gebruik van de vastgestelde referentieniveaus bij de deelnemende scholen; 2 vaststellen van referentieniveaus voor groep 8 voor rekenen-wiskunde. In dit hoofdstuk geven we een verslag van de wijze waarop aan de eerste doelstelling is gewerkt. Nadat door schoolteams referentieniveaus zijn vastgesteld is het zaak deze waarden te projecteren op de eigen schoolresultaten. Op die manier kunnen schoolteams de eigen verwachtingen ten aan zien van de prestaties van hun leerlingen concreet hanteren in de dagelijkse praktijk. Om dat te kunnen doen is het nodig voor scholen de vastgestelde waarden te vergelijken met de resultaten die leerlingen hebben behaald op de toetsen van het Cito Leerlingvolgsysteem. We gaan er daarbij van uit dat scholen deze toetsen gebruiken en tevens dat ze voor de registratie en analyse van de toetsuitkomsten het Computerprogramma gebruiken dat daarbij hoort (Computerprogramma LOVS). De uitkomsten van de standaard setting zijn uiteindelijk getallen die als scores kunnen worden geïnterpreteerd en die passen op wat we in het leerlingvolgsysteem een vaardigheidsschaal noemen. Deze schaal loopt doorgaans van medio groep 3 tot medio groep 8 en op deze schaal kan de groei van de leerling worden afgebeeld. In de bijeenkomsten met de leerkrachten is een toelichting gegeven op de wijze waarop er binnen het Computerprogramma gebruik kan worden gemaakt van de referentieniveaus, door dit concreet te demonstreren. Vervolgens werd er door de onderwijsadviseurs van HCO een presentatie gegeven over de mogelijkheden om iets te doen aan leerlingen die de verwachte referentieniveaus niet zouden gaan halen. Ter illustratie van de toelichting op het gebruik van het CP LOVS geven we weer hoe de referentiewaarde voor technisch lezen er uit ziet. Figuur 4 toont het alternatieve groepsrapport voor de DMT, kaart 3. In deze figuur is te zien wat de positie is van elke leerling in de betreffende groep ten opzichte van de vaardigheidsschaal voor technisch lezen. De referentiepunten werden tot nu toe uitsluitend gebaseerd op de uitkomsten van normeringsonderzoek. Dat leverde gemiddelden op voor elke jaargroep en elk meetmoment (M3, E3, M4, etc.). Deze punten staan op de x-as en worden tegenwoordig in het volgsysteem ook wel functioneringsniveau genoemd. Ze geven dus aan welke vaardigheidsscore hoort bij de afnamemomenten bij een reguliere ontwikkeling. Het gaat dus om gemiddelden. Ook is op basis van het normeringsonderzoek bekend hoe de verdeling in vaardigheid is op een bepaald afnamemoment. Uitgaande van bijvoorbeeld het mediomoment in groep 5 kan men op basis van de landelijk vastgestelde verdeling de leerlingen in de groep indelen naar hen die net boven het gemiddelde zitten en zij die ver boven het gemiddelde zitten. Datzelfde geldt naar beneden toe. De onderste 10% in de verdeling zijn de leerlingen met de laagste scores en worden ook wel de zorgleerlingen genoemd. Deze niveaus worden aangeduid met letters: A, B, C, D en E, of met Romeinse cijfers I, II, II, IV en V ( zie verder de handleidingen van LOVS-toetsen). Deze indeling is gebaseerd op normeringsonderzoek bij een landelijk representatieve steekproef en bij nieuw normeringsonderzoek kunnen de grenzen weer anders komen te liggen. Dat is bijvoorbeeld het geval als er nieuwe toetsen moeten worden gemaakt. Naast deze normatieve indeling komt nu een absolute, of criteriumgerichte indeling, namelijk leerlingen die het vastgestelde referentiepunt wel bereikt hebben en zij die dat niet bereikt hebben. Deze indeling staat los van normeringsonderzoek en verandert alleen als experts nog van mening veranderen over de positie van de referentiepunten, bijvoorbeeld, als na verloop van tijd zou blijken dat een referentiepunt veel te hoog ligt en telkens oplevert dat een groot aantal leerlingen dit niet gaat halen. Let wel, de bepaling van de referentiepunten is in eerste instantie gebaseerd op een bestudering van de volgorde en de moeilijkheidsgraad van de onderliggende items in de toetsen en pas in tweede instantie op de uitkomsten van normeringsonderzoek. In het voorbeeld weergegeven in figuur 4 zien we dat bij deze fictieve groep leerlingen alle scores medio groep 5 boven de standaard minimum liggen. Alle leerlingen in deze groep zitten dus boven het minimumniveau zoals vastgesteld door de betrokken beoordelaars in deze regio. Het idee is dat dit niveau geldt voor 90 tot 95% van de leerlingen. De realiteit is in dit geval dus gunstiger. Bij een vergelijking met het
15
fundamentele niveau zien we dat er vier leerlingen een lagere score hebben dan passend bij het niveau fundamenteel. De vaardigheidsscore van één leerling ligt in dit geval onder de grens voor Den Haag, het voorbeeld dat hier is gebruikt, maar ligt wel boven het landelijke percentiel 25. De regionale grens ligt hier dus hoger dan landelijk. Het niveau zou moeten passen bij 70-75% van de leerlingen. In dit geval gaat het om 4 van de 26 leerlingen, dat is dus 15%. Bij deze voorbeeldgroep zou 85% het fundamentele niveau halen in plaats van 70-75%. Een dergelijke uitkomst leidt tot een positieve evaluatie van het onderwijs. Tegelijkertijd wordt helder welke leerlingen het fundamentele niveau nog niet hebben bereikt en hoever ze daar vandaan zijn.
Figuur 4 Referentiepunten DMT-kaart 3 zoals bepaald in Den Haag voor minimum en fundamenteel niveau geplot in alternatief groepsrapport LOVS
Aan de hand van dit voorbeeld is tijdens de workshops duidelijk gemaakt hoe referentieniveaus in de praktijk kunnen worden gebruikt. Dergelijke rapportages zijn uiteraard ook voor de andere toetsen te maken. De positie van de referentielijnen zijn gebaseerd op de getallen die voort zijn gekomen uit de eerdere sessies in Arnhem en Den Haag (Zie Van der Schoot e.a. 2008). In principe is het mogelijk het plaatsen van referentielijnen door gebruikers zelf te laten doen. De meest eenvoudige methode is het uitdraaien van rapporten uit het computerprogramma LOVS en hierop de lijnen in te tekenen. Een meer geavanceerde oplossing zou zijn de gebruikers een waarde te laten opgeven in het computerprogramma. Dit vereist echter een uitbreiding van het computerprogramma en zal pas met een latere update aan de orde kunnen komen.
16
6
Samenvatting en conclusie
In het kader van een pilotstudie naar referentieniveaus voor rekenen-wiskunde jaargroep 8 hebben leraren van basisscholen en deskundigen van onderwijsbegeleidingsdienst HCO in Den Haag en van basisscholen uit Arnhem en omgeving vaardigheidsniveaus vastgesteld voor minimum, fundamenteel en streefniveau. Zij hebben deze niveaus vastgesteld op basis van opgaven die zijn ontleend aan de LOVS-toetsen rekenen-wiskunde. Uitgangspunt was dat het minimum niveau door vrijwel alle leerlingen – zeg 90% tot 95% – en het fundamenteel niveau door de meeste leerlingen – zeg 70% tot 75% – bereikt zou moeten worden. Het streefniveau moet door 50 % van alle leerlingen bereikt worden. De laatste twee niveaus zijn ontleend aan de definitie voor referentieniveaus gegeven door de Commissie Meijerink bij haar advies over de doorlopende leerlijnen rekenen en taal. Het verzamelen van de oordelen heeft plaatsgevonden in twee regio’s, namelijk Den Haag en Arnhem en omstreken, dit geheel overeenkomstig met de eerste dataverzameling van dit project in 2008 betreffende referentieniveaus voor groep 5. Het bleek lastig om een bijeenkomst met voldoende beoordelaars te organiseren. In Den Haag is het in samenwerking met HCO uiteindelijk wel gelukt, in Arnhem is de bijeenkomst tot twee keer toe op het laatste moment geschrapt vanwege een tekort aan deelnemers. De uitvoering in Den Haag vond nog plaats in 2009. De verschillende sessies in Arnhem werden rond de zomervakantie van 2010 gehouden. In hoeverre deze groep leerkrachten, en daarmee hun scholen, representatief is voor Nederland is de vraag. Het minimumniveau wordt door de beoordelaars systematisch gelegd bij de vaardigheidsscore die door 90% van de leerlingen nu al wordt bereikt binnen het LOVS. Dat is geheel conform de definitie voor dit niveau. Bij de andere twee niveaus, gebaseerd op definities in het advies van de commissie Meijerink, treden flinke discrepanties op. Het oordeel voor het fundamenteel niveau en het streefniveau ligt aanmerkelijk hoger op de vaardigheidsschaal van het LOVS Rekenen-Wiskunde dan de punten geïndiceerd door de commissie Meijerink. De beoordelaars zijn in dat opzicht flink ambitieuzer, met name bij het streefniveau. De beoordelaars zijn het echter vaak met elkaar oneens. Er zijn verschillen tussen de regio’s en binnen de regio’s. Vooral over het streefniveau verschilt men fors van mening.
De conclusie moet dan ook zijn dat de referentieniveaus voor het fundamentele en het streefniveau, indien bepaald door geïnformeerde beoordelaars, hoger uitkomen dan vastgesteld door de Commissie Meijerink. Deze beoordelaars, in dit geval voornamelijk leerkrachten uit de schoolpraktijk, hebben dus hogere verwachtingen van hun leerlingen en wijzen een hogere vaardigheid op de LOVS-schaal aan dan op dit moment gemiddeld in Nederland wordt bereikt. Bij deze uitkomst moet men wel bedenken dat de beoordelaars in hun beoordeling van de opgavenreeks de eigen groep leerlingen voor ogen heeft gehad. In de volgende fase zou moeten worden gecheckt of de eigen verwachting correspondeert met de werkelijke uitkomsten in het LOVS. Dit maakt deel uit van het vervolgproject Streef. Opvallend genoeg blijkt dat men het sterk eens is over waar het minimumniveau zou moeten liggen. Over de plaats van de niveaus fundamenteel en streef is men het minder eens. Deze pilot heeft ons ook veel geleerd over mogelijke varianten in de procedure van standaardsetting. Met name de procedure uitgevoerd in Arnhem laat zien dat er ook een meer schoolnabije uitvoering mogelijk is. De verschillen in uitkomsten tussen de drie rondes uit de gehele procedure blijken doorgaans klein. Het lijkt niet problematisch te zijn indien de dataverzameling wordt beperkt tot één ronde waarin de eerste en tweede fase worden gecombineerd. Deze ervaringen worden meegenomen in het vervolgproject over standaardsetting en referentieniveaus dat samen met de Rijksuniversiteit Groningen wordt uitgevoerd onder de naam Streef. In dat project leren scholen ook wat de referentieniveaus nu precies beteken in termen van het LOVS en hoe men daar in de praktijk van de school mee kan werken. In het onderhavige project is daar alvast enige ervaring mee opgedaan.
17
18
7
Literatuur
Computerprogramma LOVS, Versie 4.2b. Arnhem: Cito. Expertgroep Doorlopende Leerlijnen (2008). Over de drempels met taal en rekenen; hoofdrapport van de Expertgroep Doorlopende leerlijnen Taal en Rekenen. SLO: Enschede. Hemker, B.T. & Van Weerden, J.J. (2009). Peiling van de rekenvaardigheid en de taalvaardigheid in jaargroep 8 en jaargroep 4 in 2008: Jaarlijks Peilingsonderzoek van het Onderwijsniveau – Technische rapportage. Arnhem: Cito. Janssen e.a. (2009), LOVS Toetsen Rekenen-Wiskunde groep 8. Arnhem: Cito. Schoot, F. Van der, (2008), Referentieniveaus medio jaargroep 5. Een pilotstudie in opdracht van het Ministerie van OCW onder basisscholen in Arnhem en Den Haag. Arnhem: Cito.
19
20
