Longitudinaal onderzoek in het basisonderwijs
Toetsen zesde leerjaar (schooljaar 2008-2009) L. Cortois, I. Van Droogenbroeck, P. Verachtert & J. Van Damme
T
Longitudinaal onderzoek in het basisonderwijs
Toetsen zesde leerjaar (schooljaar A2008-2009) L. Cortois, I. Van Droogenbroeck, P. Verachtert & J. Van Damme
Promotoren coördinatieteam: J. Van Damme, B. De Fraine, I. Nicaise, P. Onghena & K. Verschueren Overige promotoren: P. Ghesquière, R. Janssen, F. Laevers, M. Valcke, L. Verschaffel & P. Van Petegem
Onderzoek in opdracht van de Vlaamse minister van Onderwijs en Vorming, in het kader van het programma ‘Steunpunten voor Beleidsrelevant Onderzoek’
2011 SSL-rapport nr. SSL/OD1/2010.32 Datum oplevering eerste versie: 26 januari 2011 Datum publicatie: 26 februari 2011
Voor meer informatie over deze publicatie: Steunpunt SSL, Unit Onderwijsloopbanen Auteurs: L. Cortois, I. Van Droogenbroeck, P. Verachtert & J. Van Damme Adres:
Dekenstraat 2, 3000 Leuven
Tel.: Fax.: E-mail:
+32 16 32 57 58 of +32 16 32 57 47 +32 16 32 58 59
[email protected]
Website: http://www.steunpuntloopbanen.be
Copyright (2011)
Steunpunt SSL p/a Parkstraat 47, 3000 Leuven
Niets uit deze uitgave mag worden verveelvoudigd en/of openbaar gemaakt zonder uitdrukkelijk te verwijzen naar de bron. No part of this material may be made public without an explicit reference to the source. De verantwoordelijkheid voor dit rapport berust volledig bij de auteurs en vertolkt niet noodzakelijk de officiële visie van de Vlaamse Overheid.
Woord vooraf
Naar aanleiding van het verschijnen van dit rapport stellen wij het op prijs om, mede in naam van de leden van het Coördinatieteam en de overige promotoren, enkele instanties en personen uitdrukkelijk te bedanken. In de eerste plaats danken we de opdrachtgever, de Vlaamse overheid, en in het bijzonder de Minister van Onderwijs en Vorming, voor het toekennen van de opdracht, evenals de leden van de Stuurgroep onder voorzitterschap van mevrouw M. Scheys. We danken hen hier in het bijzonder voor het beschikbaar stellen van de Vlaamse aanpassing van enkele Cito-toetsen. Daarnaast willen wij ook uitdrukkelijk de Citogroep zelf en de heer Paul Dudal danken voor de waardevolle samenwerking rond de afgenomen toetsen. Met name de bijdrage van de heer Dudal onder de vorm van het ontwikkelen van nieuwe wiskundetoetsen willen wij uitdrukkelijk vermelden. Ten slotte willen we de deelnemende scholen bedanken – ook degene die meegewerkt hebben aan het onderzoek in functie van het ontwikkelen van de toetsen en aan het kalibratie-onderzoek - en alle personen die op één of andere manier betrokken waren bij het goede verloop van de toetsafnames en de verwerking van de gegevens.
Inhoudstafel
Woord vooraf Inhoudstafel 1.
Inleiding .................................................................................................. 1
2.
Beschrijving en achtergrond van de gebruikte toetsen ........................................ 2 2.1 2.2 2.3
3.
Spelling: Schaal Vorderingen in Spellingvaardigheid voor Vlaanderen .....................3 Begrijpend lezen, einde zesde leerjaar .........................................................4 Wiskunde, einde zesde leerjaar ..................................................................5 Toetsafnames en respons ............................................................................. 8
3.1 3.2 3.3 3.4 3.5 4.
De afnameprocedure ...............................................................................8 Steekproef en respons .............................................................................8 Geldig ingevulde toetsen ........................................................................ 10 Te laat afgenomen toetsen ..................................................................... 11 Samenvatting ...................................................................................... 12 Relevante toetskenmerken ..........................................................................13
4.1 4.1.1 4.1.2 4.1.3 4.1.4 4.2 4.2.1 4.2.2 4.2.3 4.3 4.3.1 4.3.2 4.3.3 4.3.4 4.3.5 4.4
Schaal Vorderingen in Spellingsvaardigheid voor Vlaanderen (SVS-V).................... 13 Betrouwbaarheid van de “SVS-V” .............................................................. 13 Verdelingskenmerken van de “SVS-V”......................................................... 13 Itemkenmerken van de “SVS-V” ................................................................ 14 Opportunity to learn ............................................................................. 16 Begrijpend lezen, einde zesde leerjaar ....................................................... 18 Betrouwbaarheid van de toets “Begrijpend lezen, einde zesde leerjaar” .............. 18 Verdelingskenmerken van de toets “Begrijpend lezen, einde zesde leerjaar” ......... 18 Itemkenmerken van de toets “Begrijpend lezen, einde zesde leerjaar” ................ 20 Wiskunde, einde zesde leerjaar ................................................................ 23 Validiteit van de toets “Wiskunde, einde zesde leerjaar” ................................. 23 Betrouwbaarheid van de toets “Wiskunde, einde zesde leerjaar” ....................... 23 Verdelingskenmerken van de toets “Wiskunde, einde zesde leerjaar” .................. 24 Itemkenmerken van de toets “Wiskunde, einde zesde leerjaar” ......................... 26 Opportunity to learn ............................................................................. 30 Samenhang tussen de toetsen zesde derde leerjaar ........................................ 33
5.
De toetsresultaten opgesplitst volgens onderzoeksgroep .....................................34
6.
Referenties..............................................................................................35
7.
Bijlage....................................................................................................36
1. Inleiding
Eén van de hoofddoelstellingen van het SiBO-onderzoek is het beschrijven en verklaren van de (verschillen in) ontwikkeling van leerlingen en hun schoolloopbaan vanaf het kleuteronderwijs tot het einde van het lager onderwijs (Maes, Ghesquière, Onghena & Van Damme, 2002). Hierbij vormt de schoolse ontwikkeling en meer bepaald de groei van kinderen in de domeinen taal en wiskunde een essentieel aspect. Om zicht te krijgen op de vooruitgang die kinderen in deze traditionele schoolse gebieden maken, worden in het SiBO-onderzoek op regelmatige tijdstippen toetsen afgenomen. Het voorliggende rapport heeft betrekking op de SiBO-toetsafname tijdens het schooljaar 20082009. De gevolgde normaalvorderende kinderen zaten op dat moment in het zesde leerjaar. De toetsen werden afgenomen op het einde van het schooljaar, in april-mei 2009. In het volgende hoofdstuk worden de achtergrond en de samenstelling van de toetsen beschreven. Het derde hoofdstuk behandelt de afnameprocedure en geeft een overzicht van de respons. In het vierde en laatste hoofdstuk worden enkele relevante toetskenmerken onder de loep genomen, waaronder de betrouwbaarheid en de validiteit.
1
2. Beschrijving en achtergrond van de gebruikte toetsen
Om de cognitieve ontwikkeling van de deelnemende kinderen van nabij te volgen, worden elk schooljaar toetsen taal en wiskunde afgenomen. In de derde kleuterklas en het eerste leerjaar waren er telkens twee afnamemomenten voorzien, namelijk aan het begin en aan het einde van het schooljaar (Verachtert, 2003; Verachtert, Ghesquière, Hendrikx, Maes & Van Damme, 2005). Vanaf het tweede leerjaar vinden er enkel nog toetsafnames plaats op het einde van het schooljaar (Hendrikx, Verachtert, Ghesquière, Maes & Van Damme, 2005; Hendrikx, Verhaeghe, Ghesquière, Maes & Van Damme, 2006; Hendrikx, Verhaeghe, Maes, Ghesquière & Van Damme, 2007; Hendrikx, Cortois, Verachtert & Van Damme, 2009). Tabel 1 op de volgende pagina geeft een overzicht van de toetsen die in het SiBO-onderzoek werden afgenomen. Toetsen die eventueel in 2010 of later afgenomen zullen worden, worden hier buiten beschouwing gelaten. In het zesde leerjaar werden drie toetsen afgenomen: een toets spelling (de Schaal Vorderingen in Spellingsvaardigheid voor Vlaanderen), een toets begrijpend lezen en een toets wiskunde. In de volgende paragrafen wordt een beschrijving van deze toetsen gegeven.
2
Tabel 1 Overzicht SiBO-toetsen (gewone doorstromers)
Schooljaar
Afnamemoment Toets
Schooljaar 2002-2003 (K3) september 2002 mei 2003 Schooljaar 2003-2004 (L1) september 2003 mei 2004
Versie
Toets Taal voor Kleuters
/
Toets Rekenbegrip (begin schooljaar)
/
Toets Taal voor Kleuters (einde schooljaar)
/
Toets Rekenbegrip (einde schooljaar)
/
Toets Taal voor Kleuters (begin schooljaar)
/
Toets Rekenbegrip (begin schooljaar)
/
Toets Spelling - SVS-V
Versie A (makkelijk) - 9%
Toets Technisch lezen - Drie-Minuten-Toets
/
Toets Wiskunde, einde eerste leerjaar
/
Toets Spelling - SVS-V
Versie B (moeilijk)
Toets Technisch lezen - Drie-Minuten-Toets
/
Toets Wiskunde, einde tweede leerjaar
/
Toets Begrijpend lezen (Cito)
Deel 1 – Deel 2 (makkelijk) – 25%
Versie B (moeilijk) - 91%
Schooljaar 2004-2005 (L2) mei 2005
Schooljaar 2005-2006 (L3) mei 2006
Deel 1 – Deel 3 (moeilijk) – 75%
Schooljaar 2006-2007 (L4) mei 2007
Toets Technisch lezen - Drie-Minuten-Toets
/
Toets Wiskunde, einde derde leerjaar
/
Toets Begrijpend lezen (Cito)
Versie A (makkelijk) - 40% Versie B (moeilijk) - 60%
Toets Spelling - SVS-V
Versie B (moeilijk)
Toets Wiskunde, einde vierde leerjaar
Versie A (makkelijk) - 25%
Toets Begrijpend lezen (Cito)
Versie A (makkelijk) - 40%
Versie B (moeilijk) - 75% Schooljaar 2007-2008 (L5) mei 2008
Versie B (moeilijk) - 60% Toets Technisch lezen - Drie-Minuten-Toets
/
Toets Wiskunde, einde vijfde leerjaar
Versie A (makkelijk) - 25% Versie B (moeilijk) - 75%
Schooljaar 2008-2009 (L6) mei 2009
Toets Begrijpend lezen (Cito)
Versie A (makkelijk) – 40% Versie B (moeilijk) – 60%
Toets Spelling - SVS-V
Versie B (moeilijk)
Toets Wiskunde, einde zesde leerjaar
Versie A (makkelijk) – 50% Versie B (moeilijk) – 50%
2.1 Spelling: Schaal Vorderingen in Spellingvaardigheid voor Vlaanderen De “Schaal Vorderingen in Spellingvaardigheid” (SVS) maakt deel uit van het leerlingvolgsysteem van het Cito. De oorspronkelijke toets bestaat uit drie pakketten: SVS-1 (voor het eerste en tweede leerjaar), SVS-2 (voor het derde en vierde leerjaar) en SVS-3 (voor het vijfde en zesde leerjaar). Elk pakket bestaat uit een aantal woorddictees die op verschillende momenten van het schooljaar afgenomen kunnen worden. De oorspronkelijke SVS werd in opdracht van het Departement Onderwijs van de Vlaamse Overheid aan de Vlaamse taal- en onderwijssituatie aangepast. In een eerste stap werd de toets geanalyseerd in het licht van de Vlaamse eindtermen en leerplannen en de in Vlaanderen meest
3
gebruikte onderwijsmethoden voor spelling. Daarnaast werden enkele typisch Noord-Nederlandse woorden geschrapt of vervangen. In een kalibratie-onderzoek werden vervolgens de overblijvende opgaven, aangevuld met enkele nieuwe, getoetst op hun bruikbaarheid. In een laatste stap werden dan de definitieve dictees voor de “Schaal Vorderingen in Spellingvaardigheid voor Vlaanderen” (SVS-V) samengesteld aan de hand van de opgaven die de kalibratie overleefd hadden (Rymenans, 2000). In de SVS-V (Moelands & Rymenans, 2003) zijn voor elk leerjaar van het lager onderwijs dictees voorzien voor het midden en voor het einde van het schooljaar. Voor elk afnamemoment zijn er twee dictees beschikbaar: een A- en een B-versie. De B-versie is steeds iets moeilijker dan de Aversie. Voor gebruik in het SiBO-onderzoek werden er aan de SVS-V geen bijkomende aanpassingen gedaan. De deelnemende kinderen legden op het einde van het zesde leerjaar de B-versie af. Het dictee einde zesde leerjaar bestaat uit één- en meerlettergrepige woorden, die in zinsverband worden aangeboden. Zo proberen we te voorkomen dat kinderen woorden fout schrijven omdat ze ze verkeerd hebben begrepen. De woorden uit het dictee kunnen onderverdeeld worden in volgende spellingcategorieën (tussen haakjes het aantal woorden in de betreffende categorie): -
Eén of meerlettergrepige woorden met –ei- of –ij- (bv. snelheid) (4) Eén of meerlettergrepige woorden waarin /ie/ geschreven wordt als –i- (bv. piraat) (4) Meerlettergrepige woorden waarin /zju/ geschreven wordt als –ge (bv. garage) (4) Eén of meerlettergrepige woorden beginnend met 's (bv. 's avonds) (4) Meerlettergrepige woorden met –tie (bv. portie) (4) Woorden met een trema (bv. skiën) (5) Woorden waarin /t/ geschreven wordt als (-)th- (bv. theezakje) (4) Woorden met –iaal, -ieel, -ueel of –eaal (bv. speciaal) (5) Meerlettergrepige woorden met open en/of gesloten lettergreep (bv. kapotte) (4) Restwoorden (bv. wreed) (5)
2.2 Begrijpend lezen, einde zesde leerjaar De toets “Begrijpend Lezen, einde zesde leerjaar (EL6)” die in het zesde leerjaar werd afgenomen is een ingekorte versie van de toets begrijpend lezen van het leerlingvolgsysteem van Cito (Staphorsius & Krom, 1998). De bedoeling van deze toets is een beeld te geven van het tekstbegrip van leerlingen op het einde van het zesde leerjaar. De oorspronkelijke toets begrijpend lezen van Cito bestaat uit drie delen van elk 25 opgaven. De drie delen verschillen in moeilijkheidsgraad. Het eerste past bij de gemiddelde vaardigheid van leerlingen in het zesde leerjaar. Het tweede is gemakkelijker en het derde is moeilijker. Het is de bedoeling dat alle leerlingen eerst het eerste deel afleggen. Minder goede lezers leggen vervolgens het gemakkelijkere tweede deel af. De betere lezers leggen het derde deel af. Net zoals het geval was bij de toetsen begrijpend lezen die we in het vierde en het vijfde leerjaar hebben afgenomen, hebben we de toets Begrijpend lezen EL6 opnieuw beperkt tot één deel dat in ongeveer één lesuur kan afgenomen worden. Items werden geselecteerd op basis van de kalibratie-proefafnames. Er werden twee versies voorzien: een makkelijke versie A en een moeilijkere versie B. Beide toetsen werden aangevuld met enkele items1 van de toetsen Begrijpend Lezen voor de eerste graad van het secundair onderwijs, ontwikkeld door het Schoolfeedbackproject. De toevoeging van 1
Voor de A-versie werd de tekst ‘Vreemd?!’ toegevoegd, voor de B-versie de tekst ‘Junior journalist wedstrijd’
4
deze bijkomende items aan de toets heeft tot gevolg dat de moeilijkheidsgraad van de toets beter aangepast is aan de leerlingengroep en het vaardigheidsbereik beter gedekt wordt. Tevens leidt de toevoeging van deze items tot een hogere discriminatiewaarde. De uiteindelijke versies bevatten 39 (versie A) en 41 (versie B) items. De toetsversies hebben 4 items gemeenschappelijk. De toetsversie die leerlingen in het zesde leerjaar kregen voorgeschoteld werd bepaald op basis van hun prestaties op de toets begrijpend lezen die in schooljaar 2007-2008 in het vijfde leerjaar werd afgenomen (Hendrikx et al., 2006). De 40% zwakst scorende leerlingen legden de gemakkelijke versie af, de 60% sterkste leerlingen legden de moeilijke versie af. Voor de leerlingen van wie we geen resultaten hadden van de toets begrijpend lezen voor het vijfde leerjaar, voorzagen we zowel een makkelijke versie A als een moeilijke versie B. We stelden aan de leerkracht voor dat deze leerlingen versie B zouden afleggen, tenzij de leerkracht van mening was dat de opgaven van dit deel echt te moeilijk zouden zijn voor de betrokken leerling2. Beide versies van de toets bestaan uit korte tekstjes, gevolgd door een aantal meerkeuzevragen betreffende het voorafgaande tekstje. Over het algemeen kunnen twee soorten opgaven onderscheiden worden: vragen naar de inhoud (het ‘wat’ van de tekst) en vragen naar de situatie (het ‘hoe’ van de tekst). Een voorbeeld van een vraag naar de inhoud is: “Waarover wil de schrijver in deze tekst vooral iets zeggen?”. Een voorbeeld van een vraag naar de situatie is: “In welke zin staan één of meer woorden waarmee de schrijver zijn bewondering voor iets uitdrukt?”. Er is geen tijdsdruk. In principe krijgen alle leerlingen zoveel tijd als ze nodig hebben. Maar om te voorkomen dat er eindeloos gewacht wordt op trage leerlingen, werd aan de toetsleider gevraagd de afname af te breken als bijna iedereen (ongeveer 90% van de leerlingen van de klas) klaar is. Voor het SiBO-onderzoek werden aan deze toets enkele kleine aanpassingen gedaan om de toets bruikbaarder te maken in de Vlaamse onderwijssituatie. Het betrof slechts het ‘vervlaamsen’ van enkele nogal Noord-Nederlands klinkende namen.
2.3 Wiskunde, einde zesde leerjaar De toets “Wiskunde, einde zesde leerjaar (EL6)” werd ontwikkeld door Paul Dudal en heeft als doel te peilen naar het wiskundige inzicht en de rekenvaardigheid van kinderen op het einde van het zesde leerjaar. Net zoals bij de afnames van de twee voorgaande schooljaren werd ervoor gekozen om opnieuw twee versies van de toets wiskunde te voorzien, een makkelijke A-versie en een moeilijkere Bversie. Het voordeel van dergelijk leerling-adaptief toetsen is dat de moeilijkheid van de opgaven beter past bij het vaardigheidsniveau van de leerlingen, waardoor er een nauwkeuriger resultaat wordt verkregen. De twee versies werden samengesteld op basis van de kalibratie-proefafnames. Zowel versie A als versie B bestaan in totaal uit 64 opgaven, waarvan 29 opgaven in beide versies opgenomen zijn. De resterende 35 opgaven zijn specifiek voor de toetsversie. Aan de leerlingen werd de gemakkelijke of de moeilijke versie gegeven op basis van hun resultaten op de toets wiskunde die in schooljaar 2007-2008 in het vijfde leerjaar werd afgenomen (Hendrikx et al., 2006). De 50% zwakste leerlingen legden de gemakkelijke versie af, de 50% sterkste leerlingen legden de moeilijke versie af. Voor de leerlingen van wie we geen resultaten op de toets 2
In principe heeft de keuze voor de A-versie of de B-versie geen gevolgen voor de uiteindelijke score omdat de scores van de beide versies gekalibreerd (d.i. op één schaal gebracht) worden.
5
van het vijfde leerjaar hadden, voorzagen we zowel een versie A als een versie B. We stelden aan de leerkracht voor dat deze leerlingen versie B zouden afleggen, tenzij de leerkracht van mening was dat de opgaven van dit deel echt te moeilijk zouden zijn voor de betrokken leerling3. De eerste vijf opgaven van de toetsen worden geleid afgenomen, de volgende opgaven worden door de leerlingen in hun eigen tempo opgelost. Er is, net zoals bij de toets begrijpend lezen, geen tijdsdruk. De leerlingen krijgen zoveel tijd als ze nodig hebben. Maar om te voorkomen dat er eindeloos gewacht wordt op trage leerlingen, werd aan de toetsleider gevraagd de afname af te breken als bijna iedereen (ongeveer 90% van de leerlingen van de klas) klaar is. Om ervoor te zorgen dat de leerlingen alle soorten opgaven van de toets “Wiskunde EL6” goed begrijpen, komen in het geleide deel alle verschillende vraagvormen aan bod. Daarom zijn in deze toets, net zoals vorig jaar, de opgaven niet geordend per toetsdeel. In beide versies van de toets Wiskunde EL6 komen de volgende inhouden aan bod: -
-
-
-
-
-
-
-
3
Hoofdrekenen: De courante hoofdbewerkingen: optellen, aftrekken, vermenigvuldigen en delen met natuurlijke en met kommagetallen. Hoofdrekenen (combinatieopgaven): Opgaven waarbij een combinatie van bewerkingen is ingebouwd en die een inzicht vereisen in de eigenschappen van en de relaties tussen bewerkingen. Structureren of splitsen van natuurlijke getallen tot 100 000 : 50 000 = … + … ; 100 000 = … + … ; Getallenreeksen of tellen met sprongen: Opgaven waarbij men de regelmaat, het verband, de structuur tussen getallen moet ontdekken. Getallenkennis: Verbale opgaven, waarbij een beroep wordt gedaan op kennis van termen, begrippen, symbolen en op inzicht in het getallensysteem tot 1 000 000 en waarbij inzicht vereist is in de tientalligheid en het plaatswaardesysteem van ons talstelsel. Schattend hoofdrekenen: Hoofdrekenopgaven waarbij een beroep wordt gedaan op schattend rekenen. Vraagstukken: Concrete probleemsituaties waarbij moet worden gerekend om de oplossing te vinden. Toepassingssituaties metend rekenen: Opgaven waarbij de kennis van de standaardmaateenheden van lengte, oppervlakte, inhoud, gewicht, tijdstip, tijdsduur, enz. vereist is en waarbij die kennis gebruikt moet worden om concrete problemen op te lossen. Meetkunde: Opgaven die ruimtelijk inzicht vereisen en kennis van basisbegrippen uit de vormleer. Breuken: Breuken interpreteren en gebruiken als een getal en als een operator en eenvoudige bewerkingen met breuken kunnen uitvoeren. Kommagetallen: Kommagetallen interpreteren en gebruiken als een uitbreiding van het getallenbereik in het tiendelig plaatswaardesysteem; bewerkingen met kommagetallen kunnen uitvoeren. Percenten:
In principe heeft de keuze voor de A-versie of de B-versie geen gevolgen voor de uiteindelijke score omdat de scores van de beide versies gekalibreerd worden.
6
-
Een percent interpreteren en gebruiken. In eenvoudige en zinvolle gevallen de gelijkwaardigheid van breuken, kommagetallen en percenten inzien en omzettingen kunnen doen. Cijferen: De procedures om te cijferen begrijpen en die kunnen toepassen bij natuurlijke getallen en bij kommagetallen op basis van inzicht in de tientalligheid en het plaatswaardesysteem van ons talstelsel.
Tabel 2 geeft een overzicht van de inhouden die in elke versie van de toets Wiskunde EL6 aan bod komen. Tabel 2 Toetsdelen “Wiskunde EL6”
N items versie A
N items versie B
20 13 3 4 24 3 2 10
18 12 3 3 23 3 3 5
Breuken
3
7
Kommagetallen
0
1
Percenten Vraagstukken Toepassingssituaties metend rekenen Meetkunde
6 6 8 4
4 7 11 3
Cijferen
2
2
Toetsinhoud Hoofdrekenen Hoofdrekenen Hoofdrekenen (combinatieopgaven) Schattend hoofdrekenen Getallenleer Structureren of splitsen van getallen tot 100 000 Getallenreeksen Getallenkennis
7
3. Toetsafnames en respons
3.1 De afnameprocedure Aan de hand van de drie beschreven toetsen werd geprobeerd om een beeld te krijgen van het cognitieve vaardigheidsniveau van de deelnemende kinderen op het einde van het zesde leerjaar. Alle toetsen werden collectief van de volledige klasgroep afgenomen. De scholen stonden zelf in voor de toetsafnames: de toetsen werden afgenomen door de leerkracht(en) van de betrokken klas, een andere leerkracht, de zorgcoördinator of de directie zelf. Het toetsmateriaal werd naar de scholen opgestuurd. De ingevulde toetsen en registratieformulieren werden na de toetsafnames door de school teruggestuurd. De drie toetsen dienden in de twee weken tussen 27 april en 8 mei 20094 afgenomen te worden5. Het precieze afnamemoment van elke toets mocht binnen deze periode vrij door de school bepaald worden.
3.2 Steekproef en respons De totale SiBO-steekproef bestaat uit drie deelsteekproeven. Voor het schooljaar 2008-2009 bevat de referentiesteekproef 119 scholen die lager onderwijs aanbieden. De aanvullende GOKsteekproef omvat 28 extra scholen met veel leerlingen die tot de doelgroepen behoren waarop het Gelijke-Onderwijskansenbeleid betrekking heeft. Concreet werd met deze steekproef een oversampling beoogd van scholen met een groot aandeel van bepaalde subcategorieën van doelgroepleerlingen. Een tweede aanvullende steekproef bevat 22 methodescholen. Deze tweede oversampling heeft als doel om binnen de totale groep SiBO-scholen voldoende variatie te creëren wat pedagogische visie van scholen betreft. Meer informatie over de steekproeven en de steekproeftrekking vindt u in het rapport ‘Longitudinaal Onderzoek in het Basisonderwijs: Steekproeftrekking’ (Verhaeghe, Maes, Gombeir & Peeters, 2002). De totale SiBO-steekproef voor het toetsmoment aan het einde van het zesde leerjaar bestaat dus uit 169 scholen met in totaal 4348 leerlingen6. Tabel 3 bevat de verdeling van de deelnemende scholen en leerlingen over de verschillende deelsteekproeven. De responsgegevens werden berekend op basis van het aantal leerlingen dat minstens één toets heeft afgelegd. Van zes van de 169 scholen (die samen 159 leerlingen tellen in het zesde leerjaar) ontvingen we geen toetsen. De redenen hiervoor waren ofwel dat de school er niet toe gekomen is de toetsen af te nemen ofwel dat het toetspakket verloren is geraakt bij de verzending.
4
5
6
Indien het voor de school onmogelijk was de toetsen in deze periode af te nemen, mocht er uitgeweken worden naar de week van 11 mei t.e.m. 15 mei. De afnameperiode viel in het zesde leerjaar vroeger dan de voorgaande schooljaren. Dit gebeurde op vraag van de scholen omwille van het drukke programma van de zesdejaars tijdens de laatste weken van het schooljaar. Leerlingen in het zesde leerjaar in een deelnemende SiBO-school die op deze school gestart zijn vóór of op 27/4/09 (de startperiode van de toetsen) en hier nog zaten op 8/5/09 (eindperiode van de toetsen).
8
Tabel 3 Respons op school- en leerlingniveau, toetsafnames einde zesde leerjaar
Respons Steekproef Referentie
N scholen 116/119 (97,5%) 28/28 (100%) 19/22 (86,4%)
GOK Methode TOTAAL
N leerlingen (%) 3243/3422 (94,8%) 542/544 (99,6%) 347/382 (90,8%)
163/169
4132/4348 (95,0%)
Net als voor eerdere toetsmomenten worden ook nu de onderzoeksresultaten in een aantal gevallen opgesplitst volgens ‘onderzoeksgroep’. Door scholen en leerlingen in onderzoeksgroepen onder te brengen wordt het onderscheid tussen de referentiesteekproef en de beide aanvullende steekproeven vervangen door een meer inhoudelijke opdeling. Scholen en kinderen maken slechts van één steekproef deel uit, maar ze kunnen wel tot verschillende onderzoeksgroepen behoren. De eerste onderzoeksgroep, de referentie-onderzoeksgroep of referentiegroep (OG_REF), is identiek aan de referentiesteekproef en telt bijgevolg voor het hier gerapporteerde toetsmoment 119 scholen. De tweede onderzoeksgroep, de GOK-onderzoeksgroep (OG_GOK), bestaat uit de 28 scholen van de aanvullende GOK-steekproef, aangevuld met de scholen uit de referentiesteekproef die ook veel leerlingen hebben die tot de doelgroepen behoren waarop het GelijkeOnderwijskansenbeleid betrekking heeft. De GOK-scholen uit de aanvullende steekproef methodescholen worden dus niet in de GOK-onderzoeksgroep opgenomen. In totaal bestaat de GOK-onderzoeksgroep uit 118 scholen. De derde onderzoeksgroep ten slotte, de methodeonderzoeksgroep (OG_METH), bestaat op analoge wijze uit de scholen uit de aanvullende steekproef methodescholen, aangevuld met eventuele methodescholen uit de referentie-steekproef en de aanvullende GOK-steekproef. (In feite ging het slechts om twee methodescholen uit de referentiesteekproef). In totaal bestaat de methode-onderzoeksgroep uit 24 scholen. Tabel 4 geeft per onderzoeksgroep weer uit welke steekproef de scholen komen die er deel van uitmaken. Zo bestaat bijvoorbeeld de GOK-onderzoeksgroep uit 88 scholen uit de referentiesteekproef en 28 scholen uit de aanvullende GOK-steekproef. Enkel de scholen die minstens één van de drie toetsen terugstuurden worden hier weergegeven. De laatste kolom geeft voor elke onderzoeksgroep weer uit hoeveel scholen deze in totaal bestaat. Tussen haakjes wordt telkens het bijbehorende aantal leerlingen vermeld. Het gaat hierbij om kinderen die minstens één van de drie toetsen hebben afgelegd.
Tabel 4 Samenstelling van de onderzoeksgroepen, einde L6: aantal scholen (aantal leerlingen)
Steekproef Onderzoeksgroep OG_REF OG_GOK OG_METH TOTAAL
REF
GOK
METH
TOTAAL
116 (3243) 88 (2481)
0 (0) 28(542)
0 (0) 0 (0)
116 (3243) 116 (3023)
2 (21)
0 (0)
19 (347)
21(368) 163 (4132)
9
3.3 Geldig ingevulde toetsen Van bijna alle leerlingen die minstens één toets aflegden werden de toetsresultaten in de analyses opgenomen. Van een aantal kinderen werden evenwel de scores op één (of meer) van de drie toetsen als ongeldig beschouwd, omdat deze kinderen heel weinig items van de betreffende toets invulden en/of heel wat items op een ongeldige manier invulden. Omdat we vermoedden dat de toetsen van deze kinderen geen betrouwbare meting van hun vaardigheid opleverden, werd besloten om de betreffende toetsscores uit de analyses weg te laten. Meer bepaald werden de resultaten weggelaten van die kinderen die meer dan de helft van de items uit de toets Wiskunde EL6 niet of ongeldig invulden. Ook de scores op de toets Begrijpend lezen EL6 werden als ongeldig beschouwd als de kinderen meer dan de helft van de items van de toets niet of op een ongeldige manier invulden. Ten slotte werd voor de toets spelling dezelfde regel gehanteerd. Tabel 5 geeft per toets en per onderzoeksgroep weer van hoeveel leerlingen de score weggelaten c.q. weerhouden werd. De laatste rij in de tabel geeft weer hoeveel leerlingen van de betreffende onderzoeksgroep alle drie de toetsen geldig hebben ingevuld. Tabel 5 Overzicht aantal geldig en aantal ongeldig ingevulde toetsen, toetsafnames einde zesde leerjaar
Onderzoeksgroep Toets SVS-V
Begrijpend lezen
Wiskunde
Alle toetsen
OG_REF
OG_GOK
OG_METH
TOTAAL
Totaal Ongeldig
3188 0
2995 0
361 0
4065 0
Geldig
3188
2995
361
4065
Versie A
Totaal Ongeldig Geldig
1205 7 1198
1341 11 1330
87 4 83
1624 13 1611
Versie B
Totaal Ongeldig Geldig
1006 2 2004
1654 2 1652
277 3 274
2467 5 2462
Totaal
Totaal Ongeldig Geldig
3211 9 (0,3%) 3202
2995 13 (0,4%) 2982
364 7 (1,9%) 357
4091 18 (0,40%) 4073
Versie A
Totaal Ongeldig Geldig
1492 8 1484
1542 11 1531
197 6 191
2018 17 2001
Versie B
Totaal Ongeldig Geldig
1724 7 1717
1457 5 1452
157 2 155
2068 10 2058
Totaal
Totaal Ongeldig Geldig
3216 15 (0,5%) 3201
2999 16 (0,5%) 2983
354 8 (2,3%) 346
4086 27 (0,7%) 4059
3147
2955
350
4004
Geldig
10
3.4 Te laat afgenomen toetsen Bij de toetsafnames op het einde van het zesde leerjaar kregen de scholen zoals gezegd twee weken de tijd om de toetsen af te nemen. In een aantal gevallen werden de toetsen aanzienlijk later afgenomen. Soms is het verschil tussen de gevraagde en de feitelijke afnamedatum zo groot dat de vergelijkbaarheid van de toetsresultaten in het gedrang zou kunnen komen. Daarom werd nagegaan over hoeveel toetsen het gaat en hoe groot de verschillen in afnamedatum precies zijn. Er werd besloten om de scores van de kinderen die na 29 mei7 werden getoetst uit de analyses weg te laten. Tabel 6 geeft per toets en per onderzoeksgroep weer hoeveel kinderen de toets al dan niet tijdig aflegden8. Enkel de geldig ingevulde toetsen worden hier in rekening gebracht. De laatste rij in de tabel geeft weer hoeveel leerlingen van de betreffende onderzoeksgroep alle drie de toetsen tijdig hebben ingevuld. Tabel 6 Overzicht aantal tijdig en aantal te laat afgelegde toetsen, toetsafnames einde zesde leerjaar
Onderzoeksgroep Toets SVS-V
Begrijpend lezen
Wiskunde
Alle toetsen
7
8
OG_REF
OG_GOK
OG_METH
TOTAAL
Totaal Te laat
3188 245 (7,7%)
2995 205 (6,8%)
361 26 (7,2%)
4065 272 (6,7%)
Tijdig
2943
2790
335
3793
Versie A
Totaal Te laat Tijdig
1205 45 1160
1341 65 1276
87 8 79
1624 85 1539
Versie B
Totaal Te laat Tijdig
1006 109 897
1654 78 1576
277 24 253
2467 134 2333
Totaal
Totaal Te laat Tijdig
3211 154 (4,8%) 3057
2995 143 (4,8) 2852
364 32 (8,8%) 332
4091 219 (5,4%) 3872
Versie A
Totaal Te laat Tijdig
1492 94 1398
1542 104 1438
197 39 158
2018 162 1856
Versie B
Totaal Te laat Tijdig
1724 102 1622
1457 84 1373
157 19 138
2068 126 1942
Totaal
Totaal Te laat Tijdig
3216 196 (6,1%) 3020
2999 188 (6,3%) 2811
354 58 (16,4%) 296
4086 288 (7,0%) 3798
Tijdig
2669
2508
246
3358
De voorgaande afnamejaren werd steeds besloten om toetsen die 2 weken na de vooropgestelde toetsperiode werden afgelegd, uit de analyse te weren. Dit jaar werd ervoor gekozen om toetsen die na 29 mei werden afgelegd niet op te nemen in de analyse, dit om verscheidene redenen. Ten eerste is er een groot aantal leerlingen die de toets(en) na 22 mei (twee weken na de voorgeschreven toetsperiode) hebben afgelegd, dit onder meer omdat de toetsperiode vervroegd werd en dit niet in de planning van alle scholen paste. Tevens hebben leerlingen in het zesde leerjaar een drukke periode aan het einde van het schooljaar, waardoor het niet vanzelfsprekend was voor scholen om de SiBO-toetsen in te plannen. Daarnaast werd de scholen gezegd dat, indien nodig, de toetsen ook in de periode tussen 11 en 15 mei afgenomen mochten worden. Voor toetsen waarop geen datum vermeld stond, werd dit ontbrekend gegeven indien mogelijk aangevuld (door de toetsdatum van de klasgenoten). Toetsen waar we geen datum voor hebben, worden bij de categorie ‘te laat’ gerekend.
11
We willen wel vermelden dat de resultaten van alle leerlingen in de databank worden opgenomen, dus ook van de leerlingen die de toets ongeldig en/of te laat hebben ingevuld. Het is dus mogelijk deze leerlingen bij latere analyses wel mee op te nemen (of na te gaan of bijvoorbeeld de afnamedatum een verschil maakt).
3.5 Samenvatting In Tabel 7 wordt samengevat hoeveel geldig en op tijd afgelegde toetsen in de analyses opgenomen werden. De tabel vermeldt eveneens de percentages geldig en tijdig afgelegde toetsen ten opzichte van het aantal leerlingen dat volgens onze gegevens op het moment van de toetsafnames in de 169 deelnemende SiBO-scholen in het zesde leerjaar zat. De percentages van de geldig en tijdig afgelegde toetsen liggen een stuk lager dan in de vorige afnamejaren. Dit wordt veroorzaakt door het groot aantal leerlingen die de toets(en) te laat hebben afgelegd.
Tabel 7 Overzicht van het aantal toetsen in analyse, toetsafnames einde zesde leerjaar
Onderzoeksgroep Toets
OG_REF
OG_GOK
OG_METH
VOLLEDIG
SVS Begrijpend lezen
2943 (86%) 2790 (87,6%) 335 (83,1%) 3793 (87,2%) 3057 (89,3%) 2852 (89,6%) 332 (82,4%) 3872 (89,1%)
Wiskunde
3020 (88,3%) 2811 (88,3%) 296 (73,4%) 3798 (87,4%)
12
4. Relevante toetskenmerken
De analyses waarover in dit hoofdstuk wordt gerapporteerd, werden uitgevoerd op basis van de gegevens van de referentiegroep (zie paragraaf 3.2 en tabel 3). Zoals beschreven in paragraaf 3.3 en 3.4 werden de leerlingen die de toets ongeldig en/of te laat aflegden uit de analyses geweerd.
4.1 Schaal Vorderingen in Spellingsvaardigheid voor Vlaanderen (SVS-V)
4.1.1 Betrouwbaarheid van de “SVS-V” Om de betrouwbaarheid van de SVS-V na te gaan, werd de Cronbachs alfacoëfficiënt berekend. Er werd gebruik gemaakt van de procedure zonder ‘missing values’ (d.w.z. met listwise deletion). Tabel 8 toont het resultaat. Tabel 8 Betrouwbaarheid “SVS-V”
SVS-V
N
Alfa
2943
0,87
De betrouwbaarheid van de SVS-V op het einde van het zesde leerjaar is hoog. Dit geeft steun aan de hypothese dat het gebruikte dictee van de SVS-V een betrouwbaar meetinstrument is. De alfacoëfficiënt kon niet verder verhoogd worden door het weglaten van één of meerdere items.
4.1.2 Verdelingskenmerken van de “SVS-V” Tabel 9 bevat het aantal leerlingen dat de SVS-V op een geldige manier heeft afgelegd (N), de gemiddelde ruwe score op 43 ( x ), de bijbehorende standaardafwijking (SD), de laagste en de hoogste geregistreerde score (Min en Max) en de scheefheidcoëfficiënt. Tabel 9 Verdelingskenmerken “SVS-V”
SVS-V
N
x
SD
Min
Max
Scheefheid
2943
32,30
6,83
0
43
-0,91
Met een maximum van 43 punten ligt de gemiddelde ruwe score van 32,30 een stuk boven het theoretisch gemiddelde. De spreiding is niet extreem hoog of laag en ligt iets lager dan de vorige afnamejaren. Deze verdelingskenmerken, samen met de redelijk sterke links-scheve verdeling, wijzen erop dat de toets eerder gemakkelijk is, ondanks de keuze voor de iets moeilijkere B-versie. De gemiddelde vaardigheidsscore van de leerlingen bedraagt bijna 127 punten, ongeveer 17 punten meer dan in het vierde leerjaar. De vaardigheidsscore is een gekalibreerde score, waardoor de resultaten van verschillende toetsversies (verschillende moeilijkheidsgraad en verschillende leerjaren) met elkaar vergeleken kunnen worden.
13
Figuur 1 toont de frequentieverdeling van de ruwe scores op de SVS-V op het einde van het zesde leerjaar.
FR E Q U E N C Y 200 190 180 170 160 150 140 130 120 110 100 90 80 70 60 50 40 30 20 10 0 1
2
3
4
5
6
7
8
9
10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 S cor e
Figuur 1. Scorefrequentieverdeling “SVS-V” in het zesde leerjaar
4.1.3 Itemkenmerken van de “SVS-V” In Tabel 10 op de volgende pagina worden de itemkenmerken weergegeven voor de toets spelling. We houden telkens rekening met alle leerlingen die de toets geldig en tijdig hebben afgelegd9. Per item geven we het aantal leerlingen dat het item heeft ingevuld (N) en de proportie leerlingen die het juiste antwoord heeft ingevuld (pjuist). Indien een leerling een item niet of niet geldig heeft ingevuld wordt dit als een fout antwoord beschouwd. Daarnaast wordt ook per item de itemtotaalcorrelatie gegeven (Rit). Het grootste deel van de items (35 items) heeft een lage moeilijkheidsgraad10 (met een p_juistwaarde hoger dan 0,60). Slechts acht items hebben een gemiddelde moeilijkheidsgraad (p_juistwaarde tussen 0,40 en 0,60). Geen enkel woord wordt door minder dan 40% van de leerlingen juist geschreven. De itemtotaalcorrelaties zijn voor alle items voldoende hoog en schommelen tussen 0,19 en 0,50.
9
Indien alle leerlingen die het item hebben ingevuld in rekening worden gebracht, ongeacht of zij de toets geldig en tijdig hebben afgelegd, bekomen we nagenoeg dezelfde resultaten. 10 De moeilijkheidsgraad werd berekend aan de hand van de proportie leerlingen die de vraag juist hebben beantwoord (de pjuist_1-waarde in tabel 12). Een hoge pjuist -waarde wijst op een gemakkelijke vraag, omgekeerd wijst een lage pjuist waarde op een moeilijke vraag.
14
Tabel 10 Itemkenmerken “SVS-V” N
pjuist
Rit
1 garage
2943
.99
.20
2 wijziging
2942
.47
.30
3 virus
2942
.88
.34
4 ‘s avonds
2941
.73
.43
5 onderzeeër
2942
.84
.30
6 tweedehands
2941
.77
.22
Item + woord
7 ideaal
2942
.77
.39
8 asperges
2938
.83
.44
9 toegangsbewijs
2940
.86
.30
10 marathon
2943
.64
.42
11 portie
2939
.81
.35
12 wreed
2940
.70
.39
13 piraat
2942
.98
.23
14 horloge
2943
.98
.22
15 materiaal
2941
.88
.34
16 ruïne
2928
.53
.46
17 notitie
2940
.74
.50
18 massale
2941
.48
.35
19 etalage
2941
.93
.23
20 ‘s woensdags
2941
.55
.33
21 theezakje
2943
.94
.20
22 beide
2934
.68
.31
23 gitarist
2940
.75
.25
24 ‘s zomers
2941
.60
.49
25 skiën
2943
.48
.19
26 militairen
2939
.78
.36
27 ritueel
2942
.88
.37
28 kolommen
2943
.63
.38
29 route
2939
.85
.37
30 vermijden
2941
.75
.27
31 videotheek
2937
.84
.33
32 restaurant
2939
.92
.31
33 kapotte
2942
.66
.33
34 stimulans
2938
.62
.20
35 speciaal
2940
.93
.40
36 poëzie
2936
.63
.45
37 situatie
2940
.86
.41
38 enveloppen
2940
.52
.32
39 therapie
2940
.78
.40
40 ‘s zondags
2942
.62
.49
41 repetitie
2941
.78
.42
42 egoïst
2938
.47
.48
43 eventueel
2937
.94
.33
15
4.1.4 Opportunity to learn Aan de leerkrachten van de deelnemende klassen werd via een vragenlijst ‘Opportunity to Learn’ gepeild naar de mate waarin de leerstof die in de verschillende woorden aan bod komt ook werkelijk in de klassen werd gezien. De leerkrachten werd gevraagd hiertoe alle woorden van het dictee bij één van de volgende categorieën onder te brengen: 1. Dit woord peilt naar leerstof die de leerlingen niet hebben gezien. 2. Dit woord peilt naar leerstof die de leerlingen in beperkte mate hebben gezien (bv. de leerstof werd al enigszins aangebracht, maar nog weinig ingeoefend). 3. Dit woord peilt naar leerstof die in de klas aan bod is gekomen en die de leerlingen in principe beheersen. Tabel 11 geeft de procentuele frequentieverdeling van deze bijkomende bevraging weer. Van iets meer dan de helft van de woorden (22) gaven meer dan negen op tien leerkrachten aan dat deze peilen naar leerstof die de leerlingen in principe beheersen. Vier woorden zijn bij 32% tot 37% van de leerkrachten niet of in beperkte mate aan bod gekomen. De overige woorden zijn bij 70 tot 80% van de leerkrachten voldoende aan bod gekomen en worden in principe door de leerlingen beheerst. Er bleek een vrij hoge correlatie te bestaan tussen de gemiddelde score op “Opportunity to Learn” en de moeilijkheidsgraad (Pearsons correlatiecoëfficiënt = 0,52). De woorden waarvan de leerkrachten aangeven dat ze nog maar weinig in de klas aan bod zijn gekomen, worden door de leerlingen ook minder vaak juist geschreven.
16
Tabel 11 Frequentieverdeling “Opportunity to learn”, toets “SVS-V” Item + woord 1 garage 2 wijziging 3 virus 4 ‘s avonds 5 onderzeeër 6 tweedehands 7 ideaal 8 asperges 9 toegangsbewijs 10 marathon 11 portie 12 wreed 13 piraat 14 horloge 15 materiaal 16 ruïne 17 notitie 18 massale 19 etalage 20 ‘s woensdags 21 theezakje 22 beide 23 gitarist 24 ‘s zomers 25 skiën 26 militairen 27 ritueel 28 kolommen 29 route 30 vermijden 31 videotheek 32 restaurant 33 kapotte 34 stimulans 35 speciaal 36 poëzie 37 situatie 38 enveloppen 39 therapie 40 ‘s zondags 41 repetitie 42 egoïst 43 eventueel
N 207 207 207 206 206 207 207 207 207 207 207 207 207 207 207 206 207 207 207 206 206 206 206 205 207 207 207 207 207 207 206 207 207 207 207 207 207 207 207 206 207 207 207
1 0.97 0.97 2.90 1.46 3.88 1.93 2.42 3.38 1.45 3.38 1.93 6.28 0.97 0.97 0.97 5.34 1.93 1.93 1.93 1.94 1.46 0.49 2.43 1.46 1.45 2.42 1.45 1.93 3.38 0.48 2.43 0.97 2.90 6.28 0.97 4.35 1.45 2.90 3.38 1.46 1.93 4.35 1.45
2 1.93 8.21 6.76 12.62 25.73 8.21 4.83 13.53 4.83 34.30 3.86 28.99 3.38 2.90 3.86 28.16 5.80 10.14 4.35 16.50 9.22 5.34 6.80 15.61 19.81 6.28 8.21 5.31 10.63 6.76 20.39 2.90 10.14 15.94 5.31 22.22 3.86 11.59 18.36 16.02 5.80 28.50 2.90
3 97.10 90.82 90.34 85.92 70.39 89.86 92.75 83.09 93.72 62.32 94.20 64.73 95.65 96.14 95.17 66.50 92.27 87.92 93.72 81.55 89.32 94.17 90.78 82.93 78.74 91.30 90.34 92.75 85.99 92.75 77.18 96.14 86.96 77.78 93.72 73.43 94.69 85.51 78.26 82.52 92.27 67.15 95.65
17
4.2 Begrijpend lezen, einde zesde leerjaar 4.2.1 Betrouwbaarheid van de toets “Begrijpend lezen, einde zesde leerjaar” Voor de beide versies van de toets Begrijpend lezen EL6 werd als indicatie van de betrouwbaarheid de Cronbachs alfacoëfficiënt berekend. Ook hier werd gebruik gemaakt van de procedure zonder ‘missing values’. De resultaten worden weergegeven in Tabel 12. Tabel 12 Betrouwbaarheid “Begrijpend lezen EL6”
N
Alfa
Begrijpend Lezen, Versie A
1150
0.76
Begrijpend Lezen, Versie B
1872
0.78
Hoewel de alfacoëfficiënten van beide versies van de toets lager liggen dan de voorafgaande afnamejaren, zijn ze toch nog voldoende hoog om steun te geven aan de hypothese dat de toets Begrijpend lezen EL6 een betrouwbaar meetinstrument is. De procedure zonder ‘listwise deletion’, waarbij een ‘missing value’ wordt beschouwd als een foutief antwoord, levert voor beide versies nagenoeg hetzelfde resultaat op. De alfacoëfficiënten konden niet verhoogd worden door het weglaten van één of meerdere items.
4.2.2 Verdelingskenmerken van de toets “Begrijpend lezen, einde zesde leerjaar” De verdelingskenmerken van beide versies van de toets Begrijpend lezen EL6 worden weergegeven in Tabel 13. Telkens geven we het aantal leerlingen dat de betreffende versie op een geldige manier heeft afgelegd (N), de gemiddelde ruwe score ( x ) op 39, respectievelijk 41 items (A-versie en B-versie), de bijbehorende standaardafwijking (SD), de laagste en de hoogste geregistreerde score (Min en Max), en de scheefheidscoëfficiënt. Tabel 13 Verdelingskenmerken “Begrijpend lezen EL6”
N
x
SD
Min
Max
Scheefheid
Begrijpend Lezen, Versie A
1150
19,51
5,85
4
37
0,24
Begrijpend Lezen, Versie B
1872
25,24
6,09
4
40
-0,14
De gemiddelde ruwe score voor de A-versie is gelijk aan het theoretisch gemiddelde. Voor de Bversie ligt de gemiddelde ruwe score een vijftal punten boven het theoretisch gemiddelde. De spreiding is telkens groot. De scheefheid is zowel voor versie A als voor versie B matig. Indien we de vaardheidsscore voor de toets begrijpend lezen bekijken, zien we een gemiddelde score van 59,16. Deze score ligt iets minder dan 7 punten hoger dan deze in het vijfde leerjaar (52,40). Leerlingen die de B-versie hebben afgelegd hebben een gemiddelde vaardigheidsscore van 63,63. Bij de leerlingen die de A-versie van de toets hebben afgelegd bedraagt deze score 51,88. De figuren 2a en 2b tonen de frequentieverdeling van de ruwe scores van versie A, respectievelijk versie B van de toets Begrijpend lezen EL6.
18
FREQ UENCY 90
80
70
60
50
40
30
20
10
0 1 2 3 4 5 6 7 8 9 1 1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2 2 2 3 3 3 3 3 3 3 3 3 3 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 Scor e
Figuur 2a. Scorefrequentieverdeling “Begrijpend lezen EL6, versie A”
FR EQ U EN C Y 130 120 110 100 90 80 70 60 50 40 30 20 10 0 1 2 3 4 5 6 7 8 9 1 1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2 2 2 3 3 3 3 3 3 3 3 3 3 4 4 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 Scor e
Figuur 2b. Scorefrequentieverdeling “Begrijpend lezen EL6, versie B”
19
4.2.3 Itemkenmerken van de toets “Begrijpend lezen, einde zesde leerjaar” Op de volgende pagina’s geven tabellen 14 en 15 de itemkenmerken weer voor de beide versies van de toets Begrijpend lezen die in het zesde leerjaar afgenomen werd. We houden telkens rekening met alle leerlingen die de toets geldig en tijdig hebben afgelegd11. Tabel 12 geeft de itemkenmerken voor versie A, tabel 13 voor versie B. Beide tabellen bevatten per item het aantal leerlingen dat het item heeft ingevuld (N) en de proportie leerlingen die het juiste antwoord heeft ingevuld (pjuist). Indien een leerling een item niet of niet geldig heeft ingevuld wordt dit als een fout antwoord beschouwd. Daarnaast wordt ook per item de itemtotaalcorrelatie gegeven (Rit).
11
Indien alle leerlingen die het item hebben ingevuld in rekening worden gebracht, ongeacht of zij de toets geldig en tijdig hebben afgelegd, bekomen we nagenoeg dezelfde resultaten.
20
Tabel 14 Itemkenmerken “Begrijpend lezen EL6, Versie A”
Item
N
pjuist
Rit
1
1145
.70
.19
2
1145
.39
.26
3
1148
.62
.24
4
1150
.28
.19
5
1148
.52
.30
6
1140
.50
.22
7
1140
.37
.27
8
1144
.70
.34
9
1146
.49
.21
10
1140
.43
.25
11
1142
.37
.17
12
1139
.38
.07
13
1137
.47
.15
14
1149
.77
.15
15
1130
.49
.27
16
1128
.44
.30
17
1141
.34
.23
18
1127
.38
.18
19
1146
.78
.30
20
1142
.61
.28
21
1142
.74
.30
22
1134
.55
.31
23
1132
.67
.32
24
1136
.18
.21
25
1134
.77
.27
26
1129
.68
.32
27
1122
.47
.32
28
1133
.76
.20
29
1131
.49
.24
30
1130
.30
.07
31
1120
.58
.24
32
1119
.45
.23
33
1112
.45
.19
34
1103
.26
.27
35
1052
.44
.28
36
1099
.42
.25
37
1097
.46
.34
38
1099
.26
.28
39
1088
.57
.14
21
Tabel 15 Itemkenmerken “Begrijpend lezen EL6, Versie B”
Item
N
pjuist
Rit
1
1852
.76
.30
2
1869
.63
.24
3
1858
.48
.14
4
1867
.71
.22
5
1855
.75
.30
6
1865
.77
.23
7
1866
.40
.14
8
1861
.41
.12
9
1866
.49
.13
10
1859
.77
.30
11
1861
.30
.19
12
1860
.81
.36
13
1862
.71
.27
14
1861
.59
.32
15
1863
.67
.29
16
1867
.62
.21
17
1867
.49
.29
18
1849
.56
.29
19
1863
.91
.18
20
1865
.35
.25
21
1865
.74
.24
22
1865
.70
.25
23
1832
.59
.22
24
1854
.44
.35
25
1841
.35
.28
26
1843
.36
.06
27
1848
.71
.33
28
1798
.70
.27
29a
1774
.73
.30
29b
1738
.50
.20
29c
1728
.57
.29
29d
1725
.48
.28
30a
1721
.49
.23
30b
1756
.43
.12
30c
1753
.65
.28
30d
1750
.73
.24
31
1757
.76
.40
32a
1795
.79
.33
32b
1782
.80
.34
32c
1791
.72
.35
32d
1791
.84
.35
22
4.3 Wiskunde, einde zesde leerjaar 4.3.1 Validiteit van de toets “Wiskunde, einde zesde leerjaar” In eerste instantie werd onderzocht of de toets Wiskunde EL6 één of meer achterliggende vaardigheden meet. Daarom werd een exploratieve factoranalyse uitgevoerd op de items van elk van beide versies. Zowel op basis van de scree-test van Cattell als op basis van het criterium ‘proportie verklaarde variantie’12 werd besloten om de één-factoroplossing als beste te weerhouden, zowel voor versie A als voor versie B. De factor verklaart iets meer dan 12% van de variantie in de toetsscores (eigenwaarde versie A: 7.908; eigenwaarde versie B: 8.164). In Bijlage 1 worden de factorladingen (vermenigvuldigd met 100) voor de beide versies weergegeven.
4.3.2 Betrouwbaarheid van de toets “Wiskunde, einde zesde leerjaar” Vervolgens werd, als indicatie van de betrouwbaarheid van de toets, de Cronbachs alfacoëfficiënt berekend. Het resultaat wordt weergegeven in Tabel 16. Tabel 16 Betrouwbaarheid “Wiskunde EL6”
N
Alfa
Wiskunde, Versie A
1389
0,88
Wiskunde, Versie B
1613
0,89
Beide versies van de toets Wiskunde EL6 hebben een hoge betrouwbaarheid. Er werd gebruik gemaakt van de observaties zonder ‘missing values’. Net zoals bij de toetsen begrijpend lezen levert de procedure zonder ‘listwise deletion’, waarbij een ‘missing value’ wordt beschouwd als een foutief antwoord, vrijwel hetzelfde resultaat op. De alfacoëfficiënt kon niet verhoogd worden door het weglaten van één of meerdere items.
12
Criterium ‘Proportie verklaarde variantie’: enkel factoren die minstens 5% van de variantie verklaren worden weerhouden.
23
Tabel 17 geeft een weergave van de Cronbachs alfacoëfficiënt per toetsdeel. Tabel 17 Betrouwbaarheid “Wiskunde EL6”, per toetsdeel en toetsversie
Toetsinhoud Hoofdrekenen Hoofdrekenen Hoofdrekenen (combinatieopgaven) Schattend hoofdrekenen Getallenleer Structureren of splitsen van getallen tot 100 000 Getallenreeksen Getallenkennis Breuken
Alfa versie A
Alfa versie B
.75 .72 .43 .49 .76 .62 .32 .56
.76 .68 .43 .48 .75 .47 .41 .35
.28
.58
Kommagetallen
/
/
Percenten Vraagstukken Toepassingssituaties metend rekenen Meetkunde
.66 .50 .52 .34
.43 .50 .49 .25
Cijferen
.27
.25
4.3.3 Verdelingskenmerken van de toets “Wiskunde, einde zesde leerjaar” Tabel 18 bevat het aantal leerlingen dat versie A of versie B van de toets Wiskunde EL6 op een geldige manier heeft afgelegd (N), de gemiddelde score op 64 ( x ), de bijbehorende standaardafwijking (SD), de laagste en de hoogste geregistreerde score (Min en Max) en de scheefheidscoëfficiënt. Tabel 18 Verdelingskenmerken “Wiskunde, einde zesde leerjaar”
N
x
SD
Min
Max
Scheefheid
Wiskunde, Versie A
1613
33,17
10,68
3
61
-0,23
Wiskunde, Versie B
3002
40,39
10,06
2
62
-0,38
De gemiddelde score voor versie A ligt net boven het theoretisch gemiddelde. Voor versie B ligt de gemiddelde score een stuk hoger. De spreiding is telkens goed. Beide versies van de toets hebben een lichte rechts-scheve verdeling. Het gemiddelde van de vaardigheidsscore is 107,11, wat iets hoger ligt dan in het vijfde leerjaar (102,28). Figuren 3a en 3b geven een grafische voorstelling van de verdeling van de ruwe scores op de beide versies van de toets Wiskunde EL6.
24
FREQ UENCY 110
100
90
80
70
60
50
40
30
20
10
0 2
4
6
8
10 12 14 16 18 20 22 24 26 28 30 32 34 36 38 40 42 44 46 48 50 52 54 56 58 60 62 64 Scor e
Figuur 3a. Scorefrequentieverdeling “Wiskunde EL6, versie A”
FREQ UENCY 130
120
110
100
90
80
70
60
50
40
30
20
10
0 2
4
6
8
10 12 14 16 18 20 22 24 26 28 30 32 34 36 38 40 42 44 46 48 50 52 54 56 58 60 62 64 Scor e
Figuur 3b. Scorefrequentieverdeling “Wiskunde EL6, versie B”
25
4.3.4 Itemkenmerken van de toets “Wiskunde, einde zesde leerjaar” Op de volgende pagina’s geven tabellen 19 en 20 de itemkenmerken weer voor de beide versies van de toets Wiskunde die in het zesde leerjaar afgenomen werd. We houden telkens rekening met alle leerlingen die de toets geldig en tijdig hebben afgelegd13. Beide tabellen bevatten per item het aantal leerlingen dat het item heeft ingevuld (N) en de proportie leerlingen die het juiste antwoord heeft ingevuld (pjuist). Indien een leerling een item niet of niet geldig heeft ingevuld wordt dit als een fout antwoord beschouwd. Daarnaast wordt ook per item de itemtotaalcorrelatie gegeven (Rit). De itemlabels verwijzen naar het subtoetsdeel waartoe de items behoren: ‘Hoofdrekenen’ (HR), ‘Hoofdrekenen (combinatieopgaven)’ (HRC), ‘Structureren of splitsen van getallen’ (SPL), ‘Getallenreeksen’ (GR), ‘Getallenkennis’ (GK), ‘Schattend hoofdrekenen’ (SHR), ‘Vraagstukken’ (VS), ‘Toepassingssituaties metend rekenen’ (MR), ‘Meetkunde’ (MK), ‘Breuken’ (BR), ‘Kommagetallen’ (KG), ‘Percenten’ (%), ‘Cijferen’ (C). Een groot deel van de items van versie A (40) heeft een gematigde moeilijkheidsgraad (pjuist-waarde tussen 0,40 en 0,60). Twaalf items zijn gemakkelijk (pjuist-waarde groter dan 0,60) en elf items zijn moeilijk (pjuist-waarde kleiner dan 0,40). Het merendeel van de items uit versie B zijn gemakkelijk (42 items met een pjuist-waarde groter dan 0,60), slechts twee items hebben een pjuist-waarde kleiner dan 0,40. De overige zeven items hebben een pjuist-waarde tussen 0,40 en 0,60. De itemtotaalcorrelaties voor versie A situeren zich tussen 0,14 en 0,45. Vier van de items hebben een itemtotaalcorrelaties lager dan 0,20. Voor de B-versie liggen de itemtotaalcorrelaties tussen 0,18 en 0,44. Twee items hebben een itemtotaalcorrelatie lager dan 0,20.
13
Indien alle leerlingen die het item hebben ingevuld in rekening worden gebracht, ongeacht of zij de toets geldig en tijdig hebben afgelegd, bekomen we nagenoeg dezelfde resultaten.
26
Tabel 19 Itemkenmerken “Wiskunde EL6, Versie A” (deel 1) Item
N
pjuist
s01
GK
Label
1349
63.57
s02
BR
1204
48.38
s03
VS
1298
51.26
s04
MR
1221
37.51
s05
GK
1228
53.20
s06
GK
1373
58317
s07
MK
1327
49.60
s08
%
1264
52.77
s09
GK
1383
48.16
s10
HR
1348
46.80
s11
BR
1360
58.89
s12
%
1240
35.85
s13
%
1256
65.95
s14
BR
1295
60.48
s15
GK
1361
56.23
s16
GK
1266
54.72
s17
GK
1350
77.75
s18
GK
1354
48.88
s19
VS
1340
48.38
s20
%
1289
43.63
s21
%
1298
48.67
s22
%
1216
45.79
s23
MR
1260
33.12
s24
VS
1352
43.92
s25
MR
1309
50.25
s26
MR
1324
56.52
s27
MR
1366
59.47
s28
VS
1336
35.13
s29
MR
1128
29.37
s30
VS
1327
57.67
s31
VS
1232
51.84
s32
MR
1237
37.01
s33
MK
1365
36.43
s34
MR
1346
26.28
s35
MK
1324
59.83
s36
GK
1327
66.88
s37
MK
1349
51.69
s38
GK
1366
72.35
s39
C
1345
46.08
s40
C
1267
23.90
s41
HR
1287
53.71
s42
HR
1235
39.45
Rit .23 .29 .28 .26 .28 .30 .28 .40 .24 .35 .23 .31 .38 .29 .29 .29 .26 .32 .36 .41 .45 .45 .33 .34 .33 .29 .23 .26 .28 .26 .44 .40 .21 .14 .23 .32 .16 .18 .27 .19 .31 .30
27
Tabel 19 Itemkenmerken “Wiskunde EL6, Versie A” (deel 2) N
pjuist
s43
Item HR
Label
1320
77.39
s44
HR
1282
55.22
s45
HR
1294
67.31
s46
HR
1332
76.17
s47
HR
1188
51.26
s48
HR
1238
64.43
s49
HR
1347
76.31
s50
HR
1217
51.84
s51
HR
1060
50.83
s52
HR
1224
53.92
s53
SHR
1353
53.71
s54
SHR
1350
55.94
s55
SHR
1342
46.44
s56
SHR
1340
49.75
s57
HRC
1213
31.39
s58
HRC
1128
48.24
s59
HRC
1260
67.10
s60
SPL
1258
45.79
s61
SPL
1216
53.85
s62
SPL
1191
52.77
s63
GR
1287
46.00
s64
GR
1231
55.87
Rit .34 .32 .30 .16 .43 .29 .33 .40 .35 .37 .21 .25 .22 .27 .32 .38 .34 .28 .40 .39 .36 .20
Tabel 20 Itemkenmerken “Wiskunde EL6, Versie B” (deel 1) Item
Label
N
pjuist
Rit
s01
GK
1605
83.51
.18
s02
BR
1561
84.07
.32
s03
VS
1572
82.08
.30
s04
MR
1551
74.77
.33
s05
GK
1506
75.33
.25
s06
%
1596
84.44
.25
s07
%
1583
76.07
.25
s08
BR
1557
45.88
.37
s09
%
1589
67.82
.32
s10
BR
1491
56.23
.34
s11
GK
1575
61.13
.19
s12
BR
1333
60.32
.42
s13
KG
1534
52.45
.39
s14
GK
1559
71.54
.25
s15
BR
1486
69.19
.41
s16
BR
1579
64.48
.26
s17
GK
1571
75.64
.35
s18
VS
1586
4.22
.15
28
Tabel 20 Itemkenmerken “Wiskunde EL6, Versie B” (deel 2) Item
Label
N
pjuist
Rit
s19
%
1574
71.67
.34
s20
VS
1597
68.07
.31
s21
VS
1604
70.80
.24
s22
VS
1543
71.85
.36
s23
VS
1556
77.31
.39
s24
VS
1568
78.36
.36
s25
MR
1594
2.79
.12
s26
MR
1602
76.26
.27
s27
MR
1436
55.30
.42
s28
MR
1526
53.13
.36
s29
MR
1518
70.99
.40
s30
MR
1556
70.86
.36
s31
MR
1435
25.36
.34
s32
MR
1507
42.96
.33
s33
MK
1567
76.94
.18
s34
MK
1607
38.50
.23
s35
MK
1598
64.54
.30
s36
MR
1586
24.61
.33
s37
MR
1562
45.01
.24
s38
BR
1578
60.82
.37
s39
C
1590
66.52
.28
s40
C
1551
39.31
.21
s41
HR
1573
53.87
.26
s42
HR
1559
68.32
.32
s43
HR
1553
54.93
.19
s44
HR
1440
73.71
.39
s45
HR
1567
83.57
.28
s46
HR
1523
69.62
.29
s47
HR
1513
63.36
.32
s48
HR
1550
79.54
.39
s49
HR
1510
80.91
.27
s50
HR
1503
75.33
.27
s51
HR
1432
80.35
.41
s52
HR
1506
71.61
.32
s53
SHR
1573
69.50
.27
s54
SHR
1574
71.79
.33
s55
SHR
1574
70.12
.39
s56
HRC
1480
76.32
.36
s57
HRC
1492
66.03
.39
s58
HRC
1524
69.87
.34
s59
SPL
1523
70.92
.33
29
Tabel 20 Itemkenmerken “Wiskunde EL6, Versie B” (deel 3) Item
Label
N
pjuist
Rit
s60
SPL
1509
56.85
.26
s61
SPL
1439
43.89
.33
s62
GR
1240
23.43
.36
s63
GR
1375
56.11
.33
s64
GR
1448
68.07
.40
4.3.5 Opportunity to learn Bij de leerkrachten van de deelnemende klassen werd via een vragenlijst ‘Opportunity to Learn’ gepeild naar de mate waarin de leerstof die in de verschillende items aan bod komt ook werkelijk in de klassen werd gezien. De leerkrachten werd gevraagd alle items van de beide versies van de toets Wiskunde EL6 bij één van de volgende categorieën onder te brengen: 1. Deze vraag peilt naar leerstof die de leerlingen niet hebben gezien. 2. Deze vraag peilt naar leerstof die de leerlingen in beperkte mate hebben gezien (bv. de leerstof werd al enigszins aangebracht, maar nog weinig ingeoefend). 3. Deze vraag peilt naar leerstof die in de klas aan bod is gekomen en die de leerlingen in principe beheersen. Van 229 leerkrachten kregen we een ingevulde vragenlijst terug. In onderstaande analyse werden enkel de leerkrachten uit de scholen van de referentiegroep betrokken (n scholen = 143). (let op: in tabel 21 is het aantal ingevulde vragenlijsten groter dan 143 aangezien in sommige scholen meerdere klassen deelnemen. Per klas werd door de leerkracht een vragenlijst “opportunity to learn” ingevuld). Tabel 21 geeft de procentuele frequentieverdeling van deze bijkomende bevraging weer. De nummering onder kolom ‘Versie A’ en kolom ‘Versie B’ komt overeen met de nummering uit Tabel 19 respectievelijk Tabel 20. Dezelfde itemlabels als in paragraaf 4.3.4 worden voor de verschillende toetsdelen gebruikt: ‘Hoofdrekenen’ (HR), ‘Hoofdrekenen (combinatieopgaven)’ (HRC), ‘Structureren of splitsen van getallen’ (SPL), ‘Getallenreeksen’ (GR), ‘Getallenkennis’ (GK), ‘Schattend hoofdrekenen’ (SHR), ‘Vraagstukken’ (VS), ‘Toepassingssituaties metend rekenen’ (MR), ‘Meetkunde’ (MK), ‘Breuken’ (BR), ‘Kommagetallen’ (KG), ‘Percenten’ (%), ‘Cijferen’ (C). De overgrote meerderheid van de leerkrachten antwoordde telkens dat de leerstof op zijn minst enigszins werd gezien in de klas. Er bleek een iets lagere (dan bij spelling), maar toch nog significante correlatie te zijn tussen de gemiddelde score op “Opportunity to Learn” en de moeilijkheidsgraad (Pearsons correlatiecoëfficient is gelijk aan 0,32 voor Versie A en 0,26 voor Versie B). Items met een hogere OTL-score werden dus significant vaker juist beantwoord.
30
Tabel 21 Frequentieverdeling “Opportunity to learn”, items van de toets “Wiskunde EL6” (deel 1) Item
Toetsdeel
Versie A
Versie B
N
1
2
3
otl01
GK
s1
s1
205
2.93
8.78
88.29
otl02
BR
s2
s2
207
3.38
24.15
72.46
otl03
VS
s3
s3
207
1.93
33.33
64.73
s4
207
1.45
13.04
85.51
s5
206
2.91
13.59
83.50
206
1.94
28.16
69.90
206
1.46
19.42
79.13
205
1.46
27.80
70.73
0.97
98.07
otl04
MR
s4
otl05
GK
s5
otl06
GK
s6
otl07
MK
s7
otl08
%
s8
otl09
GK
s9
207
0.97
otl10
HR
s10
206
0.97
7.77
91.26
207
4.83
13.53
81.64
207
1.45
6.76
91.79
s13
207
1.45
7.25
91.30 78.64
otl11
BR
s11
otl12
%
s12
s6
s19
otl13
%
otl14
BR
s14
206
1.46
19.90
otl15
GK
s15
207
0.97
5.80
93.24
otl16
GK
s16
207
1.45
16.91
81.64
otl17
GK
s17
207
7.25
15.46
77.29
s18
206
3.40
17.96
78.64
8.29
43.41
48.29
otl18
GK
otl19
BR
s8
205
otl20
%
s9
207
5.31
38.16
56.52
otl21
BR
s10
207
0.97
24.64
74.40
otl22
GK
s11
207
4.83
33.33
61.84
otl23
BR
s12
207
3.86
20.29
75.85
s13
207
4.35
23.67
71.98
s14
207
1.45
34.30
64.25
10.63
42.03
47.34 77.29
otl24 otl25
KG GK
otl26
BR
s15
207
otl27
BR
s16
207
1.93
20.77
otl28
GK
s17
206
1.94
40.78
57.28
otl29
VS
s18
207
28.50
55.56
15.94
otl30
VS
s19
207
1.45
33.82
64.73
s20
206
5.83
18.45
75.73
s21
207
0.97
3.86
95.17
s22
207
0.97
8.70
90.34
otl31 otl32
% %
s7
otl33
%
otl34
MR
s23
206
0.97
13.59
85.44
otl35
VS
s24
207
1.45
17.39
81.16
otl36
MR
s25
207
1.45
6.28
92.27
0.97
12.62
86.41
s30
otl37
MR
s26
206
otl38
MR
s27
206
3.40
17.96
78.64
s28
s20
206
6.80
30.10
63.11
s29
otl39
VS
otl40
MR
s29
202
0.50
17.33
82.18
otl41
VS
s30
206
1.94
19.90
78.16
otl42
VS
s31
206
0.97
11.65
87.38
otl43
MR
s32
s26
205
1.46
11.71
86.83
s21
205
4.39
33.17
62.44
s22
207
2.90
42.03
55.07
1.93
42.03
56.04
otl44 otl45
VS VS
otl46
VS
s23
207
otl47
VS
s24
206
1.94
43.20
54.85
otl48
MR
s25
207
9.66
39.13
51.21
otl49
MR
s27
207
1.45
14.49
84.06
otl50
MR
s28
206
0.49
25.24
74.27
15.12
27.80
57.07
3.86
29.95
66.18
otl51
MR
s31
205
otl52
MR
s32
207
31
Tabel 21 Frequentieverdeling “Opportunity to learn”, items van de toets “Wiskunde EL6” (deel 2) otl53 206 4.37 33.50 MK s33 s35 otl54
MR
s34
otl55
MK
62.14
207
4.83
36.71
58.45
s35
207
2.90
8.21
88.89
s36
207
1.45
9.18
89.37
205
6.34
18.54
75.12
207
1.45
2.90
95.65
s37
otl56
GK
otl57
MK
s37
otl58
GK
s38
otl59
MK
s34
207
7.25
44.93
47.83
otl60
MR
s36
207
2.42
41.55
56.04
s38
207
1.93
19.32
78.74
0.97
1.46
97.57
otl61 otl62
BR
s33
C
s39
s39
206
otl63
C
s40
s40
206
1.46
4.37
94.17
otl64
HR
s52
s46
205
0.98
5.37
93.66
otl65
HR
s41
s52
205
0.98
4.39
94.63
otl66
HR
s46
205
0.98
1.46
97.56
otl67
s41
19
s47
s50
205
0.98
4.88
94.15
s42
s47
205
0.98
2.93
96.10
204
0.98
3.43
95.59
HR
olt68
HR
otl69
HR
otl70
HR
s50
otl71
HR
otl72
HR
otl73
HR
otl74 otl75
HR
s42
19
s45
s45
205
s48
s49
s49
7.32
90.24
205
1.95
4.88
93.17
205
1.46
1.46
97.07
s51
0.98
3.90
95.12
s44
205
0.98
2.93
96.10
s43
205
0.98
2.44
96.59
s44
203
0.99
3.45
95.57
s43
205
1.46
12.20
86.34
s55
207
1.45
9.66
88.89
207
1.45
9.66
88.89
HR
s51
HR
otl78
HR
otl79
HR HR
94.74
2.44
205
otl77
SHR
5.26
s48
HR
otl81
89.47
21
otl76
otl80
10.53
s53
100
otl82
SHR
s54
otl83
SHR
s55
s53
207
1.45
10.14
88.41
otl84
SHR
s56
s54
207
1.93
10.14
87.92
otl85
HRC
s57
s58
207
3.86
43.48
52.66
otl86
HRC
s58
206
3.40
37.86
58.74
otl87
HRC
s59
207
2.90
29.95
67.15
s56
207
4.35
43.48
52.17
s57
207
4.83
38.65
56.52
s59
206
0.97
8.74
90.29
206
0.97
15.53
83.50
otl88
HRC
otl89
HRC
otl90
SPL
s60
otl91
SPL
s61
otl92
SPL
s62
otl93
SPL
otl94 otl95
206
0.97
15.53
83.50
s60
206
1.46
14.08
84.47
s61
206
1.46
11.65
86.89
s63
206
3.88
25.73
70.39
s64
206
2.43
33.50
64.08
SPL GR
otl96
GR
otl97
GR
s62
206
15.53
37.38
47.09
otl98
GR
s63
206
11.17
34.47
54.37
otl99
GR
s64
206
3.88
32.04
64.08
32
4.4 Samenhang tussen de toetsen zesde derde leerjaar In deze paragraaf gaan we de samenhang na tussen de totaalscores van de drie toetsen die op het einde van het zesde leerjaar werden afgenomen: Schaal Vorderingen in Spellingvaardigheid Vlaanderen (SVS-V), Begrijpend Lezen EL6 (BL) en Wiskunde EL6 (WIS). Hiervoor werd gebruik gemaakt van de vaardigheidsscores van alle leerlingen uit de referentiegroep die de drie toetsen geldig en op tijd hebben afgelegd (N = 2669). Tabel 22 bevat de correlatiecoëfficiënten tussen de verschillende toetsen. Tussen de drie toetsen is er een vrij hoge correlatie. De toetsen begrijpend lezen en wiskunde correleren het sterkst met elkaar.
Tabel 22 Correlaties tussen de scores op de toetsen zesde leerjaar
BL WIS SVS
BL
WIS
SVS
1,00
0,64 1,00
0,53 0,49 1,00
33
5. De toetsresultaten opgesplitst volgens onderzoeksgroep
Om een eerste vergelijking tussen de referentiegroep en de beide andere onderzoeksgroepen te kunnen maken, werden in tabel 23 per onderzoeksgroep de gemiddelde score en de standaarddeviatie van de verschillende toetsen opgenomen. Tabel 23 Beschrijvende kenmerken toetsen EL6, per onderzoeksgroep
SVS Onderzoeksgroep Referentie GOK Methode
BL
Wiskunde
x
SD
x
SD
x
SD
126,91 126,02 126,73
9,11 9,24 9,73
59,16 58,16 62,26
7,79 7,86 7,78
107,11 106,28 106,44
8,24 8,33 8,3
TOTAAL
De gemiddelde scores van de verschillende onderzoeksgroepen uit Tabel 23 moeten met de nodige omzichtigheid met elkaar vergeleken worden. Zo kan bijvoorbeeld vastgesteld worden dat de leerlingen uit de GOK-onderzoeksgroep over het algemeen minder goed presteren op de drie toetsen dan de leerlingen uit de referentiegroep. Er mag echter geen uitspraak gedaan worden over de grootte van dit verschil. Er bestaat immers een overlap tussen de verschillende onderzoeksgroepen, die ervoor zorgt dat de resultaten van een aanzienlijk deel van de getoetste kinderen in de bovenstaande tabel meer dan één keer worden meegerekend. Tabel 4 geeft een idee van de omvang van deze overlap die het grootst is tussen de referentiegroep en de GOKonderzoeksgroep (aantal kinderen in de overlap = 2677). Net zoals bij de vorige toetsafnames (Verachtert, et al. 2005; Hendrikx, et al., 2005) blijken de methodescholen iets minder goed te scoren op de toets wiskunde en de drie-minuten-toets. Voor de toets Begrijpend Lezen EL6 doen de methodescholen het beter dan de andere scholen.
34
6. Referenties
Hendrikx, K., Cortois, L., Verachtert, P., & Van Damme, J. (2009). Longitudinaal Onderzoek in het Basisonderwijs. Toetsen vijfde leerjaar (schooljaar 2007-2008). SSL-rapport nr. SSL/OD1/2009.17). Leuven: Steunpunt Studie- en Schoolloopbanen. Hendrikx, K., Verachtert, P., Ghesquière, P., Maes, F., & Van Damme, J. (2005). Longitudinaal Onderzoek in het Basisonderwijs. Toetsen Schooljaar 2004-2005 (LOA-rapport nr. 35). Leuven: Steunpunt Loopbanen doorheen Onderwijs naar Arbeidsmarkt. Hendrikx, K., Verhaeghe, J.P., Ghesquière, P., Maes, F., & Van Damme, J. (2006). Longitudinaal Onderzoek in het Basisonderwijs. Toetsen Schooljaar 2005-2006 (LOA-rapport nr. 45). Leuven: Steunpunt Loopbanen doorheen Onderwijs naar Arbeidsmarkt. Hendrikx, K., Verhaeghe, J.P., Ghesquière, P., Maes, F., & Van Damme, J. (2007). Longitudinaal Onderzoek in het Basisonderwijs. Toetsen Schooljaar 2006-2007 (SSL-rapport nr. OD1/07). Leuven: Steunpunt Studie- en Schoolloopbanen. Maes, F., Ghesquière, P., Onghena, P., & Van Damme, J. (2002). Longitudinaal onderzoek in het basisonderwijs. Van doelstellingen tot onderzoeksopzet (LOA-rapport nr. 1). Leuven: Steunpunt Loopbanen doorheen Onderwijs naar Arbeidsmarkt. Moelands, F., & Rymenans, R. (2003). Schaal Vorderingen in Spellingvaardigheid voor Vlaanderen (SVS-V). Handleiding. Arnhem: Citogroep. Rymenans, R. (2000). Leerlingvolgsysteem Taal. OBPWO-project 97.06. Eindrapport. Antwerpen: Universiteit Antwerpen. Staphorsius, G., & Krom, R.S.H. (1998). Toetsen Begrijpend Lezen. Handleiding. Arnhem: Citogroep. Verachtert, P. (2003). Longitudinaal Onderzoek in het Basisonderwijs. Toetsen Schooljaar 20022003 (LOA-rapport nr. 14). Leuven: Steunpunt Loopbanen doorheen Onderwijs naar Arbeidsmarkt. Verachtert, P., Ghesquière, P., Hendrikx, K., Maes, F., & Van Damme, J. (2005). Longitudinaal Onderzoek in het Basisonderwijs. Toetsen Schooljaar 2003-2004 (LOA-rapport nr. 30). Leuven: Steunpunt Loopbanen doorheen Onderwijs naar Arbeidsmarkt. Verhaeghe, J. P., Maes, F. Gombeir, D., & Peeters, E. (2002). Longitudinaal Onderzoek in het Basisonderwijs. Steekproeftrekking (LOA-rapport nr. 5). Leuven: Steunpunt Loopbanen doorheen Onderwijs naar Arbeidsmarkt.
35
7. Bijlage: Factorladingen exploratieve factoranalyse “Wiskunde, einde zesde leerjaar” eenfactoroplossing Factorladingen versie A Item
Factorladingen versie B
Factorlading
Item
Factorlading
s21
51
s12
47
s22
51
s27
47
s31
49
s51
46
s47
48
s15
45
s20
47
s64
45
s50
46
s13
44
s61
46
s29
44
s08
45
s44
44
s32
45
s55
44
s62
45
s23
43
s13
43
s48
43
s58
43
s57
43
s19
41
s08
42
s52
41
s38
42
s63
41
s22
41
s10
40
s30
41
s51
40
s24
40
s24
38
s28
40
s25
38
s56
40
s43
38
s62
40
s59
38
s17
39
s23
37
s10
38
s49
37
s19
38
s57
37
s31
38
s36
36
s36
38
s41
36
s54
38
s44
36
s58
38
s12
35
s63
38
s18
35
s04
37
s42
35
s32
37
s06
34
s59
37
s26
34
s02
36
s45
34
s09
36
s14
33
s42
36
s15
33
s47
36
s16
33
s52
36
s48
33
s61
36
s60
33
s20
35
s02
32
s03
34
s29
32
s35
34
s05
31
s46
33
s07
31
s11
32
s03
30
s45
32
s17
30
s39
31
s30
30
s50
31
s39
30
s53
31
s56
30
s26
30
s04
29
s49
30
s28
29
s60
30
s09
27
s16
29
s54
27
s41
29
s01
26
s05
28
s11
26
s06
28
s27
26
s07
28
s35
26
s14
28
s33
24
s21
28
s55
24
s37
28
s53
23
s34
27
s64
23
s40
23
s38
21
s43
22
s40
21
s33
21
s37
19
s01
20
s46
19
s18
16
s34
15
s25
14
36
