CIP-GEGEVENS KONINKLIJKE BIBLIOTHEEK, DEN HAAG
Veen, A., Derriks, M., Roeleveld, J. Een jaar later.Vervolgonderzoek evaluatie van Kaleidoscoop en Piramide. Veen, A., Derriks, M., Roeleveld, J. Amsterdam: SCOKohnstamm Instituut van de Faculteit der Maatschappij- en Gedragswetenschappen, Universiteit van Amsterdam (SCO-rapport 652).
ISBN 90-6813-700-X
Alle rechten voorbehouden. Niets uit deze uitgaven mag verveelvoudigd en of openbaar gemaakt worden door middel van druk, fotokopie, microfilm of op welke wijze dan ook, zonder voorafgaande schriftelijke toestemming van de uitgever. All rights reserved. No part of this publication may be reproduced, stored in a retrieval system, or transmitted, in any form or by any means, electronic, mechanical, photocpying, or otherwise, without the prior written permission of the publisher.
Uitgave en verspreiding: SCO-Kohnstamm Instituut Wibautstraat 4, Postbus 94208, 1090 GE Amsterdam Tel.: 020-525 1357 http://www.sco-kohnstamminstituut.uva.nl © Copyright SCO-Kohnstamm Instituut, 2002
Een jaar later Vervolgonderzoek evaluatie van Kaleidoscoop en Piramide A. Veen M Derriks Roeleveld
Inhoudsopgave
1
Opzet en uitvoering
In opdracht van het Ministerie van Onderwijs, Cultuur en Wetenschappen heeft het SCO-Kohnstamm Instituut in het schooljaar 1999-2000 een vervolgonderzoek verricht naar de effecten van de programma's Kaleidoscoop en Piramide. Deze follow-upstudie is een vervolg op het in 2000 gepubliceerde evaluatieonderzoek naar de effecten van beide programma's (Veen, Roeleveld en Leseman, 2000). Kaleidoscoop en Piramide zijn driejarige educatieve programma's die worden uitgevoerd in samenwerkingsverbanden van peuterspeelzalen en kleutergroepen van basisscholen. Doel van het evaluatieonderzoek is om vast te stellen of beide programma's een meerwaarde hebben ten opzichte van het reguliere peuterwerk en kleuteronderwijs. Daartoe zijn in eerste instantie drie achtereenvolgende jaren (in het voorjaar van 1997, 1998 en 1999) bij peuters en kleuters toetsen afgenomen en observatielijsten ingevuld (ibid.). In de follow-upstudie is dit in het voorjaar van 2000 herhaald. Net als in het evaluatieonderzoek gaat het in het vervolgonderzoek om de vraag naar de effecten van Kaleidoscoop en Piramide op de prestaties van kinderen op het gebied van rekenen en taal en hun sociaalemotioneel functioneren in de klas. In de volgende paragrafen wordt de opzet en uitvoering van het vervolgonderzoek beschreven.
101
Onderzoeksopzet
Het vervolgonderzoek is uitgevoerd op de scholen die al eerder deelnamen aan het evaluatieonderzoek. Het gaat om twee groepen scholen: programmascholen (scholen waar Piramide of Kaleidoscoop wordt uitgevoerd) en controlescholen (scholen met een regulier onderwijsprogramma). Het grootste deel van de kinderen die in de periode 1997 t/m 1999 deelnamen aan het evaluatieonderzoek zit in schooljaar 1999-2000 in groep 2, een klein deel in groep 3. Naast de controlegroep bestaande uit kinderen van de controlescholen voorziet het onderzoeksontwerp in een tweede controlegroep. Deze laatste controlegroep
1
Een jaar later. Vervolgonderzoek evaluatie van kaleidoscoop en piramide
wordt achteraf gevormd uit het databestand van het Primacohort-onderzoek t . Uit het Primacohort wordt een naar achtergrondkenmerken (leeftijd, sekse, etniciteit) vergelijkbare groep kinderen geselecteerd. Omdat de metingen in het Primacohort onderzoek in de even groepen plaats vinden, bestaat de tweede controlegroep alleen uit kinderen uit groep 2; voor de kinderen uit groep 3 is er geen tweede controlegroep. Op grond van de resultaten van het vervolgonderzoek kunnen er dus vergelijkingen worden gemaakt tussen: e de resultaten van de programma- en de controlekinderen, alsmede ® de resultaten van de programmakinderen in groep 2 en de Primacohortkinderen in groep 2. Hoewel de opzet van het vervolgonderzoek niet wezenlijk anders is dan die van het evaluatieonderzoek, zijn er enkele kleine afwijkingen. In de vervolgstudie zijn alle kinderen uit de groepen 2 en 3 op de programmascholen en de controlescholen betrokken, en niet alleen de kinderen die in de periode 1997-1999 aan het evaluatieonderzoek hebben deelgenomen. In het vervolgonderzoek is er dus sprake van een grote groep voor het onderzoek 'nieuwe' kinderen. Voor zover het de programma's betreft gaat het om kinderen die vanaf het begin deelnamen, maar ook om kinderen die tussentijds (in groep 1 of 2) instroomden en daardoor de programma's slechts gedeeltelijk hebben gevolgd. Ook de wijze waarop de kinderen getoetst worden, wijkt in het vervolgonderzoek enigszins af. In tegenstelling tot het afgesloten evaluatieonderzoek zijn de kinderen niet individueel en (voor een deel) in de eigen taal getoetst, maar heeft de toetsafname groepsgewijs plaats gevonden en zijn de toetsen in de Nederlandse taal door Nederlandstalige toetsleiders afgenomen. Een laatste verandering in het vervolgonderzoek betreft de uitbreiding van de te verzamelen gegevens naar klas- en schoolkenmerken. In het evaluatieonderzoek
1 Het Primacohort-onderzoek is een landelijk onderzoek, waarbij op een groot aantal Nederlandse basisscholen tweejaarlijks in de groepen 2,4,6 en 8 toetsen worden afgenomen. Een belangrijk onderdeel van het onderzoek zijn de taal- en rekentoetsen. De resultaten van de kinderen worden verwerkt tot PRIMA-taalvaardigheids- resp. rekenvaardigheidsscores (Jungbluth, Van Langen, Peetsma, Vierke, 1996; Driessen, Van Langen, Portengen, Vierke, 1998). De totale PRIMA-steekproef bevat honderden basisscholen; ongeveer 450 scholen vormen samen de referentiesteekproef: deze groep scholen is zo samengesteld dat ze representatief is voor alle Nederlandse basisscholen.
2
Opzet en uitvoering
was al naar voren gekomen dat de controlegroep niet in alle opzichten vergelijkbaar is met de beide experimentele groepen. Als we kijken naar (achtergrond)kenmerken van de individuele leerlingen komen de controlegroep en de experimentele groepen weliswaar goed overeen, maar dit is minder het geval als we naar de leerlingpopulatie van de scholen in zijn geheel kijken. De sociaal economische status van de school en de etnische achtergrond van de school worden uitgedrukt in een SE-score van de school. Naarmate de school meer allochtone leerlingen heeft en het opleidingsniveau van de ouders lager is, is de SE score van de school hoger. In het evaluatieonderzoek bleek dat de SE-score van de Kaleidoscoop- en Piramidescholen aanzienlijk hoger is dan de SE-score van de controlescholen. Dit betekent dat de kinderen in de controlegroep mogelijkerwijs in een gunstiger leeromgeving vertoeven dan de kinderen uit de programmascholen. Om hier iets meer over te kunnen zeggen is in het vervolgonderzoek daarom geprobeerd aanvullende informatie te verkrijgen over enkele school- en klaskenmerken van zowel de controle- als de experimentele scholen. Daartoe is bij de leerkrachten van de aan het onderzoek deelnemende groepen en de directeuren van de scholen een vragenlijst afgenomen waarbij gebruik is gemaakt van onderdelen van instrumenten uit het Primacohort-onderzoek.
1.2
Onderzoeksuitvoering
Evenals in voorgaande jaren vond de toetsafname bij de kinderen plaats vlak voor de zomervakantie, in de maanden april tot en met juli 2000. De dataverzameling bij docenten en directie gebeurde in dezelfde periode. In december 1999 zijn de scholen (Piramide, Kaleidoscoop en controle) door middel van een brief op de hoogte gesteld van het vervolgonderzoek en begin 2000 telefonisch benaderd voor hun medewerking. De bereidheid tot deelname was groot: alle scholen zegden hun medewerking toe, zij het niet voor alle onderdelen van de dataverzameling. Enkele scholen waren bereid tijd uit te trekken voor het toetsen van de kinderen, maar niet voor het invullen van de vragenlijsten door docenten en directie. Op een aantal scholen (4) konden alleen de onderzoekskinderen worden getoetst. In tegenstelling tot de eerdere metingen werden dit keer zoals gezegd, toetsen bij alle kinderen uit de groepen 2 en 3 afgenomen. In de voorbereidingsfase is met het oog op de planning van de toetsafnamen de contactpersoon van de school gevraagd de 3
Een jaar later. Vervolgonderzoek evaluatie van kaleidoscoop en piramide
volgende gegevens te verstrekken: het aantal groepen 2 (alleen oudste kleuters) en groepen 3, het aantal leerlingen in die groepen en hun namen, de namen van de leerkrachten van deze groepen, welke toetsen al door de school waren afgenomen en welke nog afgenomen zouden gaan worden. Het aantal leerlingen dat in aanmerking kwam voor de toetsafnamen bedroeg op grond van de gegevens van de scholen 1357. Van een aantal scholen (4) deden alleen de onderzoekskinderen mee, van twee scholen deden alleen de kinderen uit groep 3 mee omdat de school van controleschool tot programmaschool geworden was, en één controleschool viel af omdat er zich geen onderzoekskinderen meer bevonden. Omdat de toetsafname dit keer groepsgewijs plaats vond, is in overleg met de scholen geen energie gestoken in het verkrijgen van toestemming van de ouders. Wel verzochten enkele scholen (5) om informatie over het onderzoek om de ouders op de hoogte te stellen. De toetsen zijn afgenomen door getrainde en ervaren toetsleiders die gewend zijn aan groepsgewijze toetsafname in kleutergroepen. De toetsen werden afgenomen in groepjes van ten hoogste tien kinderen, zoals ook in het Primacohort-onderzoek gebruikelijk is. Soms was het nodig de groepjes kleiner te maken, met name in groep 2 of wanneer er veel anderstalige kinderen meededen. De toetsafnamen vonden plaats in de maanden april tot en met juli 2000. In groep 2 ging het om drie toetsen waarvan er twee ook deel uitmaken van het Cito-leerlingvolgsysteem, in groep 3 ging het om twee toetsen die beide deel uitmaken van het Cito-leerlingvolgsysteem. Sommige van de in het vervolgonderzoek gebruikte toetsen waren al standaard afgenomen op de basisscholen of het stond nog te gebeuren. In dat geval is de scholen gevraagd om de toetsboekjes te bewaren zodat de leerling-scores door de toetsleider uit de boekjes konden worden overgenomen. In het vervolgonderzoek zijn ook gegevens verzameld bij docenten en directie. Voor een deel betrof dat leerlinggegevens voor een deel klas- en schoolkenmerken. Via de contactpersonen van de school zijn de vragenlijsten onder de desbetreffende personen verspreid.
1.3
Meetinstrumenten
In groep 2 zijn drie toetsen afgenomen: de toets Ordenen (Platenboek Oudste Kleuters) van het Cito, de Begrippentoets van het Cito en het onderdeel 'Passieve woordenschat' uit de Taaltoets Allochtone Kleuters (TAK; Verhoeven, Vermeer 4
Opzet en uitvoering
en Van de Guchte, 1986). Twee van deze toetsen, de toetsen Ordenen en Begrippen uit het Cito-leerlingvolgsysteem worden ook gebruikt in het Primacohortonderzoek, hetgeen de mogelijkheid biedt om de gegevens van de kinderen in het vervolgonderzoek te vergelijken met gegevens van vergelijkbare kinderen uit groep 2 van het basisonderwijs uit deze grote landelijke steekproef. De toets Ordenen meet vooral vaardigheden die betrekking hebben op het voorbereidend rekenen bij kleuters. De toets is in zijn geheel (42 items) afgenomen. De Begrippentoets meet kennis van begrippen die zowel voor het lees- als het rekenonderwijs van belang zijn. De toets bestaat uit twee delen, een deel met plaatjes (40 items) en een deel met woorden (20 items). Beide delen zijn afgenomen. In het onderzoek zijn van het begin af aan Woordenschattoetsen (passieve woordenschat) afgenomen. In groep 2 is in deze follow-up een gedeelte van het onderdeel Passieve Woordenschat uit de TAK afgenomen. De passieve woordenschattoets van de TAK bestaat uit 98 items. Voor het evaluatieonderzoek waren de eerste 40 items geselecteerd, voor het vervolgonderzoek de daaropvolgende 40 items. De toets, die eigenlijk bedoeld is voor individuele afname, is voor deze meting geschikt gemaakt voor groepsgewijze toetsing. In deze follow-up is uitsluitend de passieve woordenschat in het Nederlands gemeten en niet, zoals in het afgesloten evaluatieonderzoek, de woordenschat in de eigen taal. In groep 3 zijn eveneens toetsen afgenomen uit het Cito-leerlingvolgsysteem. Voor het onderdeel woordenschat is de specifiek voor dit domein bedoelde toets uit het leerling-volgsysteem van het Cito gebruikt: de Woordenschattoets I. Deze toets bevat 50 items en meet de passieve woordenschat Nederlands. Voor het meten van de ontwikkeling op het gebied van rekenen is de toets Rekenen-Wiskunde 1 E3 afgenomen. De toets bestaat uit twee delen (respectievelijk 24 en 29 items) en meet basale declaratieve en procedurele kennis op het gebied van rekenen. Het derde leerjaar staat in het teken van het verwerven van de basisvaardigheden van het lezen. Leesvaardigheden vormen een belangrijke basis voor latere schoolprestaties. Daarom ligt het voor de hand om de programma- en de controlekinderen met elkaar te vergelijken op het bereikte niveau aan het eind van groep 3. Voor het in kaart brengen van deze vaardigheden is geen toets ingezet, maar is gebruik gemaakt van de kennis en ervaring van de leerkrachten. We mogen ervan uitgaan dat leerkrachten in groep 3, omdat ze het leesproces van de kinderen het hele jaar intensief begeleiden en volgen, veel zicht hebben op het bereikte resultaat aan het eind van het schooljaar. We hebben twee uitspraken geformuleerd over het be5
Een jaar later. Vervolgonderzoek evaluatie van kaleidoscoop en piramide
grijpend en technisch lezen, die de leerkrachten voor elk kind moest beantwoorden. Bij de uitspraak over begrijpend lezen werd de leerkracht gevraagd per leerling op een 6-puntsschaaltje het niveau aan te geven. De schaal liep van 1. kind begrijpt niet wat het leest tot 6. kind begrijpt goed wat het leest. Voor het technisch lezen werd de vraag geformuleerd: Op het welk AVI-niveau leest het kind momenteel (eind mei-begin juni 2000)? De leerkracht kon kiezen uit de volgende antwoordmogelijkheden: AVI-niveau 1,2,3, etc. t/m 8; hoger dan AVI-8 of ik weet het niet/niet van toepassing. De vragen werden toegevoegd aan het instrument waarmee in dit onderzoek de sociaal-emotionele ontwikkeling van kinderen gemeten wordt (R-Schobl). Zowel over de kinderen in groep 2 als de kinderen in groep 3 zijn gegevens over de sociaal-emotionele ontwikkeling van de kinderen verkregen met behulp van de R-Schobl. De voor dit onderzoek geselecteerde onderdelen uit deze observatielijst zijn door de leerkrachten van groep 2 en 3 ingevuld voor alle kinderen die meededen aan de toetsafname. De R-Schobl maakte ook deel uit van het toetspakket in het evaluatieonderzoek en vanwege de continuïteit is gekozen voor dezelfde items en schalen (extraversie, werkhouding, aangenaam sociaal gedrag en emotionele stabiliteit) als in de eerdere metingen. In eerdere jaren zijn de achtergrondkenmerken van de onderzoekskinderen verzameld. Voor deze follow-up moesten nieuwe gegevens worden verzameld, van de kinderen die nog niet eerder meededen. Hiervoor is een speciaal formulier ontwikkeld (Tormulier achtergrondgegevens 2000'), gebaseerd op het achtergrondformulier dat ook in Prima wordt gebruikt. Hierin zijn de volgende variabelen bevraagd: geslacht; geboortedatum; geboorteland; herkomstland ouders; opleiding ouders; leerlinggewicht; thuistaal2, kinderopvang (voor-schoolse voorziening); deelname aan Kaleidoscoop/Piramide. Dit leerlingformulier kon worden ingevuld door de betrokken leerkracht of de administratie van de school. Door in het formulier vragen naar de thuistaal en deelname aan voorschoolse voorzieningen en Kaleidoscoop of Piramide op te nemen, kon worden afgezien van een vragenlijstje voor de ouders, zoals aanvankelijk de opzet was.
2 Gevraagd werd in te vullen welke taal volgens de leerkracht over het algemeen gesproken wordt in het gezin van het kind (de dominante thuistaal), waarbij gekozen kon worden uit de volgende antwoordmogelijkheden: Nederlands, Turks, Marokkaans/Arabisch, Marokkaans/Berbers, Overig. Wanneer men het niet weet of er geen duidelijke dominante thuistaal waargenomen wordt, luidt de instructie niets in te vullen. 6
Opzet en uitvoering
Om informatie te verkrijgen over de school- en klaskenmerken van de aan het onderzoek deelnemende scholen is gebruik gemaakt van onderdelen van instrumenten uit het Primacohort-onderzoek. Om de scholen niet onnodig te belasten is gewerkt met korte vragenlijsten voor de directie en de leerkrachten van groep 2. Aangezien groep 3 geen deel uitmaakt van het Primacohort-onderzoek is er voor de docenten van groep 3 geen vragenlijst ontworpen. De vragenlijst leerkrachten groep 2 bevat vragen naar: algemene klaskenmerken (aantal leerjaren in de groep (combinatieklas); aantal leerlingen in de groep; meer dan één groepsleerkracht, is er sprake van dubbele bezetting); de steun van een remedial teacher; voorschoolse voorzieningen (contacten met voorschoolse voorzieningen; uitspraken over voorschoolse voorzieningen); aansluiting groep 2 en groep 3 (werkwijze groep 2; systematische aandacht voor voorbereidend lezen en rekenen in groep 2; aandacht in groep 3 voor aanvankelijk lees- en rekenonderwijs); vragen over de leerkracht zelf. De vragenlijst voor de directie bevat vragen naar (veranderingen in) de samenstelling van de leerlingpopulatie en contacten met voorschoolse voorzieningen. In een schema (bijlage 1) zijn alle onderzoeksinstrumenten weergegeven die de afgelopen jaren in het kader van dit onderzoek zijn afgenomen.
1.4
Data-analyses
In het jaar 2000 (follow-upstudie) en in de jaren daarvoor werden gegevens verzameld bij kinderen op de programmascholen (Kaleidoscoop en Piramide) en op de controlescholen. Voor de beantwoording van de onderzoeksvraag naar effecten van de programma's zijn op deze gegevens drie soorten analyses uitgevoerd. Bij elk van de analyses gaat het steeds om een andere groep kinderen. Analyses over alle kinderen over wie in 2000 gegevens zijn verzameld, uit de groepen 2 en 3; daarbij kan gecontroleerd worden voor enkele bij de school opgevraagde achtergrondkenmerken van de leerlingen. II. Analyses over de ontwikkeling van onderzoekskinderen tussen 1999 en 2000; hierbij wordt onder meer gebruik gemaakt van de toetsscores zoals de kinderen die in 1999 hebben behaald. Deze groep is natuurlijk kleiner en omvat zowel kinderen die vanaf de peuterspeelzaal meedoen als in 1998 nieuw ingestroomde onderzoekskinderen. 7
Een jaar later. Vervolgonderzoek evaluatie van kaleidoscoop en piramide
III. Analyses over de ontwikkeling van alleen de doorstroomgroep: de kinderen die vanaf de peuterspeelzaal met het onderzoek mee hebben gedaan. Dit is de kleinste groep, die wel het langst is gevolgd. In tabel A geven we een overzicht van de aantallen kinderen die per type analyse beschikbaar zijn. Doordat we niet voor alle leerlingen over een complete set gegevens beschikken, zullen er in de analyses nog leerlingen gaan uitvallen. De aantallen in tabel A zijn dus te beschouwen als maximumaantallen. Tabel A. Aantallen beschikbaar voor de verschillende analyses
1
Analyse I alle leerlingen 2000
deelgenomen in 2000 groep 2 groep 3 2
Analyse II ontwikkeling 19992000
deelgenomen in 1999 uitval (percentage) weer deelgenomen 2000 groep 2 groep 3 3
Analyse III ontwikkeling doorstroomgroep 1997-2000
deelgenomen in 1999 uitval (percentage) weer deelgenomen 2000 groep 2 groep 3
8
Opzet en uitvoering
1.5
De samenstelling van de groepen bij de drie typen analyses
De samenstelling van de onderzoeksgroepen, met name de vraag of zij als vergelijkbaar beschouwd kunnen worden, is een onderzoeksopzet waarbij verschillende condities met elkaar worden vergeleken, van grote betekenis. In deze paragraaf wordt voor elk van de drie typen analyses de samenstelling van de groepen naar relevante kind- en achtergrondkenmerken (per conditie) in tabellen samengevat. Daarnaast is voor de analyses II en III nagegaan of de uitval van de derde op de vierde meting selectief is. Uitval van onderzoekskinderen betekent een reductie van het aantal kinderen die de programma's hebben gevolgd en waarover uitspraken gedaan kunnen worden. Wanneer deze uitval selectief is, kan dit tot vertekening van de resultaten leiden. 1.5.1 Alle kinderen 2000 (Analyse 1)
In de drie voorafgaande metingen in het evaluatieonderzoek zijn steeds gegevens verzameld bij individuele kinderen (de onderzoekskinderen). In de meting voor het vervolgonderzoek zijn naast gegevens bij de onderzoekskinderen ook bij alle andere kinderen in de klas gegevens verzameld. In tabel B staan enkele relevante achtergrondkenmerken voor de hele groep kinderen bij wie in 2000 gegevens verzameld zijn, afzonderlijk voor de beide experimentele en de controlescholen. Het algemene beeld als het gaat om alle kinderen uit de groepen 2 en 3, is dat het aandeel allochtone kinderen in de controlescholen significant lager is dan op de programmascholen (zie onderstaande tabel). In samenhang daarmee hebben de leerlingen van de controlescholen het Nederlands wat meer als thuistaal (vooral bij Kaleidoscoop is het percentage kinderen met thuistaal Nederlands laag). Deze gegevens bevestigen eerdere bevindingen waaruit bleek dat de samenstelling van de leerlingpopulatie op de controlescholen niet geheel vergelijkbaar is met die op de experimentele scholen: de condities op de controlescholen wijken in gunstige zin af van de condities op de experimentele scholen. Dit gegeven zal bij de interpretatie van de onderzoeksgegevens moeten worden meegewogen.
9
Een jaar later. Vervolgonderzoek evaluatie van kaleidoscoop en piramide
Tabel B. Groepen analyse I (alle deelnemende leerlingen in 2000) (n = 1294) eta-kwadraat Controle Piramide leeftijd per 1 okt Kaleidoscoop 1999
groep 2
(in jaren) 5.6
5.7
5.7
(.43)
(.48)
(.41)
5.7
5.7
(.43)
(.48)
(.41)
6.7
6.8
6.7
(.45)
(.48)
(.46)
percentage meisjes 54%
48%
49%
.00
percentage Turkse 27%
22%
17%
.01*
13%
17%
.01*
23%
14%
.01**
1.25 15%
17%
26%
.01*
1.90 63%
55%
45%
.02**
percentage thuistaal 39%
55%
68%
.05** .01
leeftijd per 1 okt 5.6 1999
groep 2
.01* .01*
(in jaren) groep 3
.01
kinderen percentage Marok- 20% kaanse kinderen percentage overige 25% etnische kinderen percentage leerlingen percentage leerlingen
Nederlands Opleidingsniveau
2.0
2.2
2.0
Vader
(1.0)
(.9)
(.9)
Opleidingsniveau
1.9
2.1
1.9
Moeder
(1.0)
(0.9)
(0.9)
(1= hooguit lo; tot 4 = hbo/wo)
(1= hooguit lo; tot 4 = hbo/wo) 10
.01 #
Opzet en uitvoering
# p<.10; * p<.05; ** p<.01 Ging het in de eerdere metingen steeds om kinderen in dezelfde groep (allen in kleutergroep), deze keer is dat niet meer het geval. Het merendeel van de leerlingen verblijft nog wel in groep 2, maar een deel van de leerlingen zit in groep 3. In verband hiermee zijn we nagegaan of de scholen misschien een verschillende strategie hanteren bij de overgang van kleutergroep naar groep 3. Houden sommige scholen de kleuters misschien langer in groep 2? Nadere analyse van de geboortedata van de kinderen in de drie condities levert het volgende beeld (zie onderstaande tabel). In groep 2 lijkt het er op dat de Piramide scholen meer leerlingen kleuterbouwverlenging geven. Op de Piramidescholen is 24% van de kinderen vóór 1 oktober 1993 geboren ("oud"), tegenover ongeveer 15% van de kinderen op de scholen van de twee andere condities. In groep 3 zijn er geen belangrijke (en significante) leeftijdsverschillen. Tabel C. Geboortetijdstip leerlingen groep 2 en 3 (alle leerlingen 2000) groep 2 geboren na 1 okt 1994 (jong) tussen 1 okt 93 en 1 okt 94 (norm) geboren voor 1 okt 1993 (oud) groep 3 geboren na 1 okt 1993 (jong) tussen 1 okt 92 en 1 okt 93 (norm) geboren voor 1 okt 1992 (oud)
# p<.10; * p<.05; ** p<.01 1.5.2 De onderzoekskinderen; de ontwikkelingen 1999-2000 (Analyse II) Naast de groep 'alle kinderen' wordt in de analyses de groep 'onderzoekskinderen' onderscheiden. Bij de onderzoekskinderen gaat het om de kinderen die sinds 1997 aan het onderzoek meedoen én de kinderen die in 1998 nieuw in het onderzoek zijn ingestroomd. In 1999 omvatte de groep 261 kinderen. De vraag is uit hoeveel kinderen de groep in de meting van 2000 bestaat en of de uitval selectief is. 11
Een jaar later. Vervolgonderzoek evaluatie van kaleidoscoop en piramide
De groep onderzoekskinderen die van de derde op de vierde meting is uitgevallen, bedraagt 53 leerlingen. Deze kinderen verschillen niet systematisch van de groep die in het onderzoek blijft (208 leerlingen) op de variabelen die in dit onderzoek steeds als controlevariabelen (covariaten) zijn gebruikt (sekse; etnische herkomst, leeftijd, thuistaal, opleidingsniveau ouders)3. Ook op de in 1999 afgenomen toetsen vinden we geen significante verschillen, behalve op de LDT-blokpatronen: daar scoren de uitvallers gemiddeld een fractie hoger (p = .08). Doordat de uitval niet-selectief is blijft het algemene beeld van de drie "conditiegroepen" in 2000 hetzelfde als bij de metingen in 1999. Het aandeel Turkse leerlingen is wat hoger bij de leerlingen op Piramide-scholen; (vermoedelijk) in samenhang daarmee is Nederlands wat minder sterk de thuistaal. In de gezinnen van de controlekinderen is Nederlands wat vaker de belangrijkste spreektaal vergeleken met de andere condities (zie onderstaande tabel). Tabel D. Groepen analyse II (ontwikkeling tussen 1999 en 2000) (n=208) leeftijd in maanden bij de vierde meetronde percentage meisjes percentage Turkse kinderen percentage Marokkaanse kinderen
3 Met de ouders van de onderzoekskinderen is een interview gehouden, waarvoor een oudervragenlijst werd ontwikkeld. Uit deze oudervragenlijsten zijn voor de analyses de volgende variabelen geconstrueerd. De sociaal-economische status (SES) van het gezin van herkomst is een index gebaseerd op het opleidingsniveau en het aantal jaren onderwijs van beide ouders. De etnische herkomst is gebaseerd op het geboorteland van het kind, de ouders en grootouders aan moederszijde. In het onderzoek worden drie etnische groepen onderscheiden: Nederlanders, Turken en Marokkanen. Surinaamse en Antilliaanse kinderen kwamen in zeer geringe aantallen voor in de onderzoeksgroepen en zijn toegevoegd aan de groep Nederlanders. De thuistaal is een index gebaseerd op een viertal vragen naar het taalgebruik in het gezin. De maximum-score 1 betekent dat door ouders en andere kinderen in gezin altijd Nederlands met het onderzoekskind wordt gesproken; de minimumscore 0 betekent dat thuis altijd een andere taal, de eigen taal, wordt gesproken.
12
Opzet en uitvoering Tabel D. Groepen analyse II (ontwikkeling tussen 1999 en 2000) (n=208)
# p<.10; * p<.05; ** p<.01 1.5.3 De doorstroomgroep; ontwikkelingen 1997-2000 (Analyse III) De derde groep die in de analyses wordt onderscheiden is de `doorstroomgroep'. Deze groep bestaat uit de kinderen die aan de eerste onderzoeksmeting op de experimentele en controlescholen deelnamen en niét tussentijds uit het onderzoek zijn uitgestroomd. In 1999 bestond de groep uit 161 leerlingen. Van de derde op de vierde meting zijn 29 leerlingen uitgevallen. De uitgevallen groep verschilt niet systematisch van de groep die in het onderzoek blijft (132 leerlingen) op de variabelen, die in dit onderzoek steeds als controlevariabelen (covariaten) zijn gebruikt (sekse; etnische herkomst, leeftijd, thuistaal, opleidingsniveau ouders). Ook op de in 1999 afgenomen toetsen vinden we geen significante verschillen. Doordat de uitval niet-selectief is blijft ook hier het algemene beeld van de drie "conditie-groepen" in 2000 hetzelfde als in het vorige onderzoek. Ook hier is het aandeel Turkse leerlingen wat hoger bij de leerlingen op Piramidescholen; en ook hier is (vermoedelijk) in samenhang daarmee Nederlands wat minder sterk de thuistaal (zie onderstaande tabel).
13
Een jaar later. Vervolgonderzoek evaluatie van kaleidoscoop en piramide
Tabel E. Groepen analyse III (ontwikkeling tussen 1997 en 2000) (n =132) leeftijd in maanden bij de vierde meetronde percentage meisjes percentage Turkse kinderen percentage Marokkaanse kinderen Index thuistaal Nederlands Sociaal-economische Status Opleidingsniveau Vader # p<.10; *p<.05; ** p<.01
14
2
Resultaten
In dit hoofdstuk komen in de eerste plaats de resultaten van de drie analyses aan de orde. Voorts presenteren we de gegevens uit de vragenlijsten die werden toegestuurd aan de directies en de leerkrachten uit groep twee, met als doel om nadere gegevens te verkrijgen over de onderzoeksscholen. Als het gaat om de analyses op de leerlinggegevens presenteren we drie typen analyses. Bij elk van de analyses gaat het om een andere groep leerlingen. De analyses I geven een beeld van alle leerlingen bij wie in de 2000-meting gegevens verzameld zijn. De analyses II geven een beeld van de ontwikkelingen tussen 1999-2000 bij de onderzoekskinderen; de analyses III schetsen de ontwikkeling tussen de eerste meting in 1997 en de laatste in 2000. In de analyses wordt steeds onderscheid gemaakt naar de groepen 2 en 3. Bij de longitudinale groepen (de analyses II en III) zit ruwweg tweederde van de leerlingen nog in groep 2. Het accent zal bij deze analyses daarom liggen op de groepen 2, ten eerste omdat het grotere aantallen betreft, maar ook omdat bij de groepen 2 de resultaten beter vergelijkbaar zijn met eerdere toetsscores. Daarnaast worden de resultaten van groep 2 nog geplaatst tegen de achtergrond van het landelijke beeld, zoals dat verkregen kan worden op basis van gegevens uit het Primacohort. In de analyses worden steeds scores en ontwikkelingen van leerlingen in beide typen programmascholen vergeleken met die van leerlingen in de controlescholen. Deze verschillende leerlinggroepen zijn niet gelijk van samenstelling, zodat we in de analyses rekening moeten houden met verschillen in herkomst en achtergronden. Daartoe worden covariantie-analyses uitgevoerd, waarmee getoetst kan worden of gevonden verschillen in gemiddelden statistisch significant zijn, nadat er gecontroleerd is voor verschillen tussen de leerlingen op een aantal covariaten. Deze covariaten betreffen de Turkse of Marokkaanse herkomst van de leerlingen, de thuistaal, de opleiding van de ouders, het leerlinggewicht en het geslacht. En omdat de controlescholen een lager aandeel allochtone leerlingen kennen dan de programmascholen wordt ook de SE-score van de school als covariaat opgenomen. Om enig inzicht te geven in het effect van controleren voor covariaten staan in de tabellen in dit hoofdstuk zowel de (verschillen in) ruwe scores (totaalscores op toetsen), als de verschillen na controle voor covariaten. Omdat de leerlingbevolking op de controlescholen wat "gunstiger" kenmerken heeft (minder 15
Een jaar later. Vervolgonderzoek evaluatie van kaleidoscoop en piramide
leerlingen uit etnische groepen; thuistaal vaker Nederlands) worden daar de scores doorgaans wat "omlaag gecorrigeerd". Een tweede kanttekening bij dit hoofdstuk betreft de procedure die wij gehanteerd hebben voor 'ontbrekende gegevens'. Omdat bij een deel van de kinderen op onderdelen gegevens ontbreken en wij zoveel mogelijk kinderen in de analyses wilden betrekken, gebruiken we in de analyses de gegevens van alle leerlingen waarvan een toetsscore bekend is (in de tabellen aangegeven met: N). Van ongeveer een kwart van deze leerlingen ontbreekt informatie over één of meer van de covariaten. Omdat we deze uitval te groot achten hebben we extra covariaten (dummyvariabelen) gemaakt die aangeven wanneer er informatie ontbreekt. Bijvoorbeeld bij de covariaat `leerlinggewicht 1.25' (0 = nee; 1 = ja) krijgen leerlingen met ontbrekende gegevens een 0 op deze covariaat, maar een 1 op een nieuwe covariaat 'informatie over leerlinggewicht ontbreekt'. Voor ontbrekende waarden op de covariaat `(hoogste) opleiding van de ouders' is het gemiddelde gesubstitueerd, met opname van een dummyvariabele 'informatie over opleiding ouders ontbreekt'. Op deze wijze kunnen toch alle leerlingen met ontbrekende informatie in de analyses worden meegenomen: In de tabellen worden verschillen in gemiddelden tussen de programma- en de controlescholen weergegeven met d-scores. Deze worden berekend door het verschil in gemiddelde te delen door de overall standaarddeviatie. De grootte van deze effectscores laten zich duiden in de termen van Cohen (1988); deze noemt als criteria voor effectgrootte: weak (d=0.20), medium (d=0.50) en strong (d=0.80).
2.1
Analyse I: Resultaten van de 2000-leerlingen
We presenteren hier de resultaten van alle kinderen bij wie in 2000 gegevens verzameld zijn, afzonderlijk voor de leerlingen in groep 2 en in groep 3. De toetsscores van de kinderen uit groep 2, onderscheiden naar conditie, staan vermeld in tabel 2.1 de toets- en gedrags-beoordelingsscores van de kinderen in groep 3 staan in tabel 2.2, eveneens per conditie.
1 De analyses zijn ook uitgevoerd met zogenaamde listwise deletion of missing data. De uitkomsten daarvan geven geen ander beeld dan de hier gerapporteerde uitkomsten. 16
Resultaten GROEP 2 Tabel 2.1 Resultaten van de 2000-meting in groep 2 (alle kinderen in groep 2);eerst ruw (ongecontroleerd); daarna gecontroleerd voor covariaten;aantallen, gemiddelden, SD's en d-scores voor paarsgewijze vergelijkingen tussen programma's en controlegroep.
17
Een jaar later. Vervolgonderzoek evaluatie van kaleidoscoop en piramide
a Een hoge score op deze schaal betekent negatief sociaal-emotioneel gedrag Covariaten: Etnische groep (Turks, Marokkaans, overig), thuistaal, opleiding ouders, leerlinggewicht, sekse; schoolscore; dummies voor ontbrekende gegevens # p<.10; * p<.05; ** p<.01
Het beeld bij alle kinderen in groep 2 is dat -- na controle voor de covariaten -- de kinderen uit de controlegroep hoger scoren op de Begrippentoets dan de kinderen van de programma-scholen. De kinderen van de Piramidescholen scoren op de Ordenentoets hoger dan de controlegroep, de Kaleidoscoopkinderen lager. Op de TAKtoets zijn er nauwelijks verschillen tussen controlegroep en programmascholen. Hetzelfde geldt voor de scores op de gedragsoordelen (Schobl-R), zij het dat de leerlingen uit Kaleidoscoop wat lager worden beoordeeld op aangenaam gedrag dan de leerlingen uit de andere groepen. GROEP 3
In tabel 2.2 staan de toetsscores van de kinderen uit groep 3. Naast de resultaten op de toetsen Woordenschat en Rekenen-Wiskunde en de gedragsbeoordelingen geeft deze tabel ook de scores weer op begrijpend en technisch lezen. Op de Woordenschattoets scoren beide programmagroepen hoger, echter alleen bij de Kaleidoscoopkinderen is sprake van een significant verschil met de controlegroep. Op de toets Rekenen-Wiskunde zien we significant lagere scores voor Piramide in vergelijking met de controlegroep (het gaat maar om een zwak effect). De scores tussen Kaleidoscoop en de controlegroep verschillen op deze toets niet. 18
Resultaten
Opvallend is dat de programma's op beide leesonderdelen, zowel op begrijpend als op technisch lezen, hoger scoren dan de controlegroep, waarbij vooral Piramide eruit springt. Voor Kaleidoscoop doet zich de significantie alleen voor na controle op de covariaten. We moeten hier in ogenschouw nemen dat het gaat om een registratie door de eigen leerkracht en niet om onafhankelijke, door toetsleiders uitgevoerde toetsing, zoals bij de andere effectmaten. De registratie van het AVI-niveau is een hard gegeven, de vaststelling van het niveau vindt plaats op basis van een externe maat. Bij begrijpend lezen gaat het om een leerkrachtoordeel. Hetzelfde geldt voor de gedragsbeoordelingen. Er zijn op de gedrags-aspecten (`extraversie', 'werkhouding', 'aangenaam gedrag' en 'emotionele stabiliteit') geen verschillen tussen de programmakinderen en de kinderen uit de controlegroep. Tabel 2.2 Resultaten van de 2000-meting in groep 3 (alle kinderen in groep 3); eerst ruw (ongecontroleerd); daarna gecontroleerd voor covariaten;aantallen, gemiddelden, SD 's en dscores voor paarsgewijze vergelijkingen tussen programma's en controlegroep.
19
Een jaar later. Vervolgonderzoek evaluatie van kaleidoscoop en piramide
a Een hoge score op deze schaal betekent negatief sociaal-emotioneel gedrag Covariaten: Etnische groep (Turks, Marokkaans, overig), thuistaal, opleiding ouders, leerlinggewicht, sekse; schoolscore; dummies voor ontbrekende gegevens # p<.10; * p<.05; ** p<.01
20
Resultaten
2.1.1 Prima-gegevens als landelijke achtergrond Al in een eerdere meting (1999) was bij de onderzoekskinderen een vergelijking met een controlegroep uit het Primacohort gepland. Bij nadere analyse bleek toen echter dat teveel onderzoekskinderen jonger waren dan de kinderen die regulier meedoen aan het Primacohort-onderzoek en mede daardoor lager scoorden. Naar aanleiding hiervan is in overleg met de opdrachtgever besloten de vergelijking met de Primacohort-gegevens in 2000 nogmaals uit te voeren. De Begrippen- en Ordenentoetsen uit groep 2 zijn in het schooljaar 1988/99 ook afgenomen in het Primacohort-onderzoek. Dit geeft in principe de mogelijkheid om de scores van de kinderen op de Kaleidoscoop- en Piramidescholen nu ook te vergelijken met een landelijke steekproef. Bovendien kan, door het vergelijken van de scores van leerlingen op de controlescholen met de landelijke steekproef, een indicatie worden verkregen of de correctie voor verschillen in achtergrondkenmerken, zoals die in dit onderzoek via de eerder gehanteerde covariaten wordt uitgevoerd, van voldoende kwaliteit is. Dit is het geval wanneer de scores op de controlescholen na de correctie overeenkomen met de landelijke scores. Een probleem bij de vergelijking met de landelijke Primagegevens is wel het verschil in afnametijdstip. In het Prima-onderzoek zijn de toetsen in groep 2 afgenomen in de maanden januari tot maart; in dit onderzoek werd er in de maanden mei en juni getoetst. Informatie uit het Prima-onderzoek leert dat juist bij de kleutergroepen een afname van drie maanden later tot een significant hogere gemiddelde toetsscore leidt. De vergelijking met de landelijke gegevens zal daarom met enige omzichtigheid moeten gebeuren. GROEP 2 De Prima groep bestaat uit leerlingen uit groep 2 van de referentiesteekproef waarvan toetsscores op Begrippen en Ordenen bekend zijn. Informatie over de thuistaal van de leerlingen werd verkregen uit de oudervragenlijst2; informatie over de overige covariaten is van de scholen verkregen.
2 Thuistaal wordt in de Oudervragenlij st (groep 2) als volgt bevraagd: gevraagd is naar: spreektaal met moeder, spreektaal met vader, spreektaal met broers en zusjes, spreektaal ouders onderling. De scoring hiervan is als volgt: Indien bij 0 of hooguit 1 is gezegd: spreektaal is Nederlands, dan is Nederlands geen thuistaal. Bij 2 of meer is Nederlands wel thuistaal; indien 3 of 4 vragen niet zijn ingevuld: thuistaal is missing. 21
Een jaar later. Vervolgonderzoek evaluatie van kaleidoscoop en piramide
We geven in tabel 2.3 allereerst een overzicht van enkele achtergrondkenmerken van leerlingen uit groep 2 op de programmascholen, de controlescholen en in de Primagroep. Tabel 2.3 Achtergrondkenmerken leerlingen uit groep 2; inclusief de landelijke PRIMA-groep
indeling naar geboortejaar/kwartaal jong normaal oud percentage meisjes percentage etnische kinderen (Turks/Marokkaans/overig) percentage 1.25 leerlingen percentage 1.90 leerlingen percentage thuistaal Nederlands (hoogste) Opleiding ouders (1= hooguit lo; tot 4 = hbo/wo) SE-score
# p<.10; * p<.05; ** p<.01 De leerlingbevolking op de programmascholen onderscheidt zich duidelijk van die op de landelijke steekproef van scholen. Op de programmascholen zijn ongeveer 2 op de 3 leerlingen van allochtone herkomst, landelijk is dat minder dan 1 op de 5. Ook bij de SE-score zien we dat verschil terug, evenals bij het percentage leerlingen met het Nederlands als thuistaal. De leerlingbevolking op de controlescholen neemt een tussenpositie in: beduidend meer allochtoon gekleurd dan landelijk, maar wel minder dan de programmascholen. 22
Resultaten
In tabel 2.4 staan de resultaten op de Begrippen- en Ordenentoets weergegeven voor de leerlingen uit de twee typen programmascholen, de controlegroep en de landelijk Prima-referentiegroep. Tabel 2.4 Resultaten van de 2000-meting in groep 2; PRIMA als landelijke referentie; eerst ruw (ongecontroleerd); daarna gecontroleerd voor covariaten; aantallen, gemiddelden, SD 's en dscores voor paarsgewijze vergelijkingen tussen programma's en controlegroep enerzijds en de landelijke referentiegroep anderzijds
Covariaten: Etnische groep (Turks, Marokkaans, overig), thuistaal, opleiding ouders, leerlinggewicht, sekse; schoolscore; dummies voor ontbrekende gegevens; # p<.10; * p<.05; ** p<.01 Bij de Begrippentoets zien we dat beide programma's duidelijk lager scoren dan landelijk; ook de controleleerlingen hebben een lager gemiddelde, maar het verschil is minder groot. Na controle voor de covariaten verschillen de `adjusted' gemiddelden van zowel Kaleidoscoop als Piramide weinig meer van landelijk. De controlegroep scoort nu significant hoger dan landelijk, waarschijnlijk doordat de toetsen bij dit onderzoek enkele maanden later zijn afgenomen. Bij Ordenen zijn vooral de ruwe scores bij Kaleidoscoop duidelijk lager dan landelijk. De controlegroep verschilt minder en Piramide scoort vrijwel gelijk met landelijk. Na controle voor de covariaten is het gemiddelde van zowel Piramide als de controlegroep hoger dan landelijk. Kaleidoscoop scoort nog steeds lager. 23
Een jaar later. Vervolgonderzoek evaluatie van kaleidoscoop en piramide
Ook nu zal het tijdstip van afname oorzaak zijn van de hogere gecorrigeerde score bij de controlegroep. Hoewel de leerlingbevolking op de scholen uit de controlegroep duidelijk verschilt van die in de landelijke Prima referentiegroep en aanzienlijk meer `kansarme' leerlingen telt, blijken de gemiddelde scores op de controlescholen, na correctie voor de covariaten, wat hoger te liggen dan landelijk; dit wat hogere niveau hadden we verwacht vanwege het latere moment van de toetsafnames. We concluderen daarom dat de gehanteerde correctie voor verschillen in kenmerken van de leerlingbevolking voldoende is om het beeld van de controlescholen in overeenstemming te brengen met het landelijke beeld. Daarmee vormen de controlescholen, na deze correctie voor verschillen in covariaten, ook een goede vergelijkingsmaatstaf voor de beide typen programmascholen.
2.2
Analyse II: Ontwikkeling van leerlingen tussen 1999 en 2000
We komen nu tot de resultaten die de ontwikkeling van de onderzoekskinderen over het jongste onderzoeksjaar betreffen. Het gaat dan dus om alle kinderen waarvoor we over gegevens van zowel 1999 als van 2000 beschikken. Ongeveer tweederde van deze leerlingen zit in 2000 in groep 2 en de rest in groep 3. De aantallen zijn aanzienlijk lager dan bij de vorige analyses. In deze paragraaf presenteren we afzonderlijke analyses voor groep 2 en 3. Per groep laten we twee tabellen zien: eerst de stand van zaken in 2000; vervolgens de ontwikkeling (groeiscores) tussen 1999 en 2000. De ontwikkeling van de leerlingen tussen 1999 en 2000 wordt bepaald door na te gaan in hoeverre leerlingen vooruit zijn gegaan op een bepaald domein. We maken daarvoor gebruik van zogenaamde residuele verschilscores. Deze worden bepaald door per toets een regressievergelijking op te stellen met de beginmeting en covariaten als predictoren3 . De door deze predictoren verklaarde variantie in de scores van de tweede meting wordt vervolgens afgetrokken van de totale variantie; er resteert een constante (de intercept) en een residuele variantie. De constante 3 Als covariaten gebruiken we bij deze groep onderzoekskinderen dezelfde als die gebruikt zijn bij Veen et al. (2000). Omdat hier nauwelijks ontbrekende waarden zijn op deze covariaten hoeven daarvoor ook geen dummies worden ingevoerd. 24
Resultaten
staat voor de gemiddelde toename in scores (groei), de resterende residuele variantie voor individuele verschillen in toename. Anders dan gewone verschilscores gelden residuele verschilscores als betrouwbaar. Bovendien zijn gewone verschilscores lastig te hanteren wanneer bij voor- en nameting op een bepaald domein verschillende toetsen worden gebruikt. De residuele verschilscores verwijzen daarmee naar verschillen tussen kinderen in ontwikkeling, in dit geval tussen de meting van 1999 en die van 2000. GROEP 2 In de volgende tabel zien we de resultaten van de 2000-meting van groep 2 op de toetsen Begrippen, Ordenen en TAK (passieve woordenschat) voor de drie condities. In het onderste deel van de tabel staan de scores op de gedragsbeoordelingen (Schobl-R). Tabel 2.8 Resultaten van de 2000-meting in groep 2 voor de onderzoeksindereneerst ruw (ongecontroleerd); daarna gecontroleerd voor covariaten; aantallen, gemiddelden, SD's en dscores voor paarsgewijze vergelijkingen tussen programma's en controlegroep.
25
Een jaar later. Vervolgonderzoek evaluatie van kaleidoscoop en piramide
a Een hoge score op deze schaal betekent negatief sociaal-emotioneel gedrag Covariaten: Etnische groep (Turks, Marokkaans, overig), thuistaal, opleiding ouders, leerlinggewicht, sekse; schoolscore; dummies voor ontbrekende gegevens # p<.10; *p<.05; ** p<.01
Voor wat betreft de scores op de toetsen komt het beeld van de verschillen tussen programmakinderen en de controlegroep overeen met dat bij alle kinderen in groep 2 (tabel 2.1). Als we kijken naar de gedragsoordelen zien we, nog duidelijker dan bij de hele groep (tabel 2.1), dat de Kaleidoscoopkinderen lager beoordeeld worden op aangenaam gedrag. Tevens zien we de tendens dat de Kaleidoscoopkinderen minder hoger worden beoordeeld op de schaal extraversie. 26
Resultaten
Een hoge score op deze schaal wordt beschouwd als minder gunstig dan een lage score. Vervolgens willen we bij deze groep de ontwikkeling vaststellen van vaardigheden die in 2000 gemeten zijn met de toetsen Begrippen, Ordenen en de TAK (passieve woordenschat) en van de ontwikkelingen op het sociaal-emotionele domein (gedragsoordelen). Tabel 2.9 geeft de resultaten voor de drie condities in groep 2. Voor wat betreft de toetsen analyseren we de ontwikkeling ten opzichte van de scores op de in 1999 afgenomen (verkorte) Begrippen- en Ordenentoetsen en op de in 1999 in het Nederlands afgenomen helft van de TAKtoets. De verschilscores zijn hierin weergegeven als afwijkingen van de gemiddelde verschilscore, met de bijbehorende standaardafwijking. Tabel 2.9 Residuele verschilscores 2000-1999 in groep 2 uitgedrukt als afwijking van de gem. residuele verschilscore, zowel ruw (ongecontroleerd) als gecontroleerd voor covariaten inclusief de schoolscore; gemiddelden, SD's en d-scores voor paarsgewijze vergelijkingen tussen programma's en controlegroep
27
Een jaar later. Vervolgonderzoek evaluatie van kaleidoscoop en piramide
a Een hoge score op deze schaal betekent negatief sociaal-emotioneel gedrag Covariaten: Turks, Marokkaans, thuistaal, SES, sekse; schoolscore # p<.10; * p<.05; ** p<.01
Op de toets Begrippen zijn de programmakinderen minder sterk vooruitgegaan dan de controlekinderen. Voor Piramide geldt dit sterker dan voor Kaleidoscoop, waar het verschil met de controlegroep na controle op de covariaten niet meer significant is. Bij Ordenen zijn de ontwikkelingen in de verschillende condities ongeveer gelijk. Hierbij moet worden aangemerkt dat de Piramidekinderen bij de vorige meting (1999) significant hoger scoorden op Ordenen dan de controlekinderen en ook in 2000 is dit verschil met de controlegroep nog positief (zie tabel 2.8), maar het ef28
Resultaten
fect is iets minder sterk, oftewel: Piramide heeft nog steeds een voorsprong op Ordenen maar het verschil met de controlegroep is iets kleiner geworden dan bij de vorige meting. Op het onderdeel Passieve Woordenschat van de TAK zijn de Kaleidoscoopkinderen significant minder sterk vooruitgegaan dan de controlekinderen. De Kaleidoscoopkinderen scoorden bij de vorige meting (1999) juist hoger op de beide toen afgenomen woordenschattoetsen (DTT en gedeelte uit de TAK). Het lijkt er dus op dat de controlekinderen hun achterstand op Kaleidoscoop het afgelopen jaar wat hebben ingelopen. Bij de gedragsoordelen zien we een negatieve tendens bij de score op aangenaam gedrag, vooral bij Kaleidoscoop. Tevens zien we een zelfde tendens bij emotionele stabiliteit, nu vooral bij de Piramidekinderen. De tendens in 1999 was dat de onderzoekskinderen op allebei hoger scoorden. De controlekinderen komen nu op deze domeinen dus dichter bij de scores van de kinderen uit de programmagroepen. GROEP 3 Een kleiner deel van de onderzoekskinderen bevond zich tijdens de meting in 2000 in groep 3. Eerst presenteren we de tabel met de scores die de stand van zaken op deze toetsen in 2000 weergeven.
29
Een jaar later. Vervolgonderzoek evaluatie van kaleidoscoop en piramide Tabel 2.10 Resultaten van de 2000-meting in groep 3 voor de onderzoekskindereneerst ruw (ongecontroleerd); daarna gecontroleerd voor covariaten; aantallen, gemiddelden, SD 's en dscores voor paarsgewijze vergelijkingen tussen programma's en controlegroep.
Covariaten: Etnische groep (Turks, Marokkaans, overig), thuistaal, opleiding ouders, leerlinggewicht, sekse; schoolscore; dummies voor ontbrekende gegevens # p<.10; * p<.05; ** p<.01 Alleen bij de leerkrachtoordelen wijkt het beeld af van dat van de hele groep 3 (tabel 2.2). Daar scoorden de programmakinderen na controle hoger op beide leerkrachtoordelen (dus zowel op technisch als begrijpend lezen). Hier geldt dat alleen nog voor Piramide bij het oordeel begrijpend lezen. Bij Kaleidoscoop is de tendens bij het oordeel over het AVI-niveau zelfs negatief. Vervolgens willen we voor deze kinderen de ontwikkeling bepalen op de domeinen die in 2000 gemeten zijn met de Woordenschattoets en de toets Rekenen30
Resultaten
Wiskunde (tabel 2.11). In deze tabel staan ook de resultaten op de oordelen begrijpend lezen en technisch lezen (AVI-niveau). We analyseren de ontwikkeling ten opzichte van de scores op de in 1999 in het Nederlands afgenomen helft van de Woordenschattoets en de (verkorte) Ordenentoets. Verder willen we de ontwikkeling op het gebied van begrijpend lezen nagaan door het oordeel in 2000 van de docent op dit punt af te zetten tegenover de score op de (verkorte) Begrippentoets uit 1999. We veronderstellen dat beide metingen voldoende hetzelfde domein betreffen (ook gezien de onderlinge correlatie van .61). Voor het oordeel over technisch lezen presenteren we geen residuele verschilscores. Het oordeel over het AVI-niveau blijkt laag te correleren met eerdere `talige' toetsen, zodat er niet van een ontwikkeling kan worden gesproken. Het AVI-niveau moet daarom als een nieuw gemeten domein worden beschouwd. Tabel 2.11 Residuele verschilscores 2000-1999 in groep 3 uitgedrukt als afwijking van de gemiddelde residuele verschilscore, zowel ruw (ongecontroleerd) als gecontroleerd voor covariaten; gemiddelden, SD's en d-scores voor paarsgewijze vergelijkingen tussen programma's en controlegroep.
Covariaten: Turks, Marokkaans, thuistaal, SES, sekse; schoolscore # p<.10; * p<.05; ** p<.01 31
Een jaar later. Vervolgonderzoek evaluatie van kaleidoscoop en piramide
Deze tabel over de residuele verschilscores van de kinderen in groep 3 laat geen significante verschillen zien tussen de programmakinderen en de controlegroep. Voor de Woordenschattoets geldt dat de programmakinderen, met name de Kaleidoscoopkinderen in 1999 hoger scoorden dan de controlegroep. In 2000 is het verschil van Kaleidoscoop met de controlegroep nog steeds positief, maar niet meer significant. Dit duidt erop dat de controlegroep de achterstand ten opzichte van de Kaleidoscoopkinderen (en overigens ook ten opzichte van Piramide) iets heeft ingelopen. Bij Rekenen-Wiskunde gaat het om de ontwikkeling ten opzichte van de (verkorte) Ordenentoets. In 1999 was de tendens dat de programmakinderen hierop hoger scoorden; bij de Piramidekinderen was het verschil met de controlegroep zelfs significant. Op dit moment constateren we geen verschillen in groei tussen de programmakinderen en de controlegroep. Dit duidt erop dat de Piramide- en Kaleidoscoopkinderen hun voorsprong op dit terrein verliezen. Bij het oordeel Begrijpend lezen zien we een ander beeld. De tendens is dat de programmakinderen zich op dit domein van 'taal- en tekstbegrip' iets beter ontwikkelen dan de controlegroep. Het gaat hier om een vergelijking tussen een toetsscore in 1999 en een leerkrachtoordeel in 2000, dus de vaardigheid is wel op een verschillende manier vastgesteld.
2.3 Analyse III: Ontwikkeling van de doorstroomgroep tussen 1997 en 2000 In het voorgaande analyseerden we de ontwikkeling van de onderzoekskinderen tussen 1999 en 2000. Onder deze leerlingen zitten kinderen die vanaf het begin meedoen met het onderzoek, maar ook leerlingen die tussentijds zijn ingestroomd. Een laatste manier om de programma's te evalueren is om de ontwikkeling over de gehele onderzoeksperiode na te gaan van alleen die kinderen, die vanaf het begin in het onderzoek zijn opgenomen: de zogenaamde doorstroomgroep. Een nadeel is wel dat het dan om een kleinere groep kinderen gaat en omdat een deel in groep 2 en een deel in groep 3 zit, zijn de aantallen soms te klein om harde conclusies te kunnen trekken. De resultaten van deze paragraaf moeten daarom meer als indicatief gezien worden.
32
Resultaten
GROEP 2 Bij deze groep willen we weer de ontwikkeling vaststellen van vaardigheden die in 2000 gemeten zijn met de toetsen Begrippen, Ordenen en de TAK (woordenschat), alsmede op de gedragsoordelen. Eerst tonen we de stand van zaken in 2000. Tabel 2.12 Resultaten van de 2000-meting in groep 2 voor de doorstroomgroepeerst ruw (ongecontroleerd); daarna gecontroleerd voor covariaten; aantallen, gemiddelden, SD's en dscores voor paarsgewijze vergelijkingen tussen programma's en controlegroep.
33
Een jaar later. Vervolgonderzoek evaluatie van kaleidoscoop en piramide
a Een hoge score op deze schaal betekent negatief sociaal-emotioneel gedrag Co-
variaten: Etnische groep (Turks, Marokkaans, overig), thuistaal, opleiding ouders, leerlinggewicht, sekse; schoolscore; dummies voor ontbrekende gegevens # p<.10; * p<.05; ** p<.01 Op de toetsen zien we het beeld dat de verschillen tussen programma- en controlekinderen overeen komt met dat bij alle kinderen in groep 2 (tabel 2.1) en bij alle onderzoekskinderen (tabel 2.8). Voor wat betreft de gedragsoordelen zien we bij deze doorstroomgroep, nog duidelijker dan bij de groeter groep onderzoekskinderen (vgl. tabel 2.8) dat de Kaleidoscoopkinderen lager scoren op de schaal aangenaam gedrag en hoger op de schaal extraversie. Bij beide programma's is de tendens dat de werkhouding minder wordt beoordeeld dan bij de controlekinderen. Om de groei tussen 1997 en 2000 te kunnen bepalen, analyseren we de ontwikkeling bij begrippen en woordenschat (TAKtoets) ten opzichte van de scores op de in 1997 in het Nederlands afgenomen helft van de passieve woordenschattoets van de DTT (zie ook Veen et al, 2000, p. 17-18). Bij ordenen analyseren we de ontwikkeling ten opzichte van de scores op de in 1997 afgenomen Vragenlijst Denkprocessen (VLDP). Bij de gedragsoordelen kijken we naar 34
Resultaten
de ontwikkeling tussen 1997 en 2000, op beide meetmomenten werd de zelfde schaal gebruikt. Tabel 2.13 geeft een samenvatting van de resultaten. Tabel 2.13 Residuele verschilscores 2000-1997 in groep 2 uitgedrukt als afwijking van de gemiddelde residuele verschilscore, zowel ruw (ongecontroleerd) als gecontroleerd voor covariaten inclusief de schoolscore;gemiddelden, SD's en d-scores voor paarsgewijze vergelijkingen tussen programma's en controlegroep.
35
Een jaar later. Vervolgonderzoek evaluatie van kaleidoscoop en piramide
a Een hoge score op deze schaal betekent negatief sociaal-emotioneel gedrag
Covariaten: Turks, Marokkaans, thuistaal, SES, sekse; schoolscore # p<.10; * p<.05; ** p<.01 Deze tabel met gegevens over de doorstroomgroep laat op de toetsen geen significante verschillen in groei zien tussen de programmakinderen en de controlegroep tussen de eerste meting in 1997 en het laatste meetmoment. Als we kijken naar de groeiscores op de afzonderlijke toetsen dan is de tendens op de Begrippentoets dat de programmakinderen minder vooruit zijn gegaan ten opzichte van de eerste meting in 1997 dan de controlegroep. Wanneer we echter kijken naar groeiscores op de Woordenschattoetsen Nederlands op eerdere meetmomenten, dan zien we dat in eerdere jaren de programmakinderen meer groei vertoonden dan de controlegroep. In 1998 was het verschil voor de Piramidekinderen significant; in 1999 vertoonde juist de Kaleidscoopgroep significant meer groei ten opzichte van de eerste meting in 1997. De groeiscores vertonen op deze 'talige' toetsen dus een grillig patroon over de jaren. Op Ordenen en de VLDP is het patroon iets consistenter. Over de jaren heen vertonen de programmagroepen steeds iets meer vooruitgang dan de controlegroep (behalve Piramide tussen 1997 en 1998), al zijn de verschillen nergens significant. De TAK-toets laat geen verschillen in groei zien tussen 1997 en 2000. Kijken we naar de programma's afzonderlijk dan zien we dat er bij Kaleidoscoop tussen 1997 en 1999 wel een positief verschil was met de controlegroep op de Passieve 36
Resultaten
Woordenschattoets Nederlands. Die voorsprong hebben de Kaleidoscoopkinderen nu (in 2000) niet meer en is zelfs omgebogen in een klein –niet significant- negatief verschil in groei met de controlegroep. Bij de Piramidekinderen is het beeld dat hun vooruitgang op de Woordenschattoets in eerdere jaren steeds positief is geweest ten opzichte van de controlegroep, alleen in de periode 1997-1998 was het verschil in groei met de controlegroep significant. Op de gedragsoordelen (schalen Schobl-R) zien we bij Kaleidoscoop als tendens een achteruitgang op werkhouding en aangenaam gedrag; bij de Piramidekinderen is dat veel minder het geval. Op deze beide onderdelen scoorde de controlegroep in 1997 al beter; de conclusie zou dus luiden dat de controlegroep zijn voorsprong op deze onderdelen heeft vergroot. Op emotionele stabiliteit zien we bij de Piramidekinderen een mindere ontwikkeling (de kinderen lopen nog meer achter bij de controlegroep dan ze in 1997 al deden). Bij Kaleidoscoop is de ontwikkeling juist andersom: hier lopen de leerlingen hun achterstand van 1997 in. GROEP 3
Bij deze groep willen we de ontwikkeling bepalen op de domeinen die in 2000 gemeten zijn met de Woordenschattoets en de toets Rekenen-Wiskunde. Eerst presenteren we de stand van zaken op deze toetsen alsmede de scores op de oordelen begrijpend en technisch lezen in 2000.
37
Een jaar later. Vervolgonderzoek evaluatie van kaleidoscoop en piramide
Tabel 2.14 Resultaten van de 2000-meting in groep 3 voor de doorstroomgroep eerst ruw (ongecontroleerd); daarna gecontroleerd voor covariaten; aantallen, gemiddelden, SD 's en dscores voor paarsgewijze vergelijkingen tussen programma's en controlegroep.
Covariaten: Etnische groep (Turks, Marokkaans, overig), thuistaal, opleiding ouders, leerling-gewicht, sekse; schoolscore; duinmies voor ontbrekende gegevens.# p<.10; * p<.05; **p<.01 Het globale beeld is in overeenstemming met het beeld over de hele groep 3 (zie tabel 2.2). 38
Resultaten
Voor het bepalen van de groeiscores analyseren we de ontwikkeling ten opzichte van de scores op de in 1997 in het Nederlands afgenomen helft van de Woordenschattoets en op de in 1997 afgenomen Vragenlijst Denkprocessen (VLDP). In tabel 2.15 staan de resultaten samengevat, waarbij we nogmaals willen wijzen op de zeer kleine aantallen in deze analyses. Voor het oordeel over begrijpend lezen presenteren we geen groeiscores, omdat het aantal waarnemingen in de controlegroep hier minder dan 4 is. Tabel 2.15 Residuele verschilscores 2000-1997 in groep 3 uitgedrukt als afwijking van de gemiddelde residuele verschilscore, zowel ruw (ongecontroleerd) als gecontroleerd voor covariaten inclusief de schoolscore; gemiddelden, SD's en d-scores voor paarsgewijze vergelijkingen tussen programma's en controlegroep.
Covariaten: Turks, Marokkaans, thuistaal, SES, sekse; schoolscore # p<.10; * p<.05; ** p<.01 Om te beginnen laat de tabel de kleine aantallen kinderen zien die voor deze analyses beschikbaar waren; vooral bij de Kaleidoscoop- en de controlegroep. Als we kijken naar de resultaten voor deze kinderen uit de doorstroomgroep zien we geen significante verschillen in vooruitgang tussen de programmakinderen en de controlegroep in de periode 1997 – 2000. Kijken we naar tendensen dan zien we dat de Kaleidoscoopkinderen op zowel de talige (woordenschat) als de meer mathematische toetsen (VLDP – RekenenWiskunde) een betere ontwikkeling hebben doorgemaakt dan de controlegroep. 39
Een jaar later. Vervolgonderzoek evaluatie van kaleidoscoop en piramide
Bij de Piramidekinderen geldt het omgekeerde, zij scoren juist iets slechter dan de controlegroep. Bij Rekenen-Wiskunde valt op dat het verschil van Piramide met de controlegroep groter wordt na controle voor de covariaten. Nogmaals moet benadrukt worden dat de aantallen te klein zijn om harde conclusies op te baseren.
2.4
Nadere gegevens over de onderzoeksscholen
Reeds eerder werd duidelijk dat de groep controle-leerlingen op scholen zitten die, gemeten aan hun SE-score, een mogelijk gunstiger leeromgeving bieden dan de beide groepen programmascholen. Bij deze folluw-up is getracht nog nader informatie te verkrijgen die een indruk kan geven van mogelijke andere verschillen tussen programma- en controlescholen. Daartoe zijn vragenlijsten voorgelegd aan directies en leerkrachten van de kleutergroepen. In deze paragraaf doen we verslag van de uitkomsten van dit deel van het onderzoek, waarbij steeds controlescholen en programmascholen worden vergeleken. Omdat de vragenlijsten voor het grootste deel afkomstig zijn uit het Prima cohortonderzoek zullen we, indien dat verhelderend is, ook landelijke gegevens van de Prima referentiesteekproef vermelden. Deze zijn gerapporteerd in Ledoux et al., 2000. 2.4.1. Gegevens afkomstig van de directies In totaal werden 22 vragenlijsten terug ontvangen; 12 daarvan zijn afkomstig van de directie van programmascholen (4 maal Kaleidoscoop, 8 maal Piramide) en 10 van directies van controlescholen. Leerlingenaantal en veranderingen daarin
De algemene tendens in de cijfers is dat Piramidescholen wat kleiner zijn. Zo zijn er geen Piramidescholen met 250 of meer leerlingen, terwijl dat voor 50% van de Kaleidoscoop en 40% van de controlescholen wel zo is. Een tweede tendens is dat beide typen programmascholen de laatste jaren wat kleiner geworden zijn. Het leerlingenaantal van ongeveer de helft van deze scholen is de afgelopen jaren gedaald, bij een kwart van de Piramidescholen wordt de daling door de directie zelfs sterk genoemd. Bij de controlescholen is er maar bij 20% sprake van een (lichte) daling (en landelijk zegt ongeveer 25% dat de leerlingenaantallen gedaald zijn). 40
Resultaten Veranderingen in aandeel allochtone leerlingen
De scholen verschillen in het aandeel allochtone leerlingen, maar hier gaat het om de vraag of dat aandeel de laatste jaren sterk is gewijzigd. 30 tot 50 procent van de directies spreekt van een toename van het aandeel allochtone leerlingen in de afgelopen jaren, 10 tot 25 procent spreekt juist van een afname. Er zijn geen duidelijke verschillen op dit punt tussen de programma- en de controlescholen. Terzijde vermelden we dat van de 5 programmascholen die spreken van een toename van het aandeel allochtone leerlingen er 2 directies zijn die dat (mede) toeschrijven aan de deelname aan het programma; van de 3 scholen die een daling melden schrijft geen enkele dat toe aan de programmadeelname. Tussentijdse in- en uitstroom
Hierbij is de tendens dat Kaleidoscoopscholen minder tussentijdse instroom vermelden dan zowel de Piramide- als de controlescholen. Met betrekking tot de mate van tussentijdse uitstroom zijn er weinig verschillen tussen beide typen programmascholen en controlescholen. Contacten met voorschoolse voorzieningen
Alle programmascholen, maar ook vrijwel alle controlescholen onderhouden contacten met peuterspeelzalen. Verder onderhouden alle Kaleidoscoopscholen ook contact met kinderdagverblijven; bij de Piramide- en de controlescholen geldt dat voor ongeveer 33% van de scholen. Een laatste verschil is dat 3 van de 4 Kaleidoscoopscholen eigen voorschoolse voorzieningen in huis hebben; voor de andere twee groepen scholen geldt dat niet. Er zijn verder geen opvallende verschillen tussen de scholen in het doel van de voorschoolse contacten. Wel lijken al deze scholen meer belang te hechten aan deze contacten dan landelijk. Op een schaal van 1 tot 3 scoren deze onderzoekscholen gemiddeld 2.6, terwijl dat landelijk 1.95 is. 2.4.2. Gegevens afkomstig van leerkrachten groep 2 In totaal werden 34 vragenlijsten terug ontvangen; 25 daarvan zijn afkomstig van leerkrachten op programmascholen (15 maal Kaleidoscoop, 10 maal Piramide) en 9 van leerkrachten op controlescholen.
41
Een jaar later. Vervolgonderzoek evaluatie van kaleidoscoop en piramide (Onderwijskundige) omstandigheden
Bij Piramide en de controlescholen komen combinatieklassen relatief weinig voor: ongeveer de helft van de leerkrachten heeft alleen leerlingen van groep 2 in de klas. Bij Kaleidoscoop geldt dat maar voor 7%, de overige 93% heeft een combinatieklas. Ook landelijk komen combinatieklassen het meest voor (81%). Het aantal leerlingen in de klas is bij Kaleidoscoop en Piramide iets lager (22.8 resp. 22.1) dan bij de controlescholen (24.8); landelijk wordt hier een gemiddelde van 24.7 behaald. Het aandeel duobanen verschilt weinig tussen de scholen: 44% is enige leerkracht, 38% heeft een duobaan en bij de rest is sprake van een substantiële vervanging; dit komt ongeveer overeen met het landelijk beeld. Wel is er bij de programmascholen, conform de bedoeling, vaker sprake van een dubbele bezetting. Bij de controlescholen is dat voor 89% hooguit 1 dagdeel per week het geval (landelijk 77%), maar bij Kaleidoscoop voor geen enkele school en bij Piramide bij 20%. Van vier of meer dagdelen per week dubbele bezetting is bij 11% van controlescholen sprake (landelijk 8%), maar bij Kaleidoscoop en Piramide bij respectievelijk 79 en 50 procent. Systematisch contact met voorschoolse voorzieningen
Van systematische contacten met voorschoolse voorzieningen is bij Kaleidoscoop het meest sprake, namelijk bij 60% van de leerkrachten. Bij Piramide geldt dat voor 40% en bij de controlescholen voor 33%. Dat is wel hoger dan landelijk, waar slechts 18% systematische contacten met voorschoolse voorzieningen onderhoudt. Over het doel en het belang van deze contacten zijn er geen grote verschillen tussen de typen scholen. Wel wordt er door deze leerkrachten meer belang aan gehecht dan landelijk. Op een schaal van 1 tot 5, die dit meet, scoren de leerkrachten van Kaleidoscoop en Piramide gemiddeld 4.0 en 4.2, terwijl de controlegroep 4.1 scoort. Landelijk is het gemiddelde op dit schaaltje 3.9. Overgang van groep 2 naar groep 3
Ongeveer 90% bereidt die overgang voor door de leerlingen bezoekjes te laten maken aan groep 3. Er zijn geen belangrijke verschillen en dit is ook conform het landelijke beeld. 42
Resultaten
Ook op het gebied van de systematische aandacht voor voorbereidend lezen en rekenen bij de leerlingen en het gebruik van eventuele voorlopers bij de methode die in groep 3 wordt gebruikt zien we geen belangrijke verschillen tussen de leerkrachten van beide typen programmascholen en van de controlescholen. Oordelen over zichzelf en het team
Tot slot is de leerkrachten een reeks uitspraken voorgelegd over hun omgang met de leerlingen, over de waardering van het werk in de kleuterbouw binnen de school en over het team van de school. Binnen het Primacohort-onderzoek zijn uit deze uitspraken drie schalen geconstrueerd, die ook bij deze kleinere groep leerkrachten op programma- en controle scholen voldoende betrouwbaar blijken te zijn (alpha's van .76 tot .85). Het gaat dan om de schalen (zie voor details: Ledoux et al., 2000, p. 139-140): • vertrouwen in eigen kunnen • oordeel waardering kleuteronderwijs op school • oordeel teamcohesie In de volgende tabel geven we gemiddelden, ook voor de landelijke referentiesteekproef van Prima. Tabel 2.16 Oordelen over zichzelf en het eigen team. Schaalgemiddelden programma's, controlegroep en landelijke steekproef Primacohort-onderzoek.
We vinden nauwelijks verschillen op deze schalen tussen leerkrachten van de beide typen programmascholen en de controlescholen. Al deze leerkrachten hebben gemiddeld iets meer vertrouwen in eigen kunnen dan landelijk. De waardering voor het werk in de kleuterbouw lijkt op de programmascholen een fractie hoger te liggen dan op de controlescholen en landelijk. En op de controlescholen is het oordeel over de teamcohesie wat lager dan op de programmascholen en landelijk.
43
Een jaar later. Vervolgonderzoek evaluatie van kaleidoscoop en piramide
2.4.3. Conclusie In dit follow-up onderzoek zijn enkele onderdelen van het Prima instrumentarium gebruikt om te proberen wat meer beeld te krijgen van mogelijke verschillen tussen de scholen, waarop de programma's Piramide en Kaleidoscoop worden uitgevoerd en de in dit onderzoek gebruikte controlescholen. Over het geheel genomen kan gesteld worden dat er weinig extra bijzonderheden naar voren zijn gekomen. De programmascholen lijken iets vaker in de ongunstige omstandigheid te verkeren dat hun leerlingaantal aan het dalen is. Daartegenover verkeren programmascholen duidelijk vaker in de gunstige omstandigheid dat er sprake is van een dubbele bezetting op de groep. Uiteraard heeft dit direct te met de deelname aan de programma's.
44
3
Samenvatting en conclusies
In deze rapportage wordt verslag gedaan van de follow-upstudie in het kader van het evaluatieonderzoek naar de programma's Kaleidoscoop en Piramide. Deze vervolgstudie is uitgevoerd in opdracht van het Ministerie van Onderwijs, Cultuur en Wetenschappen. Het onderzoek als geheel wordt uitgevoerd met als doel vast te stellen of de programma's Kaleidoscoop en Piramide een meerwaarde hebben ten opzichte van het reguliere aanbod in peuterspeelzalen en de onderbouw van het basisonderwijs. Ten behoeve van deze follow-up zijn, als vervolg op eerdere metingen in 1997, 1998 en 1999 in het jaar 2000 metingen verricht bij drie groepen kinderen: kinderen die deelnemen aan of hebben deelgenomen aan Kaleidoscoop en Piramide en kinderen die een reguliere peuterspeelzaal en/of een reguliere basisschool bezochten. Het rapport bouwt voort op de verslaglegging van de resultaten van eerdere metingen. Na de tweede meting (1998) zijn de tussentijdse resultaten beschreven in een interimrapportage (Leseman, Veen, Triesscheijn en Otter, 1999) en vervolgens, na de derde meting (1999) verscheen een eindrapport (Veen, Roeleveld en Leseman, 2000). De onderhavige rapportage heeft betrekking op de resultaten van de followupstudie. De kinderen uit het evaluatieonderzoek naar Kaleidoscoop en Piramide bevinden zich op het moment van de uitvoering van deze vierde meting (2000) in de groepen 2 en 3 van het basisonderwijs. Een groot deel van de kinderen bevindt zich op het moment van de toetsafname dus nog in de groep waar één van beide programma's (Kaleidoscoop of Piramide) wordt uitgevoerd. Van een effectmeting `enige tijd na afloop van het programma' is dus feitelijk voor een deel van de kinderen nog geen sprake. Voor de kinderen in groep 3 (ongeveer een derde van de kinderen in het onderzoek) is dat wel het geval. Zij hebben het programma op het moment van de meting al bijna een jaar achter zich. Een eerste, algemene conclusie naar aanleiding van de in dit rapport gepresenteerde resultaten is, dat uit de tabellen geen consistente patronen naar voren komen. De resultaten zijn wisselend, over de jaren heen; per groep; per type toets. 45
Een jaar later. Vervolgonderzoek evaluatie van kaleidoscoop en piramide
Formuleerden we in het eindrapport nog dat de programma's al met al gunstig naar voren komen in vergelijking met de controleconditie, die conclusie valt op dit moment in algemene zin eigenlijk niet meer goed te handhaven. Om meer greep te krijgen op de uitkomsten moeten we de resultaten op de afzonderlijke (clusters van) analyses bekijken. In de eerste plaats kijken we naar de groeiscores. Dit zijn de resultaten van de kinderen die al eerder meededen met het onderzoek, de `doorstroomgroep' die al sinds de peuterspeelzaal gevolgd wordt en de 'onderzoekskinderen' die een jaar later, in groep 1, aan het onderzoek zijn gaan meedoen. Het beeld is dan dat de aan Kaleidoscoop en Piramide deelnemende kinderen op Ordenen (en in het verlengde hiervan Rekenen-Wiskunde in groep 3) sinds de eerste meting meer vooruit zijn gegaan dan de controlegroep. De verschillen met de controlegroep zijn niet altijd significant, maar het beeld is vaker positief voor de programmakinderen. Het omgekeerde zien we, globaal, voor Begrippen en Woordenschat. We concluderen voorzichtig dat de groei voor de programmakinderen meer lijkt te zitten in de vaardigheden op het logischmathemathische terrein (Ordenen, Rekenen/Wiskunde) dan op het talige (Begrippen/woordenschat). Op de schalen die we gebruiken voor het meten van de sociaal-emotionele ontwikkeling van de kinderen, zien we door de jaren heen grillige patronen, ook wanneer we alleen kijken naar de doorstroomgroep. Wanneer we echter kijken naar de ontwikkeling tussen het eerste en laatste meetmoment zien we vooral voor Kaleidoscoop als tendens een achteruitgang op de schalen werkhouding en aangenaam gedrag. Bij Piramide zien we een mindere ontwikkeling op emotionele stabiliteit in vergelijking met de controlegroep. Voorts zijn er analyses uitgevoerd op de hele groep. Dat zijn in de eerste plaats kinderen die al eerder meededen, maar ook nieuwe kinderen, die in deze followup voor het eerst aan een testafname meedoen. Dan zien we de lagere score op Begrippen in vergelijking met de controlegroep terug: zowel Kaleidoscoop als Piramide scoren lager op Begrippen dan de kinderen uit de controlegroep. Op Woordenschat echter is er geen verschil met de controlegroep en in 1999 scoorden de programma's zelfs -meestal significant- hoger op woordenschat (Nederlands) dan de controlegroep. Op de scores voor Ordenen en Rekenen-Wiskunde verschillen de programma's in deze analyses. De Piramide-kinderen scoren significant hoger op Ordenen in 46
Samenvatting en conclusies
groep 2 dan de controlegroep, maar juist lager op Rekenen-Wiskunde in groep 3. Kaleidoscoop scoort juist lager op Ordenen en op Rekenen-Wiskunde gelijk aan de controlegroep. Een nieuw, in eerdere metingen nog niet verzameld gegeven is de leesvaardigheid van de kinderen in groep 3. De groep-drie-leerkrachten werd gevraagd per leerling zowel het niveau van het technisch lezen (AVI-niveau) als van het begrijpend lezen te registreren. Groep 3 staat in het teken van het leren lezen en omdat ze er het hele jaar intensief mee bezig zijn en gedurende het jaar ook AVI-toetsjes afnemen, hebben de leerkrachten naar verwachting een goed beeld van de prestaties van de kinderen op deze gebieden. Uit de analyses blijkt dat de kinderen uit de programma's zowel op begrijpend als op technisch lezen significant hoger scoren dan de leerlingen uit de controlegroep. Ook al gaat het hier om leerkrachtregistraties, we hebben geen reden om aan te nemen dat de leerkrachten uit de programmascholen ten onrechte hogere scores toekennen of ongegrond positiever oordelen dan hun collega's uit de controlescholen. In de eerste plaats niet omdat de leesscore voor technisch lezen (AVI-niveau) immers bepaald wordt met behulp van een externe maat. Voorts wordt de beoordeling niet gedaan door de directe uitvoerders van de programma's en leerkrachten die hier 'baat' bij zouden kunnen hebben, maar door de leerkrachten van groep 3, die verder van de directe programma-uitvoering af staan. Deze groep 3 leerkrachten zullen wellicht niet eens altijd precies weten welke kinderen het programma hebben gevolgd. Een indicatie voor het feit dat de (groep-3-)programmaleerkrachten hun leerlingen niet systematisch en mogelijk ten onrechte gunstiger beoordelen dan de leerkrachten uit de controlegroep vormen verder de scores op de gedragsoordelen. Die vallen immers niet onverdeeld gunstiger uit voor de programmakinderen. Er kan, met andere woorden, heel goed daadwerkelijk sprake zijn van een beter leesbegrip en een betere technische leesvaardigheid bij de kinderen uit de programma's. We zien in dit onderzoek over de jaren heen nogal wat wisselingen in de resultaten en het is moeilijk om 'harde' conclusies te trekken. Voor deze wisselende bevindingen zijn verschillende oorzaken aan te wijzen. Zo hebben we gedurende het onderzoek te maken met wisselende groepen aan het onderzoek deelnemende kinderen. Er is sprake van uitval (bij de overgang van de peuterspeelzaal naar de basisschool; verhuizing; overstap naar andere basisscholen, etc). Maar er komen ook kinderen bij: in groep 1 van de basisschool is de onderzoeksgroep aangevuld 47
Een jaar later. Vervolgonderzoek evaluatie van kaleidoscoop en piramide
met nieuwe 'nieuwe' onderzoekskinderen. Al op het tweede meetmoment hebben we dus kinderen in het onderzoek die sinds de speelzaal meedoen en kinderen die veel korter aan de programma's zijn 'blootgesteld'. Het kan hier gaan om kinderen met heel uiteenlopende voorgeschiedenissen, bijvoorbeeld op het terrein van deelname aan een voorschoolse voorziening: van kinderen die tot hun vierde jaar nooit aan een voorschoolse voorziening hebben deelgenomen tot kinderen die langere tijd intensief een peuterspeelzaal, kinderdagverblijf of andere vorm van opvang hebben bezocht. In de follow-up, waarin grotere aantallen kinderen werden betrokken bij de groepsgewijs afgenomen toetsen uit het Citoleerlingvolgsysteem en de Primatoetsen, is de onderzoeksgroep nog eens uitgebreid. De doorstroomgroep is de groep die het langst meedoet: aan de programma's en voor zover het de controlegroep betreft - aan een peuterspeelzaal en een basisschool met een 'regulier' aanbod - althans, geen Kaleidoscoop of Piramide -. We zouden onze uitspraken over de effecten van de programma's dan ook het liefst baseren op de resultaten van deze kinderen. Het probleem met deze longitudinale groep is dat hij (door verhuizing etc. maar ook doordat we, door ziekte of afwezigheid tijdens de testafname toetsgegevens van deze kinderen missen, waardoor we niet steeds de beschikking hebben over een complete set gegevens) langzamerhand kleiner wordt. Dit is ook de reden voor de aanvullingen met nieuwe kinderen. Maar bij de vierde meting is een bijkomende complicatie dat de kinderen nu verspreid zijn over de groepen 2 en 3 en hiermee over verschillende, niet helemaal vergelijkbare toetsen. De aantallen kinderen per toets zijn al met al na vier jaar klein geworden, hetgeen de kans op toeval groter maakt en de interpretatie van de uitkomsten moeilijker. Al met al verrichten we dus analyses op verschillende groepen kinderen (de doorstroomgroep, de onderzoekskinderen en alle kinderen) en die analyses geven wisselende uitkomsten te zien. Voorts geldt dat het onderzoek niet plaatsvindt in een laboratoriumsituatie, waarin we allerlei verschijnselen naar onze hand kunnen zetten. Weliswaar is sprake van een onderzoeksopzet waarin programmascholen en een controlegroep met elkaar worden vergeleken, maar er heeft geen random verdeling van de kinderen over de 48
Samenvatting en conclusies
verschillende condities plaatsgevonden. De programmalocaties zijn destijds, onder andere voor de experimenten geselecteerd vanwege het hoge percentage (allochtone) kinderen uit achterstandssituaties. Bij de selectie van de controlelocaties speelde dit criterium ook een belangrijke rol: het moest gaan om speelzalen met een naar sociaal-economische en etnische achtergrond zoveel mogelijk vergelijkbare groep kinderen in dezelfde wijk of een vergelijkbare wijk elders. En hoewel dus is geprobeerd om de controlegroep voor wat betreft de kenmerken van de leerlingpopulatie zoveel mogelijk te laten overeenkomen met de programmalocaties, vonden we toch aanwijzingen voor verschillen op dit aspect tussen de programma- en de controlescholen. Het is weliswaar gelukt om groepen kinderen samen te stellen die niet van elkaar verschillen op individuele achtergrondkenmerken als leeftijd, sekse etniciteit en opleidingsniveau van de ouders. De SEscore van de Kaleidoscoop- en Piramidescholen bleek in de loop van het onderzoek echter aanzienlijk hoger dan de SE-score van de controlescholen. Dit betekent dat de kinderen in de controlegroep mogelijkerwijs in een gunstiger leeromgeving vertoeven dan de kinderen uit de programmascholen. Om hier iets meer over te kunnen zeggen is in het vervolgonderzoek daarom geprobeerd om met behulp van vragenlijsten aan directie en leerkrachten van groep 2 op de programma- en de controlescholen aanvullende informatie te verkrijgen over enkele school- en klaskenmerken. We vonden op de bevraagde variabelen echter geen noemenswaardige verschillen. Als laatste is daarom geprobeerd om de positie van de drie groepen scholen te bepalen ten opzichte van het landelijke beeld. Hiervoor is gebruik gemaakt van de gegevens van leerlingen uit groep 2 van de referentiesteekproef uit het Prima-bestand (representatief voor alle Nederlandse basisscholen) waarvan de resultaten op Begrippen en Ordenen en verschillende achtergrondkenmerken bekend zijn. Uit deze exercitie blijkt opnieuw dat de programmascholen wat betreft etnische en sociaal-economische samenstelling een wat andere positie innemen dan de controlescholen. Op de programmascholen is het aandeel allochtone leerlingen veel groter dan landelijke gemiddeld. En ook bij de SE-score zien we dit verschil terug, evenals bij het percentage leerlingen met het Nederlands als thuistaal. De groep controlescholen neemt op dit punt een tussenpositie in: beduidend meer allochtoon gekleurd dan landelijk, maar wel wat minder dan de programmascholen. Naar aanleiding van de analyses op de toetsresultaten concluderen we dat, door te controleren voor deze verschillen in kenmerken van zowel individuele leerlingen 49
Een jaar later. Vervolgonderzoek evaluatie van kaleidoscoop en piramide
als van de betreffende scholen, de controlescholen redelijk overeenstemmen met het landelijke beeld. Daarmee vormt 'onze' controlegroep, nadat rekening is gehouden met verschillen in samenstelling van de leerlingbevolking zoals die tot uitdrukking komt in de hier gehanteerde covariaten, een geschikte maatstaf om leerlingen uit de programmascholen mee te vergelijken. Andere ontwikkelingen die de onderzoekresultaten kunnen beinvloeden zijn processen in de uitvoeringspraktijk van de programma's. De eerste meting vond in de peuterspeelzalen plaats vlak na de trainingsfase, op een moment waarop de ervaring van de leidsters met het programma nog gering was. Weliswaar werd in de implementatiestudie gevonden dat grote delen van de programma's in de peuterspeelzalen en de scholen werden uitgevoerd zoals bedoeld (Reezigt, 1999), maar van een uitvoeringstraditie en een uitgekristalliseerde uitvoeringspraktijk was in de eerste jaren van dit evaluatieonderzoek nog geen sprake. En dan zijn er problemen als leerkrachtentekorten en ziekteverzuim, verschijnselen die niet kenmerkend zijn voor de programma's maar het hele onderwijs treffen en de uitvoeringspraktijk in de scholen natuurlijk ook beïnvloeden. Denk aan de tutor van het Piramideprogramma of de 'extra' leerkracht uit Kaleidoscoop die elders in de school worden ingezet op plaatsen waar een tekort heerst; verloop, wisselingen (ongetrainde leerkracht die wordt ingezet in de onderbouw), etc. Dit zijn ontwikkelingen op de achtergrond, waar we in dit onderzoek helaas geen systematisch verzamelde informatie over hebben die kan helpen bij de interpretatie van de bevindingen. Ten slotte is met behulp van het Prima-bestand nagegaan of er verschillen zijn in prestaties op de gehanteerde toetsen tussen leerlingen die wel en leerlingen die niet deelnamen aan een voorschoolse voorziening. We kunnen met behulp van dit onderzoek niet ondubbelzinnig aantonen dat deelname aan de programma's Kaleidoscoop en Piramide gunstig is ten opzichte van deelname van kinderen met achterstanden aan 'reguliere' peuterspeelzalen en basisscholen, maar misschien valt er met behulp van het Prima-bestand wel iets te zeggen over het voordeel van deelname aan voorschoolse voorzieningen in het algemeen. Kaleidoscoop en Piramide vormen immers een nadere pedagogisch-didactische invulling van een voorschools traject. De redenering zou kunnen zijn dat, wanneer deelname aan een voorschoolse voorziening op de korte termijn zijn vruchten lijkt af te werpen, 50
Samenvatting en conclusies
blijkend uit betere toetsresultaten op de basisschool, dit beschouwd kan worden als een ondersteuning van het in gang gezette beleid om de deelname aan voorschoolse voorzieningen voor kinderen met dreigende achterstanden te vergroten. Uit onze analyses (die overigens tot nu toe nog niet eerder werden verricht op deze Prima-data) leiden we in de eerste plaats af dat deelname aan een voorschoolse voorziening een bijdrage kan leveren aan het behalen van betere resultaten in groep 2. Aparte analyses voor allochtone en autochtone leerlingen laten bovendien een extra voordeel zien voor allochtone leerlingen die een voorschoolse voorziening bezochten op het gebied van taal. Uit deze laatste bevinding moet overigens uitdrukkelijk niet de conclusie worden getrokken dat deze voorzieningen zich nu eenzijdig op stimulering van de taalontwikkeling moeten gaan richten. Uit onze gegevens blijkt immers bijvoorbeeld ook dat juist met de brede pedagogische programma's Kaleidoscoop en Piramide opbrengsten op andere domeinen te realiseren zijn.
51
Een jaar later. Vervolgonderzoek evaluatie van kaleidoscoop en piramide
52
Literatuur
Bleichrodt, N., Resing, W., & Zaal, J. (1993). Beoordeling van schoolgedrag (SCHOBL-R). Amsterdam: Vrije Universiteit. Blok, H., & Leseman, P.P.M. (1996). Effecten van voorschoolse stimuleringsprogramma's: een review van reviews. Pedagogische Studiën, 73, 184-197. Cohen, J. (1988). Statistical power analysis for the behavioral sciences (2nd edition). Hillsdale, NJ: Erlbaum. Driessen, G, A. van Langen, R. Portengen, H. Vierke (1998). Basisonderwijs: veldwerkverslag, leerlinggegevens en oudervragenlijsten. Basisrapport Primacohortonderzoek 1996-97. Nijmegen: Instituut voor Toegepaste Sociale Wetenschappen. Groenendaal, H.J., & Colthof, J. (1983). Vragenlijst Denkprocesen, Beknopte Handleiding. Utrecht: Rijksuniversiteit, IPAW. Groenendaal, H.J., van der Horst, J.M.H., & Palmen, C.M.A. (1987). Taalvaardigheid en algemeen cognitief functioneren van kleuters in verschillende sociaal-economische milieus. Pedagogische Studien, 64, 381-389. Jungbluth, P., A. van Langen, Th. Peetsma, H. Vierke (1996). Leerlinggegevens basisonderwijs en speciaal onderwijs. Technische rapportage Primacohortonderzoek 1994-95. Amsterdam/Nijmegen: SCO-Kohnstamm Instituut/Instituut voor Toegepaste Sociale Wetenschappen. Ledoux, G., M. Overmaat, I. van der Veen & A. van der Meijden (2000). Schoolen klaskenmerken basisonderwijs. Basisrapportage PRIMA-cohortonderzoek. Derde meting 1998-1999. Amsterdam, SCO-Kohnstamm Instituut
53
Een jaar later. Vervolgonderzoek evaluatie van kaleidoscoop en piramide
Leseman, P.; A. Veen; B. Triesscheijn, M. Otter (1999). Evaluatie van Kaleidoscoop en Piramide. Verslag van tussentijdse resultaten. Amsterdam: SCOKohnstamm Instituut. SCO-rapport 539. Narain, G. en L. Verhoeven (1994). Ontwikkeling van tweetaligheid bij allochtone kleuters. Tilburg: Tilburg University Press. Reezigt, G.J. (1999). De implementatie van Kaleidoscoop en Piramide. Groningen, GION. Schroots, J.J.F. en Alphen de Veer, R.J. van (1976). LDT, Leidse Diagnostische Test. Deel I Handleiding. Amsterdam: Swets en Zeitlinger. Snijders, J.Th. en Snijders-Oomen, N. (1975). Snijders-Oomen niet verbale intelligentieschaal (SON 21/2-7). Groningen: Wolters-Noordhoff. Veen, A., J. Roeleveld, P. Leseman (2000). Evaluatie van Kaleidoscoop en Piramide. Eindrapportage. Amsterdam: SCO-Kohnstamm Instituut. SCO-rapport 576. Verhoeven, L., A. Vermeer, C. van de Guchte (1986). Taaltoets Allochtone Kinderen: toetspakket. Tilburg: Zwijssen.
54
Bijlage 1
Onderzoeksinstrumenten evaluatieonderzoek Kaleidoscoop — Piramide - periode 1997-2000 Taalontwikkeling
Cognitieve ontwikkeling
Sociaal Emotionele
Extraversie
ontwikkeling
Werkhouding Aangenaam gedrag Emotionele stabiliteit
Overig
Oudervragenlijst
X
X
Formulier achtergrondkenmerken
X
X
Directievragenlijst Vragenlijst leerkrachten groep 2
X
X X X
Passieve Woordenschat uit de Diagnostische Toets Tweetaligheid (DTT, Narain & Verhoeven, 1994). Sub-toets Passieve Woordenschat uit de Taaltoets Allochtone Kinderen (TAK; Verhoeven, Vermeer en Van de Guchte, 1986. 55
Een jaar later. Vervolgonderzoek evaluatie van 'caleidoscoop en piramide
Vragenlijst Denkprocessen (VLDP; 34 items; Groenendaal & Colthof, 1983) Onderdeel Plaatjes Sorteren van de Kleuter-SON (6 items; Snijders & SnijdersOomen, 1975) Test Blokpatronen van de Leidse Diagnostische Test (LDT; 15 items; Schroots & van Alphen de Veer, 1976). Ordenen, Platenboek Oudste Kleuters, Cito. Begrippentoets groep 2, Cito Woordenschattoets
groep 3, Cito
Rekenen-Wiskunde
1 E3, Cito
Leesindicator
(bereikte niveau van technisch en begrijpend lezen volgens leer-
kracht) R-Schobl
(Bleichrodt, Resing, & Zaal, 1993).
Onderdeel uit Vragenlijst leerkrachten groep 2 Primacohort-onderzoek Oudervragenlijst werd eenmalig afgenomen in de eigen taal en was gericht op het
verzamelen van informatie over de bekendheid met het programma en achtergrondkenmerken van de kinderen zoals het opleidingsniveau van de ouders, hun geboorteland, de thuistaal en de gezinssamenstelling. (geboortedatum, sekse, opleidingsniveau ouders, leerlinggewicht, etnische herkomst, datum van deelname aan programma/voorziening), eenmalig door leidster of leerkracht ingevuld voor nieuw aan het onderzoek deelnemende kinderen.
Formulier achtergrondkenmerken
Onderdeel uit Directievragenlijst Primacohort-onderzoek
56
Bijlage 2
Overzicht van de aantallen leerlingen in de vier achtereenvolgende metingen (instroom, doorstroom en uitval). Instroom, doorstroom en uitval van peuters en kleuters naar programma
57
Een jaar later. Vervolgonderzoek evaluatie van kaleidoscoop en piramide
58
Bijlage 3
PRIMA-leerlingen met en zonder voorschoolse ervaring De Prima-gegevens maken het ook mogelijk een korte vergelijking uit te voeren van leerlingen die geen kinderdagverblijf of peuterspeelzaal hebben bezocht met leerlingen die dat wel gedaan hebben. De gegevens hierover zijn afkomstig uit de oudervragenlijst van PRIMA. Ruim 8000 ouders van Prima-leerlingen uit groep 2 van de referentiesteekproef hebben de vragen over bezoek van voorschoolse voorzieningen beantwoord. Daarvan zegt 41% dat hun kind een kinderdagverblijf heeft bezocht en maar liefst 78% dat hun kind een peuterspeelzaal heeft bezocht'. Slechts 13% van de leerlingen heeft geen van beide voorschoolse voorzieningen bezocht. Het bezoek van voorschoolse voorzieningen hangt samen met de opleiding en de etniciteit van de ouders. In de volgende tabel vermelden we enkele kenmerken van drie groepen leerlingen: de groep zonder voorschoolse ervaring (13%); de groep die hetzij een kinderdagverblijf, hetzij een peuterspeelzaal heeft bezocht (59%); en de groep die beide voorzieningen heeft bezocht (28%).
I Deze percentages zijn aan de hoge kant. Dit zou het gevolg kunnen zijn van selectieve respons (het zijn vooral de wat beter opgeleide ouders die de vragenlijst invullen); van vraagstelling (bekendheid met begrippen als 'peuterspeelzaal' en 'kinderdagverblijf; verschillen tussen deze typen voorschoolse voorzieningen); of van sociale wenselijkheid (het is goed om deel te nemen aan een voorschoolse voorziening). 59
Een jaar later. Vervolgonderzoek evaluatie van kaleidoscoop en piramide Achtergrondkenmerken leerlingen groep 2 PRIMA-referentiegroep; naar voorschoolse ervaringen percentage meisjes percentage etnische kinderen (Turks/Marokkaans/overig) percentage 1.25 leerlingen percentage 1.90 leerlingen percentage thuistaal Nederlands (hoogste) Opleiding ouders (1= hooguit lo; tot 4 = hbo/wo)
# p<.10; * p<.05; ** p<.01 Bij de leerlingen zonder bezoek van voorschoolse voorzieningen zien we een over-vertegenwoordiging van allochtone kinderen, van kinderen met leerlinggewicht 1.90 en van kinderen waarbij Nederlands geen thuistaal is. De opleiding van de ouders van deze kinderen is gemiddeld het laagste. De minste etnische kinderen en de hoogste opleidingen zien we bij de groep leerlingen die één van beide voorschoolse voorzieningen heeft bezocht. Vervolgens gaan we na of scores op de toetsen Begrippen en Ordenen verschillen tussen de hier onderscheiden drie groepen leerlingen uit groep 2. We geven weer ruwe en gecorrigeerde (` adjusted') gemiddelden op deze toetsen en geven dscores voor de groepen die wel voorschoolse voorzieningen hebben bezocht vergeleken met de groep die geen voorschoolse voorziening bezocht (zie onderstaande tabel).
60
Resultaten leerlingen groep 2 PRIMA-referentiegroep; eerst ruw (ongecontroleerd); daarna gecontroleerd voor covariaten; aantallen, gemiddelden, SD's en d-scores voor paarsgewijze vergelijkingen tussen leerlingen zonder en met bezoek voorschoolse voorzieningen geen voorschool kdv of psz kdv en psz d-scores
Covariaten: Etnische groep (Turks, Marokkaans, overig), thuistaal, opleiding ouders, leerlinggewicht, sekse; schoolscore; dummies voor ontbrekende gegevens; # p‹.10; * p‹.05; ** p‹.01 We zien dat voor beide toetsen geldt dat de leerlingen met bezoek aan een voorschoolse voorziening gemiddeld hoger scoren dan de leerlingen zonder bezoek aan zo'n voorziening. Dat was natuurlijk ook te verwachten gezien het verschil in samenstelling van beide groepen. Na correctie voor de covariaten zijn de verschillen dan ook kleiner geworden en er resteren, in termen van Cohen, nog maar kleine effecten. Deze zijn wel steeds in het voordeel van de groepen die voorschoolse voorzieningen hebben bezocht. Het voorgaande vormt een aanwijzing dat bezoek van voorschoolse voorzieningen mogelijk kan bijdragen aan het behalen van goede leerresultaten in groep 2. Een aparte vraag hierbij is nog of allochtone kinderen hier mogelijk nog meer van profiteren dan autochtone kinderen. Daartoe vergelijken we ruwe en gecorrigeerde scores voor allochtone en autochtone leerlingen met en zonder bezoek aan voorschoolse instellingen (zie onderstaande tabel).
61
Een jaar later. Vervolgonderzoek evaluatie van kaleidosroop en piramide Toetsscores van allochtone en autochtone leerlingen groep 2 PRIMA-referentiegroep; naar voorschoolse ervaringen Begrippen allochtone leerlingen (ruwe score) autochtone leerlingen (ruwe score) achterstand allochtone leerlingen in de ruwe score d-score gecorrigeerd d-score Ordenen allochtone leerlingen (ruwe score) autochtone leerlingen (ruwe score) achterstand allochtone leerlingen in de ruwe score d-score gecorrigeerd d-score Covariaten: thuistaal, opleiding ouders, sekse; schoolscore; dummies voor ontbrekende gegevens; # p<.10; * p<.05; ** p<.01 De gemiddelde achterstand van allochtone leerlingen op de Begrippentoets is het grootst voor de groep leerlingen die geen voorschoolse voorzieningen hebben bezocht: deze groep scoort ruim 7 punten lager dan de autochtone leerlingen zonder voorschoolse ervaring. Bij de groepen die wel voorschoolse voorzieningen bezochten is de achterstand van de allochtone leerlingen minder (ongeveer 5 punten). Ook na correctie voor verschillen in covariaten blijft dezelfde tendens bestaan. Ook bij de Ordenentoets is de achterstand van allochtone leerlingen bij de groep die geen voorschoolse voorziening bezocht het grootst. Na correctie voor covariaten zijn er echter nauwelijks meer verschillen. Deze uitkomsten wijzen daarmee in de richting van een extra voordeel op het gebied van taal voor allochtone leerlingen die voorschoolse voorzieningen hebben
62
bezocht. Op het domein dat door de Ordenentoets wordt bestreken lijkt er geen sprake te zijn van een extra voordeel.
63