Early Childhood Education and Care (ECEC) in Vlaanderen: Een evaluatiekader met speciale aandacht voor kansarme gezinnen Elien Lemmens & Steven Groenez September 2013 VLAS-Studies 11
Het Vlaams Armoedesteunpunt is een samenwerkingsverband van UA, KU Leuven, KdG-Hogeschool en UGent.
Gelieve naar deze publicatie te verwijzen als volgt: Lemmens, E., Groenez, S. (2013), Early Childhood Education and Care (ECEC) in Vlaanderen: Een evaluatiekader met speciale aandacht voor kansarme gezinnen, VLAS-Studies 11, Antwerpen: Vlaams Armoedesteunpunt. Voor meer informatie over deze publicatie:
[email protected] of
[email protected] Deze studie werd uitgevoerd in het kader van het Vlaamse armoedesteunpunt en werd gefinancierd door de Vlaams Minister bevoegd voor Armoedebestrijding, Ingrid Lieten. De conclusies van deze publicatie vertolken niet noodzakelijk de visie van de opdrachtgever. Het VLAS bestaat uit onderzoekers die vanuit verschillende disciplines en perspectieven samen werken. De inhoud en de conclusies van deze publicatie vertolken enkel de visie van de auteurs.
© 2013 Vlaams Armoedesteunpunt p.a. Vlaams Armoedesteunpunt Centrum OASeS Sint Jacobstraat 2 (M232) 2000 Antwerpen Deze publicatie is ook beschikbaar via www.vlaamsarmoedesteunpunt.be
2
Inhoudsopgave 1. 2.
Inleiding: ECEC in de strijd tegen armoede ............................................................. 4 Wat is ECEC en (hoe) werkt het?............................................................................ 6 2.1. 2.1.1.
Doelgroep ....................................................................................................................................................6
2.1.2.
Setting ...........................................................................................................................................................7
2.1.3.
Functie ..........................................................................................................................................................7
2.2.
4.
Enkele (positieve) effecten ..................................................................................................................8
2.2.2.
Werkzame factoren .................................................................................................................................9
6. 7.
Het Vlaamse ECEC landschap .......................................................................................................... 10
Theoretisch kader: De effectladder (Veerman & Van Yperen, 2007) ..................... 12 3.1.
‘Evidence-based Practice’ en ‘Randomized Controlled Trials’ .......................................... 12
3.2.
Praktijkgestuurd effectiviteitsonderzoek .................................................................................. 13
3.3.
De effectladder: Een goed stuk gereedschap ............................................................................ 14
3.4.
Evaluatie is meer dan effectiviteit ................................................................................................. 16
Literatuurstudie: ECEC in het buitenland ............................................................. 18 4.1.
Selectie van buitenlandse ECEC programma’s ......................................................................... 18
4.2.
Focus van de literatuurstudie .......................................................................................................... 19
4.3.
Evaluatieactiviteiten ............................................................................................................................ 20
4.3.1.
Vooronderzoek ....................................................................................................................................... 20
4.3.2.
Implementatieonderzoek .................................................................................................................. 22
4.3.3.
Effectenonderzoek ................................................................................................................................ 24
4.3.4.
Lokale contextanalyse ......................................................................................................................... 30
4.3.5.
Kosten-batenanalyse ........................................................................................................................... 32
4.3.6.
Ondersteuning van lokale evaluaties ........................................................................................... 33
4.4.
5.
Wat werkt en voor wie? ........................................................................................................................8
2.2.1. 2.3.
3.
ECEC typologie ..........................................................................................................................................6
Algemene opmerkingen ..................................................................................................................... 34
Aanbevelingen voor evaluaties bij Vlaamse ECEC voorzieningen .......................... 35 5.1.
Niveau 0: Impliciete kennis .............................................................................................................. 35
5.2.
Niveau 1: Goed beschreven .............................................................................................................. 36
5.3.
Niveau 2: Theoretische bewijskracht ........................................................................................... 36
5.4.
Niveau 3: Indicatieve bewijskracht over effectiviteit ........................................................... 37
5.5.
Niveau 4: Causale bewijskracht over effectiviteit .................................................................. 39
Conclusie ............................................................................................................ 40 Literatuur............................................................................................................ 41
3
1. Inleiding: ECEC in de strijd tegen armoede Eén op tien Vlamingen is arm. Oftewel: 9,8% van de Vlamingen woont in een gezin met een inkomen onder de armoederisicodrempel1 (Studiedienst van de Vlaamse Regering, 2013). Hoewel Vlaanderen met dit cijfer relatief goed scoort binnen Europa (dat een gemiddeld armoedepercentage van 17% heeft), is armoede en sociale uitsluiting ook bij ons een persistent maatschappelijk probleem dat blijvende aandacht vraagt. De Vlaamse regering heeft zich er zodoende toe verbonden een integraal armoedebeleid te voeren dat dit cijfer fors moet doen dalen tegen 2020. Kinderen vormen binnen dit beleid een belangrijke aandachtsgroep waarop extra ingezet wordt met de bedoeling het aantal kinderen dat in armoede geboren wordt te kunnen halveren. Helaas kan er echter weinig vooruitgang vastgesteld worden. De Vlaamse Armoedemonitor (Studiedienst van de Vlaamse Regering, 2013) rapporteert een min of meer stabiel cijfer van 10% de voorbije jaren wat betreft het aantal kinderen tussen 0 en 17 jaar dat leeft in een gezin met een inkomen onder de armoederisicodrempel. De kansarmoedeindicatoren van Kind en Gezin2 schetsen zo mogelijk een nog negatiever beeld, daar zij aantonen dat het aantal kinderen geboren in kansarme gezinnen de voorbije jaren zelfs gestegen is. Om het kinderarmoedebeleid kracht bij te zetten, werd het Vlaams Actieplan Armoedebestrijding (Vlaamse Overheid, 2010) aangesterkt door een Vlaams Actieprogramma Kinderarmoede (Vlaamse Regering, 2011), en wordt ook in het kader van Vlaanderen in Actie kinderarmoede vooropgesteld als topprioriteit. Het Vlaamse Actieprogramma Kinderarmoede (Vlaamse Regering, 2011) werd verder uitgediept eind 2011 tijdens een Studio Kinderarmoede (Eeman & Nicaise, 2012), waarbij een groep nationale en internationale experts de hoofden bij elkaar stak om over kinderarmoede in Vlaanderen te debatteren en tot innovatieve beleidsaanbevelingen te komen. Om kinderarmoede effectief te kunnen terugdringen moet er volgens hen een proactief twee-generatiebeleid tot stand komen. Proactiviteit duidt hier op een combinatie van preventie en promotie, waarbij aandacht niet enkel besteed wordt aan het vermijden of verminderen van risico’s maar waar ook beschermende factoren gestimuleerd worden. De focus dient ook te liggen bij zowel de ouders als de kinderen, gezien de intergenerationele aard van de armoedeproblematiek. Een belangrijke piste voor het realiseren van deze maatschappelijke toekomstvisie betreft het inzetten op voorschoolse educatie en zorg, beter bekend als ECEC (Early Childhood Education and Care) in de internationale literatuur. De Vlaamse regering moet met andere woorden afwijken van het gebruikelijke curatieve beleid, want voorkomen (en stimuleren) is beter dan genezen. Het belang van ECEC in de strijd tegen armoede wordt ook in het recente VLAS rapport ‘Ongelijkheid begint in de wieg’ in de verf gezet (Vandenbroeck, 2013).
1
De armoederisicodrempel ligt op 60% van het gestandaardiseerde mediaan inkomen in België. Kansarmoede wordt hier gedefinieerd als het ondermaats scoren op 3 van de volgende 6 indicatoren: beschikbaar maandinkomen gezin, opleiding ouders, arbeidssituatie ouders, stimulatieniveau kinderen, huisvesting gezin en gezondheid gezin. 2
4
Deze visie wordt eveneens ondersteund door onderzoek vanuit diverse wetenschappelijke hoeken waaronder de ontwikkelingspsychologie, pedagogiek, neurologie en economie. Het werk van gerenommeerd econoom James Heckman (bvb. Cunha, Heckman, Lochner & Masterov, 2006; Heckman, 2008) integreert verschillende van deze inzichten in een dynamische theorie over de menselijke vaardigheidsontwikkeling die stelt dat “skill begets skill” (Heckman, 2008, p. 290). Menselijke vaardigheden die op jonge leeftijd ontwikkeld worden vormen niet alleen het startkapitaal voor de ontwikkeling van latere cognitieve en sociale vaardigheden maar beïnvloeden ook de snelheid van die latere ontwikkeling. Dit accumulatieve mechanisme gaat gepaard met gevoelige periodes in de neurologische ontwikkeling van het kind tijdens de eerste levensjaren, gedurende welke adequate educatie en zorg optimale resultaten kunnen leveren. Anderzijds kunnen zwakke vroege investeringen, gerelateerd aan het opgroeien in armoede bijvoorbeeld, langdurige negatieve effecten hebben die later moeilijk te compenseren zijn (Meurs, Luyten & Jullian, 2006). Deze stroming vindt ook gehoor in de rest van Europa en werd geëxpliciteerd in het EU document “Early Childhood Education and Care: Providing all our children with the best start for the world of tomorrow” (European Commission, 2011). Vanuit die hoek dus ook het pleidooi om te focussen op de allerjongsten (én hun ouders). Om doeltreffend te kunnen inzetten op ECEC in Vlaanderen is het noodzakelijk dat we reeds bestaande voorzieningen systematisch evalueren. Dit kan er voor zorgen dat het veel besproken ‘buikgevoel’ van praktijkwerkers betreffende effectiviteit omgezet kan worden in meetbare resultaten en meer ‘evidence-based practice’. Gestroomlijnde voorzieningen en positieve evaluaties vergroten niet enkel het maatschappelijk draagvlak voor (kinder)armoedebestrijding, maar kunnen er ook toe bijdragen dat ‘good practices’ op grotere schaal kunnen overgedragen worden, en dat schaarse financiële middelen zo efficiënt mogelijk besteed kunnen worden. De focus dient hierbij vooral te liggen op het opwaarderen van bestaande praktijken ten einde de dienstverlening te verbeteren, eerder dan op het opleggen van ‘bewezen effectieve’ werkwijzen die niet bij de praktijk aansluiten. Het ultieme doel van dit rapport is het ontwikkelen van een flexibel evaluatiekader voor Vlaamse twee-generatieprogramma’s die inzetten op ontwikkelingsstimulering en opvoedingsondersteuning bij kansarme gezinnen met kinderen tussen 0 en 3 jaar. Aan de hand van een literatuurstudie van soortgelijke programma’s in het buitenland, zal dit rapport trachten de essentiële componenten van een grondige proces- en effectevaluatie naar voren te schuiven. De effectladder van Veerman en Van Yperen (2007) zal doorheen dit rapport gehanteerd worden als theoretisch kader. Alvorens hier dieper op in te gaan, wordt er een beeld geschetst van wat ECEC precies is, hoe en of het werkt en welke (positieve) effecten ECEC initiatieven teweeg kunnen brengen bij de kansarme doelgroep.
5
2. Wat is ECEC en (hoe) werkt het? De OESO en de EU definiëren Early Childhood Education and Care (ECEC) als “all arrangements providing care and education for children 0 to compulsory school age, regardless of setting, funding, opening hours, or programme content” (OECD, 2006). Ze hanteren hiermee een brede conceptualisering van ECEC waarbij aandacht besteed wordt aan de manier waarop een combinatie van beleidsmaatregelen, voorzieningen, het gezin en de gemeenschap jonge kinderen kan stimuleren in hun ontwikkeling. In het kader van dit rapport zullen we specifiek focussen op preventieve ontwikkelingsstimulerende en opvoedingsondersteunende voorzieningen die (niet noodzakelijk uitsluitend) gericht zijn op kansarme kinderen en hun ouders. In deze context maakt ECEC deel uit van een integraal armoedebeleid dat eveneens oog heeft voor tewerkstelling, huisvesting, gezondheid en andere relevante sectoren. Gezien het cruciale belang van de eerste levensjaren voor de menselijke vaardigheidsontwikkeling (zie 1. Inleiding: ECEC in de strijd tegen armoede), staan ECEC initiatieven voor gezinnen met kinderen tussen 0 en 3 jaar centraal. Dit hoofdstuk zal trachten een kort overzicht te bieden van de verschillende mogelijke vormen van ECEC, de effecten die deze voorzieningen teweeg kunnen brengen en de werkzame factoren die hiertoe bijdragen. Ten slotte wordt het Vlaamse ECEC landschap kort in beeld gebracht.
2.1.
ECEC typologie
ECEC typologieën maken een onderscheid tussen de verschillende soorten voorzieningen op basis van onder andere de bereikte doelgroep (bvb. algemene populatie, risicogroep), de setting (bvb. huisbezoek, verblijf in dagcentrum) en de functie van de ECEC voorziening (bvb. sociale steun, pedagogisch advies). Wel moet er gezegd worden dat de bediscussieerde verschillen in de praktijk vaak moeilijker te onderscheiden zijn.
2.1.1. Doelgroep Vele spelers in het ECEC aanbod, zoals de generieke kinderopvang, zijn universele voorzieningen die hun diensten aan de algemene populatie aanbieden, zodat kansarme gezinnen in principe even gemakkelijk de weg zouden moeten vinden naar deze voorzieningen als het gemiddelde gezin. In de realiteit is er echter vaak sprake van een Matteüseffect, waarbij hogere inkomensgroepen relatief gezien meer sociale overheidsuitgaven naar zich toe trekken en zo meer voordeel halen uit voorzieningen zoals de kinderopvang (Deleeck, Huybrechs & Cantillon, 1983). Om deze ongelijkheid tegen te gaan, worden er wel eens prioriteitscriteria gehanteerd of wordt er een voorrangsbeleid voor kansarme (en andere kwetsbare) gezinnen opgezet, niet altijd met het gewenste effect als resultaat. Er bestaan echter ook ECEC voorzieningen, vaak op kleinere schaal, die zich specifiek toeleggen op het bereiken van kansarme gezinnen (en/of andere kwetsbare doelgroepen zoals etnischculturele minderheden). Het voordeel hiervan is dat de specifieke gezinsproblematiek meer naar 6
de voorgrond treedt en er doelgerichter met de gezinnen samengewerkt kan worden om de ontwikkelingskansen van het kind te optimaliseren. Bij dergelijke voorzieningen dreigt echter wel het gevaar van stigmatisering en verdere sociale uitsluiting indien men niet op een voldoende sensitieve manier te werk gaat. De Studio experts (Eeman & Nicaise, 2012) pleiten voor een progressief universalistisch beleid, waarbij er sprake is van een kwaliteitsvol aanbod dat voor iedereen beschikbaar is maar waarbij meer ondersteuning geboden wordt aan kinderen en gezinnen met de meeste noden. Universele voorzieningen en doelgroepgerichte voorzieningen sluiten elkaar dus geenszins uit maar maken samen deel uit van één verhaal waarbij men integraal op verschillende domeinen werkt.
2.1.2. Setting Wat betreft de setting, wordt er vaak een onderscheid gemaakt tussen enerzijds centrumgerichte en anderzijds gezinsgerichte ECEC programma’s. Centrumgerichte voorzieningen leggen zich voornamelijk toe op het stimuleren van de ontwikkeling van het kind in de context van peuter- en kleuterklassen of de kinderopvang. Gezinsgerichte programma’s worden daarentegen ingezet binnen de thuiscontext en richten zich vaak op het ondersteunen van de ouders in de opvoeding, in de hoop zo de ontwikkeling van het kind positief te beïnvloeden. Er bestaan echter ook centrumgerichte ECEC voorzieningen die aandacht besteden aan de opvoeding door de ouders en vice versa (zie 2.1.3. Functie). Het onderscheid tussen centrumgerichte en gezinsgerichte voorzieningen resulteert eveneens vaak in een onderscheid tussen respectievelijk groepsbegeleiding en individuele ondersteuning, hoewel ook dit geen perfecte correlatie is. Sommige deskundigen zijn van mening dat ECEC voorzieningen, en dan vooral de centrumgerichte, te veel inzetten op cognitieve doelen en niet voldoende aandacht besteden aan de sociaal-emotionele ontwikkeling van het kind en de bredere gezinscontext (bvb. Heckman, Pinto & Savelyev, 2012). Er wordt daardoor vaak gepleit voor combinatieprogramma’s die preventief inzetten op ouders en kinderen, in zowel centra als binnen het gezin, en op verschillende domeinen. Dit past ook mooi binnen het plaatje van een proactief tweegeneratiebeleid vooropgesteld door de Studio experts (Eeman & Nicaise, 2012).
2.1.3. Functie ECEC voorzieningen onderscheiden zich bovendien van elkaar wat betreft hun functieprofiel, dat sterk afhankelijk is vooral van de setting van de voorziening, en de volgende vormen (of een combinatie ervan) kan aannemen (Nys, 2010):
Informatie en voorlichting; Praktisch pedagogische of instrumentele steun; Emotionele steun; Sociale samenhang stimuleren, sociale steun en zelfhulp bevorderen; Vroegtijdige detectie en doorverwijzing; Pedagogisch advies en ambulante begeleiding; Intensievere laagdrempelige hulp. 7
De verschillende functies gaan vanzelfsprekend gepaard met verschillen in de duur en intensiteit van de begeleiding, factoren die een belangrijke invloed hebben op de werking van ECEC voorzieningen (zie 2.2.2. Werkzame factoren). ECEC voorzieningen voeren vaak een combinatie van deze functies uit, die in de praktijk niet altijd goed van elkaar te onderscheiden zijn. Wel kan er geconstateerd worden dat er nog gesleuteld dient te worden aan de twee-generatie aanpak, aangezien er vooral gefocust wordt op uitkomsten op kindniveau en de noden van de ouders en de rest van het gezin veel minder vaak en onvoldoende aan bod komen.
2.2.
Wat werkt en voor wie?
Om ECEC voorzieningen in de toekomst doelgericht te kunnen inzetten in de strijd tegen (kinder)armoede, is het niet enkel noodzakelijk om te weten of deze hun vruchten afwerpen maar ook waarom en voor wie dit al dan niet het geval is. Aangezien ECEC evaluaties in Vlaanderen momenteel schaars zijn (zie wel bvb. De Haene & Colpin, 2010; van den Berg, Vanderfaeillie & Grietens, 2009; Vanderfaeillie & De Maeyer, 2008), werpen we in wat volgt een blik op evaluatieonderzoek uit het buitenland.
2.2.1. Enkele (positieve) effecten Resultaten van individuele effectenstudies zijn vaak tegenstrijdig, wat grotendeels verklaard kan worden door de sterke impact van het type voorziening en de kwaliteit van de dienstverlening op programma-effectiviteit. Bijgevolg richten we ons tot enkele grootschalige meta-analyses uit Europa en Noord-Amerika om een algemeen zicht te krijgen op de (positieve) effecten van ECEC. Voor een meer gedetailleerd overzicht van evaluatieonderzoek uit het buitenland, zie het VLAS rapport ‘Ongelijkheid begint in de wieg’ (Groenez & Vandenbroeck, 2013). De meta-analyse van Blok en collega’s (Blok, Fukkink, Gebhardt & Leseman, 2005) toont gematigd positieve effecten op de cognitieve vaardigheidsontwikkeling van het kind, maar stelt dat de effecten op sociaal-emotioneel vlak niet significant zijn. Centrumgerichte en combinatieprogramma’s blijken effectiever dan gezinsgerichte programma’s en effecten waargenomen op korte termijn doven uit over tijd. Gorey (2001) treedt deze conclusies enigszins bij met significante positieve effecten op cognitief vlak, maar constateert daarentegen wel lange termijn effecten op onder meer schoolresultaten, economische status, criminaliteit, tienerzwangerschap en afhankelijkheid van sociale bijstand. Het valt op dat vooral de effecten op sociaal-emotioneel vlak minder duidelijk zijn, omdat ze vaak simpelweg niet gemeten worden. Anderzijds bestaat er wel degelijk onderzoek dat aantoont dat ECEC voorzieningen een positief effect kunnen hebben op de sociaal-emotionele vaardigheden van een kind, en dat net deze vaardigheden van groot belang zijn op lange termijn wanneer de cognitieve voordelen uitdoven (Heckman, Malofeeva, Pinto & Savelyev, 2010). Effecten van ECEC op de ouders worden evenals minder vaak gemeten en/of gerapporteerd. Eén van de weinige meta-analyses die hier wel specifiek op ingaat, is die van Benasich en collega’s (Benasich, Brooks-Gunn & Clewell, 1992). Die toont aan dat ECEC voorzieningen een positieve 8
invloed hebben op het opleidingsniveau en de werkgelegenheid van de moeder, alsook op het aantal kinderen en de verstreken tijd tussen zwangerschappen. De interactie tussen moeder en kind wordt eveneens bevorderd en ook opvoedingsattitudes (bvb. m.b.t. schoolprestaties van het kind) evolueren in de positieve zin. ECEC voorzieningen kunnen ook de mentale gezondheid en het zelfvertrouwen van de moeder ten goede komen, hoewel dit minder vaak aangetoond werd. Verder dient er nog gewezen te worden op de financiële kosten en baten van ECEC programma’s. Onderzoek heeft meermaals aangetoond dat investeringen in ECEC programma’s in staat zijn kosten te drukken en baten te genereren onder meer op vlak van onderwijs, gezondheidszorg, sociale bijstand, belastingen, werkgelegenheid en criminaliteit (bvb. Carneiro & Heckman, 2003; Cunha e.a., 2006; Barnett & Masse, 2007). Bovendien renderen ECEC voorzieningen meer dan maatregelen die getroffen worden tijdens de latere school- of werkloopbaan, hoewel een combinatie optimaal is (Cunha e.a, 2006). Wel moeten we ons behoeden voor simplistische conclusies aangezien de meerderheid van kosten-batenanalyses (en onderzoek in het algemeen) bij ECEC programma’s verricht werd in de Verenigde Staten en er fundamentele verschillen bestaan tussen de VS en Vlaanderen wat betreft type ECEC en de structurele context (zie ook 3.1. ‘Evidence-based Practice’ en ‘Randomized Controlled Trials’). Ten slotte dienen we nog even stil te staan bij de groepsspecificiteit van de bovengenoemde effecten. Voor wie werken ECEC voorzieningen? Verschillende bronnen (bvb. Burger, 2010; Magnuson, Ruhm & Waldfogel, 2007) beamen de meerwaarde van ECEC programma’s voor de algemene doelgroep van jonge kinderen, maar wijzen er bovendien op dat kwetsbare kinderen en gezinnen er meer voordeel uit kunnen halen. Ook wat betreft de kostenbatenbalans kan dit argument doorgetrokken worden: voor kinderen uit gezinnen met een lage sociaaleconomische status ligt het rendement van ECEC hoger en is het verschil in rendement tussen ECEC en latere maatregelen nog groter (Cunha e.a, 2006). ECEC blijkt dus vooral (maar niet enkel) voordelig te zijn voor de kansarme doelgroep, hetgeen uiteraard van groot belang is in het kader van dit rapport. Globaal gezien wijst de evaluatieliteratuur vooral op de positieve effecten van ECEC voorzieningen met enkele uitzonderingen. Bepaalde studies slaagden er niet in om enig effect vast te stellen (bvb. Caille, 2001) en andere constateerden zelfs dat positieve effecten op cognitief vlak gepaard kunnen gaan met negatieve effecten op de sociaal-emotionele ontwikkeling van het kind (Magnuson e.a., 2007). Wel moet er gezegd worden dat deze niet-bestaande of negatieve effecten vaak toegeschreven kunnen worden aan wisselvallige kwaliteit en een excessieve focus op de cognitieve ontwikkeling van het kind. Het blijft uiteraard ook moeilijk om ECEC voorzieningen als geheel te beoordelen gezien de enorme diversiteit aan programma’s.
2.2.2. Werkzame factoren In wat nu volgt geven we een overzicht van de werkzame factoren in ECEC programma’s zoals geïdentificeerd in de dossiers “Wat werkt?” van het Nederlands Jeugdinstituut, die gebaseerd zijn op een reeks van internationale literatuurstudies. We baseren ons specifiek op de dossiers “Wat werkt bij onderwijsachterstanden?” en “Wat werkt bij opvoedingsondersteuning?” (Ince, 2011; Mutsaers, Zoons & De Baat, 2012). 9
Ten eerste zijn er enkele algemene werkzame ingrediënten die ongeacht het type programma of het specifieke doel de werkzaamheid van een ECEC voorziening bekrachtigen:
Regelmatige evaluatie met observatie- en toetsingmethoden; Opstellen en evalueren van beleidsplannen; Professionaliteit van de uitvoerders, algemeen en programmaspecifiek; Slagvaardige leiding, consensus binnen het team over uitgangspunten en doelen, nascholingsplannen voor de uitvoerders.
Vervolgens lijsten we enkele meer specifieke werkzame factoren op die vooral van toepassing zijn op centrumgerichte programma’s met een focus op ontwikkelingsstimulering:
Een adequate pedagogisch-didactische benadering; Gerichtheid op meerdere ontwikkelingsdomeinen; Intensiteit van minimaal drie – liever vier – dagdelen per week; Doorgaande lijn van voorschoolse naar vroegschoolse periode; Kleine groepen en dubbele bezetting (gunstige kind-stafratio); Ouderbetrokkenheid.
Ook voor programma’s met een focus op opvoedingsondersteuning (die vaak uitgevoerd worden in de gezinscontext) kunnen we een aantal werkzame ingrediënten aanduiden: Gestructureerd en gestandaardiseerd curriculum; Gericht op concrete doelen; Duur van de interventie is afgestemd op de aard, zwaarte en complexiteit van de problematiek; Aansluiting bij de wijze waarop ouders en kinderen zelf hun problemen ervaren; Gericht op empowerment, het weer grijp krijgen op het eigen leven; Gericht op het activeren van sociale netwerken rond ouders en kinderen; Persoonlijke kwaliteiten van de uitvoerder, zoals empathisch vermogen en een respectvolle houding; Goede relatie tussen begeleider en ouder; Kwaliteitsbewaking van de uitvoering van de interventie; Opleiding, begeleiding en stabiele bezetting van uitvoerders. Dit overzicht maakt onmiddellijk duidelijk dat niet enkel de inhoudelijke focus van een ECEC programma van belang is, maar dat ook aan verschillende procesmatige en structurele randvoorwaarden moet voldaan worden (zie ook Vandenbroeck, 2013). Bovendien benadrukt het dat evaluatie fundamenteel deel uitmaakt van een succesvol ECEC aanbod.
2.3.
Het Vlaamse ECEC landschap
Het ECEC aanbod in Vlaanderen wordt gekenmerkt door een ‘split system’, waarbij een duidelijk onderscheid gemaakt kan worden tussen enerzijds zorg en educatie voor kinderen onder de 3 jaar en anderzijds het formele kleuteronderwijs vanaf 2,5 jaar (European Commission, 2011). Gezien 10
de focus van dit rapport, beperkt het volgende overzicht zich tot ECEC voorzieningen gericht op gezinnen met kinderen tussen 0 en 3 jaar. Vlaanderen heeft een heel uiteenlopend gamma aan ECEC voorzieningen voor deze leeftijdsgroep, die sterk verschillen in de beoogde doelgroep, setting en functies die ze uitoefenen. Enkele grootschalige, structureel gefinancierde initiatieven zijn de kinderopvang, de preventieve gezinsondersteuning van Kind & Gezin, Inloopteams, Opvoedingswinkels, Centra voor Kinderzorg en Gezinsondersteuning (CKG’s) en de gezinsondersteunende pleegzorg (Schiettecat, 2013). Dit aanbod omvat zowel universele voorzieningen, zoals de preventieve gezinsondersteuning van Kind & Gezin (waar de meerderheid van de Vlaamse gezinnen ook effectief gebruik van maakt), als doelgroepgerichte voorzieningen, zoals de Inloopteams die zich specifiek richten op kwetsbare gezinnen in achtergestelde buurten. De kinderopvang is het voorbeeld bij uitstek van een centrumgerichte voorziening, maar ook gezinsgerichte diensten zijn in aanbod bijvoorbeeld bij de CKG’s. De vernoemde voorzieningen oefenen een combinatie van functies uit, met grote verschillen in de duur en intensiteit van de begeleiding tot gevolg. Verder zijn er nog talrijke non-profit organisaties die op kleinere en vaak lokale schaal, soms met kortstondige financiering van de overheid, werken rond ontwikkelingsstimulering en opvoedingsondersteuning. De ECEC initiatieven in Vlaanderen worden bijgestaan in hun belangrijke maatschappelijk taak door het Expertisecentrum Opvoedingsondersteuning (EXPOO), dat als doel heeft relevante informatie ter beschikking te stellen en actoren in het werkveld te ondersteunen. Meer ‘evidence’ voor de effectiviteit van ECEC in Vlaanderen zou ook hen kunnen helpen om hun ondersteunende taak beter uit te voeren.
11
3. Theoretisch kader: De effectladder (Veerman & Van Yperen, 2007) Alvorens we het theoretisch kader van de effectladder (Veerman & Van Yperen, 2007) toelichten, gaan we dieper in op de toenemende aandacht voor ‘evidence-based practice’ (EBP) waarin deze evaluatieoefening bij ECEC voorzieningen zich situeert.
3.1.
‘Evidence-based Practice’ en ‘Randomized Controlled Trials’
Er bestaat geen twijfel over dat er een toenemende vraag is naar ‘evidence-based practice’ (EBP) in verschillende publieke domeinen zoals de gezondheidszorg, de arbeidsmarkt en het onderwijs, en bijgevolg ook in het ECEC domein. Beleidsmakers moeten de evidence over effectiviteit van voorzieningen en methodieken kunnen raadplegen om geïnformeerde beleidsbeslissingen te kunnen nemen en beperkte middelen te kunnen toewijzen. De vraag is echter wat men verstaat onder evidence. In de klassieke evaluatieliteratuur wordt voortdurend het belang onderstreept van gestandaardiseerde experimentele methoden voor het bestuderen van effectiviteit en het vinden van evidence. In die lijn beweren Kazdin en Weisz (2003, p. xiii) bijvoorbeeld dat om als evidencebased beschouwd te worden “treatments must use replicable procedures, must be evaluated in well-controlled experiments, and must show replications of the effects so there are assurances that any seemingly wonderful effect or outcome in fact can be reproduced, ideally by others”. In deze visie wordt de Randomized Controlled Trial (RCT) iedere keer naar voor geschoven als de gouden standaard. Een RCT hanteert strikte inclusiecriteria voor zijn deelnemers, randomiseert de toewijzing van deelnemers aan de interventiegroep versus de controlegroep, en tracht gedurende het gehele proces zoveel mogelijk interveniërende variabelen te controleren met de bedoeling een zo stabiel mogelijke onderzoeksomgeving te creëren en alternatieve verklaringen voor een effect uit te sluiten. Zie Figuur 1 voor een schematische voorstelling van de klassieke RCT set-up. Figuur 1: Randomized Controlled Trial (RCT) Set-up Interventiegroep
Populatie
Steekproef
Inclusiecriteria
Selectie steekproef
Followup
Vergelijk resultaten
Randomisatie
Controlegroep
Followup
12
Wanneer we echter de ECEC evaluatieliteratuur onder de loep nemen, wordt snel duidelijk dat er in Europa weinig voorbeelden van RCT’s beschikbaar zijn. In de Verenigde Staten vinden we wel meerdere voorbeelden van ECEC praktijken onderworpen aan een RCT, zoals het gerenommeerde High Scope Perry Preschool project (Schweinhart, Barnes & Weikart, 1993) en het Abecedarian project (Campbell, Helms, Sparling & Ramey, 1998). Deze programma’s zijn wat men noemt ‘modelprogramma’s’, die in de jaren 60 en 70 opgestart werden door universitaire instellingen in de VS onder zeer gunstige uitvoeringscondities (hoge intensiteit, hoge opleiding van begeleiders, kleine groepen, frequente contacten met ouders, enz.) en waarbij evaluatiekaders van bij het begin in het programma ingebed werden en een RCT set-up zodoende mogelijk was. Deze praktijken onderscheiden zich van de meerderheid van voorzieningen die zich op een eerder ‘organische’ manier ontwikkelen onder minder gunstige omstandigheden en die ook het Vlaamse ECEC landschap kenmerken (Leseman & Blok, 2004). Hoewel een groot aantal academici beamen dat de RCT set-up een gepaste evaluatiemethode kan zijn om de effectiviteit van ECEC programma’s in kaart te brengen wanneer toegepast onder bepaalde voorwaarden, zijn er ook een aantal nadelen aan verbonden. Een argument dat vaak aangehaald wordt tegen het gebruik van RCT’s is dat het quasi onmogelijk is om willekeurig deelnemers toe te wijzen wanneer het een evaluatie van een bestaand ‘organisch’ ontwikkeld programma betreft. Bovendien zijn er ook ethische bezwaren verbonden aan randomisatie, aangezien de controlegroep de kans ontnomen wordt om deel te nemen aan een potentieel effectief programma dat hen betere ontwikkelingskansen zou kunnen bieden. Ook op andere vlakken is een RCT moeilijk te implementeren in een ECEC setting: het controleren van interveniërende contextvariabelen is moeilijk (al dan niet onmogelijk) wanneer een RCT buiten een labsetting gebeurt en de ‘interventie’ in een ECEC programma is veel diffuser dan bijvoorbeeld het geval is bij een klinische RCT. Als men er dan al in slaagt een RCT op te zetten, is er nog het gebrek aan ecologische validiteit, een begrip dat duidt op de mate waarin de onderzoeksresultaten overeenkomen met de dagdagelijkse praktijk. De meeste ECEC voorzieningen zullen echter nooit voldoen aan de strikte criteria voor inclusie in een RCT, met het gevolg dat RCT’s soms vroegtijdig en onnodig toegepast worden op programma’s die nog niet volledig ontwikkeld zijn en waarvoor programmatheorieën onvoldoende uitgewerkt zijn. Dit leidt vaak tot de simpele vaststelling dat een bepaald ECEC programma niet werkt, zonder dat men kan achterhalen waarom dit het geval is. Er bestaat een duidelijke kloof tussen de klassieke evaluatiestroming enerzijds, die veel belang hecht aan “traditional characteristics of *…+ excellence such as standardization of inputs, consistency of intervention, uniformity of outcomes, and clarity of causal linkages”, en praktijkwerkers anderzijds, die uitgaan van een wereld van “multiple causes, diversity of outcomes, inconsistency of interventions *and+ interactive effects at every level” (Patton, 1994, p. 313). De vraag is nu hoe we deze kloof best overbruggen in onze zoektocht naar evidence-based practice.
3.2.
Praktijkgestuurd effectiviteitsonderzoek
Praktijkgestuurd effectiviteitsonderzoek heeft als hoofddoel het overbruggen van deze kloof tussen wetenschap en praktijk en hanteert hierbij de volgende principes (Van Yperen & Veerman, 13
2008). Eerst en vooral dient er aansluiting gezocht te worden bij het ontwikkelingsniveau van de praktijk. Dit ontwikkelingsniveau wordt aangegeven door de mate waarin de te onderzoeken interventie te omschrijven, te onderbouwen en over te dragen is. Bovendien moet er sprake zijn van inbedding, waarbij het evaluatieonderzoek procedureel deel uitmaakt van de uitgevoerde interventie en een beperkte ‘extra last’ met zich meebrengt voor de praktijkwerkers. Ten laatste dient er benutting te zijn van de onderzoeksresultaten. Deze benutting begint op het uitvoeringsniveau bij individuele diagnostiek en evaluatie van de voortgang. Van daaruit kunnen gegevens dan naar hogere niveaus geaggregeerd worden, waar ze een rol krijgen op beleidsniveau. Onderzoek wordt op deze manier opgenomen in een cyclus van praktijkverbetering. Deze werkwijze biedt ook onmiddellijk een ander perspectief op het gebied van evidence-based practice. Terwijl het klassieke concept van EBP veelal verwijst naar een top-down benadering waarbij een ‘bewezen effectieve’ interventie in de praktijk geïmplementeerd wordt, wordt er in praktijkgestuurd effectiviteitsonderzoek veeleer bottom-up gewerkt. Hiermee wordt bedoeld dat een organisatie stelselmatig de effectiviteit van de interventies die ze inzet gaat onderzoeken en zichtbaar maken door ‘bewijzen’ uit de praktijk te verzamelen, een proces dat preciezer omschreven kan worden met de term ‘practice-based evidence’. Deze verschillende benaderingen sluiten elkaar echter niet uit, integendeel, ze kunnen elkaar aanvullen: kennis over wat werkt samen met kennis gebaseerd op systematische variaties in de praktijk, kan leiden tot een vermenigvuldiging van kennis. Op termijn leidt ‘practice-based evidence’ ook tot ‘evidence-based practice’, zoals weergegeven wordt in Figuur 2. Figuur 2: Evidence-based Practice vs. Practice-based Evidence (Bron: Van Yperen, Bijl & Veerman, 2006)
3.3.
De effectladder: Een goed stuk gereedschap
De effectladder (Veerman & Van Yperen, 2007) werd ontwikkeld binnen de Nederlandse jeugdzorg en biedt een praktische leidraad voor het werken rond effectiviteit binnen ECEC 14
voorzieningen vanuit een bottom-up benadering. Het betreft een ontwikkelingsmodel voor ECEC voorzieningen dat door middel van een stapsgewijs evaluatieproces de bewijskracht van de effectiviteit van een interventie vergroot en tegelijkertijd de kwaliteit van de interventie optimaliseert. Veerman en Van Yperen (2007) zien het evaluatieproces als volgt. In eerste instantie is er nood aan een degelijke omschrijving van de interventie (stap 1). De kernelementen (doel, doelgroep, aanpak), context en randvoorwaarden van een interventie moeten duidelijk beschreven zijn. Stap 2 vraagt om theoretische onderbouwing van de interventie. Er dient geëxpliciteerd te worden hoe door het inzetten van een bepaalde aanpak de gewenste uitkomst bij de beoogde doelgroep in een gegeven context bereikt kan worden. Vervolgens moet er op zoek gegaan worden naar een empirische onderbouwing (stap 3), die aantoont dat de doelen van de interventie bereikt zijn, de problemen zijn afgenomen en de cliënten tevreden zijn. Idealiter heeft die empirische onderbouwing een causale bewijskracht (stap 4). De effectladder reikt ook concrete evaluatiemethoden aan die in de praktijk kunnen toegepast worden, aangepast aan het ontwikkelingsstadium van de voorziening. Zie Figuur 3 voor een schematische voorstelling van de effectladder. Figuur 3: De Effectladder (Bron: Veerman & Van Yperen, 2007) Bewijskracht Omschrijving
Soorten onderzoek
Causaal
Experimenteel onderzoek
Indicatief
Theoretisch
Als 1 tot en met 3, maar nu is er evidentie dat positieve uitkomsten veroorzaakt worden door de interventie en is er zicht op de werkzame ingrediënten. Als 1 en 2, maar nu kan empirisch worden aangetoond dat de gestelde doelen zijn bereikt, problemen afgenomen en competenties toegenomen, en cliënten tevreden zijn. Als 1, maar nu is er ook een geloofwaardige interventietheorie over welke factoren met de problemen van de doelgroep samenhangen en waarom de interventie de beoogde uitkomsten bereikt.
Kwalificatieniveau 4. Werkzaam
Herhaalde casestudies (n=1) ------------------------------------------------Quasi-experimenteel onderzoek Veranderingstheoretisch onderzoek Normgerelateerd onderzoek
3. Doeltreffend
------------------------------------------------Veranderingsonderzoek Doelrealisatieonderzoek Cliënttevredenheidsonderzoek Meta-analyse
2. Veelbelovend
Literatuurstudie Kennisontlokkend onderzoek
15
Descriptief
De kernelementen van een interventie (doelgroep, interventie, uitkomsten), en de personele, organisatorische en materiële context en randvoorwaarden zijn duidelijk en begrijpelijk beschreven.
Descriptief onderzoek
1. Potentieel
Observationeel onderzoek Documentanalyse Interviews
Wat niet genoeg benadrukt kan worden is, dat wanneer interventies zich op het eerste ‘potentiële’ of het tweede ‘veelbelovende’ kwalificatieniveau bevinden, dit niet wil zeggen dat de interventie niet effectief is. Het is perfect mogelijk dat het onderzochte ECEC programma effectief is maar dat het simpelweg verder geconcretiseerd moet worden alvorens de bewijzen voor effectiviteit gevonden kunnen worden. De effectladder reikt ook concrete handvaten aan om een interventie verder te ontwikkelen indien de effectiviteit nog niet bewezen kan worden. Cruciaal hier is dat het kwalificatieniveau een indicator is van bewijskracht van effectiviteit en niet van effectiviteit zelf. Ook belangrijk is dat experimenteel onderzoek (in de vorm van een RCT) niet noodzakelijk is voor een niveau 4 kwalificatie maar dat bijvoorbeeld ook quasi-experimenteel onderzoek en herhaalde casestudies aanvaardbare evaluatiemethoden zijn. In het verlengde hiervan dient benadrukt te worden dat de effectladder toelaat om alle stakeholders op een democratische manier te betrekken in de evaluatie door ruimte te laten voor hun input in de initiële vormgeving en verdere ontwikkeling van het ECEC programma, alsook in de evaluatiecriteria. De effectladder wordt soms misleidend genoemd omdat de eerste drie treden zogezegd niets zouden zeggen over de effectiviteit van een interventie; RCT’s zouden volgens bepaalde critici de enige manier zijn om effectiviteit in kaart te brengen (Asscher & Stams, 2010). Van Yperen en Veerman (2011) weerleggen deze kritiek echter met de vaststelling dat goed effectiviteitsonderzoek voorbereiding vraagt, een interventie niet uit de lucht komt vallen en stapsgewijs ontwikkeld wordt, en dat een effectieve interventie niet zou bestaan zonder een goede omschrijving, theoretische onderbouwing en doeltreffende werking in de praktijk. Of met andere woorden: “Het bouwen van een effectieve interventie is een hele onderneming *en+ een ladder is daarbij een goed stuk gereedschap.”
3.4.
Evaluatie is meer dan effectiviteit
Hoewel de effectladder (Veerman & Van Yperen, 2007) zich vooral (maar niet uitsluitend) toelegt op het bewijzen van de effectiviteit van bepaalde programma’s door het in kaart brengen van de outcomes, is het bij een alomvattend evaluatieonderzoek ook belangrijk de verwante concepten input, proces, output, efficiëntie en impact in rekening te nemen. Onderstaand overzicht licht deze kernconcepten verder toe en Figuur 4 stelt de relaties tussen de verschillende concepten schematisch voor (Eeman, Vermeersch, Groenez, Vause & Raemdonck, 2012).
16
Input: de investeringen of inspanningen waarop de ECEC programma’s draaien. Processen: de manier waarop de ECEC programma’s geïmplementeerd worden. Output: de rechtstreekse prestaties van de ECEC voorzieningen. Outcomes: de veranderingen veroorzaakt bij de beoogde doelgroep door middel van het ECEC programma. Efficiëntie (of doelmatigheid): een intern georiënteerde vorm van prestatiemeeting. Efficiëntie duidt op de verhouding tussen de investeringen en inspanningen van de voorziening enerzijds en de rechtstreekse prestaties anderzijds. Er wordt een antwoord gezocht op de vraag: ‘Doet het programma de dingen op de juiste manier?’ Effectiviteit (of doeltreffendheid): een extern georiënteerde vorm van prestatiemeting. Effectiviteit duidt op de verhouding tussen de investeringen en inspanningen van de voorziening enerzijds en de veranderingen die deze veroorzaken bij de beoogde doelgroep anderzijds. Er wordt een antwoord gezocht op de vraag: ‘Resulteert het programma in de juiste dingen?’ Impact: de veranderingen veroorzaakt in de bredere omgeving van de doelgroep als gevolg van de beoogde outcomes (vaak op lange termijn). Hier wordt een antwoord gezocht op de vraag: ‘Wat betekenen de resultaten echt voor de doelgroep/bredere omgeving en hoe dragen ze bij tot het aanpakken van de globale problematiek?’ Figuur 4: Effectiviteit en Verwante Concepten (Bron: Eeman e.a., 2012)
Input
Processen
Output (prestaties)
Outcomes (effecten)
Impact
Ratio input/output = efficiëntie = doelmatigheid
Ratio input/outcomes = effectiviteit = doeltreffendheid Zoals eerder vermeld, tracht dit rapport een flexibel evaluatiekader uit te tekenen dat ECEC voorzieningen in staat stelt een grondige proces- en effectevaluatie uit te voeren (mits de nodige ondersteuning). Het begrip ‘proces- en effectevaluatie’ dient hier breed geïnterpreteerd te worden en verwijst impliciet ook naar de verwante concepten uitgetekend in bovenstaand figuur. Uiteraard bevinden we ons niet in een sociaal vacuüm en moet er naast deze kernconcepten ook rekening gehouden worden met beïnvloedende omgevingsfactoren.
17
4. Literatuurstudie: ECEC in het buitenland In het kader van de armoedebestrijding en volgens de theoretische en methodologische principes van de effectladder zal deze literatuurstudie trachten de verschillende componenten van een grondige proces- en effectevaluatie bij ECEC voorzieningen naar voren te schuiven.
4.1.
Selectie van buitenlandse ECEC programma’s
Deze literatuurstudie zal geen representatief beeld schetsen van evaluatieonderzoek in het buitenland, maar zal voortbouwen op een selectie van programma’s die als relevant beschouwd worden voor het Vlaamse evaluatiekader. Er werd beslist om enkel programma’s uit Europa op te nemen (ondanks de waaier aan ECEC programma’s in Noord-Amerika) gezien de betere vergelijkbaarheid van de context. Gemakshalve werden ook alleen programma’s geselecteerd waarover informatie beschikbaar is in het Engels of het Nederlands. Verder werden de buitenlandse programma’s vooral geselecteerd op basis van het hebben van een duidelijk uitgewerkt evaluatiekader en in mindere mate op de leeftijd van de doelgroep of de specifieke doelstellingen van het programma, ook al ligt de focus van de Vlaamse evaluatie specifiek op twee-generatieprogramma’s voor kinderen tussen 0 tot 3 jaar. Tabel 1 biedt een overzicht van de 12 geselecteerde ECEC programma’s, elk met het land van oorsprong, het type voorziening en de geraadpleegde evaluatieliteratuur. Tabel 1: Overzicht van Europese ECEC programma’s in de literatuurstudie Programma
Land
Type
Geraadpleegde literatuur
Sure Start
Verenigd Koninkrijk
Centrumgericht
National Evaluation of Sure Start (z.j.)
EPPE
Verenigd Koninkrijk
Centrumgericht
Sylva, Melhuish, Sammons, Siraj-Blatchford & Taggart (2004)
Early Start
Ierland
Centrumgericht
Educational Research Centre (1998); Lewis & Archer (2002, 2003)
Incredible Years
Ierland
Gezinsgericht
O’Neill (2009)
Preparing for Life
Ierland
Combinatie
PFL Evaluation Team (2011)
Kaleidoscoop & Piramide
Nederland
Centrumgericht
Veen, Roeleveld & Leseman (2000); Veen, Derriks & Roeleveld (2002)
Spelenderwijs
Nederland
Centrumgericht
De Jong-Heeringa (2008)
18
Startblokken & Basisontwikkeling
Nederland
Centrumgericht
Veen, Fukkink & Roeleveld (2006)
Opstapje Opnieuw
Nederland
Gezinsgericht
Van Tuijl, Leseman & Rispens (2001)
VVE Thuis
Nederland
Gezinsgericht
Van Steensel (2011)
Parent Education Program
Portugal
Gezinsgericht
Coutinho (2001)
Early Intervention Network
Portugal
Combinatie
Franco & Apolonio (2008)
4.2.
Focus van de literatuurstudie
Zoals eerder vermeld, dient er bij een grondige proces- en effectevaluatie meer in kaart gebracht te worden dan enkel de effectiviteit van het ECEC programma (Zie 3.4. Evaluatie is meer dan effectiviteit). De literatuurstudie leert ons dat dit resulteert in een grote variatie aan evaluatieactiviteiten, die elk op een andere manier bijdragen tot het bewijzen van effectiviteit en/of het in kaart brengen van verwante concepten zoals efficiëntie. Volgende categorieën van evaluatieactiviteiten, die eveneens gebruikt zullen worden om de verdere bespreking van de literatuur te structureren, kunnen onderscheiden worden:
Vooronderzoek Implementatieonderzoek Effectenonderzoek Lokale contextanalyse Kosten-batenanalyse Ondersteuning van lokale evaluaties
Elk van deze evaluatieactiviteiten zal nader toegelicht worden aan de hand van de volgende vragen die cruciaal geacht worden voor het uitwerken van een evaluatiekader: Wat zijn de evaluatievragen? Wat soort data wordt verzameld en vanuit welke bronnen? Wat zijn de methoden van dataverzameling en analyse? De verschillende evaluatieactiviteiten zullen eveneens besproken worden in relatie tot de effectladder en de diverse kernconcepten die deel uitmaken van een uitgebreide proces- en effectevaluatie. Wanneer verwezen wordt naar een bepaald ECEC programma in de literatuurstudie, zal gebruik gemaakt worden van de naam van het programma en zal niet telkens verwezen worden naar de geraadpleegde literatuur, die terug te vinden is in Tabel 1 (zie 4.1 Selectie van buitenlandse ECEC programma’s.) 19
4.3.
Evaluatieactiviteiten
4.3.1. Vooronderzoek 4.3.1.1.
Evaluatievragen
Aangezien evaluaties tijds- en kostenintensief zijn, is het noodzakelijk om tijdig de vraag te stellen of het al dan niet mogelijk en wenselijk is om een evaluatieonderzoek uit te voeren. Dit is het voornaamste doel van een vooronderzoek. Zoals de effectladder (Veerman & Van Yperen, 2007) suggereert, kunnen niet alle ECEC voorzieningen op eender welke manier geëvalueerd worden maar bepaalt het ontwikkelingsstadium van de voorziening de aangewezen evaluatiemethoden. Een RCT uitvoeren bij een ECEC programma dat onvoldoende beschreven is, is bijvoorbeeld niet aangewezen. De effectladder kan in eerste instantie dus een nuttig instrument zijn bij een vooronderzoek, daar het toelaat het ontwikkelingsstadium van ECEC voorzieningen in kaart te brengen en suggesties aanreikt voor verdere ontwikkeling alvorens de beoogde evaluatie uit te voeren. Het vooronderzoek kan echter ook zelf op de effectladder geplaatst worden en kan zich op verschillende niveaus bevinden naargelang de beoogde evaluatie. Vaak situeert een vooronderzoek zich op de eerste twee niveaus van de effectladder, aangezien de meerderheid van evaluaties in de literatuurstudie streeft naar het bewijzen van de effectiviteit van een ECEC voorziening, hetgeen vooral gebeurt vanaf niveau 3. Dit wil echter niet zeggen dat niveaus 1 en 2 ons niets kunnen bijbrengen over effectiviteit, aangezien effectiviteit volgens Veerman en Van Yperen (2007) geen alles-of-niets kwestie is en de voorbereiding en verdere afstemming minstens even belangrijk zijn. Op die manier biedt een vooronderzoek niet alleen een antwoord op de vraag of een evaluatie al dan niet mogelijk en wenselijk is, maar kan een vooronderzoek ook een evaluatie an sich zijn. Volgens Veerman en Van Yperen (2007) is een evaluatie dus in principe altijd mogelijk, zo lang ze aansluit bij het ontwikkelingsstadium van de ECEC voorziening en de daartoe behorende evaluatiemethoden hanteert. Wanneer men echter streeft naar het in kaart brengen van de effectiviteit van een bepaalde voorziening zoals gespecificeerd op niveaus 3 of 4, kan een vooronderzoek de lagere niveaus omvatten. Hoewel vooronderzoek enkel expliciet besproken wordt in de evaluaties van VVE Thuis en Startblokken & Basisontwikkeling, dient het belang ervan niet onderschat te worden en kunnen we alleen maar hopen dat ook bij de andere evaluaties de nodige voorbereidingen getroffen werden.
4.3.1.2.
Data & Bronnen
De data die verzameld worden tijdens een vooronderzoek, en de bronnen die hiervoor aangesproken worden, zijn zoals reeds vermeld sterk afhankelijk van het niveau waarop het 20
vooronderzoek zich situeert. Aangezien het merendeel van de evaluatieonderzoeken echter tracht niveau 3 of 4 effectiviteit na te gaan en een vooronderzoek zich dus op niveaus 1 en 2 bevindt, kunnen we vaststellen dat er vooral kwalitatieve data verzameld wordt. Daar deze data voornamelijk dienen om de programmabeschrijving, randvoorwaarden en achterliggende theorieën van een bepaalde ECEC voorziening voldoende uit te klaren, hebben ze vooral een descriptieve functie. Het vooronderzoek is tevens waar de gewenste input, processen en output van een interventie verduidelijkt worden. Verder kunnen in een vooronderzoek ook praktische aspecten van een evaluatie bekeken worden, zoals het aantal kinderen en begeleiders dat deelneemt aan de evaluatie, de manier waarop de evaluatie ingebed kan worden in de praktijk, wie de evaluatie-instrumenten zal afnemen, enz. Een voorbeeld van dergelijk vooronderzoek is te vinden bij Startblokken & Basisontwikkeling, waar men een inschatting deed van de locaties waar het programma gebruikt werd en het aantal potentiële deelnemers dat een evaluatie zou kunnen tellen. De programmacoördinatoren en –uitvoerders zelf, met hun ervaring en praktijkkennis, blijken de voornaamste bronnen van informatie te zijn in een vooronderzoek, hoewel ook andere belangrijke stakeholders (zoals kinderen en ouders) betrokken worden bij het voorbereidende werk, gezien hun noden altijd centraal dienen te staan. Ten slotte kan het nuttig zijn om programmadocumenten (bvb. beschrijvingen van methodieken, aanwezigheidslijsten, jaarverslagen) te raadplegen om bepaalde aspecten van een ECEC voorziening in kaart te brengen.
4.3.1.3.
Methoden
Kwalitatieve data vragen vanzelfsprekend om kwalitatieve methoden, die in een vooronderzoek zowel informeel als formeel kunnen zijn. Een veelgebruikte informele methode voor dataverzameling in een vooronderzoek betreft het voeren van informele gesprekken met/tussen programmacoördinatoren en –uitvoerders, bijvoorbeeld om de processen van de interventie in kaart te brengen, maar eventueel ook met andere stakeholders zoals de ouders, bijvoorbeeld om tevredenheid met het programma na te gaan (hoewel dit ook deel kan uitmaken van een effectenonderzoek; zie 4.3.3. Effectenonderzoek). Wat betreft de formelere methoden spreken we over een mogelijke documentenanalyse van programmadocumenten, over interviews met de verschillende stakeholders en observatiemethoden toegepast tijdens verschillende stappen van het ontwikkelingsproces. Een mooi voorbeeld van vooronderzoek is te vinden in de literatuur over het VVE Thuis evaluatieonderzoek. Gebaseerd op het originele peuterprogramma wordt een nieuw kleuterprogramma ontwikkeld. In een eerste fase gebeuren er observaties van ouderbijeenkomsten, interviews met leerkrachten, observaties van ouder-kind interacties en interviews met ouders, waarna een proefjaar en optimalisatie van het programma volgen. Pas na afloop hiervan, wordt het programma onderworpen aan een uitgebreidere proces- en effectevaluatie die zal trachten de effectiviteit van het VVE Thuis programma voor kleuters na te gaan. Dit voorbeeld illustreert eveneens het belang van continu ontwikkeling tijdens een evaluatieoefening, dat aan de basis ligt van de effectladder (Veerman & Van Yperen, 2007).
21
Ten slotte dient er nog opgemerkt te worden dat de bestudeerde evaluatieliteratuur niet expliciet aandacht besteedt aan de theoretische onderbouwing van de ECEC voorzieningen, terwijl dit volgens de effectladder een cruciale stap is in het evaluatieproces. Dit wijst er uiteraard niet op dat de bestudeerde ECEC programma’s niet theoretisch onderbouwd zijn, maar is waarschijnlijk eerder een reflectie van het feit dat de meerderheid van de rapporten zich toespitst op het bewijzen van niveau 3 of 4 effectiviteit en hier bijgevolg gewoonweg minder aandacht aan besteedt. Desondanks verwijzen we hier naar het belang van literatuurstudies voor het staven van de theoretische bewijskracht van ECEC voorzieningen.
4.3.2. Implementatieonderzoek 4.3.2.1.
Evaluatievragen
Om de effectiviteit te bevorderen, is het belangrijk om de kwaliteit van de ECEC voorziening zo goed mogelijk te waarborgen (zie 2.2.2. Werkzame factoren). Dit is precies wat een implementatieonderzoek tracht te doen: het onderzoekt hoe een ECEC programma wordt toegepast in de praktijk en of dit al dan niet overeenstemt met de originele opzet van het programma. Bijgevolg is een eerste vereiste voor het uitvoeren van een implementatieonderzoek een gedetailleerde omschrijving van de voorziening op vlak van doelstellingen, doelgroep, aanpak, context en randvoorwaarden. Zoals eerder vermeld kan de uitwerking hiervan deel uitmaken van een vooronderzoek. Met de programmabeschrijving als maatstaf kan er vervolgens nagegaan worden hoe het er aan toe gaat in de praktijk. Het algemene implementatievraagstuk kan verder onderverdeeld worden in drie verschillende aspecten (Veen e.a., 2006): Structureel: In hoeverre worden de randvoorwaarden die het programma mogelijk moeten maken vervuld? Inhoudelijk: In hoeverre worden de hoofdprincipes en inhoudelijke richtlijnen in de programmaomschrijving nageleefd in de praktijk? Contextueel: Hoe verloopt de samenwerking tussen het programma en lokale partners en stakeholders? Ook in een implementatieonderzoek is het voornaamste doel niet het meten van effectiviteit, noch het in kaart brengen van de outcomes of impact van een voorziening. Men tracht echter te onderzoeken of de verwachte input geleverd wordt, de vooropgestelde processen correct verlopen en de gewenste output er is; de combinatie hiervan geeft een indicatie van efficiëntie. Onrechtstreeks draagt deze oefening echter wel bij tot het bevorderen van effectiviteit, door een belangrijke rol te spelen in de kwaliteitsbewaking. Aangezien de minimumvoorwaarde voor een implementatieonderzoek een uitgebreide programmabeschrijving bedraagt, kan een implementatieonderzoek dus zelfs uitgevoerd worden bij ECEC voorzieningen op niveau 1 van de effectladder, hoewel dit soort onderzoek zeker ook op de hogere niveaus een belangrijke rol speelt.
22
4.3.2.2.
Data & Bronnen
De data die verzameld worden tijdens een implementatieonderzoek zijn meestal uitgebreider dan wat tijdens een vooronderzoek in kaart wordt gebracht: het gaat hier vaak om een combinatie van kwalitatieve en kwantitatieve gegevens. Enkele voorbeelden worden hieronder opgesomd, ingedeeld analoog aan de drie deelaspecten van het implementatievraagstuk (zie 4.3.2.1. Evaluatievragen): Structureel: management en coördinatie, opleiding van begeleiders, toegankelijkheid, toewijzing van middelen en voorzieningen, kind-stafratio, intensiteit van het programma Inhoudelijk: uitvoeren van opgelegde taken, bevorderen van bepaalde vaardigheden, kwalitatief goede interacties Contextueel: ouderbetrokkenheid, integratie van programma binnen werking, samenwerking met lokale partners In een implementatieonderzoek wordt vooral onderzocht of de vernoemde aspecten in de praktijk toegepast worden zoals vooropgesteld in de programmabeschrijving, en niet zozeer of dit al dan niet bijdraagt tot betere outcomes bij de doelgroep of impact heeft op de bredere omgeving (hoewel een combinatie van implementatie- en effectenonderzoek hier wel een antwoord op kan bieden; zie 4.4. Algemene opmerkingen). Een andere noot betreft de verwevenheid van de concepten input, processen en output. Een lage kind-stafratio zou bijvoorbeeld een vooropgestelde output kunnen zijn, terwijl het aantal begeleiders in een voorziening – toch een belangrijk aspect van de kind-stafratio – een vorm van input kan zijn. Een ander voorbeeld: er kan aan de begeleiders gevraagd worden om hun interacties met de kinderen en ouders (input) op een kwalitatief goede manier te voeren (proces), hetgeen verwacht wordt tot kwalitatief goede interacties te leiden (output). Ook om die reden is het belangrijk dat ECEC voorzieningen over een uitgebreide programmabeschrijving beschikken, zodat ze een duidelijk beeld kunnen vormen van hoe ze dit zelf zien binnen hun werking en hoe ze dit graag zouden evalueren. Er moet eveneens voor gezorgd worden dat niet enkel objectieve maten (bvb. numerieke kindstafratio) gehanteerd worden in dit soort onderzoek, maar dat ook subjectieve beoordelingen van de implementatie (bvb. ervaren moeilijkheden bij management en coördinatie) aan bod komen. Dit weerspiegelt zich eveneens in de nadruk die men legt op de combinatie van kwantitatieve en kwalitatieve dataverzameling in de bestudeerde implementatieonderzoeken (zie 4.3.2.3. Methoden). Een andere oefening, die zijdelings aan bod komt bij een implementatieonderzoek maar toch uiterst belangrijk is, is het opvolgen van de participatie, uitval en doorstroom van de gezinnen in ECEC voorzieningen. Welke kinderen/gezinnen nemen deel en wanneer? Welke kinderen/gezinnen besluiten uit het programma te stappen? Wat gebeurt er met de kinderen/gezinnen na afloop van het programma? En dan de allerbelangrijkste vraag: waarom gebeurt dit? Bovendien moet uitval op het niveau van het evaluatieonderzoek in het oog
23
gehouden worden, zodat de evaluatie geen vertekend beeld schetst van de effectiviteit van de ECEC voorziening. De belangrijkste bronnen van informatie in een implementatieonderzoek zijn de voornaamste stakeholders (kinderen, ouders en begeleiders). In sommige implementatieonderzoeken wordt aanvullend ook gepeild op hoger niveau, bij de coördinatoren, en in bredere zin, bij de lokale partners, vooral wat betreft het contextuele aspect van het implementatievraagstuk. Ook administratieve documenten vormen een belangrijke bron van informatie tijdens een implementatieonderzoek.
4.3.2.3.
Methoden
De evaluatieonderzoeken in deze literatuurstudie gebruiken een hele reeks kwantitatieve en kwalitatieve methoden in hun implementatieonderzoeken, gaande van eenvoudige registratieformulieren en vragenlijsten, tot interviews en focusgroepen, en ook observatiemethoden worden wel eens gehanteerd. De toegepaste observatiemethoden zijn heel uiteenlopend, en hoewel sommige eerder informeel te werk gaan, worden ook sterk gestructureerde observatiemethoden gebruikt. Een voorbeeld hiervan is het gebruik van een aangepaste versie van de Early Childhood Environmental Rating Scale (Harms & Clifford, 1980) in de Early Start evaluatie. Dit observatie-instrument werd specifiek ontwikkeld voor het observeren van centrumgerichte programma’s met een educatieve focus en hanteert rigoureuze scoringsmethoden. Implementatie van het programma wordt geëvalueerd op 7 subschalen: ruimte en inrichting, persoonlijke zorg, activiteiten, interactie, programmastructuur, ouders en begeleiders, en taalvaardigheden. Uiteraard wordt de exacte observatiemethode grotendeels bepaald door de inhoud en structuur van de ECEC voorziening, waardoor bovenstaand instrument bijvoorbeeld niet gebruikt kan worden in een gezinsgerichte context. Het voordeel aan observatiemethoden is dat ze vaak toelaten verschillende aspecten van het implementatievraagstuk tegelijk in kaart te brengen en ook de onuitgesproken aspecten niet over het hoofd zien. Observatiemethoden zijn echter heel tijds- en kostenintensief en bijgevolg worden ze vaak enkel toegepast op een selectie van de te evalueren deelnemers/groepen/programma locaties. Verschillende van de evaluatieonderzoeken maken zelfs expliciet een onderscheid tussen breedte- en diepteonderzoek, waarbij alle deelnemers onderworpen worden aan de meer oppervlakkige (en vaak kwantitatieve) evaluatiemethoden terwijl een kleinere selectie deel gaat uitmaken van een intensievere observatieoefening.
4.3.3. Effectenonderzoek 4.3.3.1.
Evaluatievragen
Effectenonderzoek staat meestal centraal in de ECEC evaluatieliteratuur om de voor de hand liggende reden dat dergelijk onderzoek zich toespitst op het evalueren van het hoofddoel van ECEC voorzieningen en zich de vraag stelt of een bepaalde voorziening de gewenste uitkomsten teweegbrengt bij de beoogde doelgroep.
24
Dit is dan ook de evaluatieactiviteit waarbij het bewijzen van effectiviteit centraal staat. Er wordt gekeken naar de verhouding tussen de input van het ECEC programma en de outcomes vastgesteld bij de doelgroep, en idealiter wordt er een causaal verband gevonden tussen de twee. Effectenonderzoek kan zodoende enkel plaatsvinden bij voorzieningen die zich minimum op niveau 2 van de effectladder bevinden of met andere woorden voorzieningen die over een uitgebreide programmabeschrijving beschikken en waarvoor theoretische bewijskracht is aangetoond. Effectenonderzoek kan zich eveneens toeleggen op het in kaart brengen van de impact van de ECEC voorziening, of met andere woorden de veranderingen die de bereikte uitkomsten teweegbrengen in de bredere omgeving van de doelgroep. In een effectenonderzoek is het belangrijk om niet enkel te kunnen aantonen dat een ECEC voorziening positieve uitkomsten teweegbrengt bij de doelgroep, maar ook welke kenmerken van de doelgroep maken dat de ECEC voorziening effectief is. In de meest gesofisticeerde evaluatieonderzoeken wordt het effectenonderzoek gekoppeld aan het implementatieonderzoek, met de bedoeling uitspraken te kunnen doen over welke processen verantwoordelijk zijn voor de effectiviteit (of het gebrek aan) van een ECEC voorziening. De combinatie van deze verschillende aspecten zou idealiter een antwoord moeten bieden op de vraag: wat werkt en voor wie?
4.3.3.2.
Data & Bronnen
Als we ons vervolgens de vraag stellen welke uitkomstvariabelen aan bod dienen te komen tijdens een effectenonderzoek, is het vooral van belang dat we een brede conceptualisering van het begrip ‘uitkomstvariabelen’ hanteren. Dit rapport verwijst naar de principes van multidimensionaliteit, multicausaliteit en multidirectionaliteit om deze conceptualisering vorm te geven. Ten eerste is er het belang van multidimensionaliteit. Effecten van ECEC programma’s op het kind en de ouder worden vooropgesteld, maar ook de invloed op de rest van het gezin, de gemeenschap en de maatschappij is van belang (dit is waar het verschil tussen outcomes en impact gemaakt wordt, hoewel het onderscheid niet altijd vanzelfsprekend is). Verder dient er per stakeholder aandacht besteed te worden aan verschillende dimensies van uitkomstvariabelen (bvb. cognitive én sociaal-emotionele vaardigheden van het kind). Ten tweede is het belangrijk effecten niet in isolatie te meten, maar ook de complexe interacties tussen effecten op verschillende dimensies en voor verschillende stakeholders te onderzoeken. Men moet er vanuit gaan dat effecten op het kind in nauw verband staan met effecten op het gezin, en dat die op hun beurt sterk gerelateerd zijn aan de directe omgeving en de plaats die de gezinnen innemen in de maatschappij. Men gaat met andere woorden uit van multicausaliteit. Tot slot komen we dan terecht bij multidirectionaliteit, een begrip dat erkent dat ECEC voorzieningen niet enkel een invloed hebben op de stakeholders, maar dat stakeholders op hun beurt ook de voorzieningen beïnvloeden. Bijgevolg verkiezen we om de term ‘meetvariabelen’ te hanteren in plaats van ‘uitkomstvariabelen’. Een goed voorbeeld van effectenonderzoek dat dicht aanleunt bij de drie vermelde principes is dat van het Britse EPPE project. Door middel van multilevel modeling trachtten zij de verbanden te bestuderen tussen drie verschillende datasets: informatie over de ontwikkeling van het kind (cognitief en sociaal-emotioneel), achtergrondkenmerken van het kind (op individueel, gezins- en
25
gemeenschapsniveau) en kenmerken van de ECEC voorziening. Meetvariabelen werden hier breed geconceptualiseerd en eenzijdige hypotheses zo veel mogelijk vermeden. Een mooi overzicht van de verschillende categorieën van meetvariabelen die in een uitgebreid effectenonderzoek aan bod zouden moeten komen is te vinden in de Sure Start evaluatieliteratuur. Het overzicht omvat eveneens het volledige spectrum aan variabelen uit de overige evaluatieonderzoeken, en ziet er uit als volgt: Socio-demografische en economische kenmerken van het gezin: gezinssamenstelling, gezinsinkomen, schulden, werkintensiteit, opleidingsniveau, sociale bijstand, burgerlijke staat, afkomst, godsdienst Gezinsdynamiek: kwaliteit van relaties, partnergeweld, ouderlijke stress Gezondheid van de ouders: mentale gezondheid (depressie, zelfvertrouwen), fysieke gezondheid, gezondheidsgedrag (roken, alcoholconsumptie, druggebruik) Opvoedings- en thuisomgeving: fysieke omgeving, ouder-kind relatie, discipline, huishoudelijke regeling, ouderbetrokkenheid, geletterdheid ouders Kinderopvang: wanneer, hoeveel, wie, waar Gemeenschap: buurtkwaliteit, huisvestingsproblemen, psychologische gehechtheid aan buurt, sociale netwerken, percepties van gevaar en criminaliteit Ontwikkeling van het kind: zwangerschap, geboorte, gezondheid (mentaal en fysiek), voeding, fysieke ontwikkeling, sociaal-emotionele ontwikkeling, gedragspatronen, cognitieve en taalontwikkeling, temperament Gebruik van diensten: type, frequentie, kwaliteit, problemen De socio-demografische en economische kenmerken van het gezin en de gemeenschap zouden traditioneel gezien geen deel uitmaken van de ‘uitkomstvariabelen’ in een effectenonderzoek, maar werden hier wel opgenomen in het lijstje van meetvariabelen, omwille van het multidirectionaliteitsprincipe. Ook voor andere variabelen is dit relevant: het verminderen van ouderlijke stress kan bijvoorbeeld één van de beoogde uitkomsten zijn van een ECEC voorziening en tegelijkertijd aan de basis liggen van een ander nagestreefd doel zoals een veilige gehechtheid tussen ouder en kind. Het analyseren van de verbanden tussen de socio-demografische en economische kenmerken van het gezin en de andere meetvariabelen, laat toe een antwoord te formuleren op de eerder vernoemde vraag: voor wie werkt de ECEC voorziening en voor wie niet? (zie 4.3.3.1. Evaluatievragen). We dienen hier ook even terug te komen op het bredere evaluatiekader dat eerder naar voren geschoven werd en naast effectiviteit belang hecht aan de concepten input, proces, output, outcome, impact en efficiëntie (zie 3.4. Evaluatie is meer dan effectiviteit). Hoewel dit een nuttig kader is om de totaliteit van het evaluatievraagstuk in kaart te brengen, wordt de vertaling ervan naar de praktijk bemoeilijkt door de multicausaliteit en multidirectionaliteit waar vanuit gegaan moet worden. Dit werd eerder ook al aangetoond aan de hand van de verwevenheid van de concepten input, proces, en output (zie 4.3.2.2. Data & Bronnen) en het moeilijk te maken onderscheid tussen outcomes en impact. De praktijk is nu eenmaal een complex gebeuren dat moeilijk gevat kan worden in een simpele figuur, iets dat praktijkwerkers zelf ook beamen (zie 3.1. ‘Evidence-based practice’ en ‘Randomized Controlled Trials’). Hoewel dit bredere evaluatiekader 26
niet volledig strookt met de realiteit van de praktijk, blijft het een nuttig instrument om de verschillende aspecten van een uitgebreide proces- en effectevaluatie toe te lichten. Uit de literatuurstudie bleek verder dat ook een effectenonderzoek – net zoals een implementatieonderzoek – berust op kwantitatieve en kwalitatieve gegevens. In het verlengde hiervan is het van belang om niet enkel naar objectieve uitkomsten te peilen, maar ook percepties van effectiviteit en tevredenheid met de ECEC voorziening te bevragen. Dit is iets dat toegepast wordt in de twee Portugese programma’s Parent Education Program en Early Intervention Network, alsook in het Ierse Early Start. Positieve subjectieve beoordelingen kunnen motiverend werken en daardoor op termijn mogelijks veranderingen teweegbrengen in de zogenaamde objectieve metingen. Omwille daarvan kan het ook interessant zijn om de verbanden tussen objectieve uitkomsten en subjectieve beoordelingen bloot te leggen, zoals bijvoorbeeld gedaan werd door het Early Start evaluatieteam. Men berust op een heel aantal bronnen om de verschillende meetvariabelen in kaart te brengen: Kinderen die zich wel of niet in ECEC voorzieningen bevinden; Ouders, vooral de biologische moeder en vader maar ook stiefouders, pleegouders, adoptieouders en grootouders; Begeleiders waaronder leerkrachten, leid(st)ers en gezinscoaches; Coördinatoren waaronder directie en programmaontwikkelaars; Buurtfiguren waaronder sociale werkers en gezondheidsprofessionals.
4.3.3.3.
Methoden
Er bestaat in de evaluatieliteratuur eenduidigheid over de longitudinale aard van een goed effectenonderzoek. Vaak houdt dit in dat er in het begin van het programma (maar niet noodzakelijk voor aanvang) en op het einde van het programma (maar niet noodzakelijk na afloop) een meting plaatsvindt, en liefst ook nog enkele tussenmetingen gedurende de loop van het ECEC programma. In de meest gesofisticeerde effectenonderzoeken gaat men echter verder dan dat: effecten op lange termijn (tot jaren na afloop van het programma) worden in kaart gebracht. Een mooi voorbeeld hiervan is het EPPE project waar ook op 7 jaar gepeild wordt naar mogelijke positieve effecten van ondersteuning tussen 3 en 5 jaar. Idealiter zou deze tijdsspanne natuurlijk nog uitgebreid worden tot de volwassen leeftijd, zoals in vele van de eerder vermelde Amerikaanse modelprogramma’s, maar om praktische redenen is dit in de bestudeerde voorzieningen meestal onmogelijk. Het aantal meetmomenten en de timing ervan hangen sterk af van de duur van het ECEC programma en de schaal van het onderzoek. Hoewel er enkele evaluatiestudies zijn die een voormeting uitvoeren (Preparing for Life, Incredible Years, Parent Education Program en Opstapje Opnieuw), blijkt dit bij de meeste programma’s niet het geval. Vaak wordt er dan wel een meting ingepland tijdens het eerste programmajaar, zodat vergelijking met een later meetmoment mogelijk blijft. Het aangewezen interval tussen metingen verschilt ook sterk maar ligt gemiddeld tussen 6 maanden en 1 jaar.
27
Dit brengt ons tot het onderzoeksdesign van de effectenstudie. In de meeste gevallen kadert de longitudinale dataverzameling in een quasi-experimenteel design met controlegroep. Dit is in tegenstelling tot modelprogramma’s in de Verenigde Staten, die vaker berusten op een traditioneel experimenteel design met gerandomiseerde steekproef (of RCT). De voor- en nadelen van dergelijke RCT set-up werden reeds uitgebreid besproken (zie 3.1. ‘Evidence-based Practice’ en ‘Randomized Controlled Trials’), het voornaamste nadeel zijnde dat RCT’s praktisch gezien haast onmogelijk uit te voeren zijn binnen een ECEC setting. Er zijn slechts twee evaluatieonderzoeken in deze literatuurstudie die een traditioneel experimenteel design hanteren: de Ierse programma’s Incredible Years en Preparing for Life. Er was ook één interventieprogramma, Spelenderwijs, dat een effectenonderzoek deed louter aan de hand van normeringen. Wanneer een gerandomiseerde steekproef niet aangewezen of simpelweg onmogelijk is, waar haalt men dan een geschikte controlegroep vandaan? De bestudeerde evaluatieonderzoeken bieden hier twee verschillende oplossingen voor: een wachtlijstcontrolegroep of een gematchte controlegroep. Bij een wachtlijstcontrolegroep, zoals gebruikt in het Portugese Parent Education Program en het Britse Sure Start, worden toekomstige deelnemers op de wachtlijst ingezet als controlegroep. Deze opstelling bevordert de vergelijkbaarheid van de groepen op verschillende gebieden en ondervangt ook gedeeltelijk de ethische kwestie aangezien er de ‘intention to treat’ is. Dit type controlegroep heeft echter ook significante nadelen: het tijdsschema voor dataverzameling wordt ingekort (daar men de wachtlijst niet oneindig kan laten wachten), en daardoor kunnen lange termijn effecten niet onderzocht worden. Dit vormt niet noodzakelijk een probleem in het geval van een gematchte controlegroep, waarbij gezocht wordt naar een controlegroep die de experimentele groep zo goed mogelijk ‘matcht’ op vlak van onder meer leeftijd, etniciteit en sociaaleconomische status. Dit wordt bijvoorbeeld gedaan in de Nederlandse evaluatieonderzoeken van VVE Thuis, Opstapje Opnieuw en Kaleidoscoop & Piramide. Vaak wordt hiervoor gebruik gemaakt van bestaande databanken van omvangrijke cohortenstudies. Het nadeel van dit soort controlegroep is echter dat er veel minder controle uitgeoefend kan worden op de deelnemers en dat er bijgevolg een grotere kans bestaat op ‘confounding variables’ en contaminatie. Het is onmogelijk om de controlegroep en experimentele groep te matchen op elke variabele (buiten de programmavariabelen), en bovendien kan men de controlegroep onder geen omstandigheden verbieden om elders ondersteuning te gaan zoeken. Bij het samenstellen van de onderzoeks- en controlegroepen dient er ook nagedacht te worden over de mogelijkheid tot ‘treatment variatie’, waarbij verschillende onderzoeksgroepen onderworpen worden aan verschillende programmacomponenten of zelfs compleet verschillende programma’s. Een voorbeeld hiervan is te vinden in het Ierse Preparing for Life, waar er naast een controlegroep, ‘high treatment’ en ‘low treatment’ onderzoeksgroepen samengesteld werden. Als aanvulling op enkele gezamenlijke middelen, kreeg de ‘high treatment’ groep intensieve thuisbezoeken van een gezinscoach. Deze set-up biedt de mogelijkheid specifieker toe te spitsen op de werkzame aspecten van een ECEC programma, maar past vooral binnen een traditioneel experimenteel design waarbij sleutelvariabelen voldoende gecontroleerd kunnen worden. Een andere optie is het combineren van verschillende programma’s in één evaluatieonderzoek, zoals 28
gedaan werd bij Kaleidoscoop & Piramide. Dit stelt de onderzoekers eveneens in staat om specifieker in te gaan op de vraag wat nu precies werkt (of niet werkt) in een bepaald programma, en is eenvoudiger toe te passen binnen een quasi-experimenteel onderzoek. Een idee dat nauw aansluit bij ‘treatment variatie’, is het voorzien van variatie in de controlegroepen. Een voorbeeld hiervan kan alweer teruggevonden worden bij Kaleidoscoop & Piramide waar men één gematchte controlegroep met kinderen uit reguliere peuterklassen had en één gematchte controlegroep met kinderen die helemaal geen voorschoolse ondersteuning genoten. Ook hier kan een vergelijking interessante inzichten over werkzame aspecten opleveren. Laten we vervolgens de specifieke onderzoeksinstrumenten in een effectenonderzoek nader bekijken. Een goed effectenonderzoek eist een aanpak op maat, met het gevolg dat er voor de verschillende bronnen en meetvariabelen gebruik gemaakt wordt van diverse instrumenten. Onderstaand lijstje omvat de voornaamste: Gestandaardiseerde testen: Deze testen worden vooral gebruikt om de ontwikkeling van het kind in kaart te brengen, niet enkel fysiek maar ook op vlak van taal, cognitieve en sociaal-emotionele vaardigheden. Vragenlijsten: Deze worden gebruikt voor een heel aantal doeleinden en voor het bevragen van verschillende bronnen. Ze zijn vooral handig om meer voor de hand liggende variabelen in kaart te brengen waaronder de socio-demografische en economische kenmerken van het gezin. Interviews: Ook interviews worden afgenomen voor een heel aantal doeleinden en bij verschillende bronnen. In tegenstelling tot vragenlijsten zijn interviews beter geschikt om complexere onderwerpen te bevragen en naar meningen en percepties te peilen, hoewel ze ook vaak gebruikt worden om een socio-demografisch profiel op te stellen. Observaties: Observatiemethoden bieden de mogelijk om onuitgesproken aspecten te bestuderen, die vaak van contextuele of relationele aard zijn. Maar ook voor het meten van de ontwikkeling van het kind worden deze methoden gehanteerd. De observatiemethoden dienen nader besproken te worden omdat het hier gaat om minder voor de hand liggende instrumenten. Een mooi voorbeeld is het HOREB monitoringsysteem terug te vinden in het Nederlandse evaluatieonderzoek voor Startblokken & Basisontwikkeling. HOREB staat voor Handelsgericht Observeren en Registreren in Basisontwikkeling. Kinderen worden door begeleiders geobserveerd tijdens hun verblijf in het centrum; ontwikkelingsgegevens en kernactiviteiten worden in een kinderdagboek geregistreerd. Een entreeformulier bevat probleemopmerkingen bij aanvang van het programma, en een portfolio verzamelt werkjes van het kind. In dit geval is het observatie-instrument ingebed in de werking, terwijl andere evaluatieonderzoeken vooral post hoc te werk gaan en zodanig ook begeleiders en ouders gaan observeren. Het evaluatieteam van Kaleidoscoop & Piramide bijvoorbeeld maakte gebruik van video-opnamen in de klassen om groepsprocessen in detail te kunnen bestuderen, en het Incredible Years team observeerde bij deelnemers thuis om de interactie tussen kind en gezin in kaart te kunnen brengen.
29
Ook in effectenonderzoek, net zoals het geval is bij implementatieonderzoek, kan er een onderscheid gemaakt worden tussen breedte- en diepteonderzoek, zodat de tijds- en kostenintensieve observatiemethoden niet op de gehele groep toegepast dienen te worden. Om verder nog tijd en kosten te besparen, kan men overwegen sommige van de vragenlijsten of interviews af te nemen per telefoon of post, hoewel dit de kwaliteit van de resultaten waarschijnlijk niet ten goede komt. Voor het bevragen van distale figuren, zoals de gezondheidsprofessionals in het Portugese Early Intervention Network, kan dit wel een mogelijke optie zijn.
4.3.4. Lokale contextanalyse 4.3.4.1.
Evaluatievragen
De voornaamste evaluatievraag in een lokale contextanalyse is de volgende: wat zijn de sociodemografische en economische kenmerken van de gemeenschap waarin het ECEC programma toegepast wordt en hoe beïnvloedt dit de effectiviteit? Dit is vooral relevant wanneer eenzelfde programma uitgevoerd wordt op verschillende locaties, zodanig dat verschillen in sociodemografische en economische kenmerken gekoppeld kunnen worden aan verschillen in effectiviteit. Enkel het Sure Start evaluatieteam voert zulke lokale contextanalyse expliciet uit, hoewel ook in ander evaluatieonderzoek getracht wordt de lokale context in kaart te brengen. Dit soort analyse hanteert eveneens het multidirectionaliteitsprincipe, daar het de rollen omdraait en bekijkt hoe het ECEC programma beïnvloed wordt door de context. Aangezien er de mogelijkheid moet zijn om de effectiviteit in kaart te brengen alvorens men kan nagaan wat de invloed is van de lokale context erop, kan een lokale contextanalyse enkel uitgevoerd worden bij ECEC voorzieningen die zich op niveau 2 of hoger van de effectladder bevinden. Zoals de term laat verstaan situeert een lokale contextanalyse zich aan de rand van het hele evaluatieverhaal, in de context van het ECEC programma. Hoewel dit soort analyse specifiek peilt naar de invloed van de context op effectiviteit, worden andere kernconcepten zoals processen en efficiëntie ook beïnvloed door de context. Een lokale contextanalyse biedt ook interessante inzichten in de relatie tussen de effectiviteit van een ECEC programma en de impact van die effectiviteit op de bredere omgeving.
4.3.4.2.
Data & Bronnen
De meerderheid van de bestudeerde evaluatiestudies houdt op één of andere manier rekening met de directe omgeving van het kind door achtergrondkenmerken van het gezin te bevragen (bvb. opleiding van de ouders, sociaaleconomische status, thuistaal, afkomst, enz.); zoals reeds vermeld is dit een belangrijk onderdeel van een effectenonderzoek (zie 4.3.3. Effectenonderzoek). Soms wordt eveneens getracht een beeld te schetsen van de socio-demografische samenstelling van de onderzoeksgroep door de optelsom te maken van de individuele gezinnen. Ook in het samenstellen van een gematchte controlegroep worden deze kenmerken in acht genomen door de onderzoeksgroep en controlegroep te matchen op vlak van sociaaleconomische status, etniciteit, leeftijd, enz.
30
Zelden echter wordt er verder gekeken dan het gezin naar kenmerken van de lokale gemeenschap of buurt. Een uitzondering hierop is de Sure Start evaluatie die de waarde van dit soort evaluatieactiviteit niet genoeg kan benadrukken. Zij trachten in hun analyse onder meer de volgende aspecten in kaart te brengen: de lokale beschikbaarheid van diensten, de concentratie van armoede, geboortecijfers en overlijdens, de tewerkstellingsgraad, onderwijsparticipatie, en lokale percepties van criminaliteit en gevaar. Lokale contextanalyses staan in nauw verband met effectenonderzoek, zoals ook blijkt uit het oplijsten van kenmerken van de gemeenschap bij de meetvariabelen in het Sure Start effectenonderzoek (zie 4.3.3.2. Data & Bronnen). Een andere oefening die past binnen een lokale contextanalyse en die frequenter opgenomen wordt in de evaluatiestudies, is het analyseren van de samenwerking met lokale partners. In het EPPE project bijvoorbeeld tracht men de samenwerkingsverbanden met lokale diensten en beleidsmakers in kaart te brengen. Ook bij Startblokken & Basisontwikkeling wordt hier aandacht aan besteed; zij bekijken hoe het project in contact komt met andere aanbieders van opvoedingsondersteuning, de jeugdzorg en gezondheidszorg en wat soort invloed dit heeft op de effectiviteit van het programma. Ook in het Early Intervention Network in Portugal vormt dit een belangrijk aspect van het evaluatieonderzoek: men bestudeert het verloop van de samenwerking tussen het project en de lokale gezondheidsdiensten en onderwijsinstanties. Deze oefening past ook gedeeltelijk binnen het contextuele aspect van een implementatieonderzoek, waar eerder naar verwezen werd (zie 4.3.2. Implementatieonderzoek). De belangrijkste bronnen van informatie tijdens een lokale contextanalyse zijn databanken die een weelde aan informatie bevatten over belangrijke socio-demografische en economische kenmerken van een bepaalde buurt of gemeenschap. De meer subjectieve aspecten kunnen bevraagd worden door beroep te doen op de ouders zelf, de begeleiders en coördinatoren, lokale partners en buurtbewoners.
4.3.4.3.
Methoden
De lokale contextanalyse in de Sure Start evaluatie werd uitgevoerd met behulp van de volgende methoden: het raadplegen van databanken, observaties, vragenlijsten en interviews. Om enkele concrete voorbeelden van databanken te noemen: The Office for National Statistics werd geraadpleegd voor geboortecijfers en overlijdens, het Department of Social Security werd gevraagd naar gegevens over sociale bijstand en het Department of Education leverde informatie over testscores en spijbelgedrag. Observaties werden uitgevoerd door regionale medewerkers om een idee te krijgen van ‘social and physical incivilities’ in de gemeenschap. Verder werden vragenlijsten en interviews afgenomen bij ouders, begeleiders en lokale bewoners betreffende percepties van gevaar en criminaliteit, de beschikbaarheid van diensten, psychologische gehechtheid aan de buurt en sociale netwerken binnen de gemeenschap. Een lokale contextanalyse kan een zeer waardevolle oefening zijn, die vooral de ecologische validiteit van een evaluatieonderzoek ten goede komt, maar niet altijd even gemakkelijk uit te voeren is. Een specifieke moeilijkheid ligt in het bepalen van de grenzen van die lokale context: gaat het om een volledige stad/gemeente of kijkt men naar een specifieke buurt, wat als een kind een instelling frequenteert die niet in zijn of haar woonbuurt ligt, enz.? Bovendien is het ook niet 31
altijd evident om te weten welke contextvariabelen van prioritair belang zijn voor de effectiviteit van de interventie en kunnen onmogelijk alle aspecten van de lokale buurt of gemeenschap in kaart gebracht worden.
4.3.5. Kosten-batenanalyse 4.3.5.1.
Evaluatievragen
Het belangrijkste doel van een kosten-batenanalyse is voor de hand liggend: het afwegen van de kosten van een ECEC programma tegen de financiële baten om zo vast te stellen wat de financiële meerwaarde bedraagt van de ECEC voorziening. Vooral voor beleidsmakers is dit soort analyse relevant, aangezien het algemene bevindingen omzet in concrete kosten die vaak bepalend zijn in het sturen van een beleid en het toewijzen van financiële middelen. In de praktijk is dit echter een moeilijk uit te voeren oefening. De financiële meerwaarde van ECEC voorzieningen kan vaak pas op lange termijn vastgesteld worden, en bovendien kunnen vele baten niet onmiddellijk omgezet worden in financiële maten. Deze evaluatieactiviteit kan bijgevolg enkel uitgevoerd worden voor programma’s in een vergevorderd ontwikkelingsstadium, waarbij niveau 4 causale effectiviteit aangetoond kon worden. Zelfs dan nog moet een kosten-batenanalyse vaak berusten op proxy’s en prospectieve analyses, en is het beste resultaat een ruwe schatting van de financiële meerwaarde van het ECEC programma. Twee van de opgenomen evaluatieonderzoeken wagen zich desondanks aan deze moeilijke oefening: Incredible Years in Ierland en Sure Start in het Verenigd Koninkrijk. Voor een bespreking van kosten-batenanalyses bij andere (voornamelijk Amerikaanse) ECEC programma’s, zie het recente VLAS rapport ‘Ongelijkheid begint in de wieg’ (Groenez & Vandenbroeck, 2013). Volgens het Sure Start evaluatieteam moeten de kosten en baten zowel in relatie tot de effecten als de implementatie van ECEC programma’s in kaart gebracht worden: het is niet enkel belangrijk te weten of de resulterende uitkomsten de investering rechtvaardigen, maar ook of de toegepaste aanpak de beste was om die uitkomsten te bereiken. Dit onderscheid duidt op een onderliggend verschil tussen het belang van respectievelijk effectiviteit en efficiëntie.
4.3.5.2.
Data & Bronnen
Kosten en baten dienen geanalyseerd te worden op korte en lange termijn en ook hier is multidimensionaliteit van belang: kosten en baten moeten uitgetekend worden voor de verschillende begunstigden (kind, gezin, lokale gemeenschap, maatschappij) en op verschillende gebieden (onderwijs, gezondheid, gedrag, tewerkstelling, economisch en sociaal welzijn). Er moet ook rekening gehouden worden met de mogelijkheid dat baten voor één groep van begunstigden gepaard kunnen gaan met kosten voor een andere groep, en dat er ook na afloop van het programma nog kosten geaccumuleerd kunnen worden (bvb. hogere onderwijskosten). Waar haalt men de data vandaan die als input moeten dienen voor een kosten-batenanalyse? Voor het berekenen van de directe programmakosten berust men vooral op de boekhouding van de ECEC voorzieningen; kosten van reeds bestaande diensten die in het programma verwerkt zijn moeten hier uiteraard van afgetrokken worden. Bepaalde kosten en baten kunnen relatief 32
gemakkelijk berekend worden op basis van publiek toegankelijke informatie (bvb. de gemiddelde prijs van een dienst). Het wordt pas echt ingewikkeld wanneer men probeert op een prospectieve manier lange termijn effecten in kaart te brengen door allerlei schattingen te maken van toekomstige kosten. Om daar een voorbeeld van te geven: het Ierse Incredible Years berekende op basis van de gemiddelde kost van één jaar gevangenschap (€97.700 in 2007) en het verschil in kans op gevangenschap tussen mensen met en zonder gedragsproblemen (7%) de bijkomende kost van gevangenschap door gedragsproblemen (€6839).
4.3.5.3.
Methoden
Het Ierse Incredible Years team geeft ons eveneens een gedetailleerder zicht op de econometrie die te pas komt aan een kosten-batenanalyse. In een korte termijn analyse werden de initiële kosten van het programma verbonden aan de meetvariabele gedragsproblemen (gemeten met de Eyberg test; Eyberg & Robinson, 1983) door de ‘incremental cost effectiveness ratio’ te berekenen en door een ‘probabilistic sensitivity analysis’ uit te voeren. Zo kwamen ze tot de schatting dat het tussen 72€ en 78€ per persoon zou kosten om de Eyberg score 1 punt omhoog te halen. Verder maakte het team een prospectieve analyse op lange termijn door diezelfde gedragsproblemen te linken aan uitgaven op vlak van criminaliteit, werkloosheid en onderwijs, en kwam zo uit op een potentieel rendement van 13.3%. De resultaten van dit soort speculatieve econometrische berekeningen moeten met de nodige behoedzaamheid geïnterpreteerd worden, en zijn bovendien sterk afhankelijk van de gebruikte disconteringsvoet, die in dit geval een conservatieve 6% bedroeg.
4.3.6. Ondersteuning van lokale evaluaties Ten slotte een cruciale vraag in het kader van dit rapport: Hoe kan een algemeen evaluatiekader overgedragen worden naar verschillende ECEC voorzieningen of programmalocaties? Het nastreven van een overdraagbaar evaluatiekader leidt noodzakelijk tot het uitwerken van een coördinerend systeem dat instaat voor de ondersteuning van lokaaluitgevoerde evaluaties. Inspiratie hiervoor kan gevonden worden in de grootschalige evaluatieonderzoeken van Sure Start in het Verenigd Koninkrijk en Early Start in Ierland, die elk evaluaties uitvoerden op verschillende programmalocaties. Het Sure Start evaluatieteam was werkzaam vanuit een Central Office dat verantwoordelijk gesteld werd voor de centrale coördinatie van de Sure Start evaluatie op nationaal vlak. Op lokaal vlak werden zij bijgestaan door Regional Offices verspreid over het hele land. Samen waren zij verantwoordelijk voor het voorzien van opleidingen in evaluatietechnieken, het bieden van supervisie tijdens een evaluatie en het algemeen verstrekken van expertadvies. De Regional Offices vormden hier het eerste aanspreekpunt. Verder werden er nationale en regionale workshops georganiseerd en een centrale website opgezet. De evaluaties werden dus uitgevoerd door programmabegeleiders en –coördinatoren zelf, mits ondersteuning van het evaluatieteam. In het kader van het Early Start project werd door het Ierse Ministerie van Onderwijs een ‘monitoring committee’ opgericht, bestaande uit vertegenwoordigers van verschillende belangengroepen en experten in het veld van voorschoolse educatie. In hun controlerende en 33
adviserende functie, hadden zij naast het overzien van de algemene implementatie en evolutie van het project, ook de opdracht evaluatieactiviteiten en rapporten te controleren en te adviseren over de implicaties ervan. Hoewel de rol van het comité in het overdragen van het evaluatiekader beperkt was, vormt dit wel een mooi voorbeeld van een constructieve samenwerking tussen beleid, wetenschap en praktijk.
4.4.
Algemene opmerkingen
Er werd getracht voldoende duidelijkheid te scheppen in dit rapport door de verschillende deelaspecten van een grondige proces- en effectevaluatie elk apart uitgebreid te bespreken. In de praktijk wordt dit onderscheid echter minder duidelijk gemaakt, zoals blijkt uit de continu verwijzingen naar andere evaluatieactiviteiten in de literatuurstudie. Eén van de redenen voor het combineren van evaluatieactiviteiten (zowel op vlak van dataverzameling als analyse) is uiteraard dat het toelaat kostbare tijd en middelen te besparen; eenzelfde observatie kan bijvoorbeeld nuttige informatie opleveren voor zowel implementatie- als effectenonderzoek. De voornaamste reden is echter dat de combinatie van evaluatieactiviteiten ons de interessantste inzichten op vlak van effectiviteit kan opleveren; een geslaagde combinatie van implementatieonderzoek, effectenonderzoek en een lokale contextanalyse kan niet enkel aantonen of een ECEC programma al dan niet effectief is, maar welke aspecten van het programma bijdragen tot die effectiviteit, voor wie de interventie effectief is en in welke context dit het geval is. Zoals meermaals vermeld is de selectie van evaluatieactiviteiten, en de mogelijke combinatie ervan, sterk afhankelijk van het ontwikkelingsniveau maar eveneens van de praktische mogelijkheden die bestaan binnen een ECEC voorziening. Vaak is er wel nood aan en vraag naar evaluatieonderzoek, maar beschikt men over beperkte tijd en middelen om dit effectief te verwezenlijken. Daarom is het cruciaal om methoden en meetinstrumenten te gebruiken die een zekere compatibiliteit met het ECEC programma nastreven. Het belang hiervan blijkt ook uit de principes van praktijkgestuurd effectiviteitsonderzoek: aansluiting van de evaluatie bij de praktijk, inbedding in de normale werkwijzen en benutting van de resultaten (Van Yperen & Veerman, 2008; zie 3.2. Praktijkgestuurd effectiviteitsonderzoek). Dit zou eveneens moeten voorkomen dat gezinnen onnodig belast worden en dat kostbare tijd voor ontwikkelingsstimulering en opvoedingsondersteuning hen ontnomen wordt. Dit brengt ons tot de kern van het verhaal: de kansarme doelgroep. Zij mogen gedurende dit gehele proces in geen geval uit het oog verloren worden, aangezien zij dé reden zijn dat deze ECEC voorzieningen in het leven geroepen worden en evaluatieonderzoeken opgezet worden. In het kader van armoedebestrijding is het vooral belangrijk dat onderzoekers en begeleiders aan het werk gaan met een zekere mate van sociale gevoeligheid, culturele sensitiviteit, en voldoende simpel en praktisch taalgebruik.
34
5. Aanbevelingen voor evaluaties bij Vlaamse ECEC voorzieningen In dit hoofdstuk formuleren we enkele aanbevelingen voor evaluatieonderzoek bij Vlaamse ECEC voorzieningen, naargelang het ontwikkelingsniveau van de voorziening. Zoals meermaals vermeld, kan dit ontwikkelingsniveau in kaart gebracht worden met behulp van de effectladder (Veerman & Van Yperen, 2007; zie 3.3. De effectladder). Niveau 0 is voorbehouden voor de ECEC voorzieningen die zich (nog) niet op de effectladder kunnen plaatsen. Voor elk ontwikkelingsniveau zal besproken worden hoe een ECEC voorziening op dat niveau er uit ziet, wat een evaluatie op dat niveau kan inhouden en hoe de stap naar het volgende niveau gezet kan worden. De beschrijvingen van de interventies op de verschillende niveaus zijn gebaseerd op Eeman e.a. (2012). De aanbevelingen zijn eerder algemeen; voor een meer gedetailleerde uiteenzetting van de evaluatieactiviteiten wordt er terugverwezen naar de literatuurstudie in hoofdstuk 4.
5.1.
Niveau 0: Impliciete kennis
Wat zijn de kenmerken van een niveau 0 ECEC voorziening? Niveau 0 van de effectladder verwijst naar ECEC programma’s die ‘in de hoofden’ van de programma-uitvoerders en coördinatoren zit. De praktijkwerkers ondersteunen de ouders en kinderen op een volgens hen methodische manier, maar wat ze precies doen en waarom dat zou werken is voor anderen niet duidelijk. Dit soort ECEC programma kan bijzonder effectief zijn, maar de methoden en resultaten zijn voor buitenstaanders niet duidelijk. Bijgevolg kan dit soort programma ook onmogelijk overgedragen worden. Hoe kan niveau 1 bereikt worden? Wat kan er geëvalueerd worden op niveau 0? Om niveau 1 van de effectladder te bereiken moet er voor gezorgd worden dat de kernelementen van het ECEC programma (doelstellingen, doelgroep, aanpak, uitkomsten) en de randvoorwaarden (personeel, organisatie, materiaal) duidelijk beschreven zijn. Om tot deze uitgebreide programmabeschrijving te komen, hebben niveau 0 ECEC voorzieningen vooral baat bij kwalitatief onderzoek. Heel wat informatie kan verzameld worden op een informele manier: door het bestuderen van bestaande programmadocumenten, het voeren van discussies met begeleiders en coördinatoren en het voeren van gesprekken met ouders. Dergelijke oefening kan relatief gemakkelijk door de programma-uitvoerders en coördinatoren zelf gedaan worden, en maakt vaak deel uit van de natuurlijke ontwikkeling van een ECEC programma. Formelere methoden kunnen eveneens gehanteerd worden om de kernelementen en randvoorwaarden van een ECEC programma in kaart te brengen. Voorbeelden hiervan zijn interviews en focusgroepen met de begeleiders, coördinatoren en ouders, alsook observaties van de werking. De aanwezigheid van een onderzoeker – hoewel niet noodzakelijk – kan hier een troef zijn, ook al omdat dit de kans vergroot dat de werking van het ECEC programma ook voor de buitenstaander duidelijk wordt. 35
5.2.
Niveau 1: Goed beschreven
Wat zijn de kenmerken van een niveau 1 ECEC voorziening? Op niveau 1 van de effectladder is de aard van het ECEC programma gedetailleerd omschreven en gespecificeerd. De aandacht gaat vooral uit naar het doel van het programma, de doelgroep, de aanpak en de randvoorwaarden voor de uitvoering. Door deze explicitering is de werkwijze van het programma te begrijpen (ook voor de buitenstaander), de kans op effectiviteit enigszins in te schatten en de aanpak gemakkelijker overdraagbaar. Hoe kan niveau 2 bereikt worden? Wat kan er geëvalueerd worden op niveau 1? Om niveau 2 te bereiken moet er een geloofwaardige theorie ontwikkeld worden over welke factoren met de situatie van de doelgroep samenhangen en waarom het ECEC programma de beoogde uitkomsten zou kunnen bereiken. De programmatheorie vindt zijn oorsprong meestal in de ervaring en praktijkkennis van de programma-uitvoerders, zeker in het geval dat een ECEC programma ontstaat vanuit een vastgestelde nood bij een doelgroep waarmee men vertrouwd is. Om van theoretische bewijskracht te kunnen spreken dient deze praktijkervaring echter gestaafd te worden met algemeen aanvaarde en geteste theorieën in het veld, die door middel van een literatuurstudie in kaart gebracht kunnen worden. Dergelijke literatuurstudie kan door de ECEC voorziening zelf uitgevoerd worden, eventueel met de hulp van een onderzoeker. Aangezien er op niveau 1 reeds een programmabeschrijving beschikbaar is, is het eveneens mogelijk om een implementatieonderzoek uit te voeren, hoewel dit hier meestal niet aangewezen is omwille van de tijd en kosten die ermee gepaard gaan. De kans dat men hier de mogelijkheid toe ziet alvorens de programmatheorie volledig uitgewerkt is, is dan ook zeer klein. Moest de mogelijkheid hier toch toe bestaan binnen de ECEC voorziening, kan dit eventueel wel meer duidelijk scheppen over de programmatheorie. Een implementatieonderzoek op dit niveau zou bestaan uit het informeel afchecken van de praktijk tegen de programmabeschrijving op vlak van structuur, inhoud en context. Vanaf het moment dat men de implementatie op een meer gestructureerde en intensievere manier in kaart wil brengen, hebben ECEC voorzieningen er baat bij om eerst de programmatheorie grondig uit te werken.
5.3.
Niveau 2: Theoretische bewijskracht
Wat zijn de kenmerken van een niveau 2 ECEC voorziening? Een niveau 2 ECEC voorziening beschikt naast een uitgebreide programmabeschrijving ook over een goede programmatheorie, die gestaafd wordt door algemeen aanvaarde en met onderzoek ondersteunde theorieën. Er is sprake van een verhaal over hoe het ECEC programma kan en zou moeten werken, dat duidelijk en aannemelijk is voor zowel de programma-uitvoerders als buitenstaanders. Dit maakt het ECEC programma eveneens gemakkelijker overdraagbaar.
36
Hoe kan niveau 3 bereikt worden? Wat kan er geëvalueerd worden op niveau 2? Om niveau 3 van de effectladder te bereiken, moet er empirisch aangetoond kunnen worden dat de gestelde doelen bereikt zijn, potentiële problemen afgenomen en competenties toegenomen zijn en de kinderen en ouders tevreden zijn. Waarom dit het geval is (m.a.w. de reden voor de effectiviteit) moet op niveau 3 nog niet zichtbaar zijn. Wel moet er vastgesteld kunnen worden dat het ECEC programma volgens plan aan de doelgroep werd verstrekt. Vanaf niveau 2 bestaat er de mogelijkheid om een uitgebreidere proces- en effectevaluatie uit te voeren, die bovenal de effectiviteit van een ECEC programma in kaart brengt en op zijn minst dient te bestaan uit een implementatie- en effectenonderzoek. Wat betreft implementatie moet er nagegaan worden of het ECEC programma geïmplementeerd werd als voorzien op vlak van structuur, inhoud en context. Dit kan onderzocht worden door middel van administratieve documenten, vragenlijsten, interviews, focusgroepen en/of observaties. Zowel de ouders als de kinderen, de begeleiders en coördinatoren, alsook de lokale partners worden idealiter betrokken in dit proces. Het opvolgen van participatie, doorstroom en uitval van kinderen en ouders is hier eveneens een belangrijke oefening. Voor een effectenonderzoek op dit niveau, is het gebruik van een controlegroep nog niet aangeraden; wel zouden minimum twee meetmomenten ingelast moeten worden zodat veranderingen over tijd vastgesteld kunnen worden. Hoewel wat er precies gemeten wordt grotendeels afhangt van het type ECEC voorziening en de gestelde doelen, zou er in elk geval een brede conceptualisering van de meetvariabelen moeten zijn. Voor Vlaamse twee-generatie ECEC initiatieven betekent dit dat zeker de socio-demografische en economische kenmerken van het gezin geregistreerd worden, en uitkomsten bij zowel het kind als de ouder onderzocht worden. Men kan dit doen aan de hand van verschillende methoden (gestandaardiseerde testen, vragenlijsten, interviews, observaties) en door een beroep te doen op verschillende bronnen (kinderen, ouders, begeleiders, coördinatoren). Belangrijk is ook dat er gepeild wordt naar percepties van effectiviteit en tevredenheid met het ECEC programma. Om dergelijke uitgebreide proces- en effectevaluatie in goede banen te leiden is de hulp van onderzoekers, of praktijkwerkers met onderzoekservaring, aangewezen. Tijd en kosten kunnen uitgespaard worden door de dataverzameling voor het implementatie- en effectenonderzoek deels te combineren, en door het aantal deelnemers betrokken in de intensievere evaluatieoefeningen te beperken.
5.4.
Niveau 3: Indicatieve bewijskracht over effectiviteit
Wat zijn de kenmerken van een niveau 3 ECEC voorziening? Bij een niveau 3 ECEC voorziening laten een goede omschrijving en theoretische onderbouwing het wat en waarom van het programma zien. Bovendien werd vastgesteld dat de geformuleerde doelen of gewenste veranderingen bereikt zijn en het programma volgens plan verstrekt is aan de beoogde doelgroep. Weinig deelnemers zijn uitgevallen en cliënten zijn tevreden met het ECEC programma.
37
Hoe kan niveau 4 bereikt worden? Wat kan er geëvalueerd worden op niveau 3? Om niveau 4 van de effectladder te bereiken moet er niet alleen aangetoond worden dat de gestelde doelen bereikt zijn, potentiële problemen afgenomen en competenties toegenomen zijn, maar moet er evidentie zijn dat de positieve uitkomsten veroorzaakt worden door de interventie en is er zicht op de werkzame ingrediënten van de ECEC voorziening. Ook bij niveau 3 ECEC voorzieningen kan er een combinatie van implementatie- en effectenonderzoek plaatsvinden, die idealiter nog aangevuld wordt met een lokale contextanalyse. Het implementatieonderzoek neemt grotendeels dezelfde vorm aan als bij een niveau 2 evaluatie (zie 5.3. Niveau 2: Theoretische bewijskracht) en onderzoekt de implementatie van het ECEC programma op vlak van structuur, inhoud en context. Een effectenonderzoek op dit niveau is echter meer gesofisticeerd dan op niveau 2 en beschikt over een controlegroep zodat er vastgesteld kan worden dat de waargenomen veranderingen effectief toe te schrijven zijn aan het ECEC programma. Een RCT met gerandomiseerde steekproef is niet realistisch voor de Vlaamse ECEC initiatieven, en dus wordt aangewezen om een quasiexperimenteel design met gematchte of wachtlijstcontrolegroep te hanteren (hoewel de effectladder ook het gebruik van bijvoorbeeld herhaalde casestudies als geschikt acht). Ook hier moet er sprake zijn van minimum twee meetmomenten (aan het begin en het einde van het programma) en idealiter wordt dit nog aangevuld met meetmomenten tussentijds en achteraf. Net zoals bij effectenonderzoek op niveau 2 (zie 5.3. Niveau 2: Theoretische bewijskracht) dienen de meetvariabelen breed geconceptualiseerd te worden, en kunnen verschillende methoden en bronnen aangesproken worden. In een lokale contextanalyse worden de socio-demografische en economische kenmerken van de lokale buurt of gemeenschap en de samenwerkingsverbanden met lokale partners in kaart gebracht. Informatie kan verzameld wordt uit databanken, met behulp van vragenlijsten, interviews en observaties bij ouders, begeleiders en coördinatoren, lokale partners en buurtbewoners. Deze evaluatieactiviteit is echter vooral relevant wanneer verschillende programmalocaties geëvalueerd worden en er grote verschillen in lokale context vastgesteld kunnen worden. De vergelijking met de controlegroep kan uitsluitsel geven over de vraag of de interventie beter is dan geen interventie, maar op dit niveau is het ook de bedoeling dat men inzicht verwerft in de werkzame ingrediënten van de ECEC voorziening. Dit gebeurt vooral in de eerder ingewikkelde analyses achteraf. De bereikte effecten worden verbonden aan de socio-demografische kenmerken, implementatievariabelen en lokale context, in de hoop een antwoord te kunnen formuleren op de vraag: wat werkt voor wie en in welke context? Het aanbrengen van variatie in de ‘treatment’ of in de controlegroepen kan verder ook helpen om enkele werkzame factoren aan te duiden. Het is vanzelfsprekend dat dit soort gesofisticeerd evaluatieonderzoek moeilijk uit te voeren is door de praktijkwerkers zelf. Zowel de dataverzameling als de analyse achteraf vergen veel tijd en de nodige expertise. Om tijd en kosten te besparen, bestaat ook hier wel de mogelijkheid om de
38
dataverzameling te combineren en het aantal deelnemers in de intensievere evaluatieoefeningen te beperken.
5.5.
Niveau 4: Causale bewijskracht over effectiviteit
Wat zijn de kenmerken van een niveau 4 ECEC voorziening? Niveau 4 ECEC voorzieningen beschikken over voldoende causale bewijskracht om ‘bewezen effectief’ verklaard te worden. Dit wil zeggen dat men niet alleen positieve veranderingen kan vaststellen bij de kinderen en ouders, maar dat die ook toegeschreven kunnen worden aan (bepaalde aspecten van) het ECEC programma. Op dit hoogste niveau van bewijskracht is er sprake van een goed omschreven, theoretisch onderbouwde en in de praktijk getoetste aanpak die beter is dan ‘geen interventie’. What next? Wat kan er geëvalueerd worden op niveau 4? Het bereiken van niveau 4 effectiviteit, wat op zich al een moeilijke en tijdrovende opdracht is, betekent echter niet het einde van het evaluatieproces. Een ECEC programma is geen statisch gegeven maar wordt geïmplementeerd door mensen en beïnvloed door de context, zodat zelfs een sterk geconcretiseerd programma over de tijd heen evolueert. Om die reden is het belangrijk dat de effectiviteit van een ECEC voorziening op regelmatige tijdstippen opnieuw onderzocht wordt. Dit wil echter niet zeggen dat die latere evaluaties even uitgebreid dienen te zijn. Als men de principes van praktijkgestuurd effectiviteitsonderzoek hanteert (Van Yperen & Veerman, 2008) en er in slaagt om evaluatie-instrumenten en methoden te gebruiken die aansluiten bij de praktijk en er in ingebed kunnen worden, zullen herhaalde evaluaties uiteraard minder tijds- en kostenintensief zijn. Op die manier kunnen evaluaties gebruikt worden om de kwaliteit van ECEC voorzieningen continu te blijven verbeteren. Op niveau 4 bestaat er eveneens de mogelijkheid om een kosten-batenanalyse uit te voeren, hoewel dit zelden een prioriteit is voor de ECEC voorzieningen zelf en meestal aangestuurd wordt door het beleid of door investeerders. De kosten en baten zouden geanalyseerd moeten worden in relatie tot implementatie en impact, op lange en korte termijn, bij verschillende begunstigden en op verschillende gebieden. Op basis van de boekhouding van de ECEC voorziening, publiek toegankelijke informatie en econometrische berekeningen kan het potentieel rendement van een ECEC programma ingeschat worden. Dit is een uiterst moeilijke oefening, die niet aangeraden wordt voor kleinschalige ECEC initiatieven.
39
6. Conclusie Aan de hand van een literatuurstudie, werd er in dit rapport getracht een algemeen evaluatiekader uit te tekenen voor een proces- en effectevaluatie bij Vlaamse tweegeneratieprogramma’s gericht op kansarme gezinnen met kinderen tussen 0 en 3 jaar. Daaruit kan afgeleid worden dat er naargelang het ontwikkelingsniveau van de ECEC voorziening verschillende mogelijkheden tot evaluatie bestaan, elk verschillend in de vragen die gesteld worden, de data die verzameld worden, de bronnen die aangesproken worden en de methoden die gehanteerd worden. De geformuleerde aanbevelingen zouden bestaande ECEC voorzieningen een indicatie moeten geven van hoe een evaluatie er uitziet en hoe ze zelf de eerste stappen kunnen zetten om hun praktijk te gaan evalueren en verbeteren. Gezien de onderzoekservaring van praktijkwerkers vaak beperkt is, blijven de geformuleerde aanbevelingen weliswaar vaag. In een volgende fase moet er samen met de ECEC voorzieningen aan de slag gegaan worden om specifieke evaluatie-instrumenten en methoden te ontwikkelen die aansluiten bij de praktijk, en moeten er mogelijkheden gecreëerd worden om evaluaties daadwerkelijk in de praktijk te kunnen uitvoeren. Dit kan op verschillende manieren verwezenlijkt worden; één manier is het oprichten van academische werkplaatsen (zie www.academischewerkplaats.be voor meer informatie). Het voordeel hiervan is dat er een persoon specifiek tewerkgesteld wordt om een evaluatieonderzoek uit te voeren, en de praktijkwerkers op die manier vrij zijn om hun hoofdtaak te vervullen, namelijk het stimuleren en ondersteunen van de ontwikkeling en opvoeding van kansarme kinderen. Een andere optie is een centraal kenniscentrum dat instaat voor de coördinatie en ondersteuning van zelfuitgevoerde evaluaties. Tot de taken van het kenniscentrum zouden behoren: het verstrekken van kennis in verband met evaluatie, het ter beschikking stellen van instrumenten en het opleiden van praktijkwerkers in het gebruik ervan. De vraag is natuurlijk of de praktijkwerkers zich hiervoor kunnen engageren, bovenop de vele taken waarmee zij reeds (over)belast zijn. Het voordeel hiervan is dat we in Vlaanderen reeds over de nodige basisinfrastructuur beschikken, in de vorm van het Expertisecentrum Opvoedingsondersteuning (EXPOO), en dat op deze manier de mogelijkheid tot evaluatie opengesteld wordt aan alle ECEC initiatieven in Vlaanderen. Wel moet er met enige behoedzaamheid aan de slag gegaan worden. Het natuurlijke ontwikkelingsproces van de Vlaamse twee-generatieprogramma’s dient gerespecteerd te worden en bijgevolg worden premature evaluaties uitdrukkelijk afgeraden. De classificatie van projecten op de effectladder mag bovendien niet gebruikt worden om projecten met elkaar te vergelijken, te sanctioneren of als ‘niet effectief’ te bestempelen, maar moet gezien worden als een stimulans voor kwaliteitsverbetering. Het is nu aan het beleid om de beschikbare middelen zodanig te investeren dat een grootschalige evaluatie van Vlaamse ECEC initiatieven mogelijk wordt in de nabije toekomst. Dit zal er niet enkel toe bijdragen dat middelen op lange termijn beter besteed kunnen worden, maar zal een klimaat van continu kwaliteitsverbetering creëren dat de kansarme doelgroep en de gehele Vlaamse maatschappij alleen maar kansrijker zal maken. 40
7. Literatuur Asscher, J., & Stams, G.J. (2010, 26 november). De effectladder waarmee interventies in de jeugdzorg gekwalificeerd worden is misleidend. Folia, 64(12), 9. Barnett, W.S., & Masse, L.N. (2007). Comparative benefit-cost analysis of the Abecedarian project and its policy implications. Economics of Education Review, 26, 113-125. Benasich, A.A., Brooks-Gunn, J., & Clewell, B.C. (1992). How do mothers benefit from early intervention programs? Journal of Applied Developmental Psychology, 13, 311-362. Blok, H., Fukkink, R.G., Gebhardt, E.C., & Leseman, P.P.M. (2005). The relevance of delivery mode and other programme characteristics for the effectiveness of early childhood intervention. International Journal of Behavioral Development, 29, 35-47. Burger, K. (2010). How does early childhood care and education affect cognitive development? An international review of the effects of early interventions for children from different social backgrounds. Early Childhood Research Quarterly, 25, 140-165. Caille, J.-P. (2001). Scolarisation à 2 ans et réussite de la carrière scolaire au début de l’école élémentaire. Education et Formations, 60, 7-18. Campbell, F.A., Helms, R., Sparling, J.J., & Ramey, C.T. (1998). Early childhood programs and success in school. In W.S. Barnett & S.S. Boocock (Eds.), Early Care and Education for Children in Poverty (pp. 145-166). New York: State University of New York Press. Carneiro, P., & Heckman, J.J. (2003). Human capital policy. In J.J. Heckman, A.B. Krueger & B.M. Friedman (Eds.), Inequality in America: What role for human capital policies? (pp. 77-241). Cambridge, MA: MIT Press. Coutinho, T.P. (2001). Impact evaluation of a parent education program in early intervention. Proceedings of the 8th international congress of AIFREF: Mouvance, compétence, adaptation held in Saint-Saveur-des-Monts, Quèbec, April 2001. Geraadpleegd op: http://aifref.uqam.ca/actes/pdf_ang/coutinho.pdf. Cunha, F., Heckman, J.J., Lochner, J., & Masterov, D.V. (2006). Interpreting the evidence of lifecycle skill formation. In E.A. Hanushek & F. Welch (Eds.), Handbook of the Economics of Education (pp. 697-805). Amsterdam: North-Holland. De Haene, L., & Colpin, H. (2010). Bevorderen van de onderwijskansen van kinderen uit kansarme milieus. Onderzoek naar het effect van het programma Instapje in Genk Noord (onderzoeksrapport). K.U. Leuven: Schoolpsychologie en Ontwikkelingspsychologie van Kind & Adolescent.
41
De Jong-Heeringa, J.L. (2008). Effecten op lange termijn van SpelenderWijs, een programma van Voor- en Vroegschoolse Educatie. Groningen: Gronings Instituut voor Onderzoek van Onderwijs. Deleeck, H., Huybrechs, J., & Cantillon, B. (1983). Het Matteüseffect. De ongelijke verdeling van de sociale overheidsuitgaven in België. Antwerpen: Kluwer. Educational Research Centre (1998). Early Start Preschool Programme. Final Evaluation Report. Dublin: Educational Research Centre. Eeman, L., & Nicaise, I. (2012). STUDIO Kinderarmoede. Verslag. Geraadpleegd op: http://www4wvg.vlaanderen.be/wvg/armoede/nieuws/Documents/Conclusies_studio_kin derarmoede.pdf. Eeman, L., Vermeersch, L., Groenez, S., Vause, A, & Raemdonck, I. (2012). Preventieprojecten in de familiale context. Evaluatieonderzoek van de projecten ondersteund door het Fonds van bpost voor Alfabetisering. Geraadpleegd op: http://www.kbsfrb.be/publication.aspx?id=301157&langtype=2067. European Commission (2011). Early childhood education and care: providing all our children with the best start for the world of tomorrow. Geraadpleegd op: http://eurlex.europa.eu/LexUriServ/LexUriServ.do?uri=COM:2011:0066:FIN:EN:PDF. Eyberg, S.M., & Robinson, E.A. (1983). Conduct problem behavior: Standardization of a behavioral rating scale with adolescents. Journal of Clinical Child Psychology, 12, 347-354. Franco, V., & Apolonio, A.M. (2008). Evaluation of early intervention impact in Alentejo: Child, family and community. Regional Health Administration of Alentejo, I.P. Gorey, K.M. (2001). A meta-analytic affirmation of the short- and long-term benefits of educational opportunity. School Psychology Quarterly, 16, 9-30. Groenez, S., & Vandenbroeck, M. (2013). De positieve effecten van voorschoolse voorzieningen voor kinderen in armoede. Bijlage 1 bij de Society Case over ‘Early Childhood Education and Care’ (ECEC). VLAS-Studies 5, Antwerpen: Vlaams Armoedesteunpunt. Harms, T., & Clifford, R. (1980). The Early Childhood Environment Rating Scale. New York: Teachers College Columbia University. Heckman, J.J. (2008). Schools, skills and synapses. Economic Inquiry, 46(3), 289-324. Heckman, J.J., Malofeeva, L., Pinto, R., & Savelyev, P. (2010). Understanding the mechanisms through which an influential early childhood program boosted adult outcomes. (Ongepubliceerd manuscript). University of Chicago Department of Economics, Chicago.
42
Heckman, J.J., Pinto, R., & Savelyev, P.A. (2012). Understanding the mechanisms through which an influential early childhood program boosted adult outcomes, Discussion Paper Series, Forschungsinstitut zur Zukunft der Arbeit, No. 7040. Ince,
D. (2011). Wat werkt bij opvoedingsondersteuning? Geraadpleegd op: http://www.nji.nl/nji/dossierDownloads/Wat%20werkt%20Opvoedondersteuning%20def[1 ].pdf.
Kazdin, A.R., & Weisz, J.R. (2003). Evidence-based psychotherapies for children and adolescents. New York: The Guilford Press. Leseman, P.P.M., & Blok, H. (2004). Effectiviteit van voor- en vroegschoolse educatie. In P.P.M. Leseman & A. van der Leij (Eds.), Educatie in de voor- en vroegschoolse periode (pp. 133147). Lewis, M., & Archer, P. (2002). Further Evaluation of Early Start. Progress Report. Dublin: Educational Research Centre. Lewis, M., & Archer, P. (2003). Early Start Evaluation. Report on Observation Visits to Schools. Dublin: Educational Research Centre. Magnuson, K.A., Ruhm, C., & Waldfogel, J. (2007). Does prekindergarten improve school preparation and performance? Economics of Education Review, 26, 33-51. Meurs, P., Luyten, P., & Jullian, G. (2006). Allochtone kinderen tijdens het eerste levensjaar: invloed van sociaal-economische en etnische status op specifieke ontwikkelingsdomeinen. Gedrag en Gezondheid, 34(3), 133-146. Mutsaers, K., Zoons, M., & De Baat, M. (2012). Wat werkt bij onderwijsachterstanden? Geraadpleegd op: http://www.jeugdinformatie.nl/nji/dossierDownloads/Watwerkt_Onderwijsachterstanden. pdf. National Evaluation of Sure Start (z.j.). National Evaluation of Sure Start – Methodology Report Executive Summary. Geraadpleegd op: http://www.ness.bbk.ac.uk/. Nys, K. (2010). Bevraging van de gemeenten in verband met de implementatie van het decreet opvoedingsondersteuning op lokaal niveau. Brussel: Hoger Instituut voor Gezinswetenschappen. O’Neill, D. (2009). A cost-benefit-analysis of early childhood intervention: Evidence from a randomised evaluation of a parenting programme, Discussion Paper Series, Forschungsinstitut zur Zukunft der Arbeit, No. 4518.
43
Organisation for Economic Cooperation and Development (2006). Starting Strong II. Early Childhood Education and Care. Paris: O.E.C.D. Patton, M.Q. (1994). Developmental Evaluation. Evaluation Practice, 15(3), 311-320. PFL Evaluation Team (2011). Preparing for Life: Early childhood Intervention. Assessing the Early Impact of Preparing for Life at Six Months. Dublin: UCD Geary Institute. Schiettecat, T. (2013). Een inventaris van voorschoolse voorzieningen voor gezinnen met kinderen tussen 0 en 3 jaar. VLAS-studies 2, Antwerpen: Vlaams Armoedesteunpunt. Schweinhart, L.J., Barnes, H.V., & Weikart, D.P. (1993). Significant benefits: The High/Scope Perry preschool study through age 27. Ypsilanti, MI: High/Scope Press. Studiedienst van de Vlaamse Regering (2013). Vlaamse Armoedemonitor. Geraadpleegd op: http://www4dar.vlaanderen.be/sites/svr/publicaties/Publicaties/monitoren/2013-04-16armoedemonitor2013.pdf. Sylva, K., Melhuish, E., Sammons, P., Siraj-Blatchford, I., & Taggart, B. (2004). The Effective Provision of Pre-school Education (EPPE) Project. Effective Pre-School Education. London: DfES/Institute of Education, University of London. van den Berg, M., Vanderfaeillie, J., & Grietens, H. (2009). Effectevaluatie Spreekuur volgens de methodiek van Triple P en vergelijking met het huidige Spreekuur Opvoedingsondersteuning. Geraadpleegd op: http://steunpuntwvg.be/20072011/swvg/_docs/Publicaties/200902_Rapport%2005%20Triple%20P.pdf. Vandenbroeck M. (2013). Ongelijkheid begint in de wieg. Society Case over ‘Early Childhood Education and Care’ (ECEC). VLAS-Studies 5, Antwerpen: Vlaams Armoedesteunpunt. Vanderfaeillie, J., & De Maeyer, S. (2008). De focusmodules in beeld: onderzoek naar de doelgroep, hulpverleningsproces en uitkomsten. VUB: Faculteit Psychologie en Educatiewetenschappen. Van Steensel, R. (2011). Ouders in de voor- en vroegschoolse educatie. Uitbreiding, intensivering en evaluatie van het gezinsgerichte VVE-programma VVE Thuis. (Ongepubliceerd manuscript). Hogeschool Rotterdam, Rotterdam. Van Tuijl, C., Leseman, P.P.M., & Rispens, J. (2001). Efficacy of an intensive home-based educational intervention programme for 4- to 6-year old ethnic minority children in the Netherlands. International Journal of Behavioral Development, 25, 148-159. Van Yperen, T.A., Bijl, B., & Veerman, J.W. (2006). Op weg naar veelbelovend. In T. Van Yperen & J.W. Veerman (Eds.), Zicht op effectiviteit. Bronnenboek voor praktijkgestuurd effectonderzoek in de jeugdzorg. Deel 1 (pp. 21-38). Utrecht: NIZW. 44
Van Yperen, T.A., & Veerman, J.W. (2008). Zicht op effectiviteit. Handboek voor praktijkgestuurd effectenonderzoek in de jeugdzorg. Delft: Eburon. Van Yperen, T.A., & Veerman, J.W. (2011, februari). Jeugdzorg op de ladder: Reactie op artikel Asscher en Stams in Folia. Eigen beheer Nederlands Jeugdinstituut. Veen, A., Fukkink, R., & Roeleveld, J. (2006). Evaluatie van Startblokken en Basisontwikkeling. Implementatie en effecten van het programma Startblokken en Basisontwikkeling in het kader van Voor- en Vroegschoolse Educatie. Amsterdam: SCO-Kohnstamm Instituut. Veen, A., Derriks, M., & Roeleveld, J. (2002). Een jaar later. Vervolgonderzoek evaluatie van Kaleidoscoop en Piramide. Amsterdam: SCO-Kohnstamm Instituut. Veen, A., Roeleveld, J., & Leseman, P.P.M. (2000). Evaluatie van Kaleidoscoop en Piramide. Eindrapportage. Amsterdam: SCO-Kohnstamm Instituut. Veerman, J.W., & Van Yperen, T.A. (2007). Degrees of freedom and degrees of certainty: A developmental model for the establishment of evidence-based youth care. Evaluation and Program Planning, 30, 136-148. Vlaamse Overheid (2010). Vlaams Actieplan Armoedebestrijding 2010-2014. Geraadpleegd op: http://www4wvg.vlaanderen.be/wvg/armoede/vlaamsactieplan/Documents/VAPA20102014.pdf. Vlaamse Regering (2011). Vlaams Actieprogramma Kinderarmoede. Geraadpleegd op: http://www4wvg.vlaanderen.be/wvg/armoede/publicaties/Documents/Vlaams_actieprogr amma_kinderarmoede.pdf. Vlaamse Regering (2011). Vlaams Actieprogramma Kinderarmoede. Geraadpleegd op: http://www4wvg.vlaanderen.be/wvg/armoede/publicaties/Documents/Vlaams_actieprogr amma_kinderarmoede.pdf.
45
