Onderwijs aan studenten Pedagogiek Implicaties van de beweging voor bewezen-effectief werken

Onderwijs aan studenten Pedagogiek Implicaties van de beweging voor bewezen-effectief werken Notitie voor de Vereniging tot Bevordering van de Studie der Pedagogiek

Prof. Dr. Marianne Junger1 Drs. Erica Polak2 Drs. Jurjen A. Tak2 Prof. Dr. Josine Junger-Tas3

1

2

3

Juli 2006

Universiteit Utrecht/Universiteit van Amsterdam Hogeschool van Amsterdam (Educatieve Faculteit) Universiteit Utrecht / Université de Lausanne

CIP-GEGEVENS KONINKLIJKE BIBLIOTHEEK, DEN HAAG Junger, M., Polak, E., Tak, J.A. en Junger-Tas, J. Onderwijs aan studenten Pedagogiek Implicaties van de beweging voor bewezen-effectief werken Junger, M., Amsterdam: SCO-Kohnstamm Instituut van de Faculteit der Maatschappij- en Gedragswetenschappen, Universiteit van Amsterdam (SCOrapport nr. 754), Polak, E., Amsterdam: Hogeschool van Amsterdam, Tak. J.A., Amsterdam: Hogeschool van Amsterdam, Junger-Tas, J., Utrecht: Universiteit van Utrecht, Lausanne: Université de Lausanne ISBN 90-6813-806-5

Alle rechten voorbehouden. Niets uit deze uitgave mag worden verveelvuldigd, opgeslagen in een geautomatiseerd gegevensbestand, of openbaar gemaakt, in enige vorm of op enige wijze, hetzij elektronisch, mechanisch, door fotokopieën, opnamen, of op enige manier, zonder voorafgaande schriftelijke toestemming van de uitgever. All rights reserved. No part of this publication may be reproduced, stored in a retrieval system, or transmitted, in any form or by any means, electronic, mechanical, photocopying, or otherwise, without the prior written permission of the publisher.

Uitgave en verspreiding: SCO-Kohnstamm Instituut Wibautstraat 4, Postbus 94208, 1090 GE Amsterdam Tel.: 020-525 1201 http://www.sco-kohnstamminstituut.uva.nl  Copyright SCO-Kohnstamm Instituut, 2006

Inhoud

Samenvatting en suggesties voor de Beroepsopleiding Pedagogiek...........................1 Inleiding ..........................................................................................................................3 1

De huidige beroepsopleiding Pedagogiek..............................................................7

2

Onderwijs en de ontwikkeling in de kennis over sociaal gedrag ......................11

3 3.1 3.2 3.3

Onderwijs en onderzoek naar effectiviteit van interventies..............................13 Inleiding..................................................................................................................13 Wat is effectiviteitonderzoek? ................................................................................14 Kenmerken van effectieve interventies...................................................................16 3.3.1 Zijn er algemene kenmerken van effectieve interventies?.............................17 3.3.2 Implementatie van interventies ......................................................................17 3.3.3 Professionaliteit medewerkers .......................................................................20 3.4 Effectieve interventies: twee voorbeelden ..............................................................21 3.5 Kosten-baten analyse en kosteneffectiviteit van interventies .................................23 3.6 Een nieuw beleid: bewezen-effectief werken .........................................................25 4

Voorstellen voor aanpassingen van de opleiding in functie van de nieuwe ........ eisen die aan de beroepsuitoefening zullen worden gesteld...............................29 4.1 Inleiding..................................................................................................................29 4.2 Kennis.....................................................................................................................29 4.3 Praktische vaardigheden met betrekking tot de implementatie van interventies.....................................................................................................................32 4.4 Internationalisering .................................................................................................34 4.5 Voordelen van het werken met bewezen-effectieve interventies voor de opleiding ........................................................................................................................35 Literatuurverwijzingen ...............................................................................................37 Bijlage 1: Wanneer is een interventie bewezen-effectief?.........................................43 Eis 1: De randomized controlled trial (RCT). ...........................................................43 Eis 2: Voldoen aan algemene eisen van goed onderzoek. .........................................45

Twee meetmomenten .........................................................................................45 Blind meten ........................................................................................................45 Meerdere bronnen ..............................................................................................45 Eis 3: Onafhankelijke replicaties...............................................................................46 Eis 4: Waarborging van de interne validiteit van het experiment. ............................46 Bijlage 2: ‘Feel good’ interventies en pseudowetenschap ....................................47

Samenvatting en suggesties voor de Beroepsopleiding Pedagogiek

Deze notitie is een verkenning van een aantal ontwikkelingen in de samenleving en de wetenschap en de implicaties hiervan voor de beroepsopleiding pedagogiek. Het terrein waarop pedagogen zich bewegen wijzigt zich. Allereerst is gewezen op maatschappelijke ontwikkelingen, zoals de toename van het aantal alleenstaande moeders en het aantal allochtonen in onze samenleving. Ten tweede is de kennis over de eerste levensjaren toegenomen en is het belang van de eerste levensjaren ook voor de ontwikkeling van sociaal gedrag onderbouwd. Tenslotte is recent relatief veel informatie beschikbaar geworden over vroegtijdige interventies. Hieruit blijkt dat er een aantal interventies bestaan die dank zij adequaat onderzoek hun effectiviteit, ook op de lange termijn, hebben kunnen aantonen. Deze effectieve interventies blijken vaak ook kosteneffectief te zijn: de effecten, ervan omgerekend naar Euro’s, zijn groter dan de kosten. Ook is gebleken dat vroegtijdige interventies effectiever zijn dan interventies die later in het leven worden uitgevoerd. Om al deze redenen kan men aannemen dat de roep in het veld en bij de overheid om alleen nog maar met bewezen-effectieve interventies te werken zal toenemen. Van belang zijn de implicaties van deze ontwikkelingen voor de Beroepsopleiding Pedagogiek. De opleiding moet naar onze inschatting zich vernieuwen op vier punten: 1) kennis van de ontwikkeling van kinderen tijdens de eerste levensjaren, 2) kennis van onderzoeksmethodieken, 3) kennis en vaardigheden op het gebied van de toepassing van bewezen-effectieve interventies en 4) internationalisering van de opleiding (tabel 1). 1) Allereerst is voldoende kennis nodig ten aanzien van wetenschappelijk inzichten zowel met betrekking tot de eerste levensjaren in het algemeen als specifiek ten aanzien van probleemgedrag. Deze kennis kan vanuit verschillende disciplines worden aangeboden. De ontwikkeling van kinderen wordt door verschillende wetenschappen bestudeerd en ook interventies ten aanzien van probleemgedrag komen voort uit verschillende tradities en disciplines. Tenslotte zal het van belang zijn om voldoende aandacht te schenken aan de multiculturele samenleving en aan de problematiek van het opgroeien in de grote stad.

1

Onderwijs aan studenten Pedagogiek Implicaties van de beweging voor bewezen-effectief werken

2) Vervolgens is gewezen op de noodzaak voldoende kennis te nemen van onderzoeksmethoden, in het bijzonder in relatie tot effectstudies. Het is van belang dat Studenten Pedagogiek zelfstandig de waarde van effectstudies leren beoordelen en hierbij is voldoende diepgang noodzakelijk. Bij de uitvoering van onderzoek worden talrijke beslissingen genomen die de kwaliteit van het eindresultaat mede bepalen. Om te kunnen inschatten hoe de resultaten van effectonderzoek moeten worden geïnterpreteerd is voldoende methodologische kennis onontkoombaar. Zonder die kennis worden professionals kwetsbaar voor de zogenaamde feel good interventies, die goed worden gebracht maar dat niet door gedegen onderzoek wordt onderbouwd. 3) Daarnaast is het van belang de studenten goed in te voeren in specifieke bewezen-effectieve interventies. Daar zitten verschillende aspecten aan vast. Allereerst is het van belang een goed begrip te hebben van een aantal specifieke interventies. Dit is van belang op zichzelf en noodzakelijk indien men anderen wil kunnen trainen. Tevens wordt men zo ingevoerd in allerlei aspecten die samenhangen met bewezen-effectief werken, zoals het werken met handleidingen, protocollen en de instrumenten die daarbij horen. Ook van groot belang is aandacht voor de implementatieproblematiek die hoort bij het in het veld invoeren van (nieuwe) bewezen-effectieve interventies. 4) Ten vierde is gewezen op het feit dat het wetenschappelijk onderwijs al lang internationaal gericht is en dat ook voor de beroepsopleiding Pedagogiek de beweging naar bewezen-effectief werken vermoedelijk tot meer internationale contacten en samenwerking zal leiden. Dit zal gelden voor zowel docenten als voor studenten. Tenslotte is gewezen op een positief aspect van het werken met bewezeneffectieve interventies. Veel interventies die op dit moment worden uitgevoerd hebben weinig positieve effecten en dat bevordert niet de arbeidssatisfactie. Met bewezen-effectieve interventies worden de positieve resultaten van het werk beter zichtbaar. Om die reden is de hoop en de verwachting uitgesproken dat door het werken met bewezen-effectieve interventies de arbeidssatisfactie van de professionals in het veld zal doen toenemen.

2

Inleiding

Tabel 1 1

2

3

4

Suggesties voor de Beroepsopleiding Pedagogiek die volgen uit de beweging voor bewezen-effectief werken 1. Kennis bevorderen betreffende de eerste levensjaren. Multidisciplinaire 2. Vaardigheden in multidisciplinair werken versterken. kennis en vaardighe3. Kennis uit verschillende vakgebieden samenhangend inbrenden gen. 4. Kennis, houding en vaardigheden aanbieden die van belang zijn in de multiculturele samenleving en voor het opgroeien in de grote stad. Onderzoeksmethoden 5. Meer kennis aanleveren over de onderzoeksmethodieken die leiden tot de kwalificatie ‘bewezen-effectief’ zodat studenten pretenties van methodieken kunnen beoordelen. Interventies 6. Kennis van specifieke bewezen-effectieve interventies 7. Vaardigheden aanleren om anderen te kunnen trainen in bewezen-effectieve interventies. 8. Praktische vaardigheden aanleren met betrekking tot de implementatie van een interventies. Internationalisering 9. Kennis van internationale verschillen uitbreiden, zowel ten behoeve van het begrip van grootstedelijke ontwikkelingen als om valkuilen te vermijden bij implementatie van elders ontwikkelde interventies.

Het veld waarin pedagogen werken is zich aan het wijzigen, zowel in maatschappelijk als wetenschappelijk opzicht. Het ligt voor de hand dat de pedagogen, hun beroepsvereniging, de Vereniging tot Bevordering van de Studie der Pedagogiek (VBSP) en hun beroepsopleidingen Pedagogiek die worden verzorgd op de diverse hogescholen in Nederland zich dienen te bezinnen op deze ontwikkelingen. Deze notitie zal dieper ingaan op de wetenschappelijke trends en zal bekijken wat de implicaties daarvan zijn voor de opleiding. De maatschappelijke trends worden in deze notitie beschouwd als algemeen bekend. Men denke bijvoorbeeld aan de toename van alleenstaande en werkende moeders (de Jong & Steenhof, 2000; Harmsen & Garssen, 2005) en de ontwikkeling van een multiculturele samenleving. Onder etnische minderheden

3


bevindt zich een relatief grote groep gezinnen waarin ouders problemen rondom de opvoeding ervaren en waarin kinderen in een milieu verkeren waarin zij onvoldoende tot ontwikkeling kunnen komen. Armoede- en migratieproblematiek zijn vaste aspecten geworden van het werk van pedagogen, wat de opleidingen bijvoorbeeld heeft gedwongen meer aandacht te besteden aan sociologische en cultureel-antropologische kennis. Methodisch gezien is systeemdenken (nog) meer op de voorgrond komen te staan vanwege het noodzakelijke aandacht voor de wisselwerking tussen micro-, meso- en macroniveaus in de samenleving. Deze notitie richt zich echter op nieuwe wetenschappelijke inzichten op het gebied van ontwikkelingsstoornissen, en in het bijzonder met betrekking tot gedragsproblemen en het belang van de eerste levensjaren en de effecten van interventies tijdens die eerste levensjaren. Hieruit blijkt dat sommige interventies positieve en langdurige effecten hebben en significante reducties in probleemgedrag en criminaliteit bereiken. Echter, ook zijn er studies die aantonen dat sommige interventies negatieve effecten hebben op deelnemers en leiden tot een verhoging van probleemgedrag en criminaliteit. Vroegtijdige interventies kunnen dus positieve effecten hebben maar adequaat onderzoek is onmisbaar om onderscheid te kunnen maken tussen effectieve interventies, interventies die dat niet zijn en interventies die negatieve effecten hebben. Tenslotte, wordt van de zijde van de overheid steeds meer nadruk gelegd op accountability (Leeuw, 2005) waarbij diensten en instanties die door de overheid worden gefinancierd zich moeten verantwoorden voor het gevoerde beleid, zowel in termen van effectiviteit als ten aanzien van de economische kosten en baten. Dit betekent dat in het werkveld waarin de pedagogen zich bewegen, bewezen-effectief werken een steeds sterkere nadruk zal krijgen. De notitie schenkt aandacht aan: (1) De huidige beroepsopleiding Pedagogiek; (2) Onderwijs en de ontwikkeling in de kennis over sociaal gedrag. Hierin wordt ingegaan op het belang aan van de eerste levensjaren voor de ontwikkeling van sociaal gedrag; (3) Onderwijs en onderzoek naar effectiviteit van interventies. Hierin wordt begonnen wordt met een korte uitleg over de wijze waarop men de stelling ‘bewezen-effectief’ kan onderbouwen. Dit kan alleen door middel van adequaat onderzoek. Ook zal worden betoogd dat vroegtijdig ingrijpen effectiever is dan ingrijpen later in het leven. Er worden twee voorbeelden gegeven van effectieve interventies die in Nederland zijn uitgevoerd. Tenslotte wordt aangegeven dat steeds vaker kosteneffectiviteitstudies zullen worden uitgevoerd, zodat de

4

Inleiding

financiële kosten en baten voor de samenleving zichtbaar worden. (4) In de laatste sectie worden voorstellen geformuleerd m.b.t. aanpassingen van de opleiding in functie van de nieuwe eisen die aan de beroepsuitoefening zullen worden gesteld.

5


6

1

De huidige Beroepsopleiding Pedagogiek

De laatste 10 jaar zijn op een aantal plaatsen pedagogiekstudies ontwikkeld die opleiden tot een HBO-diploma. De opleidingsdoelen verschillen per opleiding enigszins, evenals bij de universitaire pedagogiekopleidingen overigens. Er zijn universitaire opleidingen Pedagogiek in Leiden, Groningen, Nijmegen, Utrecht en Amsterdam, waarin de UvA en de VU beiden een bachelor en masterprogramma bieden in de pedagogische wetenschappen. Hoewel de bachelor-masterstructuur van zeer recente datum is, blijkt nu al uit het visitatierapport dat deze 6 plekken onderzocht, dat er een grote diversiteit aan doelstellingen en inrichting van de studie bestaat.1 Ook bij de HBO-opleidingen worden de landelijk gedeelde beroeps- en opleidingsprofielen2 bij iedere opleiding op een eigen wijze ingevuld, bijvoorbeeld onder invloed van samenwerkingsverbanden in de regio van de betreffende opleiding. Het werk van de HBO-pedagoog speelt zich af in de multiculturele samenleving waar culturele en religieuze opvattingen uit alle windstreken samenkomen3. In die context pedagoog richt hij zich op de relatie tussen 0- tot 25jarigen en zijn/haar (beroeps)opvoeders. Het werkveld – en ook de overheid – verwacht een breed inzetbare, flexibele professional die weloverwogen (reflectief) en oordeelkundig (deskundig) te werk gaat en die systematisch en stapsgewijs (methodisch) met veranderingsprocessen omgaat en daar aan leiding kan geven4. Bovendien verwacht de toekomstige werkomgeving dat de HBO-pedagoog complexe pedagogische situaties kan analyseren, praktijk- en oplossingsgericht onderzoek kan opzetten en uitvoeren en een goede gesprekspartner is in interdisciplinair en multisectoraal overleg. Dat geldt evenzeer voor diegenen die afstude-

1

Quanu rapport 2005, pedagogische wetenschappen Kuipers, H.-J. (2000). HBO pedagogiek; beroeps- en opleidingsprofiel. Rapport in opdracht van de landelijke programmacommissie pedagogiek en de Vereniging tot Bevordering van de Studie der Pedagogiek (VBSP); en: Mostert, P. (red) (2005). Opvoedingsrelaties versterken. Competentieprofiel HBO-pedagogiek. VBSP/Landelijke Programmacommissie pedagogiek. 3 Zie de studiegids pedagogiek, EhvA, 2005-2006. 4 Zie ook: Veldadviesraad Pedagogiek Educatieve Faculteit Amsterdam (2005). Adviesrapport voor de opleidingen HBO-pedagoog en leraar Pedagogiek. Amsterdam: Hogeschool van Amsterdam, Educatieve Faculteit; Veldadviesraad (VAR). 2

7


ren binnen de lerarenvariant van de opleiding, die specifiek opleidt voor het leraarschap aan een Middelbare Beroepsopleiding. De werkgebieden van de HBO-pedagoog zijn derhalve divers, en verspreid over zorg in en om gezinnen (het ‘eerste pedagogische milieu’), zorg in en om scholen (het tweede pedagogische milieu), het veld van zorg, welzijn (het derde pedagogische milieu) en justitie. Daarbij kunnen zij in het (semi-)commerciële veld terecht komen, bijvoorbeeld door het aanbieden van trainingen voor verschillende doelgroepen of zorg te realiseren op basis van een Persoonsgebonden Budget (PGB) of leerlinggebonden financiering (de ‘rugzak’). Meer concreet kan men de werkdomeinen van de HBO-pedagoog aanduiden als: • Opvoedingsondersteuning in opvoedingssteunpunten en preventieprojecten; • Kinderopvang, scholen en de daarmee verbonden organisaties zoals voorschoolse stimuleringsprojecten, tussen- en naschoolse opvang, timeoutprojecten, projecten in het kader van de Brede School, zorgcoördinatie, huiswerkbegeleiding; • Welzijnsorganisaties zoals buurthuizen, tienerprojecten, jeugdparticipatieprojecten; • Gesubsidieerde hulpverleningsorganisaties zoals Spel aan Huis en pleegzorg; • Niet-gesubsidieerde hulpverleningsorganisaties die rechtstreeks door ouders worden ingehuurd, zoals (in Amsterdam) Kids At Home; • Justitiële organisaties als Bureau HALT; • Beleidsorganen op wijk- en gemeentelijk niveau; • Zorgstructuren op scholen; • En, voor diegenen die de lerarenvariant afronden: onderwijs en leerlingbegeleiding op een Middelbare Beroepsopleiding. De taken van de HBO-pedagoog even divers: begeleiding verzorgen van, leiding geven aan en beleid ontwikkelen voor (beroeps)opvoeders en degenen die opgevoed worden: • Voorlichten; • Signaleren; • Adviseren; • Begeleiden; • Verwijzen; • Coördineren; • Beleid voorbereiden;

8

De huidige beroepsopleiding Pedagogiek

• • •

Onderzoeken; Trainen; Onderwijzen.

Door deze opleiding van vier studiejaren, waarin het competentiegericht leren centraal staat, lopen vier opleidingslijnen: a. Het vakonderwijs beslaat het gebied van theorie en vaardigheidsaspecten: pedagogiek, filosofie, sociologie, psychologie, ontwikkelingspsychologie en ontwikkelingspsychopathologie, methodisch probleemoplossend werken, kleinschalige kwalitatieve en kwantitatieve onderzoeksmethoden, groepsdynamica, signalerings-, advies- en begeleidingsvaardigheden. Er zijn ook themagerichte modules, de zogeheten leerpraktijken, waarin onder begeleiding van een coach studenten in een samenwerkingsgroep een theoretisch onderbouwd product voor de praktijk vervaardigen. b. Het werkplekleren (stagelopen), gericht op de werkuitvoering in de instelling/school. Stagemomenten lopen door de leerjaren heen, culminerend in een langdurige, intensieve stage in het 3e jaar; c. Het metawerk, waarbij studenten leren reflecteren om steeds beter zicht te krijgen op hun eigen wijze van leren, op te verwerven competenties en de na te streven persoonlijk-professionele ontwikkeling. Op grond daarvan worden steeds nieuwe leerdoelen geformuleerd. Het werken aan deze leerdoelen in verschillende taken en activiteiten is onderwerp van gesprek tussen mentor en student; d. Profilering bestaat uit de minor en een aantal keuzevakken. In de profileringslijn kan de student zijn eigen kleur geven aan de opleiding, want de minor vult maar liefst de helft van het vierde studiejaar. In de minor kan de student zich profileren op verschillende terreinen, zoals coaching en begeleiding, kinderopvang, opvoedingsondersteuning, pedagogische netwerken, beleid en management, de samenwerking tussen jeugdzorg en onderwijs en tot slot sociaalwetenschappelijk onderzoek voor de studenten die hun studie willen voortzetten op universitair niveau. De vier jaren van de opleiding hebben op de Hogeschool van Amsterdam elk een accent. De propedeuse is een breed en theoretisch georiënteerd basisjaar. Het denken over kinderen vanuit een ontwikkelingsvisie, over opvoeding, maar ook het denken over denken (filosofie) komt uiteraard aan de orde. De grootstedelijke

9


problematiek, onze multiculturele maatschappij en de rol die opvoeding speelt ten behoeve van talrijke maatschappelijke problemen, komt in leerpraktijken in het eerste leerjaar al aan de orde, zoals rond het thema jeugdparticipatie. Het accent van het tweede studiejaar ligt op methodisch werken. Het gaat hier om systemisch denken, een biopsychosociale visie en methodisch werken met de regulatieve en empirische cyclus. Dit wordt geoefend tijdens de stage, onder andere via opdrachten, terwijl in het metawerk niet alleen persoonlijk maar ook methodisch en theoretisch wordt gereflecteerd. Het derde studiejaar kent de zwaarste stage en focust derhalve op werken in een professionele context. Het onderwijs richt zich dat jaar op communicatievaardigheden, organisatiekunde, de rol van school en gezin, de signalering, begeleiding en verwijzing van risicokinderen en ethische en juridische aspecten. Het vierde en laatste jaar legt de nadruk op professionalisering en biedt zoals hierboven beschreven mede middels de minor de mogelijkheid om de eigen professionaliteit uit te bouwen tot een startbekwaam niveau. In de volgende hoofdstukken wordt uitgewerkt aan welke wetenschappelijke ontwikkelingen uit het domein van de psychologie de opleiding de komende jaren aandacht zal dienen te besteden.

10

2

Onderwijs en de ontwikkeling in de kennis over sociaal gedrag

Voor de studenten Pedagogiek is het vanzelfsprekend van groot belang kennis te nemen van nieuwe inzichten op het gebied van de sociale ontwikkeling. Daarbij zal, naar onze waarneming, meer aandacht dienen te worden geschonken aan de eerste levensjaren. Recent wetenschappelijk onderzoek laat zien dat de eerste levensjaren van wezenlijk belang zijn voor de fysieke en mentale ontwikkeling van kinderen (Shonkoff & Phillips, 2000), inclusief de ontwikkeling van de hersenen. Het genetische onderzoek van de laatste jaren geeft het belang aan van zowel omgevingsinvloeden als van genetische factoren (Rutter, Silberg, O’Connor, & Simonoff, 1999) en recent wordt veel aandacht geschonken aan de interacties tussen genetische en omgevingsfactoren (Rutter, Terrie E. Moffitt, & Caspi, 2006; Suomi, 2005). Zo is ondermeer gebleken dat bedreigingen van een gezonde ontwikkeling van de hersenen kunnen ontstaan door slechte voeding, infectieziekten, stress en het gebruik van verslavende middelen zoals alcohol en drugs door de moeder. Deze factoren kunnen al vanaf de conceptie en dus ook al tijdens de zwangerschap van invloed zijn op het kind. Hoe meer van deze stressoren hun invloed uitoefenen op de ontwikkeling van het kind, hoe moeilijker het wordt voor het kind om optimaal van zijn omgeving te profiteren. Aan- of afwezigheid van beschermende factoren kunnen dan van doorslaggevend belang zijn in de ontwikkeling. Pedagogen dienen uiteraard kennis te hebben van deze factoren om pedagogische situaties goed in te kunnen schatten en te bepalen op welke factoren ingegrepen dient te worden, bijvoorbeeld middels voorlichting en training. Ook voor de cognitieve ontwikkeling zijn de eerste jaren van belang. Het blijkt bijvoorbeeld moeilijk te zijn om achterstanden op cognitief gebied, die vroeg in het leven worden opgelopen, nog in te halen. Experimenten laten zien dat voor kinderen in sociaal-economische achterstandssituaties een onderbreking van twee maanden vakantie van de peuterspeelplaats al leerachterstanden oplevert ten opzichte van kinderen die géén onderbreking meemaken (Landesman-Ramey & Ramey, 1998). Voor het voorkomen van voorkomen van leerachterstanden moet men dus proberen zo vroeg mogelijk in te grijpen. Voor de sociale en emotionele ontwikkeling zijn de eerste levenjaren al evenzeer doorslaggevend. Recente studies tonen aan dat fysiek-agressief gedrag

11


bij jonge kinderen al vroeg in het leven kan worden waargenomen, meestal in de vorm van kleine incidenten, die als ‘fysieke agressie’ kunnen worden omschreven (Tremblay et al., 1999) 1. Ook Nederlandse studies laten zien dat externaliserend probleemgedrag op jonge leeftijd door moeders en/of leraren wordt gerapporteerd (Junger, 2004). Diverse publicaties (Broidy et al., 2003; Nagin & Tremblay, 1999; Shaw, Gilliom, Ingoldsby, & Nagin, 2003) laten zien dat, volgens de informatie van moeders en leraren, fysieke agressie langzaam afneemt vanaf de leeftijd van ongeveer 2;6 à 3 jaar. De verklaring voor deze afname is dat, in het algemeen, zodra kinderen onacceptabel gedrag vertonen, de omgeving (de ouders, leraren) ingrijpt en corrigerend optreedt. Op die manier leren kinderen dat agressie niet wordt getolereerd. Er blijkt echter een groep kinderen te zijn (ongeveer 5% à 10%) die dit niet leert en een hoog niveau van agressief gedrag blijft vertonen (Broidy et al., 2003; Nagin & Tremblay, 1999). Waarschijnlijk hebben noch de ouders noch de leraren ingegrepen. Interventies bij jonge kinderen waarbij ouders leren om discipline adequaat toe te passen laten zien dat ongewenst gedrag dan inderdaad afneemt (Herschell, Calzada, Eyberg, & McNeil, 2002). De conclusie van de auteurs die kinderen op deze jonge leeftijd bestuderen is dat agressief gedrag moet worden afgeleerd op jonge leeftijd (Nagin & Tremblay, 1999; Tremblay et al., 1999). Het zal direct duidelijk zijn dat deze kennis voor pedagogen van groot belang is bij het ontwerpen van preventieve interventies en het ontwikkelen van jeugd(zorg)beleid. Het belang van de eerste levensjaren geeft aan dat veel problemen op oudere leeftijd moeilijk oplosbaar zijn en dat het de voorkeur heeft om vroegtijdig in te grijpen voordat de problemen zich voordoen dan wel vaste vorm aannemen.

1

Het gaat bijvoorbeeld om slaan, gooien met speeltje/zand, trekken aan ander kind, speeltje afpakken, heel dicht bij een ander kind staan, een ander kind duwen, bijten, schoppen, of met opgeheven hand staan.

12

3 Onderwijs en onderzoek naar effectiviteit van interventies

3.1 Inleiding Uit het vorige hoofdstuk valt te concluderen dat er kennis is, die relevant is om pedagogische situaties te analyseren, de ernst van de problematiek te wegen en zo nodig te bepalen op welke zaken men een interventie dient te richten. Maar welke interventies zijn dan relevant? Er is duidelijk een grote behoefte om de ontwikkeling van kinderen en jongvolwassenen te stimuleren en te verbeteren. In ons land heeft die behoefte geleid tot een enorme variëteit aan interventies en beleidsmaatregelen (Verdurmen et al., 2004). Loeffen (2004) becijferde dat ons land 121 jeugdzorg-instellingen telt die samen naar schatting 1507 verschillende modulen of interventies uitvoeren. Het aanbod is echter weinig gestructureerd en systematisch (Blokland, Prinsen, Kok, & Wijngaarden, 2003, p. 67) en het is bovendien niet gelijk gespreid over het land. Ook op het gebeid van voorschoolse educatie is een groot aanbod beschikbaar.1 Nog lastiger is, dat van het huidige aanbod meestal niet bekend is in hoeverre het effectief is. Wanneer er al evaluaties bestaan, zijn die vaak ingericht als klant-tevredenheidstudies met als leidende vraag of ouders tevreden waren. Het betreft zelden een echt effectonderzoek: tevredenheid van deelnemers is immers iets geheel anders dan effect van de interventie op het gedrag van kinderen. Het resultaat is dat veel ouders jaarlijks trainingen of cursussen volgen waarvan het effect geenszins vaststaat (Blokland, Prinsen, Kok, & Wijngaarden, 2003; Delicat, Janssens, & Veerman, 2004; Verdurmen et al., 2004). Zo lopen we dus het risico tijd, geld en energie tevergeefs wordt geïnvesteerd (Blokland, Prinsen, Kok, & Wijngaarden, 2003; Delicat, Janssens, & Veerman, 2004; Leseman, Fahrenfort, Hermanns, & Klaver, 1998; Verdurmen et al., 2004). Dat dit zowel voor de klanten, als de uitvoerders, als de financiers een onwenselijke situatie is, behoeft geen betoog.

1

Zie bijvoorbeeld de NIZW website: www.nizw.nl/Thesaurus/voorschoolseeducatie.htm.

13


In dit hoofdstuk wordt eerst besproken waarop de conclusie gebaseerd is dat een interventie bewezen-effectief is. Duidelijk zal worden dat het moeilijk is om algemene kenmerken te vinden van een effectieve interventie (§ 3.2). Een uitzondering is de kwaliteit van het personeel dat wordt ingezet. Vervolgens worden twee effectieve interventies besproken (§ 3.3). Tenslotte wordt gewezen op recente studies naar kosteneffectiviteit (§ 3.4). Deze verschillende ontwikkelingen hebben overheden in verschillende Westerse landen ertoe gebracht eisen te stellen aan interventies. Ook in Nederland is die beweging ingezet (§ 3.5).

3.2 Wat is effectiviteitonderzoek? Bij vrijwel alle interventies zijn de betrokkenen zeer tevreden en hebben ze een goed gevoel over de effecten van de interventie. In de praktijk betekent dit dat veel interventies een hoge feel good-waarde hebben. Dit geldt voor zowel effectieve als voor ineffectieve interventies. Indien betrokkenen van tevoren of tijdens de uitvoering al zouden kunnen inschatten wat de effecten van specifieke interventies zouden zijn, zou onderzoek niet nodig zijn. Helaas kunnen ook professionals dit niet inschatten. In feite blijken veel interventies niet effectief te zijn en blijkt het moeilijk te zijn om het gedrag, met name sociaal gedrag, te beïnvloeden. De effectiviteit van een interventie kan uitsluitend worden vastgesteld aan de hand van onderzoek dat voldoet aan een aantal kwaliteitseisen. De bijlage verschaft meer informatie over effectonderzoek. In het onderstaande wordt samengevat dat bewezen-effectieve (evidence based) interventies worden onderbouwd door: (1) een randomized control trial (RCT), dat wil zeggen a. in dat er minstens twee groepen worden bestudeerd, een experimentele en een controlegroep, waarbij b. de toewijzing van de deelnemers aan beide groepen op gerandomiseerde, dus aselecte, wijze is gebeurd. RCT is het best mogelijke design indien men causale effecten wil bestuderen. Alle andere experimentele designs, zoals het gebruik van vergelijkingsgroepen, laten minder duidelijke causale conclusies toe (Cook & Campbell, 1979; Farrington & Welsh, 2005; Stephenson & Imrie, 1998).

14

Onderwijs en onderzoek naar effectiviteit van interventies

(2) te voldoen aan algemene eisen van goed onderzoek; a. Het is bijvoorbeeld van belang dat diegenen die de deelnemers aan het onderzoek beoordelen op prestaties niet weten of deze deelnemers tot de controle- dan wel tot de experimentele groep behoren. Dit betekent dat er ‘blind’ moet worden gescoord. b. Tenslotte moet goed worden bekeken of er geen problemen zijn ontstaan die de validiteit van het onderzoek bedreigen. Wisten diegenen die de vooruitgang van kinderen moesten beschrijven wie er tot de experimentele groep en wie tot de controle groep behoorde? Dergelijke problemen kunnen de waarde van de uitkomsten ernstig bedreigen. (3) de aanwezigheid van onafhankelijke replicaties. Een eerste succesvolle studie kan een toevalstreffer zijn. Daarom moeten er, na een eerste onderzoek, meerdere studies controleren of de eerste successen blijvend zijn. (4) de bedreigingen van de interne validiteit te controleren. Dit vergt van de studenten enige verdieping in de details van het onderzoek – iets waarvan zij niet altijd meteen het nut inzien. Toch is dit van grote betekenis voor een goede beoordeling van de literatuur. Zoals Gruner Gandi, MurphyGraham, Petrosino, & Weiss (Gruner Gandi, Murphy-Graham, Petrosino, & Weiss, in press) het stellen: the devil is in the details. Onderzoekers lopen vaak niet te koop met de problemen in hun onderzoeksmethodologie en men moet zich voldoende verdiepen in de methode die is gevolgd om te kunnen inschatten of er ergens een fout is ingeslopen. Soms blijft bijvoorbeeld onduidelijk hoeveel deelnemers meewerkten aan een studie bij de start en hoeveel er verloren gingen in de loop van het onderzoek. Dat is cruciale informatie die te maken heeft met de problemen van selectieve uitval. Indien hier geen duidelijkheid over bestaat dan moet men goed bekijken of de resultaten van de studie voldoende valide en betrouwbaar zijn. Op het gebied van geneesmiddelenonderzoek gelden deze eisen al lang. In Nederland, zoals elders, worden zware eisen gesteld aan het testen van geneesmiddelen. Wij vinden het tegenwoordig normaal dat wanneer wij medicijnen krijgen voorgeschreven, deze medicijnen door middel van een RCT hun gunstige effect heb-

15


ben bewezen en zijn onderzocht op bijwerkingen. De meesten van ons willen geen bestraald water als therapie. Ook aan het onderzoek van de effectiviteit van gedragsinterventies zouden deze eisen moeten worden gesteld. Het is van groot belang dat studenten Pedagogiek leren om de belangrijke kenmerken van onderzoek te herkennen in de wetenschappelijke literatuur en te beoordeelden waanneer een onderzoek ‘adequaat’ kan worden genoemd. Ook de ethische aspecten van onderzoek dienen in het curriculum aan de orde te komen. Zo wordt soms getwijfeld of een RCT ethisch verantwoord is. Het zou niet correct zijn de interventie te onthouden aan de controlegroep. Echter, men dient zich te realiseren dat een RCT plaatsvindt wanneer de professionele gemeenschap niet weet of de onderzochte interventie effect heeft. Bovendien is het ook denkbaar dat een interventie negatieve effecten heeft. Dat dit gevaar niet denkbeeldig wordt met enige regelmaat duidelijk (Dishion, McCord, & Poulin, 1999). Een recent voorbeeld is het Scare Straigth project, waarbij jongeren een ‘angstig en shockerend’ bezoek brengen aan de gevangenis. Dit project had het omgekeerde effect: voor jongeren die deelnamen aan het programma was de kans dat ze zouden recidiveren 1,6 à 1,7 hoger dan voor jongeren uit de controleconditie (Petrosino, Turpin-Petrosino, & Buehler, 2002). Uit het bovenstaande kan geconcludeerd worden, dat wanneer het kritisch kunnen lezen van onderzoek wordt beschouwd als een competentie van de startbekwame HBO-pedagoog. Kennis van onderzoeksmethoden van belang is voor het zelfstandig kunnen beoordelen van de kwaliteit van effectstudies.

3.3 Kenmerken van effectieve interventies Recent is steeds meer informatie gepubliceerd over de effectiviteit van interventies die soms al meer dan twintig jaar geleden in gang zijn gezet. Dankzij studies die de deelnemers aan deze interventies soms meer dan 40 jaar volgen is informatie verschenen over de langdurige effecten van sommige programma’s. Hieruit blijkt dat sommige, maar zeker niet alle, interventies op de lange termijn effect positieve effecten kunnen hebben op sociaal gedrag, ook wanneer dit is gemeten aan de hand van relatief objectieve indicatoren zoals het aantal contacten met justitie. In Nederland speelt het NIZW een centrale rol op het gebied van de ontwik-

16


keling van effectieve interventies2. Hieronder wordt ingegaan op de vraag welke kenmerken effectieve interventies gemeenschappelijk hebben.

3.3.1 Zijn er algemene kenmerken van effectieve interventies? In de afgelopen jaren hebben verschillende onderzoekers overzichten gemaakt van de kenmerken van effectieve interventies. Er werd dan ondermeer gekeken naar kenmerken als intensiteit (het aantal contacten per week of per maand), naar breedte (was er niet alleen contact met het kind maar ook met zijn ouders en/of zijn leraren) en naar de duur van de interventie. Op basis hiervan werden lijsten gemaakt van wat de gemeenschappelijke kenmerken waren van de meest effectieve interventies (Durlak, 1997). De hoop was, dat wanneer die lijst klaar zou zijn, men een soort ‘gemiddelde’ interventie zou kunnen samenstellen die effectief zou zijn. Helaas is de realiteit ingewikkelder. Zo blijkt dat sommige voorschoolse educatieprojecten effect op sociaal gedrag hebben en andere niet (Clarke & Campbell, 1998). Daarom is het nodig om te bekijken welke specifieke interventie voor voorschoolse educatie de beste resultaten heeft bereikt. In plaats van een ‘gemiddeld’ programma voor voorschoolse educatie samen te stellen dat alle kenmerken van goede voorschoolse educatie lijkt te integreren is men thans op zoek naar dát specifieke voorschoolse educatie programma, dat – blijkens een adequate effectstudie – goed werkt. Toch zijn twee algemene punten van groot belang gebleken: allereerst een goede implementatie, en, in relatie hiermee, de inzet van goed opgeleide professionals. 3.3.2 Implementatie van interventies Als projecten mislukken wil dat lang niet altijd zeggen dat ze inhoudelijk niet deugen. Het kan heel goed aan een gebrekkige implementatie liggen. Veel projecten worden ontworpen en getoetst door zeer bevlogen en capabele onderzoekers die het implementatieproces voortdurend volgen en minutieus toepassen. Daarbij wordt aan alle mogelijke eisen voldaan die door de onderzoekers zijn gesteld. Als nu een interventie, op grond van die positieve evaluatie, een wijdere verspreiding krijgt, gaat zich onvermijdelijk een enigszins routineus handelen ontwikkelen en doemen allerhande problemen op. Zo zal bijvoorbeeld in de praktijk van alledag het programma worden toegepast door wellicht minder bevlogen en minder vaar2

Zie ondermeer: www.jeugdinterventies.nl, een website van het NIZW.

17


dige praktijkwerkers, in een situatie die misschien moeilijker te beïnvloeden is dan de experimentele setting. In die omstandigheden ontstaat onherroepelijk een slijtageproces. Vaak worden de door de ontwikkelaars van de interventie gestelde eisen lastig en overbodig gevonden: men vindt de personele inzet te hoog, of de persoonlijke investering te groot. Bekend is de dikwijls voorkomende kreet: ‘Ach wat is dit nu voor nieuws, zo werkte ik toch altijd al!’ die vooraf gaat aan het introduceren van eigen varianten. Hierdoor is binnen de kortste keren van het oorspronkelijke project weinig meer over. In de literatuur wordt dit probleem treatment fidelity danwel treatment integrity genoemd. Verschillende studies hebben aangetoond dat treatment fidelity een belangrijk voorspeller is van succes (Bellg et al., 2004; Miller & Binder, 2002). Een van de taken van de pedagoog die als deskundige op dit terrein wordt ingezet zal zijn om een op de betreffende situatie toegepaste interventie voor te stellen en de toepassing ervan te leiden en te blijven begeleiden. Een aantal voorbeelden kan het belang van een juiste, soms aangepaste, implementatie nog eens onderstrepen. Wat er zoal mis kan gaan, is onder meer aangetoond bij een Amerikaans project dat gericht was op het oplossen van gedragsproblemen en het vergroten van de sociale competentie van leerlingen op een middle school – te vergelijken met onze MAVO, huidige VMBO-t (Gottfredson, 1998). Daarbij werd gebruik gemaakt van een groot aantal interventies, zoals het ‘Life Skills’ training programma, probleemoplossingstrategieën, een vaardigheidstraining gericht op het terugdringen van geweld op school, verbeterde instructiemethoden, een tutor- en mentorsysteem ter begeleiding van leerlingen met leerproblemen en ten slotte beroepsvoorlichting. Alle onderdelen van dit geheel waren wetenschappelijk goed onderbouwd en op effectiviteit getoetst. Helaas kon men geen enkel effect van de geleverde inspanningen vaststellen op het gedrag van de leerlingen. De vraag is nu wat de oorzaken voor het mislukken van deze interventie zouden kunnen zijn. Een eerste oorzaak is waarschijnlijk dat het aantal leerlingen dat het hele programma werkelijk volgde varieerde van ongeveer driekwart tot eenderde van de schoolbevolking. Een tweede oorzaak is dat tijdens de invoering van het veelomvattende project de schoolpopulatie ging veranderen: zo nam het aandeel zwarte leerlingen toe, wat gepaard ging met grotere armoede onder de leerlingen, grotere onderwijsachterstanden, een groter leerlingenverloop en meer zittenblijvers. In de derde plaats werden de docenten die het programma moesten uitvoeren on-

18


voldoende getraind en was het totale programma te complex en veelomvattend voor de schoolstaf. In de vierde plaats leed de school onder een zwakke, sterk wisselende leiding, die de interventie onvoldoende ondersteunde. Tenslotte was het schoolklimaat erg negatief, de staf gedemoraliseerd en de organisatie van de school gebrekkig. Daardoor kon men de docenten niet genoeg bij het project betrekken, zodat deze het niet als hun eigen project gingen beschouwen. Dit voorbeeld toont aan dat de effectiviteit van interventies in hoge mate afhankelijk is van de implementatie ervan (Gottfredson, Wilson, & Najaka, 2000 p. 4-2). Ook laat het voorbeeld zien hoeveel factoren een rol kunnen spelen in een implementatieproces. Een systeemgerichte visie op de organisatie, de leerprocessen die zich bij haar medewerkers ontwikkelen, de onderlinge communicatie, enzovoort is hierbij van belang. Dit vergt in complexere situaties (waarbij zowel organisatorische aspecten als maatschappelijke en beleidsaspecten een grote rol spelen) een dermate diepgravend inzicht dat voor de HBO-pedagoog een vervolgopleiding gewenst is. De Hogere Kaderopleiding Pedagogiek heeft zich – althans aan de Hogeschool van Amsterdam – om die reden gespecialiseerd tot een opleiding voor onderzoek, ontwikkeling en management van veranderingsprocessen in pedagogische organisaties. Een ander probleem dat bijvoorbeeld bij onderwijsprojecten kan optreden is dat implementatie sterk afhankelijk is van de bereidheid van docenten om aan een vernieuwingstraject deel te nemen. Die bereidheid is zeer variabel: zo klagen docenten soms over een tekort aan training of kunnen ze niet goed overweg met het nieuwe materiaal. Nogal eens hebben onderwijsgevenden weerstand tegen de nieuwe leermethoden of geven ze het interventiemateriaal een lage prioriteit. In ons eigen land bleek bijvoorbeeld bij het KEA-project, een onderwijskundig programma dat ontwikkeld werd door een schoolbegeleidingsdienst in Rotterdam, dat ondanks gebleken positieve effecten op de prestaties van leerlingen, niet alle leerkrachten bereid waren de nieuwe KEA-werkwijze over te nemen (Wolfgram, 1999). Een belangrijk punt voor ons land is, dat wij hier veel interventies uit het buitenland importeren, vooral uit de Verenigde Staten. Hoewel de Amerikaanse en Nederlandse samenlevingen veel punten van overeenstemming hebben, kan men toch niet ongestraft een dergelijk programma toepassen zonder soms vrij aanzienlijke aanpassingen. Zo heeft het onderzoek team van de afdeling Jeugdpsychiatrie van de Erasmus Universiteit het Amerikaanse Good Behavior Game –

19


in ons land onder de naam van het Taakspel –, op effectiviteit getoetst (zie ook sectie 3.3.2), terwijl de implementatie werd uitgevoerd door het Rotterdamse Centrum voor Educatieve Dienstverlening (van Lier, Muthen, van der Sar, & Crijnen, 2004). Er waren verschillende aanpassingen noodzakelijk voordat het programma in het Nederlandse onderwijs kon worden toegepast. Zo werd al snel duidelijk dat de Nederlandse leerkrachten die aan het experiment meededen niet van zins waren het Amerikaanse programma, dat de vorm heeft van een spel met verschillende teams, onverkort toe te passen. Dit had alles te maken met cultuurverschillen tussen de Verenigde Staten en Nederland. Het Nederlandse onderwijssysteem is niet zo competitief als het Amerikaanse en er wordt hier bijvoorbeeld veel grotere nadruk gelegd op samenwerken. Ook de methode om van individuele kinderen in een team bij regelovertreding in het openbaar te zeggen dat ze zich verkeerd hebben gedragen, viel niet in goede aarde. In Nederland beloont men de winnende teams en reageert men niet op het regelovertredende gedrag van afzonderlijke kinderen. Bovendien worden de gedragsregels niet door volwassenen opgesteld maar samen met de kinderen. Ook de beloningen voor regelconform gedrag worden in ons land niet door volwassenen bepaald, maar worden door de kinderen zelf bedacht. Ten slotte worden beloningen voor goed gedrag aan teams uitgedeeld en niet aan individuele kinderen, zoals in de Verenigde Staten. Uit deze voorbeelden blijkt dat men niet blindelings zonder enige aanpassing buitenlandse projecten naar ons land kan overplanten. Meestal moet worden bezien in hoeverre ze overeenkomen met fundamentele elementen van onze eigen Nederlandse cultuur. Van belang hierbij blijft vanzelfsprekend dat de kern van het programma overeind blijft. Die is namelijk op effectiviteit getoetst en wil men vergelijkbare resultaten behalen dan is zoals hierboven betoogd de ‘treatment fidelity’ essentieel. De vraag of er niet te veel elementen van het programma worden veranderd, zodat mogelijk de effectiviteit er door zou worden aangetast is een zaak van theoretische onderbouwing en van goed overleg met de ontwerpers van het programma. Uiteindelijk is het ook een empirische kwestie. Dit wil zeggen dat het aangepaste programma opnieuw moet worden onderzocht en door middel van een effectstudie moet worden bekeken of de effecten onveranderd gelden.

20


3.3.3 Professionaliteit medewerkers Meerdere auteurs hebben erop gewezen dat goed opgeleide medewerkers betere resultaten behalen dan minder goed getrainde medewerkers. Zo hebben huisbezoeken niet altijd positieve effecten (Sweet & Appelbaum, 2004). Het bezoek van een niet adequaat getrainde professional hoeft geen plezier hoeft te zijn en betekent niet vanzelfsprekend een ondersteuning voor gezinnen die in moeilijke omstandigheden verkeren. Huisbezoeken aan moeders in achterstandsituaties kunnen daarom averechts werken, indien niet goed getrainde krachten worden ingezet, zoals in Engeland werd gevonden (Melhuish et al., 2005). Ook Olds et al. (Olds et al., 1999) vonden bij het Nurse Family Partnership Program dat professionele verpleegkundigen meer konden bereiken dan para-professionals bij het afleggen van huisbezoeken aan achterstandsmoeders. De verpleegkundige interacteerde op meer responsieve wijze met de moeder dan de para-professional. Het resultaat was een grotere afname met betrekking tot roken en ook de taalontwikkeling van het kind ging sterker vooruit. Als zowel de verpleegkundige als de para-professional positieve effecten bereikten, dan waren de effecten bij de para-professional de helft van de effecten van de verpleegkundige. Niet alleen op het gebied van de gezondheidszorg is dit vastgesteld, ook op het terrein van de voorschoolse educatie is het belang van goed getrainde professional benadrukt (Ackerman, 2005; Ryan & Ackerman, 2004). Het is niet eenvoudig algemene richtlijnen te vinden voor wat, binnen afzonderlijke programma’s wordt verstaan onder adequate training. Voor een verpleegkundige zullen de eisen verschillen van de eisen die worden gesteld aan een lerares/leidster op een peuterspeelplaats. Bovendien liggen er rechten bij sommige programma’s, zoals bij de Nurse Family Partnership en wordt om die reden niet alle informatie over het programma verspreid. Wat voor de hand ligt is dat effectieve programma’s erin slagen hun uitvoerende medewerkers zo te trainen dat het programma werkt.

3.4 Effectieve interventies: twee voorbeelden Zoals vermeld zijn veel interventies niet effectief maar van een aantal is, dank zij adequaat onderzoek, aangetoond dat ze positieve en langdurige effecten hebben. Hieronder worden er twee besproken: Het Perry preschool project en het taak-

21


spel. De twee zijn gekozen omdat hun effectiviteit wordt onderbouwd door gedegen gerandomiseerde studies, omdat ze plaats vinden op school of de peuterspeelplaats en al in Nederland zijn geïntroduceerd. Voor de pedagogen in ons land zijn ze dus bijzonder relevant. Een eerste voorbeeld is de Good behavior game, in Nederland ingevoerd onder de naam ‘Taakspel’. Het Taakspel is een effectieve methode om zowel agressief gedrag als verlegen gedrag te verminderen in de klas. Kinderen in de klas worden in teams ingedeeld en moeten zich tijdens de tijdspanne dat het spel wordt gespeeld (in het begin tien minuten) goed gedragen. Dit wil zeggen: geen interrupties, geen agressief gedrag, niet van de stoel afkomen, geen anderszins verstorend of ongehoorzaam gedrag. De kinderen worden ook in groepen verdeeld, waarbij de wat lastigere kinderen en die kinderen die geen lastig gedrag vertonen bij elkaar worden geplaatst. Het spel geeft strafpunten bij slecht gedrag en beloont goed gedrag (Kellam, 2001). Het effect van de Good Behavior Game op agressief gedrag is aangetoond in de VS (Kellam, Ling, Merisca, Brown, & Ialongo, 1998) en in Nederland (Ince, Beumer, Jonkman, & Vergeer, 2004; van Lier, Muthen, van der Sar, & Crijnen, 2004). De effecten blijven ook op de langere termijn bestaan voor de meest agressieve jongens. De interventie in Nederland liet zien dat zowel concentratieproblemen als gedragsproblemen in de klas verminderen ten opzichte van de controle groep (van Lier, Muthen, van der Sar, & Crijnen, 2004). Een tweede voorbeeld van voorschoolse educatie is het Perry preschool programma. Het doel van het programma was om kinderen uit achterstandmilieus schoolrijp te maken. Kinderen van 3 en 4 jaar kregen gedurende twee en een half uur per dag, vijf maal per week, een programma aangeboden waarbij het de bedoeling was om hun cognitieve, sociale en lichamelijke ontwikkeling te bevorderen. Daarnaast - en dat is van groot belang - werden er ook wekelijks huisbezoeken afgelegd. De kinderen die het programma volgden ontwikkelden zich in veel opzichten beter dan de kinderen uit de controle groep (Schweinhart, 2004). Zij hadden een hogere score op IQ-tests en betere schoolresultaten, minder schooluitval (33% versus 51%) en een grotere kans een diploma te behalen (71% versus 54%). Ook hadden zij een hogere arbeidsparticipatie (50% versus 32%) en een hoger inkomen (jaarinkomen van meer dan $20.000: 60% versus 40%). Tenslotte vertoonden zij minder delinquent gedrag en hadden minder contacten met het justitiële systeem (28% tegenover 52%).

22


Het Perry preschool programma is in Nederland, zij het gedeeltelijk, al werkzaam onder de naam Kaleidoscoop. Helaas is in deze Nederlandse versie het wekelijkse huisbezoek niet overgenomen, met als gevolg dat hiermee de kans op succes op voorhand wordt beperkt. Toch zijn de evaluaties van Kaleidoscoop positief, met effectgroottes voor vooral cognitieve maten rond de .37 (Veen, Roeleveld, & Leseman, 2000). Vermoedelijk zijn de ware effecten groter: het onderzoek kon niet gebruik maken van aselecte toewijzing en de kinderen uit de controlegroep bleken op betere basisscholen terecht te komen dan de experimentele kinderen. Onderzoek naar voorschoolse educatie heeft laten zien dat kinderen die deelnamen aan kwalitatief hoogwaardige programma’s zoals het Perry preschool project beter af zijn dan kinderen in de controlegroep op het gebied van hun schoolloopbaan (bijv. vaker een diploma), hun sociale functioneren (minder criminaliteit), hun gezondheid (minder middelengebruik) en hun maatschappelijke positie (vaker een baan). Dit betekent dat, indien men dit belangrijke doestellingen vindt, het voor de overheid interessant is om dergelijke interventies toe te passen. Ook uitgerekend in dollars - of Euro’s - is dit het geval, zoals blijkt uit de volgende sectie.

3.5 Kosten-baten analyse en kosteneffectiviteit van interventies De overheid wenst steeds uitvoeriger te controleren of het geld dat zij uitgeeft goed is besteed en of beoogde doelen zijn bereikt. Per definitie zijn de beschikbare middelen in elke samenleving schaars en is een belangrijke vraag (al is het niet de enige) of de samenleving beter af is met of zonder een specifiek beleid of een specifieke interventie. Deze vraag kan men vertalen naar de vraag of interventies, naast bewezen-effectief, ook een positieve kosten-baten analyse vertonen en kosteneffectief zijn. Het is mogelijk dat de baten voor kinderen die aan interventies meedoen in termen van behaalde diploma’s of minder arrestaties teniet worden gedaan door de enorme inspanningen die men moet leveren om deze resultaten te bereiken. In dat geval zouden de kosten die de samenleving zich moet getroosten om deze positieve uitkomsten te verkrijgen hoger zijn dan de baten. Recent is een aantal economische analyses uitgevoerd over de kosten en baten van interventies. Sommige interventies blijken wel degelijk kosten-effectief te zijn. Omdat de uit-

23


komsten van effectieve interventies op veel terreinen zichtbaar zijn en blijkt er op veel manieren winst te behalen (Durlak, 1997; Welsh, Farrington, & Sherman). Aos (2004) voerden een uitgebreide meta-analyse uit om de kosten en baten van verschillende type interventies te berekenen. Hieruit kwam onder meer naar voren dat voorschoolse educatie, zoals het Perry preschool project dat hierboven werd besproken, globaal $ 14.716 kost en $ 68.584 opbrengt (Aos, Lieb, Mayfield, Miller, & Pennucci, 2004). Voor deelnemers aan voorschoolse educatie worden minder kosten gemaakt aan uitkeringen, scholing (minder doorverwijzingen naar het speciaal, dus duurdere, onderwijs), en wordt door hen meer belasting betaald (ze verdienen meer) en minder kosten gemaakt door het justitiële apparaat. Al deze bedragen komen tot stand door de deelnemers aan de experimentele groep te vergelijken met de controle groep. Het ligt voor de hand dat dergelijke analyses de trend naar bewezen effectief werken zullen versterken. Op dit punt rijst de vraag, of er een bepaalde leeftijdsgroep is waarop men vanuit het oogpunt van effectiviteit en/of kosteneffectiviteit het best zijn (preventieve) pijlen kan richten. Het eerder in dit stuk genoemde inzicht betreffende het belang van de eerste levensjaren suggereert, dat ingrijpen op jonge leeftijd beter dan op oudere leeftijd. Het belang van de eerste levensjaren blijkt inderdaad ook uit de vergelijking die kan worden gemaakt tussen interventies en experimenten die worden uitgevoerd met jonge kinderen en die worden gemaakt op latere leeftijd. Uit economische studies, gebaseerd op een analyse van de uitkomsten van gedragsinterventies, is gebleken dat investeringen die worden gedaan ten behoeve van de opvoeding en opleiding van jonge kinderen effectiever zijn dan investeringen die later in het leven worden uitgevoerd. Carneiro & Heckman (2003) hebben deze gegevens samengevat in het model dat is afgebeeld in figuur 1. Vanuit dit perspectief is voorschoolse educatie een betere investering dan het basisonderwijs en is het basisonderwijs zelf weer een betere investering is dan het middelbaar (beroeps)onderwijs, dat op zijn beurt weer belangrijker is dat het hoger onderwijs of projecten om 18-jarige werklozen aan een baan te helpen. Dit allemaal bezien vanuit het perspectief van returns for investment.

24


Figuur 1 Rendement van maatschappelijke investeringen in de jeugd (Bron: Carneiro & Heckman (2003)).

Voor pedagogen die betrokken zijn bij het ontwikkelen van beleid ten aanzien van preventieprogramma’s zijn bovengenoemde inzichten uiteraard van cruciaal belang.

3.6 Een nieuw beleid: bewezen-effectief werken Samenvattend: wetenschappelijk onderzoek naar de eerste levensjaren en de informatie uit interventiestudies leiden beiden tot de vaststelling dat die eerste levensjaren van groot belang zijn en dat vroegtijdig ingrijpen in het leven belangrijke positieve gevolgen kan hebben voor het cognitieve, het sociale en het maatschappelijke functioneren van individuen op de langere termijn. Verschillende interventies zijn niet alleen effectief maar leveren tevens winst op wanneer men de effecten omrekent naar Euro’s. In het buitenland zijn vergelijkbare conclusies getrokken. In veel Westerse landen is men daarom gestart met het formuleren en uitvoeren van nieuw beleid op het gebied van gedragsinterventies gericht op het bevorderen van een gezonde ontwikkeling van kinderen. Daarbij staan twee zaken

25


voorop, de wens om meer te doen aan preventief beleid en de wens om uitsluitend nog te werken met bewezen-effectieve interventies. Zo zijn in de VS verschillende organisaties en afzonderlijke staten3 hiermee bezig (Surgeon General, 2004). In de UK is men al enige jaren geleden begonnen met het Sure Start-beleid4 en in de Scandinavische landen is al van oudsher een uitgebreid sociaal beleid aanwezig ter ondersteuning van een goede ontwikkeling van kinderen (Andersson, 2005). Tenslotte heeft de wereldbank inmiddels een internet-site die het belang aangeeft van het stimuleren van de gezonde ontwikkeling voor alle kinderen en het belang hiervan aangeeft voor ontwikkelingslanden5. Het ligt in de verwachting dat ook de Nederlandse overheid steeds meer zal kiezen voor beleidsmaatregelen, interventies of therapieën die bewezeneffectief zijn. Een aantal voorbeelden van deze ontwikkeling naar bewezeneffectief werken in ons land worden hieronder opgenoemd: a. Het NIZW is bezig met het opzetten van een databank Effectieve jeugdinterventies. Hierin worden interventies beschreven en beoordeeld aan de hand van het wetenschappelijk onderzoek dat de interventie heeft begeleid (zie noot 6); b. Met de Operatie Jong wil de rijksoverheid meer coördinatie, efficiëntie en doeltreffendheid brengen in het jeugdbeleid in het algemeen en de jeugdhulpverlening in het bijzonder. In het kader daarvan heeft de staatssecretaris van VWS de Inventgroep gevraagd om effectieve interventies te selecteren. Dit rapport is onlangs verschenen7. Het Ministerie van VWS wil alleen nog effectieve interventies financieren; c. Door het Ministerie van Justitie is een Erkenningscommissie opgezet die sinds haar installatie in december 2005 aan het werk is gegaan om te beoordelen

3

Bijvoorbeeld, de staat South Carolina (South Carolina First Steps, 2003) (zie ook: http://www.scfirststeps.org/docs/ExecutiveSummary.pdf). 4 Voor meer informatie over het project kan de lezer terecht bij http://www.surestart.gov.uk/. Ook gedegen onderzoeksevaluaties horen erbij, zoals bijvoorbeeld blijkt uit de onderzoekssite van Sure Start (http://www.ness.bbk.ac.uk/). 5 Informatie over vroegtijdig ingrijpen kan worden gevonden op de web-site van de wereldbank op het volgende adres: http://web.worldbank.org/WBSITE/EXTERNAL/TOPICS/EXTEDUCATION/EXTECD/0,,m enuPK:344945~pagePK:149018~piPK:149093~theSitePK:344939,00.html).

26


welke interventies in ons land als bewezen-effecief kunnen worden beschouwd6. Ook het Ministerie van Justitie zal in de toekomst alleen nog effectieve interventies financieren.

6

Zie: www.justitie.nl/erkenningscommissie

27


28

4

Voorstellen voor aanpassingen van de opleiding in functie van de nieuwe eisen die aan de beroepsuitoefening zullen worden gesteld

4.1 Inleiding Zowel vanuit de overheid als vanuit het veld zal de behoefte aan bewezeneffectieve interventies naar alle waarschijnlijkheid toenemen. Wat betekent deze ontwikkeling voor de opleiding in de Pedagogiek? Pedagogen kunnen op veel verschillende plekken in de samenleving terecht komen. Zo kunnen zij onder meer ingezet worden in het onderwijs, op scholen of in schoolbegeleidingsdiensten, bij hulpverleningsinstellingen, in jeugdinrichtingen, welzijnsinstellingen of in de gezondheidszorg. Daar zullen zij worden geconfronteerd met verschillende problemen van kinderen en jongeren, waaronder problemen op het gebied van gedrag, de emotionele, de cognitieve en ook de lichamelijke ontwikkeling. Daarbij zal men hen aanspreken op hun pedagogische kwaliteiten en verwachten dat zij voor die problemen een oplossing kunnen adviseren of aanbieden aan de betrokkenen zelf, hun opvoeders en begeleiders en degenen die de betreffende zorg organiseren of daar beleid voor ontwikkelen. Het is dan ook aan de opleiding om studenten Pedagogiek van de nodige kennis over deze oplossingen te voorzien, de vaardigheden ze adequaat te selecteren en de juiste professionele attitude om ze uit te (doen) voeren. Zowel kennis als vaardigheden zijn nodig om met vertrouwen deze taak te kunnen aanvatten en tot een goed einde te brengen. Voor de goede orde: waar in het onderstaande wordt gerefereerd aan ‘de opleiding Pedagogiek’ wordt de opleiding bedoeld zoals die aan de Hogeschool van Amsterdam op dit moment functioneert.

4.2 Kennis De in de vorige hoofdstukken beschreven veranderingen raken direct de inhoud van de opleiding. Een aantal aspecten van de opleiding zullen meer gewicht dienen te krijgen. Pedagogen, zo wordt duidelijk uit de vorige hoofdstukken, hebben kennis nodig van: 1. bewezen effectieve interventies, en dus van

29


onderzoeksmethoden, om onderzoek kritisch te kunnen lezen zodat de pedagoog kan achterhalen welke interventies bewezen effectief zijn; o bronnen van informatie over bewezen effectieve interventies: de algemene kennis over deze instrumenten neemt snel toe en er bestaan meerdere registraties van interventies waar uit geput kan worden1; o criteria om een passende interventie te kiezen; o overheidsbeleid ten aanzien van de financiering van deze interventies; o de vraag van het veld ten aanzien van de kwaliteit van deze interventies; o verschillen en overeenkomsten tussen opvoedingssituaties in verschillende landen waar dergelijke interventies worden ontwikkeld om in te kunnen schatten hoe elders ontwikkelde interventies hier aangepast zouden dienen te worden. 2. bewezen positieve en negatieve invloeden op de ontwikkeling van kinderen en jongeren en hun ouders, en dus van: o up to date feiten over het belang van de eerste levensjaren van een kind; de rol van ouders, omstandigheden en zorg(beleid); o het ontstaansproces van een afwijkende ontwikkeling: een systemische, ontwikkelingsgerichte en dus noodzakelijkerwijze multidisciplinaire blik op het samenspel van lichamelijke, psychische en sociale factoren in de context van de grootstedelijke multiculturele ontwikkelingen; o criteria voor het beoordelen van een ontwikkeling als normaal of abnormaal; o criteria en technieken om kinderen, jongeren, ouders en ook collega’s met problemen te selecteren die voor een interventie in aanmerking komen; om relevante risicofactoren op een juiste wijze in te schatten en daarvooradequate screeningsinstrumenten te kunnen selecteren en toe te passen; o

1

Zie de websites van GGD Nederland, het NIZW en het rapport van de Inventgroep (te vinden op de Web-site van Operatie jong).

30


o

de juiste implementatiewijze van interventies.

Uiteraard geeft de opleiding pedagogiek van oudsher aandacht aan ontwikkelingstheorieën, opvoedings- en ontwikkelingsproblemen, onderzoekstechnieken en interventievaardigheden. Om het beroepsgerichte karakter van de opleiding te versterken in lijn met de geschetste ontwikkelingen is het niettemin toch zaak meer aandacht aan de meest recente ontwikkelingen te geven, mogelijk ten koste van de meer klassieke encyclopedische benadering die vaak de achtergrond vormt van de huidige tekstboeken. In het onderwijs inzake methodisch werken is de afgelopen jaren de aandacht voor systemisch en biopsychosociaal denken reeds versterkt. Een echt multidisciplinaire benadering van problemen aanleren is echter nog een missing link in het programma. Na een periode van verregaande specialisatie is duidelijk geworden dat veel wetenschappelijke disciplines zich bezig houden met de ontwikkeling, de gezondheid en de opvoeding van kinderen. Deze kennis wordt verwerkt in de interventies. Sommige effectieve interventies zijn ontwikkeld vanuit de sociale geneeskunde, andere vanuit de onderwijskunde en vanuit de gedachte dat de schoolrijpheid van kinderen in achterstandssituaties moet worden bevorderd (Perry preschool) en weer anderen vanuit de klinische psychologie of vanuit de jeugdhulpverlening. Het is van belang om kennis te nemen van de inzichten uit de verschillende disciplines: sociale geneeskunde, verplegingswetenschappen, psychologie (klinische- en ontwikkelingspsychologie), orthopedagogiek, ontwikkelingspsychopathologie, sociologie en onderwijskunde. Naast multidisciplinariteit is multiculturaliteit een punt dat in de opleiding weliswaar niet ontbreekt, maar niet zo geïntegreerd is met meer interventiegerichte vakken dat pedagogen de culturele factoren voldoende kunnen wegen. Dit doel ligt helaas nog ver weg: er is voorlopig onvoldoende wetenschappelijk onderzoek om precies te kunnen inschatten in hoeverre er verschillen zijn in de ontwikkeling en in de opvoedingsprocessen die plaats vinden binnen verschillende etnische groepen in ons land. Maar duidelijk is wel dat specifieke groepen in onze samenleving meer problemen hebben op dit gebied en daarom vaker in aanmerking komen voor interventies. De multiculturaliteit ontwikkelt zich grotendeels in de context van de grote stad. De grote steden kenmerken zich door een relatief grote concentratie

31


van problemen en probleemgroepen. De grote steden zijn tevens voor kinderen vaak niet de leukste plek om op te groeien. Verschillenden instanties buigen zich over deze problematiek en er zijn inmiddels een aantal publicaties aan gewijd (Bouw & Karsten, 2004). Er is echter nog veel onderzoek nodig om de opvoedingsproblematiek bij etnische minderheidsgrepen die tot de risicogroepen behoren met bewezen-effectieve methoden aan te pakken. Op de korte termijn lijkt het in ieder geval van belang voldoende pedagogen op te leiden die afkomstig zijn uit die specifieke groepen. Maar uiteindelijk zullen alle pedagogen voldoende kennis dienen te hebben van de cultuur en de problemen van etnische minderheden en de implicaties ervan voor interventies.

4.3 Praktische vaardigheden met betrekking tot de implementatie van interventies Het werken met bewezen-effectieve methodieken vergt uiteenlopende vaardigheden. Een aantal daarvan sluit aan bij het huidige curriculum, andere zijn in ontwikkeling. Van belang voor pedagogen is om over vaardigheden te beschikken waarmee de ze leerkrachten, werkers in de ambulante en residentiële hulpverlening en werkers in de gezondheidszorg kunnen adviseren en bijstaan en dat steeds meer vanuit kennis over bewezen-effectieve interventies. Eerder is aangeven dat een adequate implementatie van interventies absoluut noodzakelijk is, wil men de claim op effectiviteit staande houden. Wat zijn nu de implicaties hiervan voor het onderwijs in de pedagogiek? Allereerst is er de zorg voor een positief klimaat in de organisatie of instelling, zodat zowel de leiding ervan als de staf gecommitteerd zijn aan doelstelling en uitvoering en de interventie volledig ondersteunen. Als er sprake is van een gedemoraliseerd personeel – bijvoorbeeld als gevolg van fusies, of ontslagen – dan moet de pedagoog kunnen inschatten of niet beter gewacht kan worden tot de organisatie weer in rustig vaarwater is gekomen. Een HBO-pedagoog dient deze situatie te kunnen inschatten. Om het klimaat van een organisatie als geheel te beïnvloeden, zijn echter competenties op het niveau van de Hogere Kaderopleiding Pedagogiek nodig. Een interventieprogramma moet in de implementatie beheersbaar zijn en niet te omvangrijk of te complex zijn, zodat de uitvoerders en jongeren of/en ge-

32


zinnen niet vroegtijdig afhaken. Een pedagoog moet derhalve coördinerende vaardigheden bezitten om deze processen te overzien en aan te sturen. Op dit moment krijgt dat aandacht in het werkplekleren (de nieuwe term voor stages) – mogelijk zouden stagebegeleiders meer getraind moeten worden op het begeleiden van studenten in deze aspecten. Een ander aspect is de training van de uitvoerders van de interventie. Dit is een van de belangrijkste onderdelen van een goede implementatie, wil men enig resultaat bereiken. De training moet bovendien niet eenmalig zijn. De mobiliteit onder personeel van hulpverleningsorganisaties onderwijsinstellingen en inrichtingen voor jeugdigen is zeer groot en dat betekent dat verkregen kennis en vaardigheden snel verloren gaan. Voorzien moet worden in een doorlopend trainingstraject totdat de interventie onderdeel is geworden van de gewone handelingspraktijk. Dit kan echter geruime tijd in beslag nemen. Pedagogen hebben hiertoe plannen te ontwerpen die passen in de organisatie en hebben trainingsvaardigheden nodig. Deze komen in de opleiding reeds aan de orde, maar zouden mogelijk specifieker aan het uitvoeren van een bewezen-effectief programma gekoppeld kunnen worden. Het kunnen selecteren van een interventie vergt onderzoeksvaardigheden, die geoefend dienen te worden tot een pedagoog daadwerkelijk in staat is het kaf van het koren te scheiden. Deze vaardigheden komen in leerpraktijken van de opleiding veel aan de orde. De praktijk van het maken van de afstudeerwerkstukken leert helaas, dat deze vaardigheid slechts na zeer veel oefenen verworven wordt. Dit was het afgelopen jaar mede aanleiding de leerlijn ‘onderzoeksvaardigheden’ opnieuw te doordenken en bij te stellen. Nog een tweede type onderzoeksvaardigheden is echter nodig: het daadwerkelijk kunnen onderscheiden van een afwijkende ontwikkeling, de ernst daarvan kunnen inschatten en de aard van de problematiek kunnen onderzoeken danwel door meer gespecialiseerde hulpverleners kunnen laten onderzoeken en de resultaten van dat onderzoek kunnen koppelen aan een interventie die past bij de problematiek. Het gaat hier dus om diagnostische vaardigheden en vaardigheden voor de eerste fase van de hulpverlening. Dit programma ‘signaleren, adviseren en verwijzen’ dient nadrukkelijk op HBO-niveau te worden vormgegeven. De valkuil om HBO-pedagogen tot ‘mini-orthopedagogen’ op te leiden dient vermeden te worden. Opgemerkt kan worden, dat in de zorg (ook bij huisartsen en tandartsen bijvoorbeeld) in toenemende mate personeel op HBO-niveau taken uitvoert

33


die vroeger aan academici waren voorbehouden. Dit geschiedt echter in een multidisciplinair verband, waarbij de HBO-er zich meer dan ooit bewust dient te zijn van de grenzen van zijn competenties. Bij deze laatstgenoemde activiteiten speelt derhalve het kunnen samenwerken met andere disciplines en organisaties een grote rol. Het coördinerende aspect daarin is nog te weinig aan de orde in de opleiding. Wel wordt, bijvoorbeeld aan de Amsterdamse opleiding (HvA) binnen de cursus ‘signaleren, adviseren en verwijzen’ aandacht gegeven aan het begrijpen van de resultaten van onderzoek door andere disciplines. Binnen de minor ‘jeugdzorg en onderwijs’ worden deze vaardigheden verder uitgebouwd. Tot slot spelen professionele vaardigheden een rol zoals het vasthouden van een adequate balans tussen afstand en nabijheid in het contact met de hulpvragers, het onderkennen van eigen grenzen, en dergelijke. Dergelijke professionaliseringsaspecten komen in de opleiding uitvoerig aan de orde, onder andere middels een volledige supervisie in het derde leerjaar.

4.4 Internationalisering Het ligt voor de hand dat de globalisering op alle terreinen zal doorzetten. Niet alleen de Nederlandse Universitaire pedagogiek en onderwijskunde zijn sterk internationaal gericht. Ook de HBO-opleidingen krijgen steeds meer een internationale oriëntatie. De problemen van kinderen, hun gezinnen en hun schoolopleiding vertonen in Westerse landen grote overeenkomsten. En overal ter wereld zijn pedagogische hulpverleners actief. Daarnaast blijkt dat Nederlandse pedagogen zich laten inspireren door wat elders plaatsvindt. Dit is, in het kader van bewezeneffectief werken, uitgebreid aan bod gekomen. Tegelijkertijd zal steeds meer beleid op supranationaal niveau (voor Nederland: de Europese Unie) worden gemaakt. Dit beleid zal ook uiteindelijk invloed hebben op onze kinderen en de leefomstandigheden waarin zij opgroeien. Deze trends convergeren en vermoedelijk zal de wijze waarop pedagogen in verschillende landen hun werk verrichten steeds meer overeenkomsten vertonen. Ondanks alle overeenkomsten in problematieke en methodieken, kan ook geconcludeerd worden dat jeugd(zorg)beleid in de verschillende landen op een verschillende wijze vorm krijgt. Het verkennen van de internationale arena op dit

34


gebied is van groot belang om te voorkomen dat men zaken uitprobeert die elders al zijn afgeschaft. Bovendien moet niet vergeten worden dat internationale ervaring voor studenten van belang is om ook persoonlijk ervaring op te doen met verschillende culturen; voor HBO-pedagogen een belangrijke competentie. De internationalisering kan op verschillende manieren vorm krijgen. De opleiding zelf kan steeds meer aandacht schenken aan werkmethoden uit het buitenland. Docenten kunnen worden gestimuleerd om tijdelijk elders werkzaam te zijn. Hiermee krijgen zij mogelijkheden om kennis uit te wisselen met buitenlandse collega’s en eventueel samenwerkingsverbanden aan te gaan. Voor studenten kunnen meer mogelijkheden worden geschapen om een deel van de opleiding in het buitenland te doen. Het zou idealiter een standaard onderdeel van de opleiding zijn, in plaats van een persoonlijke keuze. Nu al maken steeds meer studenten gebruik van de mogelijkheden cursussen in het buitenland te doen. Meer internationale contacten en de mogelijkheid om stages in het buitenland kunnen de kwaliteit van de opleiding ten goede komen en brengen het buitenland dichter bij huis. Dit begint al praktijk te worden. Zo heeft de Noordelijke Hogeschool Leeuwarden een internationalisering site2.

4.5

Voordelen van het werken met bewezen-effectieve interventies voor de opleiding

Hierboven kan de indruk zijn ontstaan dat bewezen-effectief werken niet vanzelf gaat. Die indruk klopt: er moet nog heel wat gebeuren zowel in de opleidingen als in het werkveld. Allereerst zijn dat – uiteraard – voordelen voor de deelnemer aan de interventies, de kinderen en/of hun ouders. Maar er staan volgens ons belangrijke voordelen voor de professional die met bewezen-effectieve interventies werkt tegenover. Het kan een belangrijk stap voorwaarts zijn met betrekking tot de arbeidssatisfactie van de professional die bij bewezen-effectieve interventies betrokken is. Het lijkt niet onwaarschijnlijk dat een van de redenen voor de grote turn-over in sommige sectoren in de jeugdhulpverlening de geringe mate van succes is die men waarneemt bij jongeren. Met bewezen-effectieve interventies is de 2

Zie : www.intern.nhl.nl

35


kans dat men effecten ziet van het eigen optreden groter. En dat geeft waarschijnlijk een grotere kans om bevrediging in het werk te vinden. Wanneer bovendien de professionele kwaliteiten en competenties van een beroep scherper worden omschreven en vaker tot succesvol handelen leiden kan men mogelijk denken aan betere carrièremogelijkheden en misschien zelfs een hogere salariëring voor de toekomst.

36

Literatuurverwijzingen

Ackerman, D. J. (2005). Getting teachers from here to there: examining issues related to an early care and education teacher policy. Early childhood research and practice, 7, 1-22. Andersson, B.-E. (2005, 3/21/2005). Child Care and Its Impact on Children 0–2 Years of Age. Commenting: Belsky, Howes, and Owens. Encyclopedia on Early Childhood Development, from http://www.excellenceearlychildhood.ca/documents/AnderssonANGxp.pdf Aos, S., Lieb, R., Mayfield, J., Miller, M., & Pennucci, A. (2004). Benefits and Costs of Prevention and Early Intervention Programs for Youth (No. 0407-3901). Washington, DC: Washington State Institute for Public Policy. Bellg, A. J., Borrelli, B., Resnick, B., Hecht, J., Minicucci, D. S., Ory, M., et al. (2004). Treatment Fidelity Workgroup of the NIH Behavior Change Consortium, US Health Psychology, 23, 443-451. Blokland, G., Prinsen, B., Kok, C., & Wijngaarden, J. v. (2003). De jeugd heeft de toekosmt. Utrecht, Nl: NIZW / GGD Nederland. Bouw, C., & Karsten, L. (2004). Stadskinderen. Verschillende generaties over de dagelijkse strijd om ruimte. Amsterdam: Aksant. Broidy, L. M., Nagin, D. S., Tremblay, R. E., Bates, J. E., Brame, B., Dodge, K. A., et al. (2003). Developmental trajectories of childhood disruptive behaviors and adolescent delinquency: A six-site, cross-national study. Developmental Psychology, 39, 222-245. Carneiro, P., & Heckman, J. J. (2003). Human Capital Policy (No. IZA DP No. 821). Bonn, Germany: Institute for the study of labor. Clarke, S. H., & Campbell, F. A. (1998). Can intervention early prevent crime later? The Abecedarian Project compared with other programs. Early Childhood Research Quarterly, 13, 319-343. Coalition for Evidence-Based Policy. (2002). Bringing evidence-driven progress to education. A recommended strategy for the US Department of Education. Cook, T. D., & Campbell, D. T. (1979). Quasi-experimentation : design & analysis issues for field settings. Boston: Houghton Mifflin.

37


de Jong, A., & Steenhof, L. (2000). Moeder, huisvrouw en een baan. Web magazine, 2006, from http://www.cbs.nl/nl-NL/menu/themas/mensmaatschappij/leefsituatie/publicaties/artikelen/archief/2000/2000-0635wm.htm Delicat, J. W., Janssens, J. M. A. M., & Veerman, J. W. (2004). Meta-analyse methodieken intensieve pedagogische thuishulp bij normovertredend gedrag. Nijmegen, NL: Katholieke Universiteit Nijmegen. Dishion, T. J., McCord, J., & Poulin, F. (1999). When Interventions Harm: Peer Groups and Problem Behavior. American Psychologist, 54, 755-764. Durlak, J. A. (1997). Successful prevention programs for children and adolescents. New York, NY: Plenum Press. Farrington, D. P., Gottfredson, D. C., Sherman, L. W., & Welsh, B. C. (2002). The Maryland Scientific Methods Scale. In L. W. Sherman, D. P. Farrington, B. C. Welsh & D. L. MacKenzie (Eds.), Evidence-Based Crime Prevention. London: Routledge. Farrington, D. P., & Welsh, B. C. (2005). Het belang van experimentele evaluaties in de criminologie. Justitiële verkenningen, 31, 11-41. Farrington, D. P., & Welsh, B. C. (in press). Randomized Experiments in Criminology: What Have We Learned in the Last Two Decades? Journal of Experimental Criminology. Gorman, D. M. (2003). Prevention programs and scientific nonsense [Electronic Version]. Policy Review, 117. Retrieved February, 2006 from http://www.policyreview.org/feb03/gorman.html. Gottfredson, D. C. (1998). School-based Crime Prevention. In L. W. Sherman, D. Gottfredson, D. MacKinsey, J. Eck, P. Reuter & S. Bushway (Eds.), Preventing Crime: what works, what doesn’t, what’s promising. Washington D.C.: U.S. Department of Justice. Gottfredson, D. C., Wilson, D. B., & Najaka, S. S. (2000). School-Based Crime Prevention, in: , , UK, . In D. P. Farrington, L. W. Sherman & B. Welsh (Eds.), Preventing Crime. London, UK: Harwood Academic Publishers. Gruner Gandi, A., Murphy-Graham, E., Petrosino, A., & Weiss, C. (in press). The Devil is in the Details: Examining the Evidence for School-Based Drug Abuse Prevention Programs. Evaluation Review. Harmsen, C., & Garssen, J. (2005). Sterke toename alleenstaande moeders onder allochtonen. Web magazine, 2006, from

38


http://www.cbs.nl/NR/rdonlyres/6BB10E38-5D5B-4675-AA860B549A56A45D/0/2005k4b15p034art.pdf Henggeler, S. W., Schoenwald, S. K., Borduin, C. M., & Swenson, C. C. (2006). Methodological critique and meta-analysis as Trojan horse. Children and Youth Services Review, 28(4), 447. Herschell, A. D., Calzada, E. J., Eyberg, S. M., & McNeil, C. B. (2002). Parentchild interaction therapy: New directions in research. Cognitive and Behavioral Practice, 9, 9-15. Ince, D., Beumer, M., Jonkman, H., & Vergeer, M. (2004). Veelbelovend en effectief. Overzicht van preventieve projecten en programma’s in de domeinen gezin, school, jeugd, wijk (tweede volledig herziene editie CtC-gids). Utrecht: Nl: NIZW. Junger, M. (2004). De oorsprong van geweld. Terug naar de bron. Amsterdam, Nl.: Vossiuspers, UvA. Kellam, S. (2001, 2001). Good behavior game. Prevention & Treatment, Volume 4, Article 1, posted March 30, 2001, from http://www.journals.apa.org/prevention/volume4/pre0040001app14.html Kellam, S. G., Ling, X., Merisca, R., Brown, C. H., & Ialongo, N. (1998). The effect of the level of aggression in the first grade classroom on the course and malleability of aggressive behavior into middle school. Development and Psychopathology, 10, 165-185. Landesman-Ramey, S., & Ramey, C. T. (1998). Early intervention and early experience. American Psychologist, 53, 109-120. Leeuw, F. L. (2005). Trends and Developments in Program Evaluation in General and Criminal Justice Programs in Particular. European Journal on Criminal Policy and Research, 11, 233 - 258. Leseman, P. P. M., Fahrenfort, M., Hermanns, J. M. A., & Klaver, A. W. (1998). De experimenten opvoedingsondersteuning: leermomenten en toekomstperspectieven. Samenvatting van de onderzoeksresultaten en aanbevelingen. (onderzoeksrapport). Amsterdam: Nl.: SCO-Kohnstamm Instituut. Littell, J. H. (2006). The case for Multisystemic Therapy: Evidence or orthodoxy? Children and Youth Services Review, 28(4), 458. Littell, J. H., Popa, M., & Forsythe, B. (2005). Multisystemic Therapy for social, emotional, and behavior problems in youth age 10-17. Cochrane Library, Issue 3, Chichester, UK: John Wiley & Sons, Ltd.

39


Locurto, C. (1991). Beyond IQ in preschool programs? Intelligence, 15(3), 295. Loeffen, M., Ooms, H., & Wijgergangs, H. (2004). Ordeningsmodel is ‘must’ voor effectieve jeugdzorg. Nederlands Tijdschrift voor Jeugdzorg, 7, 102-113. Lynam, D. R., Milich, R., Zimmerman, R., Novak, S. P., Logan, T. K., Martin, C., et al. (1999). Project DARE: No Effects at 10-Year Follow-Up. Journal of Consulting and Clinical Psychology, 67, 590-593. Melhuish, E., Belsky, J., Leyland, A., Anning, A., Hall, S. D., Tunstill, J., et al. (2005). Early impact of Sure Start local programmes on children and families. Research information (No. 13). Birkbeck, UK: Institute for the Study of Children, Families & Social Issues. Miller, S. J., & Binder, J. L. (2002). The Effects of Manual-Based Training on Treatment Fidelity and Outcome: A Review of the Literature on Adult Individual Psychotherapy. Psychotherapy: Theory/Research/Practice/Training, 39(2), 184. Nagin, D., & Tremblay, R. E. (1999). Trajectories of boys’ physical aggression, opposition, and hyperactivity on the path to physically violent and nonviolent juvenile delinquency. Child Development, 70, 1181-1196. Olds, D. L., Charles R. Henderson, J., Kitzman, H. J., Eckenrode, J. J., Cole, R. E., & Tatelbaum, R. C. (1999). Prenatal and Infancy Home Visitation by Nurses: Recent Findings. A review of 20 years of research on a program that employs nurses as home visitors. The Future of children, 9, 44-65. Petrosino, A., Turpin-Petrosino, C., & Buehler, J. (2002). “Scared Straight” and other juvenile awareness programs for preventing juvenile delinquency: The Cochrane Database of Systematic Reviews 2002, Issue 2. Art. No.: CD002796. DOI: 10.1002/14651858.CD002796. Rutter, M., Silberg, J., O’Connor, T., & Simonoff, E. (1999). Genetics and child psychiatry: II. Empirical research findings. Journal of Child Psychology and Psychiatry and Allied Disciplines, 40, 19-55. Rutter, M., Terrie E. Moffitt, & Caspi, A. (2006). Gene–environment interplay and psychopathology: multiple varieties but real effects. Journal of Child Psychology and Psychiatry, 47, 226-261. Ryan, S., & Ackerman, D. J. (2004). Creating a Qualified Preschool Teaching Workforce Part I

40


Getting Qualified: A Report on the Efforts of Preschool Teachers in New Jerseyâ. New Brunswick NJ: National Institute for Early Education Research, Rutgers, The State University of New Jersey. Schweinhart, L. J. (2004). The High/Scope Perry Preschool Study Through Age 40: Summary, Conclusions, and Frequently Asked Questions (monograph). Ypsilanti, MI: High/Scope Educational Research Foundation. Schweinhart, L. J., & Weikart, D. P. (1997). The high/Scope Perry preschool curriculum comparison study through age 23. Early Childhood Research Quaterly, 12, 117-143. Shaw, D. S., Gilliom, M., Ingoldsby, E. M., & Nagin, D. S. (2003). Trajectories leading to school-age conduct problems. Developmental Psychology, 39, 189-200. Shonkoff, J. P., & Phillips, D. A. (2000). From Neurons to Neighborhoods: The Science of Early Childhood Development: National Academic Press, Institute of Medicine. South Carolina First Steps. (2003). Early outcomes and lessons learned from South Carolina’s School readiness Initiative. Evaluation Report Executive. Summary, 2003. Washington DC: Child Trends. St.Pierre, R. G., & Layzer, J. I. (1999). Using Home Visits for Multiple Purposes: The Comprehensive Child Development Program. The Future of children, 9, 134. Stephenson, J., & Imrie, J. (1998). Why do we need randomised controlled trials to assess behavioural interventions? British Medical Journal, 316(7131), 611-613. Suomi, S. J. (2005). Genetic and environmental factors influencing the expression of impulsive aggression and serotonergic functioning in rhesus monkeys. In R. E. Tremblay, W. W. Hartup & J. Archer (Eds.), Developmental origins of aggression (pp. 63-82). New York: Guilford Press. Surgeon General. (2004). Report of the Surgeon General’s Conference on Children’s Mental Health: A National Action Agenda. Retrieved June 7, 2005, April 27, 2004, from http://www.surgeongeneral.gov/topics/cmh/childreport.htm Sweet, M. A., & Appelbaum, M. L. (2004). Is home visiting an effective strategy? A meta-analytic review of home visiting programs for families with young children. Child Development, 75, 1435-1456.

41


Toroyan, T., Roberts, I., & Oakley, A. (2000). Randomisation and resource allocation: a missed opportunity for evaluating health care and social interventions. J Med Ethics, 26(5), 319-322. Tremblay, R. E. (2001). Montreal longitudinal experimental study. Prevention & Treatment March 30, 2001. 4, from http://journals.apa.org/prevention/volume4/pre0040001app19.html Tremblay, R. E., Japel, C., Perusse, D., McDuff, P., Boivin, M., Zoccolillo, M., et al. (1999). The search for the age of ‘onset’ of physical aggression: Rousseau and Bandura revisited. Criminal Behaviour and Mental Health, 9, 8-23. van Lier, P. A. C., Muthen, B. O., van der Sar, R. M., & Crijnen, A. A. M. (2004). Preventing Disruptive Behavior in Elementary Schoolchildren: Impact of a Universal Classroom-Based Intervention. Journal of Consulting and Clinical Psychology, 72(3), 467-478. Veen, A., Roeleveld, J., & Leseman, P. (2000). Evaluatie van Kaleidoscoop en Piramide. Eindrapportage. Amsterdam: SCO-Kohnstamm Instituut. Verdurmen, J., Oort, M. v., Meeuwissen, J., Ketelaars, T., Graaf, I. d., Cuijpers, P., et al. (2004). Effectiviteit van preventieve interventies gericht op jeugdigen: de stand van zaken. Een onderzoek naar de effectiviteit van in Nederland uitgevoerde preventieve programma’s gericht op kinderen en jeugdigen. Utrecht, Nl.: Trimbos Instituut. Welsh, B. C., Farrington, D. P., & Sherman, L. W. (2001). Improving confidence in what works and saves money in preventing crime: priorities for research. In B. C. Welsch, D. P. Farrington & L. W. Sherman (Eds.), Costs and benefits of preventing crime (pp. 269-278). Boulder, Colorado: Westview Press. Wolfgram, P. (1999). KEA Schooljaar 1998-1999 – de resultaten op een rijtje. Rotterdam: Centrum Educatieve Dienstverlening (CED)/Cedile.

42

Bijlage

Wanneer is een interventie bewezen-effectief?

Effectiviteit kan worden vastgesteld wanneer het onderzoek voldoet aan een aantal kwaliteitseisen. Samengevat, zijn bewezen-effectieve interventies onderbouwd door: (1) een randomized control trial (RCT); (2) te voldoen aan algemene eisen van goed onderzoek; (3) de aanwezigheid van onafhankelijke replicaties; (4) de bedreigingen van de interne validiteit te controleren. Wanneer niet wordt voldaan aan deze eisen kunnen verkeerde conclusies worden getrokken uit onderzoek. We eindigen met wat voorbeelden hiervan: de ‘feel good’-interventies. Deze voorbeelden geven aan hoe belangrijk het is om aan alle eisen te voldoen. Eis 1: De randomized controlled trial (RCT) Bij een RCT worden er minstens twee groepen bestudeerd, een experimentele en een controlegroep, waarbij de toewijzing van de deelnemers aan beide groepen op aselecte, dus gerandomiseerde, wijze is gebeurd. De controlegroep kan bestaan uit een groep waarbij in het geheel niets gebeurt en/of een groep bij wie care as usual plaatsvindt. Omdat er zo veel factoren van invloed zijn op het menselijk gedrag en, meer specifiek, op het voorkomen van antisociaal gedrag en omdat altijd sprake is van veel interveniërende variabelen, is randomisatie noodzakelijk. Dit wil zeggen dat er sprake is van een aselecte (= geheel op toeval gebaseerde) toewijzing van deelnemers aan de studie aan een experimentele dan wel een controlegroep. Door de randomisatie worden de experimentele en de controlegroep aan elkaar gelijk geschakeld en is het enige punt waarop zij van elkaar verschillen het al dan niet plaatsvinden van de interventie. Om die redenen worden causale uitspraken mogelijk: de verschillen die men vindt tussen beide groepen zijn dan toe te wijzen aan de interventie, ook wanneer die effecten pas na veel jaren worden waargenomen. De verschillen zijn niet toe te wijzen aan verschillen die vooraf aan de interventie bestonden omdat via randomisatie gelijkschakeling heeft plaatsgevonden. De RCT is daarom het best mogelijke design indien men causale effecten wil bestuderen. Alle andere experimentele designs, zoals het gebruik van vergelijkingsgroepen, laten minder duidelijke conclusies toe en zeker geen causale (Cook & Campbell, 1979; Farrington & Welsh, 2005; Stephenson & Imrie, 1998). Het gebruik van ‘vergelijkingsgroepen’, waarbij randomisatie achterwege blijft, leidt gemakkelijk tot foutieve conclusies omdat vergelijkingsgroepen

43


meestal verschillen van de experimentele groep, ook al is dat altijd bij voorbaat duidelijk meetbaar. Het rapport van de Coalition for evidence-Based Policy (2002) waarschuwt om deze redenen fel tegen het gebruik van vergelijkingsgroepen. Soms wordt gesteld dat een RCT niet ethisch verantwoord zou zijn. Hiertegen kunnen verschillende argumenten worden ingebracht die te maken hebben met de situatie waarin RCT’s worden uitgevoerd. Allereerst is het tegenwoordig vanzelfsprekend dat men betrokkenen informeert en om medewerking verzoekt. Ten tweede moet er bij een RCT sprake zijn van een situatie van equipoise (Toroyan, Roberts, & Oakley, 2000). Dit houdt in dat de professionele gemeenschap niet weet of de beoogde interventie effect heeft of niet. Critici van RCT’s stellen dat men een effectieve behandeling zou ‘onthouden’ aan de controle groep. Echter, omdat er sprake is van equipoise wordt niemand iets ‘onthouden’. Pas wanneer zekerheid zou ontstaan over de effecten van de interventie zou een nieuwe afweging kunnen plaatsvinden. Men zou ook kunnen stellen dat het onethisch is om niet goed onderzochte interventies aan te bieden en zodoende toch al zwakke groepen in de samenleving te gebruiken als subjecten van een onzeker sociaal experiment. Onzorgvuldig onderzoek kan tot verkeerde conclusies leiden. Dat weet men echter pas nadat ook gegevens uit adequaat onderzoek bekend zijn. Bij het ontbreken van een controlegroep is de kans op foutieve conclusies relatief groot. Een voorbeeld: het Comprehensive Child Development Program leek positieve uitkomsten voor kinderen te hebben omdat de experimentele groep in veel opzichten vooruit ging. Echter, ook de kinderen in de controlegroep gingen vooruit. Een studie zonder controlegroep zou daarom foutief hebben geconcludeerd dat het programma werkzaam was (St.Pierre & Layzer, 1999) terwijl het in werkelijkheid geen bijdrage leverde aan de ontwikkeling van de kinderen. Dit programma koste $ 240 miljoen over vijf jaar en het zou de Amerikaanse belasting betaler veel geld besparen om een ineffectief programma niet langer te continueren (St.Pierre & Layzer, 1999).

44

Bijlage Wanneer is een interventie bewezen effectief?

Eis 2: Voldoen aan algemene eisen van goed onderzoek Twee meetmomenten Een goed experiment dient minstens twee meetmomenten te hebben, een vóór en een ná de interventie. Het verdient de voorkeur om meerdere nametingen te verrichten om óók de langere termijn effecten van de interventie te kunnen waarnemen. Er zijn verschillende studies die bij de eerste evaluatie geen effecten lieten zien van interventie maar op de lange termijn wel (Tremblay, 2001). Een kortdurende studie zou dus ten onrechte hebben besloten dat de interventie zinloos was. In het onderzoek naar het Perry preschool programma (zie verder) zijn pas na ongeveer 20 jaar belangrijke verschillen tussen verschillende type voorschoolse programma’s aan het licht getreden (Schweinhart & Weikart, 1997). Het omgekeerde gebeurt ook: veel positieve effecten houden geen stand. Bijvoorbeeld in veel programma’s voor voorschoolse educatie is er grote IQ-winst, maar meestal verdampt die winst langzaam weer (Locurto, 1991). Blind meten Daarnaast is het van belang dat het meten blind gebeurt (door een blind assistent), dat wil zeggen dat diegene die metingen verrichten niet weten of het om het om een deelnemer van de controle- dan wel de experimentele groep gaat. Bij sommige vormen van therapie, zoals bij Multi-System Therapy (MST) zijn de beoordelaars niet blind voor de status van cliënten geweest. De kans is niet denkbeeldig dat zij zich laten beïnvloeden door hun eigen ervaringen en percepties en geen objectief beeld kunnen geven van de situatie van cliënten die zij zelf hebben behandeld (Littell, Popa, & Forsythe, 2005). Ook sterke financiële betrokkenheid bij MST kan een rol spelen in het propageren van een interventie1 (Littell, 2006). Meerdere bronnen Er is een aantal andere kenmerken van belang voor de kwaliteit van onderzoek (Farrington, Gottfredson, Sherman, & Welsh, 2002). Allereerst is het van belang om metingen te verrichten bij meerdere bronnen, zoals ouders, leraren en via selfreports. Daarnaast dient het onderzoek onafhankelijk te zijn van degenen die het 1

Dr. Hengeller, een van de ontwikkelaars van MST, ontving $ 35 miljoen en vervolgens nog eens $ 20 miljoen aan onderzoeksubsidies terwijl het bedrijf MST services $ 400 à $ 550 per adolescent ontvangt die met MST wordt geholpen (Littell, 2006).

45


experiment uitvoert. In een analyse van alle experimenten die zijn uitgevoerd om de effecten van de Multi-system Therapy te testen is gebleken dat vooral de evaluaties van de groep die deze therapie had opgezet positief waren en de evaluaties door anderen niet positief waren, waardoor de totale uiteindelijke effecten van de therapie nihil waren (Henggeler, Schoenwald, Borduin, & Swenson, 2006; Littell, Popa, & Forsythe, 2005). Eis 3: Onafhankelijke replicaties Er behoren onafhankelijke replicaties van de bevindingen te zijn. Een succesvolle studie is een mooi begin maar kan een toevalstreffer zijn (datzelfde geldt uiteraard ook voor studies die geen positief resultaat laten zien). Replicaties zijn daarom gewenst. Daarnaast zijn er interventies die door universiteiten zijn ontwikkeld en in het laboratorium zijn getest. Replicatie in het veld is dan nodig. Eis 4: Waarborging van de interne validiteit van het experiment. Er kunnen verschillende problemen opdoemen die het ondubbelzinnig interpreteren van gegevens bemoeilijken. Hieronder wordt één belangrijke bedreiging genoemd, namelijk het verlies van participanten uit de experimentele en eventueel ook uit de controlegroep (een Intent to treat (ITT) analyse). Geïnteresseerde lezers wordt voor het overige verwezen naar de literatuur over experimentele onderzoeksmethoden (Cook & Campbell, 1979; Farrington & Welsh, in press; Littell, Popa, & Forsythe, 2005). Het is bekend dat proefpersonen kunnen uitvallen wanneer ze meedoen aan een experiment. Van belang is dat deze uitval zelden aselect is. Meestal zijn de moeilijkste gevallen, de meest problematische gezinnen/ouders/scholen diegenen die het eerst uitvallen. Aan uitval kleven methodologische aspecten. Indien men alleen gegevens verzamelt over de groep die uiteindelijk overblijft leidt dat tot een vertekening ten faveure van de experimentele conditie. In feite moet het resultaat van de experimentele conditie worden berekend op de gehele oorspronkelijke groep waarbij de intentie tot behandelen bestond bij de start (de ITTgroep). En dan worden de resultaten wellicht minder gunstig voor de experimentele groep. Omdat de groep die overblijft meestal de minst problematische groep is zullen de resultaten een onterecht gunstig beeld geven van de interventie. Alleen de studie van Aos (2004) heeft geprobeerd zijn overzicht van effectieve studies te baseren op studies die rekening hielden met uitval.

46

Bijlage Wanneer is een interventie bewezen effectief?

Bijlage 2. Tot slot: ‘feel good’ interventies en pseudowetenschap Het zicht in ‘Interventie-land’ wordt soms vertroebeld door emoties die kunnen spelen bij zowel het publiek, beleidsmakers als bij professionals. Dat emoties bij het publiek en de politiek hoog kunnen opspelen is wel bekend. Dit kan leiden tot het investeren van veel geld in nutteloze interventies. Sommige interventies zijn ongekend populair terwijl het beschikbare onderzoek laat zien dat ze geen en soms zelf negatieve effecten hebben. Hierboven zijn al verschillende voorbeelden genoemd. Het ‘Project DARE’ is een zeer populaire versie van een drugspreventieprogramma. Het beoogt kinderen informatie te geven over drugs, refusal skills aan te leren en het zelfvertrouwen te verhogen. Meerdere studies laten zien dat dit project geen effect heeft op drugsgebruik (Gottfredson, 1998; Lynam et al., 1999). De enige manier om te verklaren waarom dit een populair project is, is dat het een hoog feel good gehalte heeft (Lynam et al., 1999). Een ander populair feel good interventie is het Amerikaanse programma Scared Straight waarbij jonge delinquenten naar de gevangenis worden gebracht om ze direct te confronteren met volwassen veroordeelden (Petrosino, Turpin-Petrosino, & Buehler, 2002). Zo kunnen ze uit de eerste hand horen hoe onaangenaam het gevangenisleven is. De bedoeling is om de jongeren zodanig af te schrikken dat ze verder een leven binnen de wettelijke kaders zullen leiden. Een televisiedocumentaire uit 1979 claimde een succes-rate van 80 à 90%. Door de overweldigende media-aandacht kreeg het programma in de gehele VS navolging en weldra waren er 30 programma’s op de rails gezet. Ook al rezen al snel vraagtekens bij de effectiviteit van het programma, het bleef populair in de VS en is inmiddels geïntroduceerd in Noorwegen, het Verenigd Koninkrijk, Australië en Canada. In 1999 was er opnieuw een televisiedocumentaire die grote successen voor de interventie claimde. Echter, een meta-analyse liet zien dat geen enkele evaluatiestudie positieve effecten voor de experimentele groep ten opzichte van de controlegroep kon aantonen. Integendeel, de meta-analyse laat heel duidelijk negatieve effecten zien van het programma. De kans dat een jongere die deelnam aan het programma recidiveert is 1,6 à 1,7 hoger dan voor jongeren uit de controleconditie (Petrosino, TurpinPetrosino, & Buehler, 2002). Ook onder professionals kunnen emotionele en financiële zaken het zicht vertroebelen. Ontwikkelaars werken vaak lang aan ‘hun’ interventie en hebben er

47


soms commerciële belangen bij (met betrekking tot MST zie de discussie tussen Littell (Littell; , 2005) enerzijds en Henggeler (2006) anderzijds). Een kritische houding van onderzoekers wordt door collega-onderzoekers niet altijd op prijs gesteld (Gorman, 2003). Sommige onderzoekers/ontwikkelaars hebben mooie websites en zijn zeer effectief in het promoten van hun interventies. Dit kan leiden tot grote verspreiding van sommige interventiemodellen ook al zal een kritische lezer op grond van de effectstudies niet begrijpen waar alle positieve geluiden op zijn gebaseerd. Door Gorman (2003) is dit als pseudo-wetenschap aangeduid: als er een effectstudie is uitgevoerd kan de interventie doorgang vinden ongeacht of de effecten nu wel of niet overtuigend zijn aangetoond.

48

Onderwijs aan studenten Pedagogiek Implicaties van de beweging voor bewezen-effectief werken

Recommend Documents