De effectiviteit van Ambulante Crisisinterventie Een meta-analyse
Masterscriptie Orthopedagogiek Pedagogische en Onderwijskundige Wetenschappen Universiteit van Amsterdam
M.S. Bek E.M. Damen
Scriptiebegeleiding: Channa Al Geert-Jan Stams
Amsterdam, 5 juli 2001
Inhoudsopgave
Abstract
……………………………………………………………………. 3
Inleiding
……………………………………………………………………. 4
Methoden
……………………………………………………………………. 9
Zoekstrategie
………………………………….………………… 9
Inclusiecriteria
………………………………….………………… 9
Moderatoren
………………………………….………………… 10
Berekeningen en analyses van effectgroottes …………………………… 13 Publicatiebias Resultaten
………………………………….………………… 14
……………………………………………………………………. 15
Moderatoren……………………………………………………………… 15 Discussie
……………………………………………………………………. 19 ………..…………………………… 19
Homebuilders-model kenmerken
Gezins- en kindkenmerken ……………………………...………………... 20 Studiekenmerken ……………………………………...………………….. 21 Beperkingen van de studie ……………………………...……………....... 23 Literatuurlijst ……………………………………………………………………. 26 Bijlagen
……………………………………………………………………. 33
2
The Effectiveness of Intensive Crisis Intervention: a Meta Analysis
Studenten:
Esther Damen 5951755 Miranda Bek 6271294
Master:
Forensische Orthopedagogiek
Scriptiebegeleiders: Channa Al Geert Jan Stams Datum:
5 juli 2011
Abstract The effectiveness of intensive crisis intervention was examined using a meta-analysis. The results indicate that crisis intervention is not effective in preventing out-of-home placement. Crisis intervention had a medium positive effect on family functioning. A larger effect of crisis intervention on preventing out of home placement is found when studies contain a higher percentage of boys, a lower percentage of single parents, a lower caseload of the caseworker or when studies are of lesser quality. Crisis intervention is more effective with multi-problem families than with families where child abuse or neglect is the primary problem. Crisis intervention is also more effective for families with a immediate risk of out-of-home placement than for families where there is no immediate risk.
3
Inleiding Sinds de jaren ‘70 is een specifieke vorm van hulpverlening in ontwikkeling die zich richt op gezinnen in crisis waarbij sprake is van een risico op een uithuisplaatsing van ten minste één kind. Deze vorm van interventie wordt crisisinterventie genoemd. Het doel van crisisinterventie is het opheffen van de crisis waardoor uithuisplaatsing onnodig wordt. Om dit doel te bereiken richt de interventie zich op het verbeteren van het gezinsfunctioneren, het bevorderen van continuïteit en stabiliteit in het gezin, het vergroten van kind- en gezinsveiligheid en het faciliteren van toegang tot hulpbronnen voor het gezin (Kinney et al., 1977; Kinney, Haapala & Booth, 1991). Er bestaat een grote variëteit aan crisisinterventies. Enkele voorbeelden zijn: Families First (www.familiesfirst.org; zie ook Spanjaard & Haspels, 2005), Ambulante Spoedhulp (zie o.a. Eijgenraam, Van Vugt, & Berger, 2007) en het Crisis Childcare Program (Cowen, 1998;Simington, 1996). Hoewel er verschillen bestaan tussen de interventies, vormt in veel gevallen het Homebuilders-model de basis (Kinney et al., 1977). Dit model is in 1974 ontwikkeld in Washington en is gebaseerd op de crisistheorie (Caplan, 1964; Hoekert, Lommerse & Beunderman, 2000, Rapoport, 1962). Volgens deze theorie zijn gezinnen meer geneigd hulp van buitenaf te accepteren wanneer er sprake is van een crisis (Schuerman, Rzepnicki & Littell, 1994; Staudt & Drake, 2002). Een crisis ontstaat wanneer in een gezin sprake is van oplopende spanning en het gezin zelf geen mogelijkheden meer ziet om de problemen op te lossen (Berger & Hordijk, 2007; Hoekert, Lommerse, & Beunderman, 2000). Kortdurende en intensieve interventie kan worden ingezet om de crisis in het gezin op te lossen en er mogelijk voor te zorgen dat na afloop van de interventie minder behoefte is aan hulpverlening (Rapoport, 1962; Staudt & Drake, 2002). Het Homebuilders-model heeft een aantal specifieke kenmerken: de hulpverlening start binnen 24 uur na aanmelding van het gezin bij de hulpverleningsinstantie, de hulpverleners begeleiden een klein aantal gezinnen, de hulpverlening is flexibel, intensief en van korte duur. De hulpverlening die wordt geboden kan zowel praktisch (zoals het regelen van het huishouden of het aanvragen van een uitkering) als therapeutisch (zoals het aanleren van bepaalde vaardigheden) zijn (Berry, 1997; Kinney, Haapala & Booth, 1991; Ryan & Schuerman, 2004; Tully, 2008). Naast de crisistheorie liggen ook andere theorieën, modellen en benaderingen ten grondslag aan ambulante crisisinterventie. Ten eerste de gehechtheidstheorie 4
(Bowlby, 1969). Deze theorie heeft ervoor gezorgd dat meer belang wordt toegekend aan het bij elkaar houden van gezinnen en dat weerstand is ontstaan tegen het uit huis plaatsen van kinderen. Het weghalen van het kind uit het gezin kan negatieve gevolgen hebben voor de gehechtheid van het kind (Bowlby, 1969; DeHart, Sroufe & Cooper, 2004; Shaffer 2005, Kerig & Wenar, 2006; Van IJzendoorn, 1994). Een benadering die ook aan de basis van ambulante crisisinterventie ligt is de Mulitsysteembenadering (Watzlawick, Beavin & Jackson, 1967). Het gezin wordt gezien als een systeem waarbinnen alle gezinsleden hun eigen rol innemen en daarmee ook invloed hebben op de anderen leden binnen het systeem. Problemen zijn daarom niet beperkt tot slechts één gezinslid (Berger & Hordijk, 2007), waardoor crisisinterventie zich richt op het hele gezinssysteem. Een model dat gerelateerd is aan de
Multisysteembenadering
is
het
Bio-ecologisch
ontwikkelingsmodel
van
Bronfenbrenner (1979). Volgens deze theorie hebben alle verschillende contexten, zoals het sociale netwerk, de buurt waar het gezin in woont of de cultuur, invloed op elkaar. De verschillende contexten hebben ook invloed op hoe de ouder met het kind omgaat. Om deze reden richt crisisinterventie zich ook op omgevingsfactoren, wanneer deze invloed hebben op het functioneren of de problemen van het gezin. Denk hierbij bijvoorbeeld aan het inschakelen van het sociale netwerk om het gezin sociale steun te bieden of het aanbieden van praktische hulp, zoals hulp bij het aanvragen van een uitkering. Tot slot sluit de methode van crisisinterventie aan bij het competentiemodel en bij oplossingsgericht werken. Het competentiemodel richt zich op het vergroten van de vaardigheden van de cliënt (in het geval van ambulante crisisinterventie op alle leden van het gezin) waardoor de eigen mogelijkheden om problemen op te lossen worden vergroot en toekomstige crisis wordt voorkomen (Slot & Spanjaard, 2009). Oplossingsgericht werken houdt in dat samen met de cliënt de ideale situatie wordt bepaald en naar een manier wordt gezocht om deze situatie te bereiken (Cauffman, 2003). In de beginjaren van crisisinterventie werden er veel positieve geluiden gehoord over de werking van crisisinterventie. Evaluaties van verschillende crisisinterventies lieten enorme successen zien (Berry, 1992). Pecora, Fraser, Haapala en Bartlomé (1987) laten in hun onderzoek zien dat bij 71 procent van de kinderen die een crisisinterventie ontvingen uithuisplaatsing werd voorkomen. Bij het onderzoek van Reid, Kagan en Schlosberg (1988) is dit zelfs 93 procent. De positieve resultaten
5
waren vooral afkomstig van studies zonder controlegroep (zie ook Lindsey, Martin & Doh 2002). Hoewel crisisinterventie oorspronkelijk een goed alternatief leek te zijn voor uithuisplaatsing en intussen een gebruikelijke vorm van hulpverlening is geworden, zijn er nog veel onduidelijkheden over de effecten ervan. Deze onduidelijkheden komen onder andere voort uit de grote verschillen in doelgroep, uitkomstmaten en design die in de onderzoeken naar crisisinterventie zijn te zien. Crisisinterventie wordt bijvoorbeeld toegepast in gezinnen waarbij mishandeling door de ouder(s) het grootste probleem is (Fernandez, 2004) of in gezinnen waarbij sprake is van middelgebruik door ouder(s) (Forrester, Copello, Wassbein & Pokhrel, 2008). In de meeste gevallen is er in gezinnen niet sprake van één bepaald probleem, maar zijn er problemen van verschillende aard. In deze gevallen wordt gesproken van mulitprobleem-gezinnen. Wat betreft uitkomstmaten van studies wordt de effectiviteit van crisisinterventie in de meeste studies uitgedrukt in termen van uithuisplaatsing. In een aantal studies wordt naast uithuisplaatsing ook gekeken naar het effect van crisisinterventie op het functioneren van het kind of het gezin of naar sociale steun die het gezin krijgt. De grote verschillen in het design van het onderzoek naar crisisinterventie is vooral terug te zien in het wel of niet gebruiken van een controlegroep. Maar weinig studies maken gebruik van een controlegroep, waardoor slechts uitspraken gedaan kunnen worden over de veranderingen in de experimentele groep. Met een design dat geen gebruik maakt van een controlegroep kunnen geen uitspraken worden gedaan over de effectiviteit van de interventie. Om een duidelijker beeld te vormen over de effectiviteit van crisisinterventie zijn systematic reviews en meta-analyses gedaan. Deze onderzoeken naar de effectiviteit van crisisinterventies laten wisselende resultaten zien. Blythe, Salley en Jayaratne (1994) bekeken 12 studies, waarvan 9 gecontroleerde studies. Zij stellen dat er over het algemeen geen grote verschillen zijn in uithuisplaatsing tussen de experimentele en de controlegroep. Er wordt een klein positief effect gevonden van crisisinterventie op het voorkómen van uithuisplaatsing. Daarbij wordt wel opgemerkt dat er weinig consistentie is tussen de onderzoeken. Ook Fraser, Nelson en Rivar (1997) vinden in hun review geen aanwijzingen voor een groot effect van crisisinterventie op uithuisplaatsing. Er worden voornamelijk kleine effecten of geen effect gevonden. De resultaten van de review van Lindsey, Martin en Doh (2002) sluiten hier ook bij aan. Zij vergeleken in hun review 36 evaluatiestudies waarin 6
uithuisplaatsing wordt gemeten. Bij 4 van de studies was sprake van een experimenteel onderzoeksdesign met random toewijzing aan de experimentele en controlegroep (randomized controlled trial). Bij 3 van deze 4 studies wordt een negatief effect gevonden. De overige 32 studies hanteerden een minder robuust onderzoeksdesign, maar ook vanuit deze studies werd geen positief effect gevonden. Meer positieve resultaten worden beschreven in de review van Littell en Schuerman (1995). Zij vergeleken zowel studies met als zonder een controlegroep. De studies zonder controlegroep laten over het algemeen veelbelovende resultaten zien ten aanzien van het voorkomen van uithuisplaatsing. Echter wordt er bij 7 van de 11 gecontroleerde studies geen significant effect gevonden van crisisinterventies op het voorkomen van uithuisplaatsing. Bij 4 gerandomiseerde studies wordt wel een significant positief effect gevonden van crisisinterventie op het voorkómen van uithuisplaatsing. Ook Tully (2008) vindt een aantal positieve resultaten. Zij bekijkt in haar review de resultaten vanuit zowel losse evaluatiestudies over crisisinterventie als eerdere reviews en meta-analyses. Tully concludeert dat de resultaten wat betreft de effectiviteit van crisisinterventie gemengd zijn. Er komt geen duidelijk positief of negatief beeld naar voren. Wel laat Tully aan de hand van onderzoek van Miller (2006) zien dat crisisinterventies die gebaseerd zijn op het Homebuilders-model een positief effect laten zien op het voorkómen van uithuisplaatsing en het verbeteren van kind- en gezinsfunctioneren. Ook de meest recente meta-analyse die is gedaan naar crisisinterventie vindt een aantal positieve resultaten. Dagenais, Bégin, Bouchard en Fortin (2004) geven in hun meta-analyse een overzicht van resultaten vanuit evaluatiestudies over crisisinterventie. Uit hun resultaten blijkt dat bij 9 van de 16 studies die zijn vergeleken sprake is van een significant positief effect met betrekking tot het voorkómen van uithuisplaatsing. Bij de experimentele groepen van deze studies was dus significant minder sprake van uithuisplaatsingen dan bij de controlegroepen. Bij de andere 7 studies is geen significant verschil gevonden tussen deze groepen. Hoewel er in voorgaande reviews en meta-analyses uitspraken worden gedaan over effectiviteit is er door een aantal beperkingen van deze onderzoeken nog steeds veel onduidelijkheid over de werkzaamheid van crisisinterventie. Tot op heden wordt in reviews en meta-analyses vrijwel alleen uithuisplaatsing als uitkomstmaat meegenomen en wordt vaak geen overall effectsize berekend voor het effect van crisisinterventie. Daarnaast wordt er geen gebruik gemaakt van moderatoren die 7
verschillen in effecten tussen studies kunnen verklaren. Het gebruik van moderatoren kan licht werpen op de vraag voor wie en voor welke problematiek crisisinterventie geschikt is. Daarnaast kunnen uit een moderatoranalyse aanwijzingen naar voren komen over welke interventiekenmerken bijdragen aan de effectiviteit van crisisinterventie. Het gebruik van moderatoren kan ook een deel van de heterogeniteit in de onderzoeksresultaten verklaren. Het doel van dit onderzoek is het beter in kaart brengen van de onderzoeksresultaten met betrekking tot het effect van crisisinterventie om de vraag of crisisinterventie effectief is te kunnen beantwoorden. Er wordt gekeken naar het overall-effect
van
deze
vorm
van
interventie
op
uithuisplaatsing
en
gezinsfunctioneren, sociale steun en gedragsproblemen van kinderen. Uithuisplaatsing wordt het meest gebruikt als uitkomstmaat voor crisisinterventie, omdat het uiteindelijke doel van crisisinterventie is dat een kind thuis veilig is en voorkomen wordt dat een kind uit huis wordt geplaatst. Om dit doel te bereiken richt crisisinterventie zich onder andere op het verbeteren van het gezinsfunctioneren, het regelen van steun uit de omgeving om de draagkracht van het gezin te vergroten en het aanleren van opvoedingsvaardigheden (om bijvoorbeeld de gedragsproblemen van het
kind
te
kunnen
verminderen).
Daarom
kunnen
gezinsfunctioneren,
gedragsproblemen van het kind en sociale steun ook worden gezien als uitkomstmaten. Veel onderzoekers pleiten ook voor het gebruiken van andere uitkomstmaten naast uithuisplaatsing, gezien de beperkte bruikbaarheid van uithuisplaatsing als uitkomstmaat (zie onder andere Rossi, 1992; McCroskey & Meezan, 1997; Kaufman, 2007; Jones, 1985; Schuerman, Rzepnicki & Littel, 1994; Staudt & Drake, 2002; Veerman et al., 1997). Naast het te bepalen overall-effect van crisisinterventie zal in dit onderzoek worden nagegaan welke factoren van invloed zijn op dit effect. Gekeken wordt naar de invloed van kind-/gezinskenmerken (zoals leeftijd van het kind of percentage alleenstaande ouders), interventiekenmerken (zoals duur van de interventie) en studiekenmerken (zoals randomisering), waarvan wordt verwacht dat er een verband zou kunnen bestaan met de uithuisplaatsing, gezinsfunctioneren, gedragsproblemen of sociale steun (zie bijvoorbeeld Kirk & Griffith, 2008; Bitonti, 2002; Berry, 1992; Ryan & Schuerman, 2004; Bath & Haapala, 1993; Bath, Richey & Haapala, 1992; Miller, 2006; Littel & Schuerman, 2002; Spaid & Fraser, 1991).
8
Methoden
Zoekstrategie Om relevante literatuur over crisisinterventie te vinden is gebruik gemaakt van de volgende zoekmachines en databases: Web of Science, PiCarta, PsychINFO, Google en Google Scholar. Op deze manier zijn niet alleen gepubliceerde studies, maar ook ongepubliceerde studies en bundels met crisisinterventie als onderwerp gevonden. De zoektermen die zijn gebruikt zijn: ‘crisis intervention’, ‘family preservation’, ‘family preservation services’, ‘Homebuilders’, ‘Families First’, ‘intensive family preservation services’, ‘family crisis’, ‘placement prevention’, ‘home-based services’ en ‘in-home services’. Deze zoektermen zijn ook gecombineerd met de volgende aanvullende zoektermen gebruikt: ‘evaluation’, ‘program evaluation’, ‘family’ en ‘assessment’.
Omdat niet alleen naar Engelse
literatuur werd gezocht, maar ook naar Nederlandse literatuur, zijn de zoektermen ook in het Nederlands gebruikt. Relevante literatuur is niet alleen gezocht met behulp van databases en zoekmachines. Allereerst zijn studies gevonden met behulp van andere meta-analyses en systematic reviews. De literatuurlijsten van de gevonden meta-analyses en systematische reviews zijn doorgenomen om zo de studies die in de analyses zijn gebruikt te achterhalen. Daarnaast worden in sommige programma-evaluaties andere onderzoeken aangehaald. Wanneer deze onderzoeken relevant leken te zijn, zijn ook deze onderzoeken opgezocht. Literatuur werd ook gevonden via websites van organisaties die zich bezig houden met crisisinterventie, bijvoorbeeld de website van het Nederlands Jeugdinstituut (http://www.nji.nl) of de website van The Institute for Family Development (http://www.institutefamily.org). Tot slot moet worden opgemerkt dat de rapportages van enkele onderzoeken niet meer verkrijgbaar waren. Deze rapportages zijn opgevraagd bij de desbetreffende auteur of organisatie.
Inclusiecriteria Onderzoeken werden alleen meegenomen in de meta-analyse wanneer was voldaan aan een aantal criteria. Allereerst moest het gaan om intensieve en kortdurende ambulante crisisinterventie. Ten tweede moesten de studies ten minste uithuisplaatsing, gezinsfunctioneren, gedragsproblemen van het kind of sociale steun als uitkomstmaat hanteren. Ten derde is in dit onderzoek alleen gebruik gemaakt van onderzoeken waarbij gebruik is gemaakt van een controleconditie (behandeling zoals 9
gebruikelijk1) om gefundeerde uitspraken te kunnen doen over effectiviteit van crisisinterventie. Studies met zowel random als niet random toewijzing aan de experimentele en controlegroep zijn in dit onderzoek geïncludeerd. Tot slot werden studies die twee of meer interventies met elkaar vergelijken, maar waar de interventies te weinig van elkaar verschillen wat betreft programmakenmerken, niet meegenomen in de analyses. Een voorbeeld van een dergelijke studie is het onderzoek van Hinckley en Ellis (1985). In dit onderzoek worden resultaten wat betreft uithuisplaatsing van verschillende locaties op een rij gezet. De interventies op de verschillende locaties lijken niet van elkaar te verschillen, waardoor er geen duidelijke controlegroep kan worden aangewezen. Het zoeken naar literatuur leverde 24 gecontroleerde studies op. Van deze studies werden 3 studies niet meegenomen omdat deze studies niet voldeden aan de inclusiecriteria (Bitonti, 2002; Evans, 2003; Hinckley & Ellis, 1985). Daarnaast werd 1 studie niet meegenomen in de analyses omdat het niet mogelijk was op basis van de statistische gegevens een effectgrootte te berekenen (Miller, 2006). Een overzicht van de 20 overgebleven studies die zijn meegenomen in de analyses is te vinden in Tabel 1.
Moderatoren Allereerst werden effectgroottes (Cohen’s d) berekend over de uitkomstmaten uithuisplaatsing, gezinsfunctioneren, gedragsproblemen van het kind en sociale steun. Daarnaast werden gezinskenmerken, kenmerken van de interventie en kenmerken van het onderzoek als mogelijke moderator gecodeerd met behulp van een coderingsschema. De gecodeerde kenmerken van het gezin zijn leeftijd van het kind, leeftijd van de ouder(s), percentage alleenstaande ouders, culturele achtergrond, risico op uithuisplaatsing, aantal kinderen in het gezin en problematiek van het gezin. De gecodeerde kenmerken van de interventie zijn duur van de interventie, wel of niet gebaseerd op het Homebuilders-model en grootte van de caseload. De gecodeerde kenmerken van het onderzoek zijn randomisering, type publicatie, kwaliteit van de studie, wel of geen prospectief onderzoek, jaar van publicatie, de impact factor van
1
Behandeling zoals gebruikelijk was de ongestructureerde en niet op empirische evidentie gebaseerde behandeling waarvoor de evidence-based behandeling een alternatief voor is. Evidence-based behandeling is gestructureerde en geprotocolleerde behandeling waar tot op zekere hoogte empirische evidentie voor is (Weisz, Jensen-Doss, & Hawley, 2006).
10
het tijdschrift en nameting/ follow-up periode. De kwaliteit van de studie werd gemeten door middel van een checklist die de interne, externe en statistische validiteit bekijkt (Downs & Black, 1998, zie ook Bijlage I).
De impact factor van een
tijdschrift is gebaseerd op het aantal keer dat door artikelen in wetenschappelijk tijdschriften wordt verwezen naar artikelen in het desbetreffende tijdschrift.
11
Tabel 1
Studiekenmerken
Studie
Jaar
N UHP*
N FF*
Random (ja/ nee)
Homebuilders
Duur interventie (dagen)
Type Probleem
Jongens (%)
Leeftijd Kind
Aantal kinderen
Alleenstaande Ouder (%)
AuClaire
1986
113
-
Nee
Nee
37
Multi
50
14,3
2,2
53
Culturele Minderheid (%) 29
Uitkomstmaat: UithuisGezinsplaatsing functioneren ● -
Gedragsproblemen -
DennisSmall DHHS (1)
1986
172
-
Nee
Nee
-
-
-
3,0
-
47
●
-
-
2002
349
-
Ja
Ja
-
Mishandeling/ Verwaarlozing Multi
-
-
3,0
43
45
●
-
-
DHHS (2)
2002
442
-
Ja
Ja
-
Multi
-
-
3,0
34
43
●
-
-
DHHS (3)
2002
147
-
Ja
Ja
-
Multi
-
-
3,0
49
85
●
-
-
DHHS (4)
2002
353
-
Ja
Nee
-
Multi
-
-
3,0
50
85
●
-
-
Feldman
1991
183
Ja
Ja
38
Multi
-
13,0
1,1
58
57
●
●
-
Forrester
2008
368
-
Nee
Ja
-
-
7,0
3,2
46
-
●
-
-
Jones
1985
142
-
Ja
Nee
570
Middelenmisbruik Multi
61
8,0
3,2
66
-
●
-
-
Kirk
2004
26264
-
Nee
Nee
-
50
-
-
-
46
●
-
-
Lewis
2005
-
150
Ja
Nee
-
75
10,4
-
-
28
-
●
●
Meezan
1996
240
146
Ja
Nee
102
-
10,0
3,5
40
78
●
●
-
Mitchell
1989
57
-
Nee
Ja
35
Mishandeling/ Verwaarlozing Problemen met ouderschap Mishandeling/ Verwaarlozing Multi
55
9,8
2,7
-
71
●
-
-
Pecora
1991
199
Nee
Ja
37
Multi
-
-
1,1
58
14
●
-
-
Schuerman
1994
1564
-
Ja
Ja
108
-
-
-
51
76
●
-
-
Szykula
1985
48
-
Ja
Nee
-
-
-
-
68
-
●
-
-
Walton
1997
134
-
Ja
Nee
14
Mishandeling/ Verwaarlozing Mishandeling/ Verwaarlozing Multi
49
6,5
-
-
35,8
●
-
-
-
-
-
-
-
●
-
-
-
7,2
-
-
28
●
-
-
-
6,7
2,4
49
45
●
-
-
Willems
1981
90
Wood
1988
50
Yuan
1990
304
-
-
Ja
Nee
-
Nee
Ja
-
Mishandeling/ Verwaarlozing Multi
Ja
Ja
49
Multi
* UHP = Uithuisplaatsing
FF = Gezinsfunctioneren (Family Functioning)
12
Berekeningen en analyses van effectgroottes Om de verschillen in scores tussen de experimentele en controlegroepen te onderzoeken werd voor elke studie de effectgrootte Cohen`s d berekend. Wanneer meerdere uitkomsten met een gelijke uitkomstmaat werden gerapporteerd in een studie, zoals verschillende operationalisaties van gezinsfunctioneren,, werden deze gecombineerd tot één effectgrootte. Wanneer een studie rapporteerde over meerdere nametingen is besloten dat de laatste uitkomsten worden meegenomen in de metaanalyse, omdat deze het meest veelzeggend zijn. Op deze manier zijn de effectgroottes berekend voor uithuisplaatsing, gezinsfunctioneren, gedragsproblemen van het kind en sociale steun. Voor de meeste studies kon Cohen’s d worden berekend op basis van gemiddelden en standaarddeviaties. In andere gevallen kon Cohen’s d worden berekend op basis van percentages, t-waarden, F-waarden en p-waarden. De effectgroottes zijn berekend door middel van een programma ontworpen om effectgroottes te berekenen (Wilson, 2001). Effectgroottes van d =.80, d=.50, en d=.20 zijn indicaties van respectievelijk grote, middelgrote en kleine effecten. Na het berekenen van de effectgroottes in de studies is een algemene effectgrootte berekend voor uithuisplaatsing en gezinsfunctioneren met behulp van de SPSS macro’s van Lipsey en Wilson (2001). Voor gedragsproblemen van het kind en sociale steun konden geen algemene effectgroottes worden berekend, gezien het beperkte aantal studies dat over deze uitkomstmaten rapporteerde. Vervolgens is een moderatoranalyse uitgevoerd waarin wordt bekeken of de moderatoren een significant effect hebben op uithuisplaatsing. Een moderatoranalyse is niet uitgevoerd voor gezinsfunctioneren omdat slechts 3 studies zijn meegenomen in dit onderzoek waarvan gezinsfunctioneren kon worden gescoord. Een gecodeerd kenmerk is meegenomen als moderator voor uithuisplaatsing in de analyses wanneer dit in minimaal 4 studies kon worden gescoord en de scoring van de variabele betrouwbaar werd geacht. De effectgroottes in de moderatoranalyses zijn berekend door middel van de SPSS macro’s van Lipsey en Wilson (2001). Hierbij is het fixed effect model gebruikt. In tegenstelling tot het random effect model is het fixed effect model gebaseerd op het totaal aantal deelnemers in een studie. Het random effect model baseert de toetsing op het aantal studies dat in de meta-analyse is opgenomen. De toetsing van significantie heeft volgens het fixed effect model meer statistische
13
power dan het random effect model, maar de resultaten van het fixed effect model zijn minder generaliseerbaar dan de resultaten van het random effect model. Met behulp van Q-within statistieken wordt de homogeniteit van de totale effectgroottes getoetst. Bij een significante Q- within statistiek is er sprake van heterogeniteit tussen de studies en is het zinvol om een moderatoranalyse uit te voeren om verschillen in effectgroottes tussen de studies te kunnen verklaren. De moderatoranalyses worden in het geval van categorische variabelen uitgevoerd met behulp van een ANOVA. Hierbij moet worden opgemerkt dat een significante Qbetween statistiek erop wijst dat er verschillen zijn in effectgroottes tussen de subgroepen van de studies. In geval van continue variabelen worden de moderatoranalyses uitgevoerd met behulp van regressieanalyse.
Publicatiebias Een bekend probleem bij meta-analyses is dat niet alle relevante onderzoeken betreffende een onderzoeksvraag worden gepubliceerd. Voornamelijk onderzoeken die geen positieve of significante resultaten laten zien worden vaak niet gepubliceerd (Rosenthal, 1995). Hierdoor zijn de studies die worden gevonden en worden meegenomen in meta-analyses geen goede afspiegeling van al het onderzoek dat is gedaan naar een bepaald onderwerp. Om te onderzoeken welk effect de publicatie bias zou kunnen hebben op meta-analytische resultaten wordt een funnelplot-analyse gedaan. De verdeling van de effectgrootte op de horizontale as wordt voor iedere individuele
studie
afgezet
tegen
de
precisie
(het
omgekeerde
van
de
standaarddeviatie) op de verticale as. Als er geen sprake is van publicatie bias moet de verdeling van de effectgroottes gevormd zijn als een trechter (funnel). De reden hiervoor is dat onderzoeken met kleine steekproeven, die in grotere getalen aanwezig zijn dan onderzoeken met grote steekproeven, worden verwacht grotere variatie te laten zien in de effectgroottes dan de studies met grotere steekproeven. Als de verdeling niet symmetrisch gevormd is als een trechter, geeft dit het bestaan van publicatie bias weer, wat wil zeggen dat er teveel studies met positieve of negatieve uitkomsten zijn meegenomen (Sutton et al., 2000). In deze studie wordt asymmetrie getoetst door middel van de regressie van de standaard normale afwijking, gedefinieerd als de effectgrootte gedeeld door de standaardafwijking, tegen de precisie van de schatting (het tegenovergestelde van de standaard afwijking), welke voor een groot deel afhangt van de steekproefgrootte (zie Egger et al., 1997). Als er 14
sprake is van asymmetrie loopt de regressielijn niet door oorsprong en wijkt het intercept significant af van nul. Resultaten Deze meta-analyse naar de effectiviteit van crisisinterventie werd uitgevoerd over 20 studies met in totaal 31369 deelnemers, variërend van n= 47 (Szykula & Fleischman, 1985) tot n = 26264 (Kirk & Griffith, 2008). De totale effectgrootte voor gezinsfunctioneren, gebaseerd op 3 studies (n = 479 gezinnen), was d = 0.486 (z = 10.541, p =.000) wat duidt op een middelgroot effect (95% betrouwbaarheidsinterval: 0.396 tot 0.577). Door gebruik te maken van de omrekentabel in het artikel van Chmura, Kraemer en Kupfer (2005) is nagegaan hoeveel behandelingen nodig zijn om dergelijke effecten in de praktijk te vinden. De klinische waarde van de gevonden effecten op gezinsfunctioneren is 5.953. Één op de 6 behandelingen zal een positief resultaat opleveren. De totale effectgrootte voor uithuisplaatsing, gebaseerd op 19 studies (n = 31219 gezinnen), was niet significant: d = 0.003 (95% betrouwbaarheidsinterval: -0.008 < d < 0.015). De uitkomstvariabele uithuisplaatsing bevatte voldoende studies om publicatiebias en heterogeniteit te kunnen toetsen. Aangezien de overall effectgrootte voor uithuisplaatsing heterogeen was – Q(19) = 596.662, p <.001 – werd moderatoranalyse uitgevoerd om deze heterogeniteit te kunnen verklaren. Publicatiebias werd onderzocht door het toetsen van de scheefheid van de funnelplot. Er bleek echter geen aanwijzing te zijn voor scheefheid van de funnelplot: t = 1.309, p =.209. De aanwezigheid van publicatiebias is daarmee niet waarschijnlijk.
Moderatoranalyse Een serie ANOVA’s liet zien dat er een aantal categorische variabelen significant van invloed was op de effectiviteit van crisisinterventie op uithuisplaatsing (Tabel 2). Een significant effect van d = -.084 (95% betrouwbaarheidsinterval: -.115 < d < -.053) werd gevonden voor het gebruik van een random toewijzing aan de controlegroep. Het effect van het gebruik van een non-matched controlegroep bleek ook significant met d =.450 (betrouwbaarheidsinterval: 0.385< d < 0.516). Geen significant effect van crisisinterventie werd gevonden wanneer gebruik werd gemaakt van een matched conctrolegroep, d = 0.001 (95% betrouwbaarheidsinterval: -0.012 < d < 0.014). Een effect van d = -.295 (95% betrouwbaarheidsinterval: -.183 < d < -.019) laat zien dat 15
wanneer er sprake is van geen direct risico op uithuisplaatsing dit significant van invloed is op uithuisplaatsing. Wanneer er wel sprake was een direct risico op uithuisplaatsing werd geen significant effect van crisisinterventie gevonden (d = 0.003, 95% betrouwbaarheidsinterval: -0.008 < d < 0.014). Er werd een effect van d =.154 (95% betrouwbaarheidsinterval: .117 < d <.191) gevonden wanneer interventie zich richt op multiprobleem-gezinnen. Wanneer een interventie zich richt op gezinnen waarbij sprake is van mishandeling of verwaarlozing werd echter geen significant effect gevonden (d = -0.011, 95% betrouwbaarheidsinterval: . -0.023 < d < 0.000). Als laatste wordt gevonden dat wanneer een studie gepubliceerd is dit van negatieve invloed is op het effect met d = -.056 (95% betrouwbaarheidsinterval: -0.105 < d < 0.007). Wanneer studies wel gepubliceerd zijn is dit niet significant van invloed op het effect van crisisinterventie (d = .008, 95% betrouwbaarheidsinterval: -0.004 < d < 0.020 en d = -.004, 95% betrouwbaarheidsinterval: -0.043 < d < 0.035). Een regressieanalyse liet zien dat ook een aantal continue variabelen significant van invloed was op de effectiviteit van crisisinterventie op uithuisplaatsing (Tabel 2). Een positief verband werd gevonden tussen het effect van crisisinterventie en de behandeling van jongens (b =.377, p=.004). Er is een negatief verband gevonden tussen het behandelen van culturele minderheden, alleenstaande ouders en het hanteren van een hogere caseload (resp. b = -.574, b= -.260 en b = -.313, p= 0.00) en uithuisplaatsing. Ook werd een verband gezien tussen de kwaliteit van de gebruikte studies in deze meta-analyse en het effect van crisisinterventie op uithuisplaatsing. Een betere kwaliteit is van negatieve invloed op het effect (b = -.316, p=.000). Tot slot werd een verband gevonden tussen de impact factor van een tijdschrift en uithuisplaatsing; hoe meer prestigieus het tijdschrift, hoe negatiever het resultaat ( b = -.785, p =.000).
16
Tabel 2
Moderator-analyse: Categorische variabelen uithuisplaatsing
Moderator variabelen Overall Random toewijzing Ja Nee: matched control group Nee: non-matched control group Termijn nameting 0-12 maanden > 12 maanden Type probleem Mishandeling/ Verwaarlozing Multiproblem Prospectief onderzoek Ja Nee Gebaseerd op Homebuilders Ja Nee Kortdurend Ja, korter dan 2 maanden Nee, langer dan 2 maanden Publicatie Ja, in een tijdschrift Ja, anders (e.g. boek) Nee Direct risico op uithuisplaatsing Ja Nee
19
d Effectgrootte (fixed effects) 0.003
95% Betrouwbaarheidsinterval -0.008 to 0.015
3996 26314 509
13 2 5
-0.084*** 0.001 0.450***
-0.115 to -0.053 -0.012 to 0.014 0.385 to 0.516
28803 2416
9 10
0.003 0.005
0.008 to .015 -0.036 to .045
28378 2841
6 13
-0.011 0.154***
-0.023 to 0.000 0.117 to 0.191
4813 26406
17 2
0.013 0.002
-0.015 to 0.042 -0.010 to 0.014
3663 27556
10 9
-0.002 0.004
-0.034 to 0.031 -0.008 to 0.016
29236 382
10 2
0.007 -0.082
-0.005 to0.018 -0.183 to 0.019
27104 2505 1610
6 6 7
0.008 -0.004 -0.056*
-0.004 to 0.020 -0.043 to 0.035 -0.105 to -0.007
30521 330
16 2
0.003 -0.295***
-0.008 to 0.014 -0.183 to 0.019
N Aantal participanten
K Aantal studies
31219
Q statistic between studies
Q statistic within studies 596.662***
208.505*** 215.536*** 27.744*** 144.876*** 0.003 483.334*** 113.325*** 69.637*** 112.894*** 414.130*** 0.521 581.893*** 14.247*** 0.104 441.102*** 155.456*** 2.900 502.888*** 35.758*** 6.270* 183.777*** 373.954*** 23.661*** 28.383***
*p <.05 **p <.01 ***p <.001
17
531.952*** 0.474
Tabel 3
Moderator-analyse: Continue variabelen uithuisplaatsing
Moderator variabelen Jaar van publicatie Percentage jongens Leeftijd kind Leeftijd ouder Percentage culturele minderheden Percentage alleenstaande ouders Aantal kinderen in het gezin Caseload Duur van interventie Kwaliteit van de studie Impact factor tijdschrift
N Aantal participanten
K Aantal studies
Βeta
Z
p
31219 26710 1591 2367 30571 4452 2870 3119 2936 31219 28668
19 5 9 10 15 13 12 10 9 19 7
-.104 .299 -.166 .104 -.574 -.260 -.238 -.313 -.009 -.316 -.785
-2.536 2.914 -2.185 2.113 -13.152 -5.647 -2.738 -7.102 -.189 -7.706 -3.788
.011 .004 .029 .035 .000 .000 .006 .000 .850 .000 .000
18
Discussie Het doel van deze studie was om de effectiviteit van crisisinterventie met betrekking tot het voorkomen van uithuisplaatsing, het functioneren van het gezin, gedragsproblemen van kinderen en sociale steun te onderzoeken door middel van meta-analyses. De resultaten laten zien dat crisisinterventie niet effectief is bij het voorkomen van uithuisplaatsing. Wel heeft crisisinterventie een middelgroot positief effect op gezinsfunctioneren. Doordat er in slechts één studie gedragsproblemen en in geen enkele studies sociale steun werd gemeten, was het uitvoeren van een metaanalyse over het effect van deze uitkomstmaten niet mogelijk. De studie die gedragsproblemen wel onderzocht, een recent experiment, laat een klein effect zien van crisisinterventie op de gedragsproblemen van het kind (Lewis, 2005). Het tweede doel van deze studie was om na te gaan welke kenmerken van cliënten, interventies en onderzoeken van invloed zijn op de effectiviteit van crisisinterventie. De resultaten laten zien dat crisisinterventie effectiever is in het voorkomen van uithuisplaatsing bij multiprobleem-gezinnen dan bij gezinnen waar verwaarlozing of mishandeling het hoofdprobleem is. Daarnaast werkt crisisinterventie beter bij gezinnen waarin het kind dat mogelijk uit huis wordt geplaatst een jongen is. Met betrekking tot het onderzoeksdesign wordt gezien dat hoe robuuster de studie is hoe minder groot het effect is. Random controlled trials laten zelfs een negatief effect zien op uithuisplaatsing. Verder laten de resultaten zien dat crisisinterventie minder goed of zelfs negatief werkt voor gezinnen met veel kinderen, alleenstaande ouders en culturele minderheden. Ook wanneer hulpverleners een grote caseload hebben en wanneer er bij gezinnen geen direct risico op uithuisplaatsing is, is het effect van crisisinterventie negatief. Een aantal moderatoren is niet significant van invloed op het effect van crisisinterventie op uithuisplaatsing. Dit zijn de duur van de interventie, wel of niet gebaseerd op Homebuilders-model, het kortdurende karakter van de interventie, de leeftijd van de ouder, de leeftijd van het kind, de termijn van de nameting, het gebruik van prospectief of retrospectief onderzoek, het type publicatie en het jaar van publicatie.
Homebuilders-kenmerken Of een interventie wel of niet gebaseerd is op het Homebuilders-model bleek niet van invloed te zijn op uithuisplaatsing. Dit neemt niet weg dat de kenmerken van het Homebuilders-model van invloed kunnen zijn op uithuisplaatsing. Wellicht zijn de 19
effectieve factoren van het Homebuilder-model ook terug te vinden bij interventies die niet direct op het Homebuilders-model zijn gebaseerd. Om dit te bepalen is een aantal Homebuilders-kenmerken onderzocht in de meta-analyse. Hieruit bleek allereerst dat de duur van de interventie geen invloed had op het effect op uithuisplaatsing. Dit sluit niet aan bij het uitgangspunt van het Homebuilders-model, omdat volgens dit model de hulpverlening van korte duur moet zijn. Naast de duur van de interventie wordt ook een kleine caseload als een belangrijk kenmerk van de interventie gezien. Een kleine caseload zorgt er voor dat hulpverleners de tijd hebben om gezinnen intensief te begeleiden (Berry, 1997; Kinney, Haapala & Booth, 1991; Ryan & Schuerman, 2004; Tully, 2008). De resultaten van de meta-analyse sluiten hierbij aan; een lagere caseload hangt samen met minder uithuisplaatsingen. Een derde kenmerk van crisisinterventie is de doelgroep. Crisisinterventie is bedoeld voor gezinnen waarbij sprake is van een direct risico op uithuisplaatsing. Uit de resultaten bleek dat bij gezinnen waarin sprake was van een direct risico op uithuisplaatsing, crisisinterventie geen effect had op uithuisplaatsing. Bij gezinnen waarin geen direct risico op uithuisplaatsing was, werd een negatief effect gevonden. Het is opvallend dat wanneer geen sprake was van een direct risico op uithuisplaatsing meer uithuisplaatsingen plaatsvonden in vergelijking met gezinnen die deze geen crisisinterventie ontvingen. Mogelijk zorgt de intensiteit van de interventie ervoor dat de ernstige problemen in het gezin, die in eerste instantie niet zijn opgemerkt, meer zichtbaar worden en de veiligheid van het kind beter kan worden ingeschat, waardoor uithuisplaatsing vaker nodig wordt geacht. Opgemerkt dient te worden dat maar twee studies werden meegenomen waarbij geen sprake was van een direct risico op uithuisplaatsing. Ook werd in zeer geringe mate gebruik gemaakt van een gedegen risicotaxatie-instrument of gerapporteerd over de manier waarop risicotaxatie heeft plaatsgevonden.
Hierdoor
dienen
de
resultaten
met
grote
voorzichtigheid
geïnterpreteerd te worden.
Gezins- en kindkenmerken Uit de meta-analyse komt naar voren dat crisisinterventie effectiever is in het voorkomen van uithuisplaatsing bij multiprobleem-gezinnen dan bij gezinnen waar mishandelings- en/ of verwaarlozingproblematiek speelt. Een dergelijk verschil zou verklaard kunnen worden door de ernst van de problematiek bij gezinnen waarbij mishandeling en/of verwaarlozing speelt. Mogelijk is dat crisissituaties in dergelijke 20
gezinnen vaker gepaard gaan met een direct gevaar of bedreiging van het kind, waardoor uithuisplaatsing noodzakelijk is en crisisinterventie geen zin meer heeft (zie ook Schuerman, Rzepnicki & Littell, 1994). Wanneer crisisinterventie zich richt op gezinnen van culturele minderheden en alleenstaande ouders, levert dit negatieve resultaten op. Mogelijk spelen de specifieke problemen van deze subgroepen, zoals de beperktere draagkracht van alleenstaande ouders en problemen met cultuurverschillen, hierin een rol. Voor gezinnen met meerdere kinderen bleek crisisinterventie ook minder effectief te zijn. Mogelijk speelt ook hier de verhouding tussen draagkracht en draaglast een rol. Verder onderzoek is nodig om meer inzicht te krijgen in de hulpbehoefte van deze subgroepen. Wat betreft alleenstaand ouderschap wordt het verband zoals in deze meta-analyse is gevonden in eerdere literatuur teruggezien (zie onder andere Auclaire & Schwartz 1986; Bath, Richey & Haapala, 1992; Jones, 1985). In eerdere onderzoeken is er op gewezen dat crisisinterventie effectiever is bij meisjes en jongere kinderen (Bath, Richey & Haapala, 1992; Ryan & Schuerman, 2004; Spaid & Fraser, 1991). Daarnaast zou crisisinterventie niet effectief zijn bij gezinnen met jonge ouders (Berry, 1992). Geen van deze verbanden worden door de meta-analyse bevestigd.
Studiekenmerken Uit de resultaten bleek dat wanneer sprake was van random toewijzing aan de controlegroep crisisinterventie tot meer uithuisplaatsingen leidt. Wanneer geen sprake was van random toewijzing werd geen of een positief effect gevonden. Dergelijke resultaten komen overeen met wat in andere meta-analyses staat beschreven over de robuustheid van studies (Latimer, 2001; Lindsey, Martin & Doh, 2002; Littell, 2005; Littell & Schuerman, 1995). In deze meta-analyses wordt geconcludeerd dat robuustere onderzoeksdesigns samenhangen met lagere effectgroottes. Hoewel meestal wordt geconcludeerd dat meer robuuste onderzoekdesigns samenhangen met lagere effectgroottes, vinden Shadish en collega’s (2000) dat de effecten juist worden onderschat bij quasi-experimentele onderzoeksdesigns, met name doordat de controlegroep bij aanvang van de interventie in een betere positie verkeerde, waardoor vooruitgang juist bij deze groep minder goed waar te nemen was. Vanuit de bevinding dat selectieve toewijzing ervoor zorgt dat de resultaten van quasi-experimenteel onderzoek de werkelijke effectiviteit vertekenen, kan gesteld worden dat gebruik van gerandomiseerde onderzoeken het meest geschikt zijn om effecten van interventies te 21
onderzoeken. Dit geldt zeker voor het onderzoeken van de effectiviteit van interventies die zich richten op complexe problematiek binnen zeer heterogene populaties. In deze gevallen kan nooit gecontroleerd worden voor alle verstorende variabelen, waardoor bij quasi-experimentele designs altijd het risico bestaat dat schijnverbanden worden gevonden (Weisburd, 2010). Naast randomisering zijn ook de studiekenmerken retro- of prospectief onderzoek, type en jaar van publicatie onderzocht door middel van de meta-analyse. Geen van deze factoren was van invloed op de resultaten van de studies. De impact factor van het tijdschrift was wel van invloed op de resultaten. De resultaten van de huidige studie laten zien dat het doel om uithuisplaatsing te voorkomen niet wordt bereikt. Het voorkomen van uithuisplaatsing is echter een problematische uitkomstmaat. Wanneer het voorkomen van uithuisplaatsing het doel is van een interventie doet dat vermoeden dat uithuisplaatsing te allen tijden een negatieve uitkomst van de interventie is. Er zijn echter diverse situaties denkbaar waarin uithuisplaatsing als de gewenste uitkomst van de interventie kan worden beschouwd. Te denken valt aan een situatie waarin de veiligheid van het kind niet meer gewaarborgd kan worden, zoals bij mishandeling of verwaarlozing door ouders, en waarbij niet verwacht kan worden dat crisisinterventie op de korte termijn voor een oplossing kan zorgen. Het problematische karakter van uithuisplaatsing als uitkomstmaat geeft stof tot nadenken over welk doel of welke doelen crisisinterventie zou moeten nastreven. Dit probleem is onder andere door Rossi (1992) al eerder aangekaart. De voorkeur wordt gegeven aan uitkomstmaten in termen van het functioneren van het gezin en de individuele leden en sociale steun uit de omgeving. In het huidige onderzoek is het functioneren van het gezin al onderzocht. Het positieve resultaat dat gevonden is met behulp van deze meta-analyse is gebaseerd op maar drie studies. Het betrof hier echter studies waarbij sprake was van random toewijzing met een onderzoeksgroep die voldoende groot was (de kleinste groep bestond uit 146 deelnemers), terwijl de termijn voor de nameting voldoende lang was (meer dan 6 maanden). Omdat het gevonden positieve effect op gezinsfunctioneren voortkomt uit drie studies van goede kwaliteit geeft dit aanleiding tot optimisme. Hoewel gecontroleerde onderzoeken in het verleden gezinsfunctioneren nauwelijks meenamen als uitkomstmaat wijst deze meta-analyse erop dat het van belang is gezinsfunctioneren in de toekomst wel te meten. Mogelijk heeft crisisinterventie naast gezinsfunctioneren ook een positief effect op andere problemen in het gezin. 22
Beperkingen van de studie De meta-analyse had een aantal beperkingen waardoor de resultaten. De beperkingen hebben vooral betrekking op de descriptieve validiteit, de definitie van constructen en het ontbreken van gestandaardiseerde meetinstrumenten. In alle studies die zijn meegenomen in deze meta-analyse is gebruik gemaakt van een controlegroep. Deze controlegroep ontving in alle gevallen de gebruikelijke interventie. Er bestaat hierdoor een mogelijkheid dat het gevonden effect van de onderzochte crisisinterventies onderschat wordt, doordat de gebruikelijke interventie ook werkzame factoren zou kunnen bevatten. Doordat de gebruikelijke interventies inhoudelijk in de verslaglegging niet of minimaal werden beschreven, konden interventiekenmerken van de controleconditie niet worden vergeleken met die van de experimentele conditie. Ook de rapportage over de gemeten constructen was niet bij alle studies compleet. Om een meta-analyse uit te kunnen voeren is het belangrijk dat onderzoeken volledig zijn in de rapportage. Een aantal studies kon niet worden meegenomen in de meta-analyses doordat vanwege de beperkte rapportage geen effectgrootte kon worden berekend. Door het relatief kleine aantal beschikbare studies en de beperkte informatie die in de studies is terug te vinden, is een beperkt aantal uitkomstmaten en moderatoren gecodeerd. Zo zijn geen studies gevonden waarbij sociale steun werd gemeten en is slechts één studie meegenomen waarin gedragsproblemen werden gerapporteerd. Zoals eerder beschreven waren er slechts drie studies die gezinsfunctioneren als uitkomstmaat gebruikten. Ook kon bijvoorbeeld het effect van de intensiteit van crisisinterventie niet worden onderzocht, gezien dit kenmerk van het Homebuilders-model in bijna geen enkel onderzoek werd beschreven. Bovendien waren de studies ongelijk verdeeld over categorieën die in de moderatoranalyse met elkaar vergeleken werden. Zo zijn er 10 onderzoeken meegenomen waarbij de crisisinterventie korter duurde dan twee maanden, maar slecht 2 studies die langer duurden. Doordat effecten in de categorische moderatoranalyses soms gebaseerd zijn op een gering aantal studies, zoals in die gevallen dat een categorie in de vergelijking slechts 2 studies bevat, moeten we in dergelijke gevallen voorzichtig zijn met de interpretatie
van
het
gevonden
resultaat.
Door
deze
beperkingen
is
de
generaliseerbaarheid van de resultaten beperkt en was het niet mogelijk om alle moderatoren met dezelfde statistische power te toetsen. Om adequate statistische 23
power te bewaren is gekozen voor het gebruik van het fixed effect model. Het gebruik van het random effect model zou in principe dezelfde resultaten hebben opgeleverd, dit is nagegaan met post-hoc toetsen, met die uitzondering dat door een gebrek aan statistische power de moderatoren niet significant zouden zijn geweest. In dit onderzoek is het niet mogelijk geweest een moderatoranalyse uit te voeren voor gezinsfunctioneren, omdat slechts drie van de studies die in de metaanalyse zijn meegenomen gezinsfunctioneren op een adequate manier hebben gemeten. In deze studies werd gezinsfunctioneren op verschillende manieren geoperationaliseerd. Hierdoor is het mogelijk dat niet alle studies hetzelfde construct meten. Ondanks de verscheidenheid in definities en meetinstrumenten lieten alle studies die gezinsfunctioneren meten ongeveer een gelijk positief effect zien van crisisinterventie op het functioneren van het gezin. Om de vergelijkbaarheid van de studies in de toekomst te vergroten, wordt wel aangeraden dat meer overeenstemming komt over wat gezinsfunctioneren inhoudt. Definitieverschillen bestonden ook met betrekking tot uithuisplaatsing. In het onderzoek van Mitchell, Tovar en Knitzer (1989) was bijvoorbeeld alleen sprake van uithuisplaatsing als een officieel bevel voor verwijdering van een kind is afgegeven en de uithuisplaatsing meer dan twee weken duurt. Plaatsing bij familie of kennissen werd niet meegerekend als uithuisplaatsing. Szykula en Fleischman (1985) verstaan onder uithuisplaatsing alleen de uithuisplaatsingen die werden verricht door de organisatie die ook de crisisinterventie uitvoert. Onduidelijk was of plaatsingen bij familie en kennissen hier ook onder vielen. Om de vergelijkbaarheid van de studies te vergroten en meer kennis op te kunnen doen vanuit meta-analyses is het van belang dat er meer overeenstemming komt over wat er wordt verstaan onder uithuisplaatsing. De resultaten van dit onderzoek zijn mogelijk een onderschatting van het werkelijke effect van crisisinterventie. Hiervoor zijn meerdere redenen te noemen. Ten eerste zijn er aanwijzingen dat crisisinterventie niet de juiste doelgroep bereikt, doordat bijvoorbeeld gezinnen die niet in crisis zijn ook crisisinterventie ontvangen (zie ook Blythe, Salley & Jayaratne, 1994). Er werd in de meeste gevallen geen gebruik gemaakt van een risicotaxatie-instrument. Wanneer wel een risicotaxatie werd gebruikt, werd vaak opgemerkt dat er zich ook gezinnen in de onderzoeksgroep bevinden waar geen of weinig sprake was van een risico op uithuisplaatsing van een kind (bijvoorbeeld Schuerman, Rzepnicki & Littell, 1994; Yuan et al., 1990). Ten tweede kon niet worden nagegaan of in de studies werd voldaan aan alle 24
basiskenmerken van crisisinterventie, zoals intensiteit van de hulpverlening. De reden hiervoor is dat in studies waar de kenmerken van de interventie werden beschreven, meestal niet beschreven werd of de interventie daadwerkelijk was uitgevoerd zoals bedoeld. Zo werd bijvoorbeeld vaak beschreven dat de interventie 4 tot 6 weken hoort te duren. Deze interventies bleken in de praktijk in een aantal gevallen langer te duren (Mitchell, Tovar & Knitzer, 1989; Pecora, Fraser & Haapala, 1991; Yuan et al., 1990). In gedachten moet worden gehouden dat zowel de positieve als de negatieve resultaten van dit onderzoek een mogelijke onderschatting zijn. Het
werkelijke effect
kan ook
vertekend
worden door mogelijke
publicatiebias. Hoewel de funnelplot om publicatiebias te toetsen hier geen aanwijzingen voor heeft laten zien, wijzen de resultaten van de moderatoranalyse met betrekking tot impactfactor van het tijdschrift en soort publicatie wel in deze richting. Studies die in tijdschriften worden gepubliceerd laten positievere resultaten zien dan andere studies en studies die worden gepubliceerd in belangrijke tijdschriften laten negatievere resultaten zien wat betreft uithuisplaatsing dan studies die gepubliceerd worden in minder belangrijke tijdschriften. De gevonden effecten hoeven geen publicatiebias te weerspiegelen, maar kunnen ook het effect zijn van de kwaliteit van de studies. Het is niet met zekerheid te zeggen of de resultaten van de analyses gegeneraliseerd kunnen worden naar de Europese situatie. Op één onderzoek na zijn alle onderzoeken in de meta-analyse uitgevoerd in de Verenigde Staten. Het was niet mogelijk ook Nederlandse studies of meer Europese studies mee te nemen in de analyses, gezien het gebrek aan onderzoeken naar crisisinterventie waar gebruik werd gemaakt van een controlegroep.
Na veertig jaar crisisinterventie heeft onderzoek nog onvoldoende inzicht kunnen geven in het effect van crisisinterventie en is verandering in het onderzoek naar crisisinterventie noodzakelijk om uiteindelijk aanbevelingen te kunnen doen voor de praktijk. Een aanbeveling vanuit de huidige meta-analyse voor vervolgonderzoek heeft betrekking op het gebruik van random toewijzing aan de experimentele en controlegroep, zodat het doen van uitspraken met betrekking tot het effect van crisisinterventies mogelijk wordt. Verder is het noodzakelijk meer aandacht te schenken aan het ontwikkelen en inzetten van gestandaardiseerde instrumenten zodat een betere vergelijking van resultaten van crisisinterventie gemaakt kan worden. Ook 25
moet vervolgonderzoek gebruik maken van uitkomstmaten in termen van gezinsfunctioneren, sociale steun en gedragsproblemen, zodat het effect van crisisinterventie inzichtelijker wordt op een breder domein. Verwacht wordt dat er op deze gebieden door de inzet van crisisinterventie resultaten kunnen worden geboekt. Een ander aandachtspunt voor verder onderzoek heeft betrekking op een juiste en volledige rapportage van alle relevante informatie met betrekking tot de inhoud, de implementatie en het resultaat van crisisinterventie. Hierdoor kan de navolgbaarheid en generaliseerbaarheid van studies worden bevorderd en kan beter worden nagegaan wat eventuele storende variabelen zijn die van invloed zijn op het effect van crisisinterventie. Hierop kan vervolgens ook gecontroleerd worden. De vraag is of crisisinterventie zich op uithuisplaatsing zou moeten richten, omdat het voorkomen van uithuisplaatsing niet te allen tijde de gewenste uitkomst van de interventie is. Daarnaast lijkt crisisinterventie ontoereikend om uithuisplaatsing te voorkomen. Deze bevindingen zijn aanleiding voor een paradigmaverschuiving. Uithuisplaatsing zou niet meer moeten dienen als ultiem doel van crisisinterventie. Gekeken moet worden naar geschiktere doelen voor crisisinterventie, uitgedrukt in uitkomstmaten in termen van gezinsfunctioneren, sociale steun en gedragsproblemen. Door het uitvoeren van een moderatoranalyse is meer bekend geworden over de factoren die van invloed zijn op de effectiviteit van crisisinterventies. Deze bevindingen kunnen dienen als leidraad voor vervolgonderzoek over de vraag: Wat werkt voor wie? Literatuurlijst *AuClaire, P. and Ira M. Schwartz (1986). An evaluation of the effectiveness of intensive home-based services as an alternative to placement for adolescents and their families. Minneapolis: University of Minnesota, Hubert H. Humphrey Institute of Public Affairs. Bath, H.I., Richey, C.A. & Haapala D.A. (1992). Age and Outcome Correlates in Intensive Family Preservation Services. Child and Youth Services Review, 14, 389-406. Bath, H.I., Haapala, D.A. (1993). Intensive family preservation services with abused and neglected children: An examination of group differences. Child Abuse & Neglect, 17, 213-225.
26
Berger, M. & Hordijk, S. (2007). Crisisinterventie en spoedeisende hulp: Een overzicht van theorie en praktijk. Utrecht, Nederland: Nederlands Jeugdinstituut. Berry, M. (1992). An evaluation of family preservation services: Fitting agency services to family needs. Journal of the National Association of Social Workers, 37 (4), 314-321. Berry, M. (1997). The family at risk. University of South Carolina Press. Bitonti, C. (2002). Formative Evaluation in Family Preservation: Lessons from Nevada. Children and youth services review, 24 (9), 653-672. Blythe, B.J., Salley, M.P. & Jayaratne, S. (1994). A review of intensive family preservation services research. Social Work Research, 18 (4), 213-224. Bowlby, J. (1969). Attachment and loss: Vol. 1: Attachment. London: Hogarth Press. Bronfenbrenner, U. (1979). The ecology of human development. Cambridge, MA: Harvard University Press. Cauffman, L. (2003), Oplossingsgericht Management: Simpel werkt het best. Utrecht, Nederland: Lemma. Caplan, G. (1964). Principles of Preventive Psychiatry. NY: Basis Books Cowen, P.S. (1998). Crisis Child Care: an intervention for at-risk families. Issues in comprehensive pediatric nursing, 21 (3), 147-158. Dagenais, C., Begín, J., Bouchard, C. & Fortin, D. (2004) Impact of intensive family support programs: a synthesis of evaluation studies. Children and Youth Services Review, 26, 249–263. DeHart, G.B., Sroufe, L.A. & Cooper, R.G. (2004). Child Development: Its nature and course. NY: McGraw-Hill. *Department of Health and Human Services (2002). Evaluation of Family Preservation and Reunification Program: Executive Summary. Department of Health and Human Services. *Dennis-Small, L. & Washburn, K. (1986). Family-Centered, Home-Based Intervention Project for Protective Services Clients. Innovations in Protective Services. Final Report. Texas Department of Human Services. Downs S. H. & Black, N. (1998). The feasibility of creating a checklist for the assessment of the methodological quality both of randomised and non-randomised studies of health care interventions. Journal of Epidemiological and Community Health, 52, 377-384
27
Egger, M., Smith, G.D. & Philips, A.N. (1997). Meta-analysis: Principles and Procedures. British Medical Journal, 15, 1533. Eijgenraam, K., Van Vugt, M., Berger, M. (2007). Ambulante Spoedhulp Jeugdzorg. Methodiekbeschrijving van een generieke module voor ambulante crisishulp aan jeugdigen en ouders. Arnhem, Holland: Nederlands Jeugdinstituut/ Adviesbureau Van Montfoort. Evans, M.E., Boothroyd, R.A., Armstrong, M.I., Greenbaum, P.E., Brown, E.C. & Kuppinger, A.D. (2003). An Experimental Study of the Effectiveness of Intensive In-Home Crisis Services for Children and Their Families: Program Outcomes. Journal of Emotional and Behavioral Disorders, 11(2), 92-102. * Feldman, L. H. (1991). Evaluating the impact of intensive family preservation services in New Jersey. In K. Wells & D. E. Biegel (Eds.), Family preservation services: Research and evaluation . Newbury Park, CA: Sage. Fernandez, E. (2004). Effective interventions to promote child and family wellness: a study of outcomes of intervention through Children’s Family Centres. Child and Family Social Work, 9, 91–104. *Forrester, D., Copello, A., Waissbein, C. & Pokhrel , S. (2008). Evaluation of an Intensive Family Preservation Service for Families Affected by Parental Substance Misuse. Child Abuse Review ,17 (6), 410-426. Fraser, M.W., Nelson, K.E. & Rivard, J.C. (1997). Effectiveness of family preservation services. Social Work Research, 21(3), 138-153. Hinckley, E.C. & Ellis, W.F. (1985). An Effective Alternative to Residential Placement: Home-based Services. Journal of Clinical Child Psychology, 14 (3), 209-213. Hoekert, L., Lommerse, M. & Beunderman, R. (2000). Het Mobiel Crisis Team. Hulp bij gezinnen in crisissituaties. Maandblad Geestelijke Volksgezondheid, 55 (3), 244-250. *Jones, M.A. (1985). A second chance for families. Five Years later: Follow-up of a program to prevent foster care. NY: Research Center Child Welfare League of America. Kaufman, F.G. (2007). Intensive Family Preservation Services: The perceptions of client families. Child and Adolescence Social Work Journal, 24, 553 – 563. Kerig, P.K. & Wenar, C. (2006). Developmental Psychopathology from Infancy through Adolescence. NY: McGraw-Hill. 28
Kinney, J. M., Madsen, B., Fleming, T. & Haapala, D. A. (1977). Homebuilders: Keeping families together. Journal of Consulting and Clinical Psychology, 45, 667-673. Kinney, J., Haapala, D., & Booth. C. (1991). Keeping families together: The Homebuilders model. New York: Aldine de Gruyter *Kirk, R.S. & Griffith, D.P. (2004). Intensive Family Preservation Services: Demonstrating Placement Prevention Using Event History Analysis. Social Work Research, 28 (1), 5-16. Kirk, R.S. & Griffith, D.P. (2008). Impact of Intensive Family Preservation Services on Disproportionality of Out-of-Home Placement of Children of Color in One State’s Child Welfare System. Child Welfare, 87 (5), 87-105. Latimer, J. (2001). A meta-analytic examination of youth delinquency, family treatment, and recidivism. Canadian Journal of Criminology, 43 (2), 237-253. *Lewis, R.E. (2005).The effectiveness of Families First Services: An Experimental Study. Children and Youth Services Review, 27, 499– 509. Lindsey, Martin & Doh (2002). The Failure of Intensive Casework Services to Reduce Foster Care Placements: An Examination of Family Preservation Studies. Children and Youth Services Review, 24 (9/10), 743-775. Lipsey, M.W. & Wilson, D.B. (2000). Practical meta-analysis (Vol.49). London: Sage publications. *Littell, J.H. (1997). Effects of the Duration, Intensity, and Breadth of Family Preservation Services: A New Analysis of Data From the Illinois Family First Experiment. Child and Youth Services Review, 19 (1/2), 17-39. Littell, J.H. (2005). Lessons from a systematic review of effects of multisystemic therapy. Children and Youth Services Review, 27, 445– 463. Littell, J.H. & Schuerman, J.R. (1995). A synthesis of research on family preservation and family reunification programs. Retrieved February 12, 2011, from http://aspe.hhs.gov/hsp/cyp/fplitrev.htm Littell, J.H. & Schuerman, J.R. (2002).What Works Best For Whom? A Closer Look at Intensive Family Preservation Services. Children and Youth Services Review, 24 (9/10), 673–699. *McCroskey, J. & Meezan, W. (1997). Family Preservation & Family Functioning. Washington: Child Welfare League of America.
29
*Meezan, W. & McCroskey. J. (1996). Improving family functioning through family preservation services: Results of the Los Angeles experiment.
Family
preservation journal, Winter: 9-29. Miller, M. (2006). Intensive Family preservation Programs: Program Fidelity Influences effectiveness- Revised. Olympia: Washington State Institute for Public Policy. *Mitchell, C., Tovar, P., & Knitzer, J. (1989). The Bronx homebuilders program: an evaluation of the first 45 families. New York: Bank street College of Education. *Pecora, P.J., Fraser, M.W. & Haapala, D.A. (1991). Client Outcomes and Issues for Program Design. In Wells, Kathleen and David E. Biegel (eds.). Family Preservation Services: Research and Evaluation. (pp. 3-31). Newbury Park, CA: Sage Publications. Rapoport, L. (1962). The state of crisis: some theoretical considerations. Social Services Review, 6, 211-217. Reid, W., Kagan, R. & Scholsberg, S. (1988). Prevention placement. Child Welfare, 67, 25-36. Rosenthal, R. (1995). Writing meta-analytic reviews. Psychological Bulletin, 118(2), 183−192. Rossi. P.H. (1992). Assessing Family Preservation Programs. Children and Youth Services Review, 14, 77-97. Ryan, J.P. & Schuerman, J.R. (2004). Matching Family Problems with Specific Family Preservation Services: A Study of Service Effectiveness. Children & Youth Services Review, 26 (4), 347- 372. *Schuerman, J.R., Rzepnicki, T.L. & Littell, J.H. (1994). Putting Families First: An Experiment in Family Preservation. NY: Aldine de Gruyter. Shadish, W.R., Matt, G.E., Navarro, A.M. & Phillips, G. (2000). The Effect of Psychological Therapies under Clinically Representative Conditions: A Metaanalysis. Psychological Bulletin, 126, 512-529. Shaffer, D.R. (2005). Social and Personality Development. USA, Belmont: Thomson Wadsworth. Simington, J.A., Cargill, L. &Hill, W. (1996). Crisis intervention: Program Evaluation. Clinical Nursing Research, 5 (4), 376-390. Slot, N.W. & Spanjaard, H.J.M. (2009). Competentievergroting in de residentiële jeugdzorg. Baarn, Nederland: ThiemeMeulenhoff. 30
Spaid, W.M. & Fraser, M. (1991). The Correlates of Success/Failure in Brief and Intensive Family Treatment: Implications for Family Preservation Services. Children and Youth Services Review, 13, 71-99. Spanjaard, H. & Haspels, M. (2005). Families First. Handleiding voor gezinsmedewerkers. Amsterdam: SWP. Sutton, A.J., Duval, S.J., Tweedie, R.L., Abrams, K.R. & Jones, D.R. (2000). Empirical assessment of effect of publication bias on meta-analyses. British Medical Journal, 320, 1574–1577. Staudt, M. & Drake, B. (2002). Intensive Family Preservation Services: Where’s the Crisis? Children and Youth Services Review, 24, 777-795. *Szykula, S. A., & Fleischman, M. J. (1985). Reducing out-of-home placements of abused children: two controlled field studies. Child Abuse and Neglect, 9, 277 – 283. Tully, L. (2008). Family Preservation Services: Literature Review. Ashfield, Australia: NSW Department of Community Services. Veerman, J.W., Kemp, R.A.T. de & Brink, L.T. ten (1997). Evaluatie-onderzoek Families First Nederland: Een overzicht van de resultaten. Utrecht: NIZW Uitgeverij. *Walton, E. (1997). Enhancing Investigative Decisions in Child Welfare: An Exploratory Use of Intensive Family Preservation Services. Child Welfare, 76 (3), 447-461. Watzlawick, P., Beavin, J.H. & Jackson, D.D. (1967). Pragmatics of Human Communication: A Study of Patterns, Pathologies and Paradoxes. NY: Norton & Co. Weisburd, D. (2010). Justifying the use of non-experimental methods and disqualifying the use of randomized controlled trials: Challenging folklore in evaluation research in crime and justice. Journal of Experimental Criminology, 6, 209-227. Weisz, J.R., Jensen-Doss, A. & Hawley, K.M. (2006) Evidence-Based Youth Psychotherapies Versus Usual Clinical Care: A Meta-Analysis of Direct Comparisons. American Psychologist, 61(7), 671-689. *Willems, D.N. & Rubeis, R. (1981). The Effectiveness of Intensive Services for Families with Abused, Neglected or Disturbed Children: Hudson County Project
31
Final Report. Trenton: Bureau of research, New York Division of Youth and Family Services. Wilson, D. B. (2001). Effect size determination program. College Park: University of Maryland. *Wood, S., Barton, K. & Schroeder, C. (1988). In-home-treatment of abusive families: Cost and placement at one year. Psychotherapy, 25, 409-414. *Yuan, Y., McDonald, W., Wheeler, C., Struckman-Johnson, D. & Rivest, M. (1990). Evaluation of AB 1562 in-home care demonstration projects: final report. Sacramento, CA: Walter R. McDonald and Associates, Inc. IJzendoorn, M.H. (1994). Gehechtheid van ouders en kinderen. Nederland, Houten: Bohn Stafleu Van Loghum.
32
Bijlagen Bijlage I: Checklist kwaliteit van de studie (Downs & Black, 1998)
33
34
35
36
