Effectief omgaan met opgroei- en opvoedingsproblemen Resultaten van Hulp aan Huis Overijssel over de periode 2004-2005
Jan Willem Veerman & Ronald De Meyer
Praktikon maakt deel uit van de Stichting de Waarden te Nijmegen en is gelieerd aan de bijzondere leeropdracht Speciale Kinder- en jeugdzorg, die vanwege deze stichting is verbonden aan de Faculteit der Sociale Wetenschappen van de Radboud Universiteit Nijmegen.
Praktikon Postbus 9104 6500 HE Nijmegen www.praktikon.nl
[email protected] tel: 024-3611150 fax. 024-3611152
2006 Praktikon
Behoudens de in of krachtens de Auteurswet van 1912 gestelde uitzonderingen mag niets uit deze uitgave worden verveelvoudigd en/of openbaar gemaakt door middel van druk, fotokopie, microfilm of op welke andere wijze dan ook, en evenmin in een retrieval systeem worden opgeslagen zonder de voorafgaande schriftelijke toestemming van Praktikon. No part of this book/publication may be reproduced in any form, by print, photoprint, microfilm or any other means without written permission from the publisher.
2
Inhoudsopgave Samenvatting
5
Hoofdstuk 1: Inleiding 1.1. Het programma Hulp aan Huis Overijssel 1.2. Het evaluatieonderzoek Hulp aan Huis Overijssel
7
Hoofdstuk 2: Onderzoeksopzet 2.1. Onderzoeksgroep en respons 2.2. Meetmomenten en meetinstrumenten 2.3. Procedures 2.4. Wijze van analyseren en rapporteren
15
Hoofdstuk 3: Onderzoeksresultaten 3.1. Effecten op programmaniveau 3.2. Effecten op moduleniveau
23
Hoofdstuk 4: Conclusie 4.1. Samenvatting van de onderzoeksresultaten 4.2. Discussie 4.3. Aanbevelingen
35
Bijlagen
41
3
4
Samenvatting
In 2000 ging in Overijssel in de regio Twente het programma Hulp aan Huis Overijssel van start, met als doel het ontwikkelen en uitvoeren van een samenhangend en modulair georganiseerd aanbod van geïndiceerde intensieve ambulante gezinsbehandeling als onderdeel van het jeugdzorgaanbod binnen de sectoren van de jeugdhulpverlening, de jeugd-GGZ, de jeugdbescherming en de zorg voor licht verstandelijk gehandicapte kinderen. Het betreft een intersectoraal programma dat zich richt op doelgroepen met sectoroverschrijdende zorgvragen. In totaal werden hiervoor elf modules ontwikkeld. Na een inloopjaar startte in 2001 het evaluatieonderzoek naar de doelgroep, interventies en effecten van het programma. In 2004 werd verslag gedaan van de effecten van dit onderzoek over de periode 2001-20031. In het voorliggende rapport worden de onderzoeksuitkomsten ten aanzien van de effecten gepresenteerd over de periode 2004-2005 bij zeven modules. Centraal staan 565 jeugdigen van wie in deze periode voldoende gegevens zijn verzameld. Deze onderzoeksgroep betreft 54% van de in totaal 1054 jeugdigen die in de genoemde periode bij een van de zeven onderzochte modules een behandeling afsloten. De respons per module varieerde van 37% tot 73%. Voor het bepalen van de effecten is gekeken of er (1) belangrijke veranderingen zijn te constateren in de opgroei- en opvoedingsproblemen die aanleiding voor aanmelding bij Hulp aan Huis waren en (2) of deze problemen tot een aanvaardbaar niveau zijn teruggedrongen. Om deze problemen bij aanvang en afsluiting van de hulp te meten zijn gestandaardiseerde meetinstrumenten (vragenlijsten) ingezet. Deze maken het ook mogelijk de twee genoemde effecten op statistisch verantwoorde wijze te bepalen. Wat betreft de onderzoeksresultaten over alle modules heen blijkt dat in 60% van de gevallen de opgroeiproblemen en in 64% van de gevallen de opvoedingsproblemen belangrijk verbeterd zijn. In 37% van de gevallen blijken de opgroeiproblemen tot een aanvaardbaar niveau terug te zijn gebracht, voor opvoedingsproblemen geldt dit voor 56% van de gevallen. Worden de twee uitkomsten samen genomen dan blijken bij 28% van de 1
Zie Veerman, J.W., & Meyer, R. de (2004). Is de intersectorale samenwerking in de jeugdzorg in Overijssel voor de cliënten goed genoeg? Bereikte doelgroep en behaalde resultaten bij Hulp aan Huis over de periode 2001-2003. Nijmegen: Katholieke Universiteit, ACSW/ Praktikon.
5
jeugdigen de opgroeiproblemen belangrijk verminderd te zijn en tevens tot een aanvaardbaar niveau teruggebracht, 7% is verslechterd in dit opzicht. Deze resultaten zijn een verbetering ten opzichte van de periode 2001-2003 en liggen ongeveer op gelijke hoogte van die van Hulp aan Huis Drenthe. Deze laatste gegevens worden als ‘benchmark’ gehanteerd. De opvoedingsproblemen zijn bij 43% van de ouders belangrijk afgenomen en tevens op een aanvaardbaar niveau gekomen, bij 11% van de ouders treedt hier een verslechtering op. Deze resultaten betekenen een grote verbetering ten opzichte van de periode 2001-2003 en zijn vergelijkbaar met die van de ‘benchmark’, Hulp aan Huis Drenthe. Gelet op de zeven afzonderlijke modules waarvan onderzoeksresultaten bekend zijn, blijkt bij afsluiting het aantal jeugdigen met aanzienlijke gedragsproblemen bij 6 van de 7 modules belangrijk gedaald. Bij 35% tot 73% is een betrouwbaar te meten verbetering te constateren. Deze percentages zijn beter dan die in de periode 2001-2003 en ongeveer gelijk aan die van Hulp aan Huis Drenthe. Veel jeugdigen hebben ook bij afsluiting nog met aanzienlijke problemen te kampen, het percentage jeugdigen met deze ‘restproblematiek’ varieert van 56% tot 80%. Wat betreft de opvoedingsbelasting van de ouders liggen de percentages gunstiger: bij alle modules daalt het aantal ouders met aanzienlijke opvoedingsbelasting, bij 56 tot 73% van de ouders verbetert deze ook betrouwbaar. Deze cijfers zijn beter dan in de periode 2001-2003 en ook beter dan de Drentse uitkomsten. De ‘restproblematiek’ varieert hier van 30-53%. Bij afsluiting geeft bij 6 van de 7 modules minstens 80% van de cliënten aan achteraf positieve veranderingen te zien, alle cliënten (100%) zeggen ook de behandeling aan anderen aan te raden. Deze cijfers zijn vergelijkbaar met die van Drenthe. Geconcludeerd kan worden dat gezinswerkers bij Hulp aan Huis Overijssel effectief omgaan met de opgroei- en opvoedingsproblemen. De percentages jeugdigen die wat betreft opgroeiproblemen en percentages ouders die wat betreft opvoedingsbelasting betrouwbaar verbeteren zijn hoger dan de cijfers uit de voorgaande periode (2001-2003) en vergelijkbaar met die van het Drentse Hulp aan Huis programma. Een belangrijke bevinding is dat veel jeugdigen en ouders ook na de behandeling nog met aanzienlijke problemen te kampen hebben. Een belangrijke aanbeveling is dan ook de implicaties hiervan voor goed te doordenken. Andere aanbevelingen betreffen een verdergaande inbedding van het onderzoek in de methodiek en het gaan gebruiken van controlegroepen om de effecten beter in te kunnen schatten. Dit zal leiden tot hogere responspercentages en beter te onderbouwen conclusies.
6
Hoofdstuk 1: Inleiding 1.1. Het programma Hulp aan Huis Overijssel Het programma Hulp aan Huis Overijssel richt zich op het ontwikkelen en uitvoeren van een samenhangend en modulair georganiseerd aanbod van geïndiceerde intensieve ambulante gezinsbehandeling als onderdeel van het jeugdzorgaanbod binnen de sectoren van de jeugdhulpverlening, de jeugd-GGZ, de jeugdbescherming en de zorg voor licht verstandelijk gehandicapte kinderen. Het programma richt zich op doelgroepen met sectoroverschrijdende zorgvragen en is uit dien hoofde een intersectoraal programma. Wat betreft de doelgroep gaat het met name om (1) gezinnen met kinderen met meervoudige problemen (o.a. individuele psychische problemen, een ontregelde thuissituatie, problemen op school), (2) gezinnen met kinderen met een langdurige hulpverleningscarrière (o.a. multi-problem gezinnen, pathologisch symbiotische gezinnen, gezinnen met ouders met psychiatrische problematiek) en (3) gezinnen met kinderen die lastige, ingewikkelde problemen vertonen (met als gevolg: afschuif- en doorschuifgedrag tussen voorzieningen en sectoren). Gezinnen met sectoroverschrijdende zorgvragen worden vaak tussen instellingen heen en weer geschoven, met als gevolg dat deze gezinnen niet of niet adequaat geholpen worden. Om die reden besloot een aantal Twentse jeugdzorgorganisaties eind jaren negentig van de vorige eeuw tot een gezamenlijk aanbod voor deze gezinnen te komen. Gekozen werd voor het ontwikkelen van intensieve ambulante gezinsbehandeling. Het doel was op deze manier een zorgaanbod te realiseren dat zowel een opnamevoorkomende als een opnameverkortende werking heeft. Hiermee werd aangesloten bij het ‘zo-zo-zo-zo’ beleid van de landelijke overheid, dat in 1989 ook was vastgelegd in de Wet op de Jeugdhulpverlening. Vanuit dit beleid gezien dient psychosociale hulpverlening aan jeugdigen zo tijdig mogelijk en zo dicht mogelijk bij huis plaats te vinden, en tevens zo licht mogelijk van vorm en zo kort mogelijk van duur te zijn. Het doel is hiermee onnodige residentiële hulp te voorkomen. Overgewaaid uit de Verenigde Staten won intensieve ambulante gezinsbehandeling de afgelopen 15 jaar ook in Nederland snel terrein. Een meta-analyse van Veerman en collega’s bracht in 2001 ruim 90 varianten aan het licht2. Van 17 varianten konden gegevens over effectiviteit geanalyseerd worden, waaronder acht modules van de Hulp aan Huis programma’s in Groningen, 2
Veerman, J.W., Janssens, J.M.A.M., & Delicat, J.W. (2005). Effectiviteit van intensieve pedagogische thuishulp. Een meta-analyse. Pedagogiek, 25, 176-196. 7
Drenthe en Overijssel. De effecten op het terugdringen van agressief, externaliserend gedrag van kinderen en de ervaren opvoedingsbelasting bij hun ouders bleken middelgroot te zijn (met effect sizes van rond de 0,50). Omdat dit overeen komt met wat in de internationale onderzoeksliteratuur gevonden wordt, konden de effecten als ‘goed genoeg’ worden beoordeeld. Hulp aan Huis Overijssel is opgezet naar het voorbeeld van Drentse en Groningse Hulp aan Huisprogramma’s voor intensieve ambulante gezinsbehandeling. Naast intersectorale samenwerking zijn andere belangrijke uitgangspunten3: - te komen tot samenhangende vraaggerichte zorgprogrammering, doelgericht en resultaatgericht, - zo licht mogelijk en zo dicht mogelijk bij de leef- en woonsituatie van de kinderen en hun ouders hulp te bieden, - een zo groot mogelijke taakvolwassenheid van cliënten te realiseren: ouders zijn de eerste verantwoordelijken in het opvoeden van hun kinderen en moeten (en willen ook) hierop aangesproken en hierbij geholpen worden, - te komen tot een vraaggestuurd zorgaanbod en het ontwikkelen van een organisatorisch en functioneel onderscheid tussen plaatsende en opnemende voorzieningen, waarbij de plaatsende voorziening verantwoordelijk is voor het samen met de cliënt formuleren van de vraag wat er moet veranderen, en de opnemende voorziening samen met de cliënt bepaalt hoe dit het beste kan gebeuren. Binnen Hulp aan Huis Overijssel werden acht modulen ontwikkeld gericht op het verbeteren van het gezinsfunctioneren en nog eens drie modulen gericht op het consolideren van eenmaal verbeterd gezinsfunctioneren. Dat betekent dat er in totaal elf modulen ontwikkeld werden, gericht op twaalf doelgroepen. De modulen en doelgroepen worden in Tabel 1.1 in beeld gebracht. Alle doelgroepen kunnen gezinnen omvatten die onder de eerder genoemde drie groepen vallen (zie bovenstaand: meervoudige problematiek, langdurige hulpverleningscarrière en ingewikkelde problemen). Daarnaast heeft iedere doelgroep een onderscheidend kenmerk: de indicatie. Deze wordt ook in de Tabel 1.1 genoemd.
3
Roosma, D. (2000). Het projectplan Hulp aan Huis Twente. Assen: Uitgeverij Hulp aan Huis.
8
Tabel 1.1. Modulen en doelgroepen Hulp aan Huis Overijssel Module Omschrijving Indicatiecriteria
Sector
FF
Families First
JHV/ JB
FF-lvg
Families First voor Licht Verstandelijk Gehandicapten Praktisch Pedagogische Gezinsbegeleiding, intensieve variant
PPG-IV
IOG
IOG-lvg
IPG
IPG-lvg
LOG
LOG-lvg
Gezinnen in acute crisis met dreigende uithuisplaatsing Idem, plus indicatie voor opname in Orthopedagogisch Centrum
Ernstige opvoedingsproblematiek mede als gevolg van licht verstandelijk handicap van één van de jeugdigen waardoor opname in een Orthopedagogisch Centrum onvermijdelijk is; (nog) geen sprake van multi-probleem situatie Intensieve Multi-probleemgezinnen met Orthopedagogische chronische en complexe Gezinsbehandeling problematiek waarbij sprake is van ernstige opvoedings- en gezagsproblemen, waardoor uithuisplaatsing dreigt Intensieve Idem, maar tevens sprake van Orthopedagogische licht verstandelijke handicaps bij Gezinsbehandeling voor ouders of jeugdigen Licht Verstandelijk Gehandicapten Intensieve Gezinnen waarbij sprake is van Psychiatrische ernstige opvoedingsproblemen in Gezinsbehandeling combinatie met psychiatrische problematiek bij jeugdigen en/of ouders, waardoor uithuisplaatsing dan wel opname van het hele gezin dreigt Intensieve Idem, maar tevens sprake van Psychiatrische licht verstandelijke handicaps bij Gezinsbehandeling voor ouders of jeugdigen Licht Verstandelijk Gehandicapten Langdurige Gezinnen die mede als gevolg van Orthopedagogische multiprobleem problematiek bij de Gezinsbegeleiding ouder(s) moeite hebben om in gang gezette verbeteringen vast te houden Langdurige Gezinnen die mede als gevolg van Orthopedagogische een licht verstandelijke handicap Gezinsbegeleiding voor bij de ouder(s) moeite hebben om Licht Verstandelijk in gang gezette verbeteringen vast Gehandicapten te houden
9
LVGsector
Start datum 01-092000 01-032000
LVGsector
01-092000
JHV/ JB
01-032000
LVGsector
01-062000
GGZ Jeugd/ k&jeugdpsych.
01-092000
GGZ Jeugd/ Ki&jeugd psych
01-092000
JHV/ JB
01-062003
LVGsector
01-062000
Vervolg Tabel 1.1. LLPG Laagfrequente Langdurige Psychiatrische Gezinsbegeleiding LLPG-lvg
Gezinnen die mede als gevolg van GGZ volw psychiatrische problematiek bij de ouder(s) moeite hebben om in gang gezette verbeteringen vast te houden Idem, maar tevens sprake van LVGlicht verstandelijke handicaps bij sector ouders of jeugdigen
Laagfrequente Langdurige Psychiatrische Gezinsbegeleiding voor Licht verstandelijk gehandicapten Toelichting sector: JHV/ JB = Jeugdhulpverlening/ Jeugdbescherming
01-012003
01-012003
De modules worden aangeboden door de volgende organisaties: o De Eik (FF-lvg, IOG-lvg) o De Eik/De Twentse Zorgcentra (LOG-lvg, PPG-iv) o Accare divisie KJP LVG Noordoost Nederland (IPG-lvg, LLPG-lvg) o De Reeve (FF-lvg, IOG-lvg, LOG-lvg) o Mediant/ Adhesie/Karakter Almelo (IPG) o RIBW Twente (LLPG) o Karakter Zwolle (IPG) o RIAGG IJsselland (IPG) o Commujon (FF) o Jarabee (IOG, LOG) o Trias (IOG, LOG) Voor iedere module is een methodiekhandleiding beschikbaar, die samenhangend de kennis-, houdings- en vaardigheidsaspecten beschrijft4. Er is voor alle gezinshulpverleners binnen Hulp aan Huis een functiegericht traject van deskundigheidsbevordering, bestaande uit een basistraining, vervolg trainingsmodulen en intersectorale intervisie gericht op het opfrissen en verdiepen van kennis, houding en vaardigheden. Dit alles met een grote nadruk op doen (oefenen van houding en vaardigheden). De behandelstructuur is duidelijk gefaseerd en in tijd afgebakend en de hulpverlening wordt gepland met evaluatie- en rapportagemomenten. Ook is er een uitgewerkt rapportageprotocol. De gezinshulpverlener werkt methodisch, hij of zij werkt samen met de gezinsleden bij het gezin thuis. De gezinshulpverlener komt op tijden dat de problematiek zich voor doet: dus ook in de ochtend, ’s avonds en in weekeinden. Er wordt gewerkt vanuit een tegemoetkomende beschikbaarheid, waarbij de aanpak concreet, expliciet, doel- en resultaatgericht is. De gezinsleden worden actief betrokken bij de beoordeling van hun slagen of falen en het overleg 4
De hier gegeven beschrijving is ontleend aan Wijgergangs, H. (2003, juni). Intersectorale samenwerking vormt alternatief voor gezinscoach. Perspectief, 16-17. 10
met de aanmelder vindt plaats met de gezinsleden en het gezin. Hierdoor is de hulp transparant en open en wordt voorkomen dat er verborgen agenda’s zijn. De gezinshulpverlener activeert in plaats van compenseert. Hij versterkt al aanwezige positieve krachten in het gezin. Crisissen die zich onvermijdelijk voordoen, worden benut als mogelijkheid om tot verandering te komen.
1.2. Het evaluatieonderzoek Hulp aan Huis Overijssel Een belangrijk kenmerk van alle Hulp aan Huisprogramma’s is dat evaluatieonderzoek er structureel deel van uitmaakt5. Dit onderzoek levert in de eerste plaats gegevens op over de gewenste uitkomsten, worden die behaald? Daarnaast worden gegevens verzameld over de bedoelde interventies, worden die ook uitgevoerd?; en de beoogde doelgroep, wordt die bereikt? Een positieve beantwoording van deze vragen geeft aanwijzingen dat het zorgaanbod kwalitatief goed genoeg is, inclusief de effectiviteit. Dit laatste is van groot belang, temeer daar steeds duidelijker wordt dat slechts een kleine minderheid (schatting: minder dan 5%) van alle jeugdzorgmodules bewijzen van effectiviteit kan overleggen6. De Hulp aan Huis programma’s kunnen dat wel doen. Voor het opzetten van het onderzoek bij Hulp aan Huis Overijssel werd aangesloten bij het onderzoek bij Hulp aan Huis Groningen en Drenthe. Dit onderzoek wordt uitgevoerd door Praktikon, een onderzoeksorganisatie voor de jeugdzorg verbonden aan de jeugdzorginstelling De Waarden in Nijmegen, met tevens een samenwerkingsrelatie met de Radboud Universiteit Nijmegen. Het onderzoek is opgezet volgens de principes van het praktijkgestuurde effectonderzoek. Dit is te definiëren als: ‘onderzoek waarin onderzoekers en behandelingsfunctionarissen gezamenlijk optrekken, met het doel informatie te verzamelen waarmee het effect van het praktisch handelen van een individuele behandelingsfunctionaris, een groep van behandelingsfunctionarissen, een instelling of groep van instellingen nader verhelderd en getoetst wordt, waardoor vervolgens het werk van de betrokken behandelfunctionarissen of instellingen verbetert
5
Brink, T. ten, Kerkstra, G., Roosma, D & Veerman, J.W. (2001)(red.). Het onderzoek IAG. Assen: Uitgeverij Hulp aan Huis. 6 Veerman, J.W., & Yperen, T.A. van (2006). Wat is praktijkgetuurd effectonderzoek? In T.A. van Yperen & J.W. Veerman (red.), Zicht op effectiviteit. Bronnenboek voor praktijkgestuurd effectonderzoek in de jeugdzorg (blz. 7-19). Utrecht/ Nijmegen: NIZW/ Praktikon. 11
en tevens ten opzichte van buitenstaanders gelegitimeerd kan worden’ 7. Het praktijkgestuurde effectonderzoek kent drie principes: 1. Aansluiten bij wat er al aan aanbod (modules) is ontwikkeld. Hiermee wordt voorkomen dat er ‘over hoofden heen’ onderzocht gaan worden. 2. Inbedding van onderzoeksprocedures en - instrumenten in het aanbod zelf. Deze komen niet bovenop de al uitgevoerde behandelingsactiviteiten, maar worden er een onderdeel van. Dit vermindert de last van het onderzoek voor de uitvoerend werkers, men heeft er baat bij. Hiermee kan ook de uitvoering verder geprofessionaliseerd worden, uitvoerders krijgen ‘tools’ in handen. 3. Benutting van onderzoeksresultaten op individueel niveau (bijvoorbeeld in de vorm van profielen) en geaggregeerd niveau van de projecten (ook tussentijds, bijvoorbeeld per kwartaal of halfjaar). Hiermee gaat het onderzoek leven voor functionarissen op verschillende niveaus, men kan iets met de resultaten. Op deze wijze kan het onderzoek niet alleen antwoord geven op de onderzoeksvragen, maar ook onderdeel worden van de systematiek van kwaliteitszorg binnen elk van de instellingen en tevens na afloop van het onderzoek bijdragen aan een continue monitoring van de kwaliteit van de zorg. Hiermee wordt een bijdrage geleverd aan de verdere profilering en professionalisering van het zorgaanbod. Profilering betekent aan buitenstaanders laten zien wat je doet, het betekent onder andere verantwoording afleggen ten opzichte van beleidsmakers en financiers. Professionalisering is gericht op het verbeteren van het werk door het vermeerderen van kennis, veranderen van attitudes en vergroten van hulpverleningsvaardigheden. Profilering en professionalisering zijn ook de twee kanten van de kwaliteitszorgmedaille. Het onderzoek dient daarmee ook de kwaliteitszorg, of beter gezegd: kwaliteitszorg krijgt via het onderzoek gestalte. Daarnaast kunnen ook anderen weer profiteren van de uitkomsten van het onderzoek. Door de jaarlijkse onderzoeksrapportages konden de Hulp aan Huis modules worden opgenomen in het eerder genoemde overzicht van effectieve programma’s voor Intensieve Pedagogische Thuishulp (IPT)8. Het onderzoek is gericht op het beantwoorden van de volgende vragen: 1. Wat is de doelgroep? Wordt die ook bereikt? 2. Worden de interventies uitgevoerd zoals bedoeld? 3. Wat zijn de resultaten? Zijn die naar verwachting?
7
Zie voor deze definitie en de drie genoemde principes de publicatie van Veerman & Van Yperen, p. 5 (genoemd in noot 6) 8 Zie de verwijzing in noot 2. 12
Deze onderzoeksvragen zijn ingebed in een zorgevaluatiemodel9. Figuur 1.1. toont dit model. Figuur 1.1. Inhoudelijk-contextueel model van de jeugdzorg Organisatorische randvoorwaarden
Doelgroep
Verrichtingen
Resultaten
Bejegening
In dit model wordt een zorgaanbod (module of programma) gezien als een serie samenhangende, nader te benoemen behandelactiviteiten (‘verrichtingen’) uitgevoerd in een interpersoonlijke (‘bejegening’) en organisatorische (‘randvoorwaarden’) context, op geleide van in principe te expliciteren klinische en theoretische inzichten (‘behandeltheorie’), bestemd voor een specifiek aan te duiden groep jeugdigen en gezinnen (‘doelgroep’) en gericht op het bereiken van bepaalde nader te omschrijven doelen (‘resultaten’). Kortom: een zorgaanbod wordt gezien als een inhoud (doelgroep, behandelactiviteiten, resultaten) die plaatsvindt in een dubbele context (bejegening en randvoorwaarden) waarvoor een behandeltheorie te formuleren valt. Dit maakt een zorgaanbod evalueerbaar. Het onderzoek bij Hulp aan Huis heeft betrekking hebben op concrete casussen, hierbij vinden bij aanvang en beëindiging van de hulp metingen plaats. Het ‘meten’ levert vervolgens bouwstenen voor ‘weten’. Het leidt tot reflectie, en reflectie geeft aanwijzingen voor verbeteracties. Op geleide van het model in Figuur 1.1. kunnen deze aanwijzingen gezocht worden bij de verschillende onderscheiden aspecten. Is het resultaat bijvoorbeeld onvoldoende, dan kan dit mogelijk verklaard worden uit het niet goed genoeg verstrekt zijn van de verrichtingen, op een onjuiste bejegening, op niet vervulde randvoorwaarden als niet goed opgeleide behandelaars, onvoldoende financiële middelen, gebrekkige communicatie met Bureau Jeugdzorg, etc. Reflectie op de meetresultaten en het op geleide daarvan uitvoeren van verbeteracties betekent dat 9
Veerman, J.W. (2005). Een zorgevaluatiemodel als kader voor onderzoek in de praktijk van de jeugdzorg. Nijmegen: Praktikon. 13
onderzoeksgegevens benut worden. Het draagt op die manier bij aan de eerder genoemde professionalisering en profilering van de zorg. Bij Hulp aan Huis Overijssel is het evaluatieonderzoek gericht (geweest) op het beantwoorden van alle drie de eerder genoemde onderzoeksvragen over de bereikte doelgroep, de uitgevoerde interventies en de behaalde resultaten. In dit rapport staan vragen over de effecten centraal10. Bij het beoordelen van de effecten spelen twee subvragen: (1) Bij hoeveel jeugdigen of gezinnen zijn tijdens de behandeling positieve, gewenste veranderingen opgetreden; en (2) Bij hoeveel jeugdigen is de probleemstatus positief, dat wil zeggen dat er geen sprake meer is van de problemen die aanleiding waren voor aanmelding? Op beide vragen zal in dit rapport antwoord worden gegeven.
10
Deze zijn voor de periode 2004-2005 meer in detail gerapporteerd in de zogeheten ‘Tabellenboeken’, zie De Meyer, R.E. & Veerman, J.W. (2005). Resultaten Hulp aan Huis Overijssel. Tabellenboek 2004. Nijmegen: Praktikon; en in De Meyer, R.E. & Veerman, J.W. (2006). Resultaten Hulp aan Huis Overijssel. Tabellenboek 2005. Nijmegen: Praktikon.
14
Hoofdstuk 2: Opzet van het onderzoek 2.1. Onderzoeksgroep en respons De onderzoeksgroep voor de onderhavige rapportage bestaat uit gezinnen die tussen 1 januari 2004 tot 31 december 2005 een behandeling hebben afgesloten bij één van de modules van Hulp aan Huis Overijssel. Uit de 11 modules (zie Hoofdstuk 1, Tabel 1.1.) zijn voor de rapportage die modules geselecteerd waarvan gegevens van 10 of meer jeugdigen/ gezinnen verzameld waren. Dit bleek bij zeven modules het geval. Tabel 2.1. biedt een overzicht van deze modules en de door het onderzoek geregistreerde instroom van gezinnen. De modules LLPG en LOG, alsmede hun lvgvarianten deden niet mee, dit vanwege de geringe instroom. De instroom van de modules die wel meededen varieert van 51 tot 294 jeugdigen. In totaal werden in de onderzoeksperiode 1054 jeugdigen en hun gezinnen geregistreerd die in die periode met een behandeling begonnen en deze ook weer afsloten. Van 565 jeugdigen zijn aanvangs- en afsluitingsgegevens bekend. Dit is een respons van 54%. De respons per module varieert van 37% (IOG) tot 73% (IPG), zie Tabel 2.1. De respons is over gemiddeld genomen, alle modules heen, matig (onder de 60%) en voor enkele specifieke modules zelfs onvoldoende (onder de 50%). Eigenlijk is alleen de respons bij IPG en IPG-lvg voldoende (boven de 60%, maar nog onder de 80%). Dat betekent dat de representativiteit van de gegevens niet gegarandeerd is. Vaak is het in dit type onderzoek zo dat non-respons gerelateerd is aan weinig verbetering, mogelijke conflicten tussen hulpverleners en ouders en voortijdig gestopte behandelingen. Welke factoren in dit onderzoek een rol spelen is niet bekend. Hoe het ook zij, de matige tot zeer matige respons noopt tot voorzichtigheid bij het trekken van conclusies. Wel is het zo dat de respons van alle onderzochte modules beduidend beter is dan de vorige periode (2001-2003). De laatste kolom in Tabel 2.1. toont deze laatste cijfers. De respons voor de totale onderzoeksgroep op de CBCL ging omhoog van 41 naar 54%
15
Tabel 2.1. Onderzochte modulen en de respons Module Omschrijving Instroom FF
Families First
168
IOG
Intensieve Orthopedagogische Gezinsbehandeling IPG Intensieve Psychiatrische Gezinsbehandeling PPG-iv Praktisch Pedagogische Gezinsbegeleiding, intensieve variant FF-lvg** Families First voor Licht Verstandelijk Gehandicapten IOG-lvg*** Intensieve Orthopedagogische Gezinsbehandeling voor Licht Verstandelijk Gehandicapten IPG-lvg*** Intensieve Psychiatrische Gezinsbehandeling voor Licht Verstandelijk Gehandicapten TOTAAL
294 228 51
49 160
104
1054
Respons Respons Respons CBCL NOSI 2001-03* 85 84 51% 50% 49% 108 106 37% 36% 23% 167 157 73% 69% 63% 29 27 50% 57% 53% 22 45% 91 57%
21 43% 84 53%
63 61%
61 59%
48%
565 54%
540 51%
41%
* Alleen berekend over de CBCL ** Respons over 2005 *** Respons 2003-2005
2.2. Meetmomenten en meetinstrumenten Bij de onderzoeksgroep vonden op drie momenten metingen plaats: (1) Bij aanvang, (2) bij afsluiting en (3) zes maanden na afsluiting van de behandeling (‘follow-up’). Naast metingen op de drie genoemde momenten, vond gedurende de behandeling een voortdurende meting van de werkwijze van de hulpverleners plaats. In dit rapport komen alleen de metingen bij aanvang en afsluiting aan de orde, de follow-up blijft buiten beschouwing vanwege onvoldoende respons. 2.2.1. Meetinstrumenten De door de meetinstrumenten gemeten kenmerken bestrijken probleemgebieden die in de praktijk bij een aanmelding voor Hulp aan Huis meestal van toepassing zijn en die in bredere zin ook kenmerkend zijn voor de problematiek in multi-probleem gezinnen, waar een uithuisplaatsing voor een of meer jeugdigen dreigt. De hiervoor aangemelde jeugdigen vertonen in de regel veel, vooral externaliserend probleemgedrag, en ouders zijn onmachtig hier iets aan te doen. Vanuit deze domeinen formuleren ouders en verwijzers ook vaak de hulpvraag. De diagnostiek zal zich in de eerste weken dan ook voor een groot deel op deze domeinen richten en doelen zullen hierop geënt worden. Uit een
16
26% 46%
literatuuroverzicht van Knorth11 valt op te maken dat factoren die aanleiding zijn voor een besluit tot uithuisplaatsing vaak in deze domeinen zijn onder te brengen. Daarnaast wordt in de Wet op de jeugdzorg die in 2005 van kracht werd expliciet gesproken over opgroei- en opvoedingsproblemen als redenen voor behandeling in de jeugdzorg, ook hier herkennen we de twee genoemde domeinen in terug. Dit geeft ze niet alleen een praktische relevantie, maar ook een theoretisch/ empirische en een beleidsmatige inbedding. Als operationalisatie voor beide domeinen zijn de CBCL (gedragsproblemen) en de NOSI (opvoedingsbelasting) gehanteerd. Deze werden bij aanvang en bij afsluiting van de hulp door de ouders ingevuld. Daarnaast werd bij afsluiting van de hulp ook de BESTE afgenomen. Via deze vragenlijst wordt aan ouders gevraagd terug te kijken op de hulp en aan te geven of deze geholpen heeft, waarbij ook weer de twee domeinen worden centraal staan. Deze drie vragenlijsten worden hieronder toegelicht. CBCL De CBCL (Child Behavior Checklist) is een van oorsprong Amerikaanse gedragsvragenlijst, die voor de Nederlandse populatie genormeerd is12. Via in het invullen van deze lijst geven ouders aan welke gedragsproblemen ze bij hun kind waarnemen. Scoring levert een gedragsprofiel op met acht probleemgebieden (o.a. angstig-depressief, aandachtsproblemen, agressie) en overall-scores voor Totale problemen, Internaliseren en Externaliseren. In dit rapport wordt alleen de score voor Totale problemen gebruikt. Deze vormt een goede samenvatting van de problematiek. NOSI De Nijmeegse Ouderlijke Stressindex (NOSI) is een bewerkte Nederlandstalige versie van een Amerikaans meetinstrument, waarmee de stressbeleving van ouders in de opvoeding van hun kinderen vastgesteld kan worden13. Zeven schalen brengen tot uitdrukking in welke mate de ouder zich al dan niet berekend voelt voor de opvoedingstaak en zich daarin (in)adequaat of gespannen voelt, zes andere schalen geven inzicht in de bijdrage van karakteristieken/eigenschappen van het kind aan de mogelijke stress in de ouder-kind relatie. In dit rapport wordt alleen de totaalscore op de NOSI gerapporteerd. Ook deze vat de ouderlijke stress bij het opvoeden
11
Knorth, E.J. (1995). Besluitvorming over uithuisplaatsing in de jeugdzorg. Kind en Adolescent, 16, 64-87. 12 Verhulst, F.C., Ende, J. van der, & Koot, H.M. (1996). Handleiding voor de CBCL/4-18. Rotterdam: Erasmus Universiteit/ Sophia Kinderziekenhuis, Afdeling Kinder- en Jeugdpsychiatrie. 13 Brock, A.J.L.L. de, Vermulst, A.A., Gerris, J.R.M., & Abidin, R.R. (1992). NOSI. Nijmeegse Ouderlijke Stress Index. Handleiding experimentele versie. Lisse: Swets & Zeitlinger. 17
goed samen. Deze stress wordt in het vervolg aangeduid met opvoedingsbelasting. BESTE BESTE staat voor Beoordelingsschaal voor Tevredenheid en Effect14. Via de BESTE wordt ervaren effectiviteit en tevredenheid gemeten. De ervaren effectiviteit heeft te maken met de indruk die bij ouders bestaat dat de geboden behandeling heeft geleid tot verbetering op bepaalde gebieden. Deze wordt gemeten met de volgende vier vragen: Is het gedrag van het kind veranderd door de gezinsbehandeling? Is er door het contact met de gezinshulpverlener in het functioneren van het gezin iets veranderd? Is er door het contact met de gezinshulpverlener iets veranderd in de manier waarop u uw kind opvoedt? Is door het contact met de gezinsbehandeling uw zicht op het gedrag van het kind verhelderd? Onder tevredenheid wordt verstaan de mate waarin ouders tevreden zijn over de behandeling. Dit wordt gemeten via de volgende twee vragen: Wat vindt u van de periode die de gezinsbehandeling heeft geduurd? Stel dat familie of kennissen met één van hun kinderen hetzelfde zouden meemaken als u destijds (voor u in contact kwam met de gezinsbehandeling). Zou u hen deze vorm van gezinsbehandeling dan aanraden? 2.2.2. Overzicht van de metingen In Tabel 2.3 op de volgende pagina staat een overzicht van op welk moment welke gegevens door wie worden geleverd. Tabel 2.2. Overzicht metingen Aanvang Afsluiting CBCL CBCL NOSI NOSI BESTE
Informant Ouder Ouder Ouder
2.3. Procedures Alle gegevens werden op locatie verzameld. Gezinshulpverleners introduceerden de vragenlijsten bij de ouders en namen ze ook weer in, soms vulden zij zelf ook vragenlijsten in (deze komen in dit rapport niet aan de orde). Een aandachtsfunctionaris coördineerde de gegevensverzameling op locatie en werd daarbij ondersteund door het
14
Meyer, R.E. De, Janssen, J. & Veerman J.W. (2004). Handleiding beoordelingsschaal tevredenheid en effect (BESTE). Nijmegen: Katholieke Universiteit, ACSW/ Praktikon
18
secretariaat. De aandachtsfunctionaris fungeerde als ‘procesbewaker’. Binnen de organisatie had hij of zij als belangrijkste taken: - aanspreekpunt zijn voor medewerkers over de uitvoering van het onderzoek, - zelf actief signaleren waar knelpunten liggen en die helpen oplossen, - betrokkenheid en enthousiasme uitstralen (procesbewaker moet er persoonlijk in ‘geloven’ dat dit een goede manier van werken is). Naar buiten toe waren de taken: - contactpersoon voor onderzoekers (twee richtingen: indien nodig zelf contact opnemen, en ook bevraagd kunnen worden), - deelname aan de overleggen over het onderzoek, - mogelijk (en indien nodig) deelname aan verdere scholing.
2.4. Wijze van analyseren en rapporteren Centraal staat de vraag naar de effectiviteit van Hulp aan Huis. Eerder is gesteld dat effectiviteit blijkt uit (1) een positieve verandering, dat wil zeggen: een belangrijke vermindering van opgroei- en opvoedingsproblemen gemeten met de CBCL en de NOSI, (2) een positieve probleemstatus: het niet meer aanwezig zijn van deze problemen bij afsluiting van de hulp. Dat betekent dat er voor het analyseren zowel een veranderingsindex als een statusindex gehanteerd dienen te worden. 2.4.1. Statusindex De ruwe scores van de CBCL, NOSI worden omgezet in zogeheten normatieve deviatiescores of kortweg deviatiescores. Een deviatiescore zegt iets over de afwijking (deviatie) van een score op een vragenlijst ten opzichte van een norm. Voor deze norm wordt het gemiddelde van de normgroep die bij de vragenlijst hoort genomen (normgemiddelde). De deviatiescore wordt per individu berekend door de score op de vragenlijst van het normgemiddelde af te trekken en dit verschil dan te delen door de standaarddeviatie van het normgemiddelde. De deviatiescore zegt in feite hoeveel eenheden van een standaarddeviatie de score van een individu af ligt van het normgemiddelde. Door de deviatiescores van een groep te middelen krijgt men een gemiddelde deviatiescore die zegt hoeveel deze groep gemiddeld van de norm afwijkt. Deviatiescores transformeren de oorspronkelijke ruwe scores in een nieuwe metriek zonder de onderlinge verhoudingen aan te tasten. Statistisch gesproken zijn het z-scores. Wanneer de afwijking minimaal is, dan ligt de score van een individu (of groep als het om een gemiddelde gaat) dichtbij de gemiddelde score van de normgroep. Is de afwijking echter groot, dan is het duidelijk dat er
19
problemen spelen. In het algemeen: hoe groter de afwijking, des te ernstiger de problemen. Het voordeel van deviatiescores is dat ze voor alle instrumenten dezelfde betekenis hebben. Zo kan de afwijking van de norm op gedragsproblemen (gemeten met de CBCL) vergeleken worden met de afwijking van de norm ten aanzien van opvoedingsbelasting (gemeten met de NOSI). Door deviatiescores wordt als het ware een gelijke meetlat geconstrueerd. Met behulp van de deviatiescores wordt vervolgens een criterium voor de ‘aanwezigheid van problemen’ geformeerd. Hierbij maken we gebruik van de eigenschappen van zscores. Deze zijn normaal verdeeld met een gemiddelde van 0 en een standaarddeviatie van 1. Onder de assumptie van de normaalverdeling heeft elke deviatiescore een bepaalde overschrijdingskans: de kans op een score kleiner (of groter) dan de betreffende score. In feite wordt hiermee aangegeven hoeveel procent van de normgroep een waarde heeft die beneden de corresponderende deviatiescore ligt. Een deviatiescore van 1,29 betekent dat 90,15% van de normgroep lager scoort. Andersom gezegd behoort iemand met een score van 1,29 of hoger dus bij de 10% hoogste scores. De waarde van 1,29 interpreteren we hier als benedengrens van een afwijking. Dit geeft een indeling van de probleemstatus van een individueel kind of gezin: Aanzienlijke problemen: deviatiescore op een vragenlijst van 1,29 of hoger. Geen problemen: een deviatiescore van onder de 1,29. Over een groep kan worden berekend hoeveel procent van de jeugdigen of gezinnen bij afsluiting van de hulp met aanzienlijke problemen te kampen heeft en hoeveel er geen problemen meer hebben. 2.4.2. Veranderingsindex Om de verandering tussen aanvang en afsluiting te meten berekenen we eerst veranderingsscores en bepalen we op basis daarvan een criterium voor betrouwbare verandering (verbetering of verslechtering), waarna we kunnen aangeven hoeveel procent van de onderzochte groep betrouwbaar veranderd is. De veranderingsscores worden berekend door het verschil van de ruwe score bij aanvang minus de ruwe score bij afsluiting te delen door de standaardfout van het verschil. De standaardfout van het verschil wordt bepaald door de standaardmeetfout alsmede de test-hertest betrouwbaarheid c.q. interne consistentie van de betreffende vragenlijst15.
15
Hier maakten we gebruik van de ‘Reliable Change Index’ die in de literatuur over onderzoek naar de effecten van psychotherapie beschreven is, zie bijvoorbeeld: Jacobson, N.S. & Truax, P. (1991). Clinical significance. A statistical approach to defining meaningful change in psychotherapy research. Journal of Consulting and Clinical Psychology, 59, 12-19. Hafkenscheid, A., Kuipers, A., & Marinkelle, A. (1998). De 20
Statistisch gesproken wordt de veranderingsscore verondersteld normaal verdeeld te zijn met een gemiddelde van 0 en een standaarddeviatie van 1. Deze scores zijn hiermee z-waarden die getoetst kunnen worden. Er worden drie effecten onderscheiden: Positief effect. Bij een veranderingsscore groter dan 1,645 mag er met 95% zekerheid van uitgegaan worden dat er een verbetering is opgetreden die niet op toeval berust. Negatief effect. Bij een veranderingsscore kleiner dan -1,645 mag er met 95% zekerheid van uitgegaan worden dat er een verslechtering is opgetreden niet op toeval berust. Geen effect. De veranderingsscore ligt tussen de -1,645 en +1,645 in. We toetsen hiermee met een onzekerheidsmarge van 10% (tweezijdig, wat 5% eenzijdig betekent). Dit biedt een goede garantie dat het berekende verschil ook daadwerkelijk een betrouwbaar verschil is en niet is toe te schrijven aan ‘toeval’ of ‘ruis’. De kans op fouten is 10% (voor positief en negatief samen) of 5% (voor positief en negatief afzonderlijk). De ‘ruis’ is in dit geval de onbetrouwbaarheid van het meetinstrument. De standaardmeetfout van het meetinstrument dient als indicatie hiervoor. Het verschil tussen de meting bij aanvang en de meting bij afsluiting moet in voldoende mate boven deze ruis van het meetinstrument uitkomen om te kunnen spreken van betrouwbare verandering. Als criterium voor ‘voldoende mate’ dient de genoemde z-waarde van 1,645. Op basis hiervan kan per module en per domein het percentage jeugdigen of gezinnen berekend worden dat betrouwbaar verbeterd, verslechterd of niet veranderd is. 2.2.3. Combineren van verandering en status Wanneer we de twee categorieën van de status- en de drie van de veranderingsindex combineren ontstaan zes nieuwe categorieën. Elk van deze nieuwe categorieën geeft of er sprake is van verandering en of er bij afsluiting van de hulp al dan niet sprake is van aanzienlijke problemen. We gaan hier niet in op de specifieke inhoud van alle zes de categorieën, maar hebben deze voor de hier te geven rapportage omgezet in een eenvoudiger, en ook intuïtief goed te interpreteren vierpuntsschaal. Deze geeft een ‘overall’ beeld geeft van de verkregen effecten op het gebied van de opgroei- en opvoedingsproblemen, die bovendien goed aansluit bij de schaal die de laatste tijd ten aanzien van doelrealisatie steeds meer in
vragenlijst als effectmaat bij 'N=1': hoe bruikbaar zijn statistische defnities van 'klinische significantie' en betrouwbare verandering? Gedragstherapie, 31, 221-240.
21
zwang lijkt te komen16. Hiermee ontstaat er een eenheid van taal bij het kwantificeren van effecten. Het gaat om de volgende schaal: –1 = significante verslechtering van de problemen tussen aanvang en afsluiting 0 = problemen zijn gedurende behandeling niet significant verbeterd dan wel verslechterd +1 = problemen zijn significant verbeterd maar er is bij einde hulp nog steeds sprake van aanzienlijke problemen +2 = problemen zijn significant verbeterd en er is tevens geen sprake meer van aanzienlijke problemen bij einde hulp.
16
Zie voor een meer gedetailleerde beschrijving van de zes uitkomstcategorieën en de relatie tot de vierpuntsschaal voor doelrealisatie Veerman, J.W. (2006, in voorbereiding). Zicht op effectiviteit in maat en getal. Methoden voor het kwantificeren en toetsen van effecten in onderzoek met voor- en nametingen In T.A. van Yperen & J.W. Veerman (red.), Zicht op effectiviteit. Bronnenboek voor praktijkgestuurd effectonderzoek in de jeugdzorg. Deel II. Utrecht/ Nijmegen: NIZW/ Praktikon.
22
Hoofdstuk 3: Onderzoeksresultaten 3.1. Effecten op programmaniveau De opgroei en opvoedproblemen die aanleiding zijn voor het inzetten van een Hulp aan Huis module operationaliseerden we in Hoofdstuk 2 als gedragsproblemen van de jeugdigen (gemeten met de CBCL) en als opvoedingsbelasting van de ouders (gemeten met de NOSI). We gaven daar ook aan dat effecten beoordeeld dienen te worden naar verandering tijdens de hulp en probleemstatus bij het beëindigen van de hulp. Op basis van de hiervoor gehanteerde indexen presenteren we in dit hoofdstuk de effecten van Hulp aan Huis Overijssel van de afgelopen twee jaar (2004-2005). We beginnen de uitkomsten op de twee afzonderlijke indexen van het gehele aanbod en geven daarna de gecombineerde effecten in een ‘overall’-beoordeling. Daarna gaan we in op de afzonderlijke effecten per module. We doen dit steeds apart voor opgroeiproblemen (=probleemgedrag CBCL) en opvoedingsproblemen (=opvoedingsbelasting NOSI). In Figuur 3.1. wordt inzicht gegeven in het aantal jeugdigen van wie het probleemgedrag gedurende de behandeling betrouwbaar verbeterde en het aantal ouders wier opvoedingsbelasting betrouwbaar verminderde. Dit betekent dat de geconstateerde verbetering met een onzekerheidsmarge van 5% niet aan toeval kan worden toegeschreven (zie Hoofdstuk 2, paragraaf 2.4. verdere uitleg). Figuur 3.1. Verandering probleemgedrag en opvoedingsbelasting tussen aanvang en beëindiging voor het totale Hulp aan Huis aanbod
100% 80% 60% 40% 20% 0% Probleemgedrag 2004-05
Opvoedingsbelasting 2001-03 23
Drenthe
Het blijkt dat bij 60% van de jeugdigen het probleemgedrag significant verbeterde en dat bij 64% van de ouders de opvoedingsbelasting significant afnam. Op zich is dit een goed resultaat. Maar is dit ’goed genoeg’? Om dit te beoordelen worden de effecten van Hulp aan Huis Overijssel vergeleken met gegevens uit een eerdere periode (ook wel aangeduid als ‘trendmarking’) en met gegevens van Hulp aan Huis programma’s die min of meer als voorbeeld kunnen dienen (‘benchmarking’). Voor de eerste vergelijking is gebruik gemaakt van de effecten uit de periode 2001200317. Voor deze laatste vergelijking is gebruik gemaakt van resultaten behaald door Hulp aan Huis Drenthe in 2001-200318 19. In de loop der jaren is daar een praktijk gegroeid die een referentiepunt kan vormen. Komen de effecten van Hulp aan Huis Overijssel overeen met die in de voorgaande periode en komen ze overeen met die van Hulp aan Huis Drenthe dan kunnen ze als ‘goed genoeg’ gekwalificeerd worden. Figuur 3.1. laat zien dat met 60% verbeteringen op probleemgedrag nagenoeg gelijk wordt gepresteerd t.o.v. 2001-2003 en HaH Drenthe. Echter op opvoedingsbelasting scoort Overijssel in 2004-2005 aanzienlijk beter dan voorheen en iets beter dan Drenthe: 67% tegenover 57% in 2001-03 en 64% in Drenthe. In Figuur 3.2. wordt inzicht gegeven in het aantal jeugdigen dat na afloop van de behandeling nog aanzienlijke gedragsproblemen vertoonde en het aantal ouders dat nog aanzienlijke opvoedingsbelasting ervoer. Dit betekent dat de score op de CBCL of NOSI in het probleemgebied valt (deviatiescore 1,29 of hoger; zie Hoofdstuk 2, paragraaf 2.4. verdere uitleg).
17
Gerapporteerd in Veerman, J.W., & Meyer, R. de (2004). Is de intersectorale samenwerking in de jeugdzorg in Overijssel voor de cliënten goed genoeg? Bereikte doelgroep en behaalde resultaten bij Hulp aan Huis over de periode 2001-2003. Nijmegen: Katholieke Universiteit, ACSW/ Praktikon. 18 Zie voor deze cijfers De Meyer, R.E. & Veerman, J.W. (2006). Resultaten Hulp aan Huis Drenthe. Tabellenboek 2005. Nijmegen: Praktikon. 19 Er is wat betreft Drenthe voor de gegevens van 2001-2003 gekozen om met name de uitkomsten op de opvoedingsbelasting van Overijssel reëel te kunnen vergelijken met die van Drenthe. In Overijssel wordt namelijk nog steeds de NOSI versie uit 1992 gebruikt dit in tegenstelling tot Drenthe, waar sinds 2004 overgegaan is op het gebruik van de experimentele versie van de nieuwe NOSI (minder items (80 in de nieuwe experimentele versie tgov. 123 in de versie van 1992) en scoring op een vierpuntsschaal in tegenstelling tot zespuntsschaal in 1992). 24
Figuur 3.2. Probleemstatus probleemgedrag en opvoedingsbelasting bij beëindiging van de hulp (percentage met aanzienlijke problemen)
100% 80% 60% 40% 20% 0% Probleemgedrag 2004-05
Opvoedingsbelasting 2001-03
Drenthe
Uit Figuur 3.2. blijkt dat 63% van de jeugdigen bij het beëindigen van de hulp nog steeds noemenswaardige gedragsproblemen vertoonde en dat 44% van de ouders nog steeds noemenswaardige opvoedingsbelasting ervoer. Vergeleken met de cijfers over de periode 2001-03 betekent dit een lichte verbetering: 63% probleemgedrag tegenover 69% in 2001-03 en 44% opvoedingsbelasting tegenover 47% in 2001-03. Vergeleken met de uitkomsten bij Hulp aan Huis Drenthe valt op dat het percentage jeugdigen in Overijssel dat bij einde hulp problemen had zich goed verhoud tot Drenthe: 63% tegenover 62% en dat ook het percentage ouders dat nog steeds aanzienlijke opvoedingsbelasting ervoer nagenoeg gelijk is: 44% tegenover 46% in Drenthe. Al met al een ‘goed genoeg’ resultaat. Zoals aangegeven kunnen de voorgaande uitkomsten van het Overijsselse Hulp aan Huis zorgaanbod in een ‘overall’-beoordeling worden samengevat. De resultaten van deze ‘overall’ beoordeling worden in Figuur 3.3 met betrekking tot het probleemgedrag van de jeugdigen gegeven20.
20
In de Bijlage worden alle exacte waarden van alle in de figuren van dit Hoofdstuk gepresenteerde percentages gegeven, alsook de deviatiescores waarop deze percentages zijn gebaseerd. 25
Figuur 3.3. ‘Overall’-uitkomsten probleemgedrag
50% 40% 30% 20% 10% 0% +2
+1 2004-05
0 2001-03
-1
Drenthe
Figuur 3.3. laat zien dat in 2004-05 28% van de Hulp aan Huis behandelingen een score van +2 heeft gehaald. Dit zijn de geslaagde behandelingen wat betreft probleemgedrag: deze jeugdigen zijn positief verbeterd gedurende de hulp en hebben aan het eind geen aanzienlijke gedragsproblemen meer. Nog eens 32% scoort een +1 wat wil zeggen dat ook deze jeugdigen significant verbeterd zijn maar echter nog wel aanzienlijke problemen hebben. Deze jeugdigen zouden voor vervolghulp in aanmerking kunnen komen. Zo’n 33% verandert niet betrouwbaar en slechts 7% verslechtert significant gedurende de behandeling. Vergeleken met de eerdere periode (effecten 2001-2003) zijn de effecten licht verbeterd: 28% nu tegenover 20% van de behandelingen in 2001-03 scoorde een +2. Het totaal aantal verbeterden is 60% in 2004-05 tegenover 58% in 2001-03. De Overijsselse uitkomsten komen nagenoeg overeen met die van Hulp aan Huis Drenthe dat in 2001-03 62% van de behandelingen zag verbeteren, waarvan ook 28% een +2 scoorden. Het percentage dat verslechterde (7%) was in 2004-05 vrijwel gelijk aan 2001-03 (9%) en aan Drenthe (8%) Al met al een ‘goed genoeg’ resultaat voor Hulp aan Huis Overijssel. Figuur 3.4 geeft de resultaten voor de opvoedingsbelasting van de ouders.
26
Figuur 3.4. ‘Overall’-uitkomsten opvoedingsbelasting
50% 40% 30% 20% 10% 0% +2
+1 2004-05
0 2001-03
-1
Drenthe
In Figuur 3.4. is te zien dat de resultaten voor opvoedingsbelasting nog beter zijn dan de resultaten voor reductie van probleemgedrag (zie Figuur 3.1.). Maar liefst 44% van de behandelingen scoort een +2, d.w.z. de opvoedingsstress ervaren door de ouders is significant verminderd en niet meer aanzienlijk te noemen aan het eind van de behandeling. Daarboven op verbetert nog eens ongeveer 22% significant, hoewel deze ouders aangeven nog wel aanzienlijke stress te ervaren aan het eind van de hulp (score +1). Voor deze ouders zou een vervolghulp uitkomst kunnen bieden. Bijna aan kwart (23%) verandert niet en ruim een tiende deel (11%) verslechtert. Vergeleken met resultaten uit het verleden (2001-2003) is bijna 10% van de ouders meer verbeterd dan voorheen (de categorieën +2 en +1 samen): 66% in 2004-05 tegenover 57% in 2001-03 (40% had toen een score +2 en 17% een score +1). Het aantal van 11% van de ouders die verslechtert gedurende de hulp komt vrijwel exact overeen met die uit de periode 2001-03. Vergeleken met Hulp aan Huis Drenthe scoort Overijssel nog net iets beter 66% verbetert (1 of 2) tegenover 64% in Drenthe (43% een +2 en 21% een +1). Daar staat tegenover dat in Drenthe het percentage dat verslechterd bijna de helft minder is (6%). Al met al een zeer goed resultaat voor Overijssel wat betreft de afname van opvoedingsbelasting.
27
3.2. Effecten op moduleniveau Bij de analyse van de effecten op moduleniveau gaat het om de volgende onderzoeksvragen: 1) Is op basis van de onderzoeksgegevens te concluderen dat het bij Hulp aan Huis gaat om jeugdigen met meervoudige, hardnekkige en complexe problemen? 2) Zijn jeugdigen en ouders er wat betreft probleemgedrag en opvoedingsbelasting voldoende op vooruit gegaan na behandeling? 3) Is de restproblematiek op een acceptabel niveau? 4) Zijn ouders achteraf tevreden met de behandeling?21 3.2.1. Gedragsproblemen Figuur 3.5. laat de mate van voorkomen van gedragsproblemen bij aanvang (doelgroep) en afsluiting zien. Figuur 3.5. Gedragproblemen bij aanvang en afsluiting
100% 80% 60% 40% 20% 0% FF
IOG
IPG
PPG-iv
Aanvang
FF-lvg
IOG-lvg
IPG-lvg
Afsluiting
Uit Figuur 3.5. blijkt dat het percentage jeugdigen met aanzienlijke gedragsproblemen bij aanvang bij de zeven modules varieert van bijna 80% (IOG-lvg) tot bijna 90% (IPG-lvg). Bij alle modules ligt het percentage in ieder geval ruim boven de 70%. Wanneer we deze grens (in schoolcijfers: ‘ruim voldoende’) als een eerste indicatie voor het ‘goed 21
De presentatie is weer in grafieken, de Bijlage geeft de exacte cijfers, alsook de onderliggende deviatiescores.
28
genoeg’ bereiken van de doelgroep nemen (dus als norm), dan is de conclusie dat Hulp aan Huis Overijssel zijn doelgroep goed bereikt. Aangemelde jeugdigen kampen over het algemeen bij aanvang van de behandeling met aanzienlijke gedragsproblemen. Figuur 3.5. laat tevens zien dat bij alle modules op één na het aantal jeugdigen met gedragsproblemen bij afsluiting belangrijk gedaald is. De uitzondering is PPG-iv, maar bij deze module gaat het vooral om een stabilisering van eenmaal verworven verbetering. Dat lijkt ook te lukken hoewel de problematiek bij aanvang al aanzienlijk van aard was. Een statistische toetsing op basis van de onderliggende deviatiescores (zie Hoofdstuk 2, paragraaf 2.4) laat zien dat de verbetering bij 6 van de 7 modules ook statistisch significant was met een onzekerheidsmarge van 5% (enkel PPG-iv niet). Tevens valt op dat de problemen bij afsluiting nog lang niet verdwenen zijn: 56% (IOG-lvg) tot bijna 80% (IPG-lvg) van de jeugdigen kampt ook bij afsluiting nog met aanzienlijke gedragsproblemen. Er is dus nog behoorlijk wat ‘restproblematiek’. In Figuur 3.6. wordt een meer direct inzicht gegeven in het aantal jeugdigen dat gedurende de behandeling betrouwbaar verbeterde. Dit laatste betekent dat de geconstateerde verbetering met een onzekerheidsmarge van 5% niet aan toeval kan worden toegeschreven (zie Hoofdstuk 2, paragraaf 2.4. verdere uitleg). Blijkens de figuur is dat bij 35% (PPG-iv) tot ruim 73% (FF-lvg) van de jeugdigen het geval. Stellen we 50% betrouwbare verbetering als een enigszins arbitrair intuïtief criterium dan blijken alle modules op PPG-iv na dit criterium te halen. Een positief resultaat dus. Figuur 3.6. Verbetering in gedragproblemen vergeleken met periode 2001-03
100% 80% 60% 40% 20% 0% FF
IOG
IPG
PPG-iv
2004-05 29
2001-03
FF-lvg
IOG-lvg
IPG-lvg
Om dit resultaat nog nader te bekijken vergelijken we de resultaten van 2004-2005 met de resultaten behaald in de periode 2001-2003, de eerder ook gehanteerde ‘trendmarking’. Uit Figuur 3.6. blijkt dan dat twee modules het beter doen dan voorheen (FF en IOG-lvg), twee modules scoren nagenoeg gelijk (IOG, IPG) en twee modules halen mindere resultaten (PPG-iv en IPG-lvg). Met name FF haalde betere resultaten dan voorheen (+10%), PPG-iv aanzienlijk mindere resultaten (-20%). Om te bepalen of Hulp aan Huis Overijssel het even goed doet als Hulp aan Huis Drenthe wat betreft probleemgedrag (‘benchmarking’) moet een verbetering binnen een marge van minimaal plus of min 5% van Hulp aan Huis Drenthe liggen. Deze marge houden we aan voor ‘op hetzelfde niveau scoren’. Als een Overijsselse module lager dan de ondergrens van min 5% scoort geeft dit op het betreffende aspect een negatieve beoordeling ten opzichte van de module waarmee vergeleken wordt. Scoort een module boven deze ondergrens dan wordt dit geïnterpreteerd als ‘op hetzelfde niveau’. Is de score hoger dan de bovengrens van 5% dan doet een Overijsselse module het op het betreffende aspect beter dan de Drentse vergelijkingsmodule. Figuur 3.7. geeft de vergelijking met Hulp aan Huis Drenthe. Figuur 3.7. Verbetering in gedragsproblemen vergeleken met Hulp aan Huis Drenthe
100% 80% 60% 40% 20% 0% FF
IOG
IPG Overijssel
FF-lvg
IOG-lvg
IPG-lvg
Drenthe
Uit Figuur 3.7. blijkt dat het percentage jeugdigen dat betrouwbaar verbetert bij vier van de zes modules, waarmee een vergelijking met Hulp aan Huis Drenthe mogelijk is, boven de ondergrens van 5% ligt (alleen bij IOG en IPG-lvg niet). Twee modules liggen zelfs boven de bovengrens van 30
5% (FF-lvg en IOG-lvg), hier wordt duidelijk beter dan in Drenthe gescoord. 3.2.2. Opvoedingsbelasting Figuur 3.8. laat de mate van voorkomen van opvoedingsbelasting bij aanvang en afsluiting zien. Figuur 3.8. Opvoedingsbelasting bij aanvang en afsluiting
100% 80% 60% 40% 20% 0% FF
IOG
IPG
PPG-iv
Aanvang
FF-lvg
IOG-lvg
IPG-lvg
Afsluiting
In Figuur 3.8. is te zien dat bij opvoedingsbelasting het beeld van de doelgroep anders ligt dan bij probleemgedrag (zie Figuur 3.5.). Het percentage ouders die bij aanvang een aanzienlijke opvoedingsbelasting ervaart variëert van 56% (PPG-iv) tot 81% (FF-lvg). Slechts één module scoort hier boven de 70% (FF-lvg). Dat brengt ons tot de conclusie dat, met uitzondering van FF-lvg, de doelgroep qua opvoedingsbelasting aan de lichte kant lijkt, zeker in vergelijking met de mate van voorkomen van gedragsproblemen. Figuur 3.8. laat tevens zien dat bij alle zeven modules het aantal ouders dat bij afsluiting nog aanzienlijke opvoedingsbelasting ervaart belangrijk gedaald is. Een statistische toetsing op basis van de onderliggende deviatiescores (zie Hoofdstuk 2, paragraaf 2.4) laat zien dat de verbetering bij alle modules ook statistisch significant is. Tevens valt ook hier op dat de problemen bij afsluiting nog niet verdwenen zijn: zo’n 30% (IOG-lvg) tot 53% (IPG en IPG-lvg) van de ouders ervaart ook bij afsluiting nog aanzienlijke opvoedingsbelasting.
31
In Figuur 3.9. wordt een meer direct inzicht gegeven in het aantal ouders dat tussen aanvang en afsluiting in positief opzicht betrouwbaar verbeterde. Een betrouwbare verbetering betekent dat de geconstateerde verbetering met een onzekerheidsmarge van 5% niet aan toeval kan worden toegeschreven (zie Hoofdstuk 2, paragraaf 2.4. verdere uitleg). Blijkens de figuur is dat bij 56% (PPG-iv) tot 73% (IOG-lvg) van de ouders het geval. Stellen we net zoals bij de verbetering van gedragsproblemen ook bij de verbetering van opvoedingsbelasting 50% als een enigszins arbitrair intuïtief criterium dan blijken alle modules dit criterium te halen. Ook hier een positief resultaat voor Overijssel. Figuur 3.9. Verbetering in opvoedingsbelasting vergeleken met periode 2001-03
100% 80% 60% 40% 20% 0% FF
IOG
IPG
PPG-iv
2004-05
FF-lvg
IOG-lvg
IPG-lvg
2001-03
Figuur 3.9 laat tevens zien dat vijf van de zes modules in 2004-2005 betere resultaten behaalden op opvoedingsbelasting vergeleken met 2001-2003. FF, IPG en IPG-lvg boekten zelfs meer dan 10% verbetering t.o.v. 2001-03. Enkel PPG-iv deed, net als eerder bij probleemgedrag, beduidend minder goed (-24%). Om dit resultaat in een nog breder kader te plaatsen vergelijken we de Overijsselse resultaten op opvoedingsbelasting met die van Hulp aan Huis Drenthe. Figuur 3.10. toont deze vergelijking.
32
Figuur 3.10. Verbetering in opvoedingsbelasting vergeleken met Hulp aan Huis Drenthe
100% 80% 60% 40% 20% 0% FF
IOG
IPG Overijssel
FF-lvg
IOG-lvg
IPG-lvg
Drenthe
Uit Figuur 3.10 blijkt dat het percentage ouders dat betrouwbaar verbetert bij 4 van de 6 modules, waarmee een vergelijking met Hulp aan Huis Drenthe mogelijk is, boven de ondergrens van 5% ligt. Het aantal ouders dat in Overijssel betrouwbaar verbetert is bij 4 van de 6 modules (FF, IPG, FF-lvg en IOG-lvg) zelfs aanzienlijk beter (>5%) dan in Drenthe, enkel IOG scoort beduidend minder goed dan in Drenthe: 61% tegenover 72%. 3.2.3. Cliënttevredenheid Cliënttevredenheid is gemeten met de BESTE (zie Hoofdstuk 2) en valt in twee onderdelen uiteen: (1) Ervaren effectiviteit en (2) Tevredenheid. Ervaren effectiviteit is gemeten met vier vragen over veranderingen bij het kind, bij het gezin, in de manier waarop de ouder het kind opvoedt en de manier waarop de ouder naar het gedrag van het kind kijkt. Elk van deze vragen werd op een vierpuntsschaal beantwoord (1=eerder slechter dan beter geworden, 2=niets veranderd, 3=wel wat veranderd, 4=goed vooruit gegaan). Scores van 12 en hoger wijzen op een positief oordeel over de behandeling (er wordt dan per vraag minimaal 3 gescoord, dus: ‘wel wat veranderd’), scores van 4-11 wijzen op een negatief of gematigd oordeel van de ouders over de behandeling. Figuur 3.11 geeft de uitslagen in 2004-05 en de vergelijkingen met Hulp aan Huis Drenthe.
33
Figuur 3.11. Cliënttevredenheid: ervaren effectiviteit door ouders vergeleken met Hulp aan Huis Drenthe
100% 80% 60% 40% 20% 0% FF
IOG
IPG
PPG-iv
Overijssel
FF-lvg
IOG-lvg
IPG-lvg
Drenthe
Uit Figuur 3.11. valt op te maken dat alle percentages, behoudens die voor PPG-iv boven de 80% liggen. Meer dan 80% van de ouders geeft dus aan belangrijke positieve verbeteringen te zien bij het kind, in hun gezin of in hun manier van kijken naar en opvoeden van het kind. Dit is in grote lijnen vergelijkbaar met de cijfers van vergelijkbare modules van Hulp aan Huis Drenthe. In 4 van de 6 vergelijkingen met Drenthe scoort Overijssel zelfs boven de bovenmarge van 5%: FF, IPG, FF-lvg en IOG-lvg. Alles bij elkaar is het aantal ouders dat in Overijssel tevreden is over de verleende hulp iets hoger dan in Drenthe: respectievelijk 91% versus 86%. De tevredenheid is via de BESTE gemeten met de vragen over de lengte van de behandeling en of men de behandeling ook aan anderen zou aanraden. Tabel B.3 in de Bijlagen geeft de uitslagen. We geven hier alleen het antwoord op de laatste vraag. De antwoorden zijn duidelijk: bijna alle Overijsselse modules scoren hier 100%, dat betekent dat alle ondervraagde ouders zeggen de behandeling ook aan anderen aan te zullen raden. Dit is in grote lijnen ook het geval voor Hulp aan Huis Drenthe.
34
Hoofdstuk 4: Conclusie 4.1. Samenvatting van de onderzoeksresultaten In 2000 ging in Overijssel in de regio Twente het programma Hulp aan Huis Overijssel van start, met als doel het ontwikkelen en uitvoeren van een samenhangend en modulair georganiseerd aanbod van geïndiceerde intensieve ambulante gezinsbehandeling als onderdeel van het jeugdzorgaanbod binnen de sectoren van de jeugdhulpverlening, de jeugd-GGZ, de jeugdbescherming en de zorg voor licht verstandelijk gehandicapte kinderen. In deze rapportage werden de onderzoeksuitkomsten ten aanzien van de effecten gepresenteerd over de periode 2004-2005 bij zeven modules. Centraal staan 565 jeugdigen van wie in deze periode voldoende gegevens zijn verzameld. Deze onderzoeksgroep betreft 54% van de in totaal 1054 jeugdigen die in de genoemde periode bij een van de zeven onderzochte modules een behandeling afsloten. De respons per module varieerde van 37% tot 73%. Voor het bepalen van de effecten is gekeken of er (1) belangrijke veranderingen zijn te constateren in de opgroei- en opvoedingsproblemen die aanleiding voor aanmelding bij Hulp aan Huis waren en (2) of deze problemen tot een aanvaardbaar niveau zijn teruggedrongen. Om deze problemen bij aanvang en afsluiting van de hulp te meten zijn gestandaardiseerde meetinstrumenten (vragenlijsten: CBCL en NOSI) ingezet. Deze maken het ook mogelijk de twee genoemde effecten op statistisch verantwoorde wijze te bepalen. Wat betreft de onderzoeksresultaten over alle modules heen blijkt dat in 60% van de gevallen de opgroeiproblemen en in 64% van de gevallen de opvoedingsproblemen belangrijk verbeterd zijn. In 37% van de gevallen blijken de opgroeiproblemen tot een aanvaardbaar niveau terug te zijn gebracht, voor opvoedingsproblemen geldt datzelfde voor 56% van de gevallen. Worden de twee uitkomsten samen genomen dan blijken bij 28% van de jeugdigen de opgroeiproblemen belangrijk verminderd te zijn en tevens tot een aanvaardbaar niveau teruggebracht, 7% verslechtert in dit opzicht. Deze resultaten zijn een verbetering ten opzichte van de periode 2001-2003 en liggen ongeveer op gelijke hoogte van die van Hulp aan Huis Drenthe. Deze laatste gegevens worden als ‘benchmark’ gehanteerd. De opvoedingsproblemen zijn bij 44% van de ouders belangrijk afgenomen en tevens op een aanvaardbaar niveau gekomen, bij 11% van de ouders treedt hier een verslechtering op. Deze resultaten
35
betekenen een grote verbetering ten opzichte van de periode 2001-2003 en zijn vergelijkbaar met die van de ‘benchmark’, Hulp aan Huis Drenthe. Gelet op de zeven afzonderlijke modules waarvan onderzoeksresultaten bekend zijn, blijkt bij afsluiting het aantal jeugdigen met aanzienlijke gedragsproblemen bij 6 van de 7 modules belangrijk gedaald. Bij 35% tot 73% is een betrouwbaar te meten verbetering te constateren. Deze percentages zijn beter dan die in de periode 2001-2003 en ongeveer gelijk aan die van Hulp aan Huis Drenthe. Veel jeugdigen hebben ook bij afsluiting nog met aanzienlijke problemen te kampen, het percentage jeugdigen met deze ‘restproblematiek’ varieert van 56% tot 80% Wat betreft de opvoedingsbelasting van de ouders liggen de percentages gunstiger: bij alle modules daalt het aantal ouders met aanzienlijke opvoedingsbelasting, bij 56 tot 73% van de ouders verbetert deze ook betrouwbaar. Deze cijfers zijn beter dan in de periode 2001-2003 en ook beter dan de Drentse uitkomsten. De ‘restproblematiek’ varieert hier van 30-53% Bij afsluiting geeft bij 6 van de 7 modules minstens 80% van de cliënten aan achteraf positieve veranderingen te zien, alle cliënten (100%) zeggen ook de behandeling aan anderen aan te raden. Deze cijfers zijn vergelijkbaar met die uit Drenthe. Geconcludeerd kan worden dat gezinswerkers bij Hulp aan Huis Overijssel effectief omgaan met de opgroei- en opvoedingsproblemen. De percentages jeugdigen die wat betreft opgroeiproblemen betrouwbaar verbeteren zijn hoger dan de cijfers uit de voorgaande periode (20012003) en vergelijkbaar zijn met die van het Drentse Hulp aan Huis programma, de percentages voor opvoedingsbelasting liggen ten opzichte van de voorgaande periode hoger en verhouden zich goed tot die van Drenthe. Een belangrijke bevinding is dat veel jeugdigen en ouders ook na de behandeling nog met aanzienlijke problemen te kampen hebben. Dit is een beeld dat ook bekend is uit ander onderzoek22. 4.2. Discussie We geven hieronder puntsgewijs een aantal discussiepunten over het het gerapporteerde onderzoek:
22
Zie bijvoorbeeld: Kemper, A. (2004). Intensieve vormen van thuisbehandeling: Doelgroep, werkwijze en uitkomsten. Dissertatie Radboud Universiteit Nijmegen; en ook Veerman, J.W., & Brink, L.T. ten (2001). Lessen uit follow-up onderzoek. In H. van Leeuwen, W. Slot & M. Uijterwijk (Red.), Antisociaal gedrag bij jeugdigen. Determinanten en interventies (pp. 207-224). Lisse: Swets & Zeitlinger.
36
-
-
-
-
-
Ten aanzien van de respons is het goede nieuws dat deze ten opzichte van de vorige meetperiode belangrijk verbeterd is; bij twee van de zeven modules is de respons ook voldoende (boven de 65%). Het slechte nieuws is dat de respons gemiddeld over alle modules nog steeds matig is (54%), en bij twee van de zeven modules nog onvoldoende is (onder de 50%). Geen van de modules haalt de kwalificatie ‘goed’ (80% of hoger). De relatief lage respons kan een vertekening opleveren. Uitval uit onderzoek is meestal niet willekeurig. Vaak gaat het om deelnemers waarbij de resultaten wat minder zijn. De overblijvende deelnemers vertegenwoordigen dan het ‘positieve deel’ van de onderzoeksgroep, hetgeen een overschatting van de effecten kan geven. Ouders zullen bij afsluiting eerder bereid en gemotiveerd zijn bij beter functionerende jeugdigen en gezinnen een vragenlijst in te vullen. Dit kan de effecten positiever maken: meer verandering en minder problemen bij afsluiting. De matige respons levert in een aantal gevallen kleine onderzoeksgroepen op. De vier modules die dit betreft zijn ook niet meegenomen in deze rapportage (LOG en LLPG, alsmede de lvgvarianten hiervan) De follow-up (T3 meting) is van belang om iets te kunnen zeggen over de duurzaamheid van de behandeling. Nu is het nog niet zinvol om iets over de duurzaamheid te zeggen omdat de respons bij de follow-up nog onvoldoende is. Dit is een verbeterpunt voor de verschillende locaties die deelnemen aan het onderzoek. In dit onderzoek zijn vooral problemen gemeten en geen competenties. Dit heeft voor een deel te maken met de beschikbare instrumenten. Voor het meten van competenties bij ouders en jeugdigen zijn deze nog onvoldoende ontwikkeld. Aan de andere kant is het ook wel weer zo dat ouders verwezen worden vanwege problemen met hun kinderen en/ of hun functioneren als opvoeder. Het nauwkeurig vastleggen van deze problemen kan ook herkenning en erkenning opleveren op basis waarvan een competentiegerichte aanpak vorm kan krijgen. Opgroeien opvoedingsproblemen worden bovendien in de nieuwe Wet op de jeugdzorg als het bestaansrecht van de jeugdzorg aangeduid. Het lijkt daarom logisch dat bij het afleggen van verantwoording over de effecten van zorg aangegeven wordt hoe juist deze problemen verminderd zijn. De vastgestelde verbeteringen laten geen definitieve conclusies over een causaal effect van de behandeling toe. Hier gaat het om een bewijs dat de behandeling en niet iets anders tot het resultaat heeft geleid. Idealiter dient voor het aantonen van een effect bewezen te worden dat het onderzochte zorgaanbod beter is dan ‘geen zorgaanbod’ of een ‘ander zorgaanbod’. Dit veronderstelt een vergelijking met een
37
controlegroep die het zorgaanbod niet gekregen heeft, maar wel een ander aanbod heeft gehad, of soms in het geheel geen hulp heeft ontvangen. Is die controlegroep niet beschikbaar dan zouden positieve resultaten ook aan andere oorzaken kunnen worden toegeschreven zoals: een nieuwe partner van moeder, een verhuizing van het gezin, of een andere school voor het kind. Vanwege praktische en ethische problemen is een controlegroep in praktijkonderzoek echter vaak lastig te verkrijgen. Dit zou betekenen dat er via praktijkonderzoek nooit aanwijzingen voor effectiviteit zouden zijn te vinden. Veerman en Van Yperen stellen voor om voor effectonderzoek zonder controlegroep een effectladder te hanteren met oplopende bewijzen voor effectiviteit. Tabel 4.1. (overgenomen uit hun publicatie) toont deze verschillende graden van effectiviteit in hun onderlinge samenhang en de soorten onderzoek23. Het Hulp aan Huis programma en het onderzoek daarnaar zijn op het derde niveau te plaatsen: ‘Doeltreffend’. Tabel 4.1. Niveaus van effectonderzoek Soort effect
Omschrijving
Soorten onderzoek
4. Werkzaam
Als 1 t/m 3, maar nu is er evidentie dat positieve uitkomsten veroorzaakt worden door de interventie en is er zicht op de werkzame ingrediënten Als 1 en 2, maar nu kan empirisch worden aangetoond dat de gestelde doelen zijn bereikt, problemen afgenomen en competenties toegenomen, en cliënten tevreden zijn
• •
3. Doeltreffend
2. Veelbelovend
1. Potentieel
Als 1, maar nu is er tevens een acceptabele interventietheorie die duidelijk maakt hoe de problemen van de doelgroep zijn ontstaan waarom de interventie de beoogde uitkomsten zal bereiken De kernelementen van een interventie (doelgroep, interventie, uitkomsten) en de personele, organisatorische en materiële randvoorwaarden zijn duidelijk en begrijpelijk beschreven
23
Experimenteel onderzoek (RCT) Herhaalde case studies (N=1 designs) ----------------------------------------• Quasi-experimenteel onderzoek • Veranderingstheoretisch onderzoek • Normgerelateerd onderzoek ----------------------------------------• Vooruitgangsonderzoek • Doelrealisatie-onderzoek • Cliënttevredenheidsonderzoek • Meta-analyse • Literatuurstudie • Kennisontlokkend onderzoek
• • • •
Descriptief onderzoek Observationeel onderzoek Documentanalyse Interviews
Veerman, J.W., & Yperen, T.A. van (2006). Wat is praktijkgetuurd effectonderzoek? In T.A. van Yperen & J.W. Veerman (red.), Zicht op effectiviteit. Bronnenboek voor praktijkgestuurd effectonderzoek in de jeugdzorg (blz. 7-19). Utrecht/ Nijmegen: NIZW/ Praktikon. 38
-
Op het derde niveau van de effectladder zijn bovendien in het kader van het door ons gehanteerde zorgevaluatiemodel (zie Hoofdstuk 1) door het opstellen van een zorgaanbodtheorie argumenten voor de causaliteit van een zorgaanbod aan te voeren. De redenering hierbij is dat er in de eerste plaats gewenste resultaten (positieve veranderingen, ervaren effectiviteit, doelrealisaties) vastgesteld dienen te worden. Zonder het bereiken van deze gewenste resultaten kan er geen sprake zijn van een effect. Zijn die resultaten er dan wordt een effect aannemelijk als tevens aantoonbaar is dat de bedoelde interventies zijn gegeven en dat ook de beoogde doelgroep is bereikt. Argumenten voor het interpreteren van resultaten in de betekenis van effecten staan nog sterker als ook aangetoond kan worden dat de resultaten beter worden naarmate de bedoelde interventies beter zijn uitgevoerd en de beoogde doelgroep beter is bereikt. Er is dan met andere woorden een relatie tussen doelgroep en interventies enerzijds en resultaten anderzijds aantoonbaar. De effectclaim wordt nog weer sterker als ook aangetoond kan worden dat aan de randvoorwaarden is voldaan. Hiermee zijn de verschillende inhoudelijke en contextuele aspecten van het in Hoofdstuk 1 gepresenteerde zorgevaluatiemodel genoemd. Het onderzoeken van relaties tussen interventies en resultaten kan vanuit dit model opgevat worden als het toetsen van vooraf gestelde hypothesen. In deze bijdrage hebben we ons beperkt tot het verhelderen van gewenste resultaten en het toetsen van die resultaten aan die van Hulp aan Huis Drenthe. Met het beantwoorden van vragen over het uitvoeren van de bedoelde interventies zouden in de toekomst relaties met de resultaten kunnen worde gelegd en kan een antwoord op de effectvraag in beeld komen.
4.3. Aanbevelingen Met de hiervoor aangegeven discussiepunten in het achterhoofd kunnen op basis van de onderzoeksresultaten enkele algemene aanbevelingen worden gedaan: - Een belangrijke eerste aanbeveling is de implicaties van het grote aantal jeugdigen met aanzienlijke gedragsproblemen en ouders met aanzienlijke opvoedingsbelasting bij afsluiting goed te doordenken. Geeft dit aanwijzingen voor vervolgtrajecten? Zijn deze wellicht al gerealiseerd binnen het Hulp aan Huisprogramma? (bijvoorbeeld via LOGlvg). Of geven de resultaten aanleiding tot het meer systematisch inzetten van langdurige laagfrequente trajecten na een periode van meer intensieve behandeling? Dat is overigens niet alleen een probleem bij Hulp aan Huisprogramma’s, dit geldt ook voor trajecten
39
-
-
na residentiële hulp of ervarend leren. Uniek aan de Hulp aan Huisprogramma’s is dat dit probleem ‘binnenshuis’ kan worden aangepakt. Een tweede aanbeveling betreft een verdergaande inbedding van het onderzoek in de methodiek. Dit zal leiden tot hogere responspercentages en beter te onderbouwen conclusies. In dit kader kunnen ook de onderzoeksinstrumenten nog eens kritisch bekeken worden. Hier valt te denken aan gerichte scholing ten aanzien van gebruiksmogelijkheden van instrumenten door gezinshulpverleners (dit moet de motor zijn waarop het onderzoek draait) en het inzetten van logistieke ondersteuning van het proces van dataverzameling op locatie (bijvoorbeeld door het ontwikkelen van voor dit doel geschikte software; hier wordt door Praktikon via het computerprogramma BergOp al een aanzet voor gegeven). Dat laatste maakt ook dat gegevens op individueel niveau snel teruggekoppeld worden. Via de hiervoor genoemde gerichte scholing ondersteunt deze snelle terugkoppeling ook het ‘leren van onderzoeksresultaten’. Dit levert een bijdrage aan kwaliteitszorg. Op die manier vindt de beoogde professionalisering plaats, waardoor het werk beter gedaan kan worden. Tot nu toe heeft onderzoek vooral een profileringfunctie gehad: naar buiten toe te laten zien dat er goed werk geleverd wordt. Dit is nu gelukt. Het is tijd om verdere stappen naar binnen te zetten. In het kader van de effectladder verdient het overweging om te bekijken of binnen het Hulp aan Huis programma ook de laatste stap gezet kan worden: het inschakelen van een controlegroep waartegen gevonden effecten kunnen worden afgezet. Dit kan bijvoorbeeld een wachtlijstgroep zijn, of een groep die een andersoortige behandeling krijgt. Hiermee worden effecten nog overtuigender aangetoond. Ook vanuit het landelijke beleid klinkt de roep om dit soort studies steeds luider, zie bijvoorbeeld de inrichting van de databank Effectieve Jeugdinterventies (www.jeugdinterventies.nl) en de oprichting van de Erkenningscommisie Justitiële Gedragsinterventies (www.minjus.nl/erkenningscommissie). De onderzoekstraditie van Hulp aan Huis heeft een unieke voedingsbodem gecreëerd om deze stap te zetten.
40
Bijlage: Cijfers over doelgroep en resultaten
Tabel B.1. Groepsgewijze veranderingen 2004-2005 Module FF FF-lvg IOG IOG-lvg IPG IPG-lvg PPG-iv Totaal
Aspect Probleemgedrag Opvoedingsbelasting Probleemgedrag Opvoedingsbelasting Probleemgedrag Opvoedingsbelasting Probleemgedrag Opvoedingsbelasting Probleemgedrag Opvoedingsbelasting Probleemgedrag Opvoedingsbelasting Probleemgedrag Opvoedingsbelasting Probleemgedrag Opvoedingsbelasting
N 85 84 22 21 109 102 87 77 167 155 48 45 17 16 535 500
T1 Gem. 3,58 1,82 3,29 2,00 2,97 1,65 2,95 1,54 3,28 2,03 3,55 1,78 3,17 1,59 3,23 1,80
T2 SD 1,81 1,28 2,14 1,64 1,57 1,19 1,93 1,50 1,69 1,25 2,02 1,39 1,87 1,42 1,79 1,33
Gem. 1,95* 0,91* 1,73* 0,73* 1,90* 1,03* 1,66* 0,47* 2,22* 1,25* 2,68* 1,16* 2,81 1,01* 2,06* 0,99*
SD 1,82 1,40 1,53 1,52 1,66 1,33 1,74 1,53 1,76 1,48 1,74 1,40 1,88 1,49 1,76 1,46
T1-T2 ES 0.90 0.68 0.84 0.80 0.66 0.49 0.70 0.71 0.61 0.57 0.46 0.44 0.19 0.40 0.66 0.58
Toelichting: Voor aanvang en afsluiting worden steeds de gemiddelde deviatiescores gegeven met de standaarddeviatie. Deviatiescores groter of gelijk aan 1,29 wijzen op aanzienlijke problemen (de klinische range), scores boven de 1,64 wijzen op ernstige problemen en scores boven de 1,96 wijzen op zeer ernstige problemen. Als er een statistisch significante verandering aantoonbaar is dan staat na de gegevens over de afsluiting een asterisk (*), de kans dat een geconstateerde verbetering op toeval berust is dan 5% of kleiner. ES = Effectsize
41
Tabel B.2. Individuele verandering 2004-2005 Module
FF
Aspect
Probleemgedrag Opvoedingsbelasting FF-lvg Probleemgedrag Opvoedingsbelasting IOG Probleemgedrag Opvoedingsbelasting IOG-lvg Probleemgedrag Opvoedingsbelasting IPG Probleemgedrag Opvoedingsbelasting IPG-lvg Probleemgedrag Opvoedingsbelasting PPG-iv Probleemgedrag Opvoedingsbelasting Totaal Probleemgedrag Opvoedingsbelasting
N
85 84 22 21 109 102 87 77 167 155 48 45 17 16 535 500
% % % problemen problemen betrouwbare bij aanvang bij afsluiting verandering 88.2 58.8 69.4 66.7 42.9 67.9 86.4 68.2 72.7 81.0 46.2 71.4 83.5 58.7 62.4 57.8 46.4 60.8 79.3 56.3 65.5 57.1 28.0 72.7 88.6 65.9 55.1 69.7 54.4 67.7 89.6 79.2 50.0 68.9 53.3 64.4 82.4 76.5 35.3 56.3 43.8 56.3 85.8 63.4 60.2 64.8 44.4 66.6
V+S+
30.6 48.8 18.2 52.4 34.9 41.2 32.2 57.1 28.1 40.6 10.4 35.6 11.8 25.0 28.0 44.2
Toelichting: Bij aanvang en afsluiting wordt steeds het percentage jeugdigen genoemd dat op dat moment met aanzienlijke problemen te kampen heeft (dat wil zeggen een deviatiescore groter of gelijk aan 1,29 heeft, de score valt dan in de klinische range; zie Tabel 1 ‘Interpretatiekader gegevens’). Het % betrouwbare verandering betreft de jeugdigen die groter dan 1,64 op de Reliable Change Index scoren (dat wil zeggen dat de kans dat deze vooruitgang op toeval berust 5% of minder is). V+S+= Betrouwbare verbetering, Status: geen aanzienlijk probleemgedrag, opvoedingsbelasting (meer) bij afsluiting
42
Tabel B.3. Effectiviteit en Tevredenheid behandeling volgens ouders 2004-2005 Module FF FF-lvg IOG IOG-lvg IPG IPG-lvg PPG-iv Totaal
N 66 14 55 72 99 44 14 364
effectiviteit 89.4 92.9 92.7 94.4 91.9 88.6 92.9 91.2
N 67 14 50 72 96 43 14 356
aanraden 100.0 100.0 94.0 100.0 97.9 100.0 100.0 98.6
Toelichting: De effectiviteit is bepaald door de scores op eerste vier vragen op de Beoordelingsschaal voor Tevredenheid en Effect (BESTE) op te tellen. Hierin wordt gevraagd naar een eventuele gedragsverandering bij het kind, een eventuele verandering in de opvoeding, een eventuele verandering in het functioneren van het gezin, of het eventueel verkrijgen van meer zicht op het gedrag van het kind. Bij een mogelijk range van 4-16 is gekozen voor een afkappunt van 12. Een score op of boven dit afkappunt is een indicatie voor effectiviteit. Het percentage geeft aan hoeveel gezinnen een dergelijke score halen. Het percentage bij aanraden geeft aan hoeveel respondenten de behandeling aan anderen zou aanraden.
43
Over Praktikon Praktikon is een organisatie voor onderzoek en ontwikkeling in de jeugdzorg. Praktikon is onderdeel van de jeugdzorginstelling Waarden te Nijmegen en is tevens gelieerd aan de Radboud Universiteit Nijmegen. Beide auteurs van dit rapport zijn werkzaam bij Praktikon, prof. dr. Jan Willem Veerman is bijzonder hoogleraar Speciale Kinder- en Jeugdzorg en hoofd van Praktikon, dr. Ronald De Meyer is onderzoeker bij Praktikon.
44
