Zicht op Effectiviteit

Zicht op Effectiviteit Een kijkje in de keuken van zeven instellingen voor jeugdzorg

Practice-Based Evidence

Evidence- Based Practice

Redactie

J.W. Veerman H. Ooms

Zicht op Effectiviteit Een kijkje in de keuken van zeven instellingen voor jeugdzorg

©2008 Nederlands Jeugdinstituut, Utrecht / Praktikon, Nijmegen Niets uit deze uitgave mag worden vermenigvuldigd en/of openbaar gemaakt door middel van druk, fotokopie, microfilm of op enige andere wijze zonder voorafgaande schriftelijke toestemming.

Redactie Jan Willem Veerman (Praktikon) Herma Ooms (Collegio)

Projectgroep Deze uitgave is een product van het project ´Zicht op Effectiviteit´, uitgevoerd door een projectgroep bestaande uit: prof. dr. Jan Willem Veerman (Praktikon, projectleider en penvoerder) prof. dr. Tom van Yperen (Nederlands Jeugdinstituut, projectleider) dr. Bas Bijl (PI Research) Herma Ooms M.C.M. (Collegio) drs. Dries Roosma (Jeugdzorg Drenthe).

Financier Het project ‘Zicht op effectiviteit’ is in de periode 2005-2007 uitgevoerd met subsidie van het ministerie van VWS / ministerie voor Jeugd en Gezin.

Bestellen Deze uitgave is te bestellen bij Praktikon: [email protected] Tevens is deze publicatie te downloaden via www.jeugdinterventies.nl > servicepagina’s > onderzoeksprojecten > project Zicht op Effeciviteit. Hier is ook verdere informatie over ‘Zicht op Effectiviteit’ te vinden, alsook over de voortzetting daarvan in het ‘Samenwerkingsverband Effectieve Jeugdzorg Nederland’ (SEJN).

2

Inhoudsopgave

Inhoudsopgave

3

Ten geleide

5

Hoofdstuk 1 Hoofdstuk 2 Hoofdstuk 3

Hoofdstuk 4

Hoofdstuk 5 Hoofdstuk 6 Hoofdstuk 7

Zicht op Effectiviteit bij de Ottho Gerhard Heldringstichting Marleen van Aggelen en Coleta van Dam Zicht op Effectiviteit bij Triversum Stefan van den Langenberg en Marie-Christine van der Veldt Zicht op Effectiviteit bij Tender Coleta van Dam, Eefje Strijbosch, Saar Arts, Geert Verdaasdonk en Mariette van Brandenburg Resultaatgericht behandelen bij Arkemeyde/ ’s-Heeren Loo Kwadrant Harm Wijgergangs, Anke Breg-Vijlbrief en Bas Bijl Effecten in beeld bij Pactum Inge Bastiaanssen, Harm Damen en Jan Willem Veerman Resultaatgericht meten bij Parlan Eva Hengst en Dymph Rutten Aantoonbare kwaliteit bij De Waarden Gert Kroes, Ton Meeuwsen en Jan Willem Veerman

3

9 39 57

95

125 163 191

4

Ten geleide Achtergrond

Het hoeft nauwelijks meer betoog dat effectiviteit hoog op de agenda in de jeugdzorg staat. Zowel op de werkvloer en het management van instellingen als bij lokale, provinciale en landelijke overheden is het besef gegroeid dat zicht op effectiviteit een belangrijke vereiste is om de zorg intern verder te ontwikkelen en extern beter te verantwoorden. De vraag die dan meteen opkomt is hoe het zicht krijgen op effectiviteit het beste vorm gegeven kan worden. Traditiegetrouw wordt deze vraag aan onderzoekers gesteld, maar even traditiegetrouw maken hun antwoorden vaak geen bevredigende indruk. Het lijkt er soms op dat naarmate het wetenschappelijk onderzoek beter is opgezet de praktijk er minder aan heeft. Artikelen worden in buitenlandse tijdschriften gepubliceerd, maar ze worden door uitvoerders en bestuurders in de jeugdzorg nauwelijks gelezen. Dit is een onwenselijke paradox. Goed opgezet onderzoek zou niet alleen wetenschappelijk winst moeten opleveren, maar ook de praktijk ten dienste moeten staan. Hiervoor is het nodig dat de wensen en belangen van betrokken partijen – uitvoerders, bestuurders en wetenschappers – meer op elkaar afgestemd zijn. Het vertrekpunt hierbij zou dan moeten zijn dat effectiviteit zichtbaar wordt op de plaats van ontstaan, op de werkvloer van de zorg, in de interactie tussen hulpverleners en cliënten. En tevens dat dit zicht op de effectiviteit vanaf die plaats zijn weg vindt ‘hogerop’, naar het management en de bestuurders van instellingen, naar regionale en provinciale beleidsorganen, naar het landelijk beleid en naar de wetenschappelijke tijdschriften. Het project ‘Zicht op Effectiviteit’, waar deze bundel één van de producten van is, kende nadrukkelijk dit uitgangspunt. Met financiële steun van het toenmalige ministerie van VWS ging het project in januari 2005 van start en liep het tot eind 2007. Een projectgroep gedragen door Collegio, Jeugdzorg Drenthe, het Nederlands Jeugdinstituut, PI Research en Praktikon gaf leiding aan het project (zie de colofon voor meer informatie). De doelstelling van het project was in de Nederlandse jeugdzorg van onder op een effectbeweging in gang te zetten. Deze moest resulteren in het standaard bijhouden van de effectiviteit van uitgevoerde interventies in het kader van kwaliteitszorg van een zorginstelling. Idealiter zou na elke afgesloten behandeling van een jeugdige en zijn gezin zichtbaar moeten worden wat het effect is. Vervolgens kunnen deze indivduele uitkomsten in de vorm van ‘kwartaalcijfers’ of ‘jaarcijfers’ geaggregeerd worden om periodiek op groepsniveau de effectiviteit van de uitgevoerde interventies zichtbaar te maken en aan de hand hiervan die interventies zonodig te verbeteren. Bovendien zou op basis van deze cijfers verantwoording naar derden (overheden, zorgverzekeraars) kunnen worden afgelegd. Dit sluit aan bij de huidige nadruk op het ontwikkelen van evidence-based practice, waarin aan de jeugdzorg wordt gevraagd – en in de toekomst ook wordt geëist – interventies van bewezen effectiviteit uit te voeren. Het is de missie van de projectgroep deze ontwikkeling te helpen vormgeven; niet door top-down elementen van evidence-based practice te implementeren, maar juist door bottom-up in de huidige uitvoeringspraktijk te zoeken naar practice-based evidence en tussen het verkrijgen van beide soorten evidence een wisselwerking te creëren. Om een dergelijke effectbeweging op gang te krijgen werden drie uitgangspunten geformuleerd: 1. De opzet van effectmetingen moet aansluiten bij de staat van ontwikkeling van een interventie, dit voorkomt dat er over de hoofden heen wordt gemeten; de metingen gaan over de dingen die belangrijk zijn voor het dagelijks werk.

5

2. De procedures van effectmetingen moeten ingebed worden in het hulpverlenend handelen, hiermee worden ze een natuurlijk onderdeel van professioneel werken en niet iets dat er ook nog bij komt; uitvoerend werkers worden eigenaars van het proces. 3. De uitkomsten van effectmetingen moeten benut worden bij de uitvoering van de zorg en het beleid van een instelling; gegevens blijven zo niet in de la liggen maar dragen bij tot reflectie over de verleende zorg en zetten aan tot veranderingen in denken en doen. Effectonderzoek dat aan deze drie principes voldoet wordt praktijkgestuurd genoemd. Het implementeren en uitvoeren van dit type onderzoek stond in ‘Zicht op Effectiviteit’ centraal. Om dit doel te bereiken zijn twee deelprojecten uitgevoerd. Het eerste deelproject had tot doel reeds lopend effectonderzoek op een zestal locaties te versterken en de achtergronden en ervaringen vast te leggen in een Handboek voor praktijkgestuurd effectonderzoek1. Het betrof de Hulp aan Huis locaties voor intensieve ambulante gezinsbehandeling in Groningen, Drenthe en Overijssel, de klinische gezinsbehandeling in Beilen (GGZ-Drenthe) en Zeist (De Bellenbergh, onderdeel van Altrecht) en de Hoenderloogroep. In het handboek boek worden in Deel I de principes van praktijkgestuurd effectonderzoek nader uitgewerkt, komen in Deel II de locaties aan het woord en worden in Deel III tips en adviezen gegeven om dit type onderzoek op te zetten en uit te voeren. De zes locaties vertegenwoordigden direct of indirect (via intersectorale samenwerkingsverbanden) 19 instellingen voor jeugdzorg, inclusief de jeugd-ggz en de zorg voor licht verstandelijk gehandicapten. Het tweede deelproject had tot doel nieuwe instellingen in te laten stromen waarin praktijkgestuurd effectonderzoek opgezet zou gaan worden en waarbij vanuit het project ruim een jaar begeleiding geboden werd. Zeven jeugdzorginstellingen namen hieraan deel. Het gaat om vier instellingen voor jeugdhulpverlening (De Waarden, Pactum, Parlan en Tender), één instelling voor geestelijke gezondheidszorg voor jeugdigen (Triversum), één instelling voor de zorg aan licht verstandelijk gehandicapte jeugdigen (Kwadrant) en één instelling voor justitiële zorg (OG Heldringstichting). In deze instellingen werden effectmetingen opgezet en vanuit het project begeleid door Collegio, PI Research of Praktikon. In de voorliggende bundel doen de instellingen verslag van dit proces. Hiermee werd de basis van het project verbreed tot 26 instellingen. Aandachtsfunctionarissen uit de instellingen van beide deelprojecten kwamen regelmatig bijeen in een door Collegio geleid Effectiviteitsplatform om ervaringen uit te wisselen en nieuwe ontwikkelingen te bespreken. Deze besprekingen gaven aanleiding tot het ontwikkelen van een aantal ondersteuningspakketten: workshops voor medewerkers van instellingen waarin de voor effectmeting relevante randvoorwaarden aan de orde komen. Zo zijn er workshops voor het omgaan met vragenlijsten, het opzetten van de logistiek voor de gegevensverzameling en het benutten van uitkomsten voor het beleid. Tevens is in het kader van het project bestaande software ten behoeve van de effectmeting verder ontwikkeld en geïmplementeerd. Ook is aandacht besteed aan het afronden van een handleiding van een drietal vragenlijsten, deze zijn nu ook beschikbaar. Op de door het Nederlands Jeugdinstituut onderhouden website www.jeugdinterventies.nl is hierover meer informatie aan te treffen onder servicepagina’s > onderzoeksprojecten > project Zicht op Effectiviteit2.

1

Zie Van Yperen, T.A., & Veerman, J.W. (2008). Zicht op Effectiviteit. Handboek voor praktijkgestuurd effectonderzoek in de jeugdzorg. Verschijnt voorjaar 2008, informatie via www.jeugdinterventies.nl

2

Zie www.praktikon.nl voor de vragenlijsten over het meten van Bejegening, Empowerment en Gezinsfunctionern, alsook voor het computerprogramma BergOp. Tevens zijn deze vragenlijsten opgenomen in de Databank Instrumenten, Richtlijnen en Kwaliteitsstandaarden van het Nederlands Jeugdinsituut (NJi), zie www.nji.nl/dirk.

6

Deze bundel

Zoals gezegd doen in deze bundel de zeven nieuwe deelnemers aan het project ‘Zicht op Effectiviteit’ verslag van het proces en de eerste uitkomsten van de in hun instelling opgezette effectmeting. In sommige van deze instellingen sloot de deelname aan het project aan bij reeds in de instelling in gang gezette projecten over effectmeting, voor andere instellingen was het een eerste kennismaking. De zeven hoofdstukken in deze bundel zijn geschreven door medewerkers van de instellingen, vaak in samenwerking met de ondersteuners vanuit het project. De hoofdstukken geven een kijkje in de keuken waar de effectmetingen worden bereid en geproefd. De meeste gerechten staan nog op het vuur, ze zijn nog niet helemaal klaar om opgediend te worden. Dat maakt deze bundel juist zo interessant. Soms treft de lezer er recepten aan: welke vragenlijsten worden gebruikt, hoe worden gegevens berekend en geanalyseerd? Soms ziet de lezer de pannen overkoken, wat verlies aan gegevens oplevert (de beruchte non-respons). Soms ook blijkt er toch alvast een voorgerecht opgediend te kunnen worden in de vorm van een informatieve uitkomst, samengevat in een tabel of een figuur. Duidelijk wordt dat de beroemde uitspraak Edison dat uitvinden voor 1% inspiratie is en voor 99% transpiratie ook hier van toepassing is. Het is mooi om geïnspireerd aan het meten te slaan. Maar dan? De transpiratie zit vooral in het meekrijgen van een organisatie. Effectmeting is – zeker in het begin – eerder organisatieontwikkeling dan onderzoek. Effectmeting is daarbij een zaak van velen, van uitvoerders tot bestuurders. Hoe krijg je die allemaal op hetzelfde spoor? Maar eenmaal gewonnen voor de zaak blijken die velen enthousiast te kunnen worden. In de meeste van de hoofdstukken is plaats ingeruimd voor ervaringen en bijna ‘live’-verslagen van medewerkers. De zorg voor al dat extra werk wordt door hen verwoord, maar ook het soms onverwachte nut dat het oplevert. Daarbij wordt ook duidelijk dat degenen om wie het uiteindelijk allemaal draait, jeugdigen en hun ouders, er wel degelijk baat bij hebben. We hopen dat dit kijkje in de keuken u als lezer kan inspireren. Voor meer informatie kunt u contact opnemen met de betreffende deelnemende instellingen of met de begeleidende onderzoeksbureaus. Meer informatie over het project ‘Zicht op Effectiviteit’ en over de voortzetting daarvan in het ‘Samenwerkingsverband Effectieve Jeugdzorg Nederland’ (SEJN) kunt u vinden op de eerder genoemde website.

7

8

Hoofdstuk 1 Zicht op Effectiviteit bij de Ottho Gerhard Heldringstichting Marleen van Aggelen en Coleta van Dam

Inhoudsopgave 1.1

1.2

1.3

1.4

1.5

Inleiding 1.1.1 Behandelvisie 1.1.2 Organisatie behandelaanbod 1.1.3 Deelname Zicht op Effectiviteit Plan van aanpak 1.2.1 Doel 1: Afname TVA 1.2.2 Doel 2: Inventarisatie extra meetinstrumenten 1.2.3 Doel 3: Oriëntatie op de toekomst Procesresultaten 1.3.1 Afname TVA 1.3.2 Inventarisatie extra meetinstrumenten 1.3.3 Oriëntatie op de toekomst 1.3.4 Ervaringen met de projectperiode Zicht op Effectiviteit Resultaten instrumenten 1.4.1 Resultaten TVA 1.4.2 Pilot-onderzoek Conclusie en aanbevelingen 1.5.1 TVA 1.5.2 Inventarisatie extra meetinstrumenten 1.5.3 Oriëntatie op de toekomst 1.5.4 Implicaties voor de voortgang Bijlage 1.1 Bijlage 1.2

9

10

1.1 Inleiding De Ottho Gerhard Heldringstichting (OGH) in Zetten is een justitiële jeugdinrichting voor behandeling van orthopsychiatrische jongeren (en hun ouders). De jongeren die zijn opgenomen in de OGH hebben veelal ernstige gedragsstoornissen al dan niet in combinatie met (rand)psychiatrische stoornissen. In het verlengde van deze ernstige gedragsproblematiek vertonen jongeren vaak delinquent gedrag. Daarnaast is er bijna altijd sprake van forse gezinsen opvoedingsproblematiek. Door de ernst en complexiteit van de problematiek moeten deze jongeren intensief behandeld worden. Omdat deze jongeren zich veelal onttrekken aan de behandeling, is het nodig hen in een besloten setting te plaatsen3. Bijna alle jongeren in de OGH (ongeveer 99%) zijn geplaatst met een civielrechtelijke OTS-maatregel (OnderToezichtStelling), een kleine minderheid van de jongeren is geplaatst met een strafrechtelijke PIJ-maatregel (Plaatsing in een Inrichting voor Jeugdigen). Omdat de problematiek en delictgeschiedenis van OTS-jongeren en PIJ-jongeren niet wezenlijk van elkaar verschillen, wordt er in de behandeling geen onderscheid gemaakt tussen deze twee groepen. Vanwege een wetswijziging in de Wet op de Jeugdzorg wordt gesloten behandeling binnen de jeugdzorg vanaf medio 2007 mogelijk. Tevens is hiermee besloten dat de verantwoordelijkheid van civielrechtelijk geplaatste jongeren die nu in justitiële jeugdinrichtingen verblijven overgedragen wordt aan het ministerie van Jeugd en Gezin. Omdat de populatie van de OGH voor het merendeel uit OTS-jongeren bestaat, zal de OGH vanaf januari 2008 een gesloten zorgaanbieder worden en onder het ministerie van Jeugd en Gezin komen te vallen.

1.1.1 Behandelvisie Uitgangspunt voor de behandeling is dat de jongeren het best gebaat zijn bij een integrale aanpak, waarbij de problematiek van de jongere centraal staat en de hele leefomgeving van de jongere wordt betrokken. Het is niet realistisch om te verwachten dat door de behandeling alle aanwezige problematiek bij de jongere verdwijnt; daarvoor is de problematiek vaak te complex. Veeleer gaat men ervan uit dat er bij jongeren sprake is van een permanente ‘handicap’ waarmee zij zo goed mogelijk moeten leren omgaan. De behandeling is gericht op het aanleren van vaardigheden en vergroten van competenties, maar ook op reductie van het probleemgedrag en het vermijden van stressoren. Het theoretisch kader dat bij deze behandelvisie wordt gehanteerd is het Sociaal Competentie Model Plus (SCM+). De basisbehandeling op de leefgroep is gebaseerd op de principes van het sociaal competentie model. Zo wordt er op alle leefgroepen gebruik gemaakt van systematische feedback naar de jongeren en er is een heldere opbouw van het behandelprogramma in duidelijk te onderscheiden fasen. De aanvullende behandeling (de ‘plus’) wordt afgestemd op de individuele problematiek van de jongeren. Zo nodig wordt deze aangevuld met bijvoorbeeld agressieregulatie-training, vaktherapieën, psychiatrisch consult en/ of gezinsmaatschappelijk werk4.

3

OG Heldringstichting (2006). Opgehelderd. Een beschrijving van de OG Heldringstichting. Intern document. Zetten: OG Heldringstichting. 4 Zie noot 3.

11

1.1.2 Organisatie behandelaanbod De OGH heeft 11 gesloten plaatsen voor meisjes en 140 besloten plaatsen voor meisjes, jongens of gemengd, georganiseerd in zeven behandelunits. Er is één gesloten behandelunit, bestaande uit één leefgroep van 11 meisjes, en zes besloten units die ieder uit twee leefgroepen bestaan. In iedere leefgroep verblijven in principe 12 jongeren (bij twee leefgroepen zijn dit 10 jongeren) die door twee pedagogisch medewerkers worden begeleid. De behandelunits worden aangestuurd door een unitleider en een behandelcoördinator. De unitleider is verantwoordelijk voor de aansturing van het team pedagogisch medewerkers en voor de uitvoering van de behandeling. De behandelcoördinator is verantwoordelijk voor de inhoud van de behandeling. Iedere unitleider stuurt twee leefgroepen aan, iedere behandelcoördinator stuurt één of twee leefgroepen aan. In de gesloten unit, die ook wel de normaal beveiligde unit genoemd wordt, verblijven de meisjes achter (hoge) hekken. Zij verblijven gedurende de dag en nacht in dit gebouw en gaan ook in dit gebouw naar school. In de besloten units, die ook wel beperkt beveiligde units worden genoemd, wordt “behandeling onder drang en dwang” gegeven, zonder dat dit in een zwaarbeveiligde omgeving gebeurt. De toegangsdeuren van de units zijn wel afgesloten, maar het terrein is bijvoorbeeld niet omgeven door hoge hekken. Gedurende hun behandeling kunnen jongeren, als ze daaraan toe zijn, steeds meer vrijheden verdienen waardoor ze ook steeds meer kunnen laten zien of ze over bepaalde competenties beschikken. Op het merendeel van de groepen staat de leefgroepbenadering centraal. Dit betekent dat er bijvoorbeeld gezamenlijk gegeten wordt en dat er gezamenlijke activiteiten worden ondernomen. Voor jongeren die leefgroepongeschikt zijn of voor jongeren die zich moeten voorbereiden op zelfstandig wonen, zijn er twee leefgroepen waarbij de individuele benadering centraal staat. Jongeren leren hier vaardigheden om straks voor zichzelf te kunnen zorgen (bijvoorbeeld zelf boodschappen doen, zelf koken enz.). Gemiddeld genomen verblijven jongeren 18 maanden in de OGH.

1.1.3 Deelname Zicht op Effectiviteit Om competenties en vaardigheden van jongeren tijdens hun verblijf in de OGH te meten, wordt door de mentoren van de jongeren, op gezette tijden in de behandeling, de vragenlijst Taken en Vaardigheden Adolescenten (TVA)5 ingevuld. Daarnaast heeft het Ministerie van Justitie bepaald dat alle Justitiële Jeugdinrichtingen (JJI’s) de TVA moeten inzetten als instrument om de effecten van behandeling te meten. Tot aan de zomer 2006 werden de resultaten van de TVA alleen voor onderzoeksdoeleinden gebruikt, individuele terugkoppeling was niet mogelijk6. Omdat de afname van de TVA in de OGH nog niet systematisch verliep was het primaire doel van deelname aan Zicht op Effectiviteit om de afname van de TVA te verbeteren, zowel qua responspercentage als qua gebruik van de uitkomsten van de TVA in de behandeling. Met de TVA wordt slechts een deel van de behandeldoelen gemeten. De OGH wilde de projectperiode van Zicht op Effectiviteit ook gebruiken voor een oriëntatie op de toekomst. Men wil na gaan welke meetinstrumenten zij nog meer kunnen inzetten om hun behandeldoelen te meten en welke wensen en opvattingen 5 Knaap, L. M. van der, Beenker, L. G. M., & Bijl, B. (2004). TVA: Vragenlijst Taken en Vaardigheden van Adolescenten: handleiding. Duivendrecht: PI Research. Van der Knaap, Beenker en Bijl, 2004). 6 Velde, F. van der (2205). TVA Toegepast: een onderzoek naar de geschiktheid van de TVA als instrument voor meting van resultaat binnen besloten JJI voor behandeling O.G. Heldringstichting. Utrecht: doctoraalscriptie Pedagogiek, Universiteit

Utrecht. Gruijter, J. de (2007). Onderzoek naar de toename van sociale competentie van jongeren binnen de besloten justitiële behandelinrichting de O.G.Heldringstichting gedurende de behandeling volgens het sociale competentiemodel. Utrecht: doctoraalscriptie Pedagogiek, Universiteit Utrecht.

12

er op de werkvloer zijn ten aanzien van het effectiviteitsonderzoek binnen de OGH. Tevens wil men nagaan of wetenschappelijk onderzoek en de functie van onderzoeker binnen OGH een structurele plaats gaan krijgen. Gedurende de projectperiode zal de OGH ondersteund worden door een onderzoeker van Praktikon.

1.2 Plan van aanpak De OGH heeft drie doelstellingen geformuleerd voor de duur van het project: verbetering van de afname van de TVA, inventarisatie van mogelijke meetinstrumenten om behandeldoelen te meten en oriëntatie op de toekomst van kwaliteitsbeleid en effectiviteitsonderzoek. Voor de projectperiode van Zicht op Effectiviteit is er een werkgroep ‘Effectonderzoek binnen de OGH’ gevormd. Deze komt eens per 6 weken bij elkaar en bestaat uit de onderzoekster, een senior beleidsmedewerker afdeling Research & Development, een behandelcoördinator, een unitleider, een groepsleider en een medewerker ICT (op afroep beschikbaar). Taken van de werkgroep zijn meedenken over de uitvoering van Zicht op Effectiviteit en het uitdragen van het belang van het project en van de herhaalde metingen van de TVA. In onderstaande wordt per doel aangegeven hoe de OGH van plan was deze doelen te realiseren.

1.2.1 Doel 1: Afname TVA De OGH heeft zich ten doel gesteld om eind 2007 de herhaalde metingen van de TVA goed ingebed te hebben in de hele organisatie. Dat betekent dat er sprake is van een duidelijk beeld van wie wat doet, dat er op een efficiënte manier gegevens m.b.t. de TVA worden verzameld en dat de data weergegeven zijn in een database waaruit zowel door de onderzoeker als door behandelcoördinatoren en mentoren informatie geput kan worden. Deze informatie kan dan op individueel niveau en op instellingsniveau teruggekoppeld worden. Daarvoor moeten de volgende zaken eind 2007 gerealiseerd zijn: - Individuele terugkoppeling TVA-gegevens middels aanpassingen in cliëntregistratieprogramma Tulp. - Protocol voor afname TVA op meetmomenten 6 weken, 3 maanden, 9 maanden, 15 maanden, 21 maanden en verder, en een eindmeting bij vertrek. Handleiding voor het gebruik van de profielen van de TVA verkregen uit Tulp - Aanleggen database van de TVA in SPSS zodat de OGH zelf overzichten kan maken op instellingsniveau en individueel niveau - Datamonitoringssysteem ontwikkelen zodat de onderzoeker tijdig unitleiders en behandelcoördinatoren kan attenderen op het ontbreken van in te vullen TVA’s. In eerste instantie dienen medewerkers zelf bij te houden voor welke jongere op welk moment een TVA ingevuld moet worden. - Voor alle nieuw opgenomen jongeren in de projectperiode (januari 2007 - december 2007) wil men een respons van 90% voor de aanvangsmeting van de TVA (6 weken en/of 3 maanden) en een respons van 80% op de herhaalde meting bij 9 maanden. Voor jongeren die al op de OGH verbleven voor aanvang van de projectperiode wil men in de periode januari 2007 tot december 2007 minimaal 2 meetmomenten van de TVA.

13

1.2.2 Doel 2: Inventarisatie extra meetinstrumenten Om na te gaan welke onderzoeksinstrumenten nog gebruikt kunnen worden om de overige behandeldoelen te meten zou een pilotstudie worden uitgevoerd bij twee units. Daarvoor is het volgende traject uitgezet: - Inventarisatie van welke gegevens er al verzameld worden binnen de OGH, naast de TVA. - Met behulp van studenten Pedagogiek van de Universiteit Utrecht nagaan welke meetinstrumenten geschikt zijn voor afname binnen de OGH. Daarbij moet ook rekening worden gehouden met de mogelijke belastbaarheid van informanten (ouders, jongeren, behandelaars). - In maart 2007 starten met de dataverzameling in het kader van de pilot. - Advies formuleren aan het Management Team naar aanleiding van de resultaten van de pilot. - Implementatie van de nieuwe vragenlijsten vanaf januari 2008 met aandacht voor individuele terugkoppeling en logistiek in het primaire proces. 1.2.3 Doel 3: Oriëntatie op de toekomst De werkgroep ‘Effectonderzoek binnen de OGH’houdt zich bezig met een oriëntatie op de toekomst. Daarbij gaat het vooral om inzicht te krijgen in de opvattingen en (onderzoeks)vragen over het handhaven en verbeteren van de kwaliteit van de hulpverlening bij de pedagogisch medewerkers, unitleiders en behandelcoördinatoren. Eind 2007 zal dit resulteren in een advies naar het Management Team voor effectiviteitsonderzoek bij de OGH in de toekomst (vanaf begin 2008). In dat advies zullen de onderwerpen aan bod komen waar medewerkers behoefte aan hebben en waar de nieuwsgierigheid van de medewerkers ligt in de nabije toekomst (2008/2009).

1.3 Procesresultaten In het Bronnenboek deel 17 worden drie principes van effectonderzoek beschreven (p.12): aansluiting, inbedding en benutting. Onderzoek naar het effect van interventies heeft alleen zin als een interventie te omschrijven en over te dragen is. Het moet ‘aansluiten bij het ontwikkelingsniveau van die interventies’, het moet qua opzet (design en meetinstrumenten) niet verder gaan dan mogelijk is. Effectonderzoek moet daarnaast ingebed zijn in de dagelijkse procedures van het primair proces. Dat betekent dat het gebruik van de meetinstrumenten onderdeel is van het hulpverlenend handelen. Tot slot moeten de uit het effectonderzoek verzamelde gegevens benut worden in de praktijk. Het gaat dan om gebruik in de individuele behandeling, maar ook om terugkoppeling op interventie-, team- of organisatieniveau. Bij de beschrijving van de procesresultaten van de projectperiode, wordt steeds nagegaan hoe deze principes van effectonderzoek bij de verschillende doelstellingen van de OGH tot uiting zijn gekomen.

7

Yperen, T. van, & Veerman, J.W. (2006) (red). Zicht op effectiviteit. Bronnenboek voor praktijkgestuurd effectonderzoek in de jeugdzorg. Deel I. Utrecht, Nijmegen, Den Haag: NIZW, Praktikon, Ministerie van VWS.

14

1.3.1 Afname TVA Aansluiting TVA

De OGH werkt met het Sociaal Competentiemodel als basismethodiek. Dit model gaat uit van het versterken van vaardigheden en competenties en het reduceren van probleemgedrag. Deze methodiek is duidelijk beschreven door Slot en Spanjaard8. De TVA meet deze vaardigheden en competenties en sluit daarmee uitstekend aan bij het type interventie dat wordt uitgevoerd. Voorafgaande aan de projectperiode werd de TVA al gebruikt als instrument om de effecten en het verloop van de behandeling in kaart te brengen. De afname van de TVA is ingebed in de behandelplancyclus van het primaire proces. De meetmomenten van de TVA zijn dezelfde als de momenten waarop behandelplanbesprekingen plaatsvinden. Tot aan de zomer van 2006 konden de uitkomsten alleen voor onderzoeksdoeleinden worden gebruikt (vgl. onderzoek naar wegloopgedrag van jongeren9 en diverse doctoraalscripties10). Tot de aanvang van de projectperiode werd de TVA nog niet structureel afgenomen en gebruikt als instrument in de behandeling. Doel van de OGH met het project Zicht op Effectiviteit was vooral om de inbedding en benutting van de TVA te verbeteren. Inbedding TVA

Om de inbedding van de TVA in het primaire proces te verbeteren, is een nieuw protocol geschreven waarbij duidelijk is omschreven rondom welke tijdstippen de TVA moet worden afgenomen. De TVA wordt afgenomen rond 6 weken na opname, vervolgens bij 3 maanden, 9 maanden, 15 maanden etc. Deze meetmomenten sluiten aan bij de behandelplancyclus. Als een behandelplanbespreking wordt verschoven, verschuift de afname van de TVA mee. Ook is in een handleiding beschreven hoe uitkomstprofielen van de TVA na invulling in Tulp (cliëntregistratie-systeem bij JJI’en) kunnen worden verkregen. De onderzoekster van de OGH is vervolgens bij alle units langs gegaan om hen uitleg te geven over het project Zicht op Effectiviteit, de nieuwe mogelijkheden van individuele terugkoppeling in Tulp en een recent responsoverzicht met daarin de afgenomen TVA’s en de nog af te nemen TVA’s. Vervolgens heeft de onderzoekster de datamonitoring in de hand genomen. Wekelijks checkt zij de TVA-metingen. Wanneer een meting van de TVA ontbreekt, stuurt ze een mailtje naar de unitleider om dat te melden. De unitleider spreekt de betreffende groepsleider aan. Meestal wordt de TVA dan alsnog ingevuld. Als het niet werkt om de unitleider aan te spreken gaat er een seintje naar het hoofd Behandeling. Door deze maatregelen is het invullen van de TVA op alle meetmomenten sterk verbeterd. In Tabel 1 worden de responscijfers van januari tot oktober 2007 per leefgroep gepresenteerd. Ter vergelijking worden ook de responscijfers van 2006 vermeld.

8

Slot, W., & Spanjaard, H. (1999). Competentievergroting in de residentiële jeugdzorg. Hulpverlening voor kinderen en

jongeren in tehuizen. Baarn: Intro. 9

Jansma, J.B.M., Aggelen, M.H. van, & Deković, M. (2006). Weglopen uit Besloten Justitiële Behandelinrichtingen: Onderzoek bij jongeren in de O.G. Heldringstichting en Rentray. Zetten: O.G.Heldringstichting.

10

Zie noot 4.

15

Tabel 1. Het percentage ingevulde TVA’s per leefgroep voor de jaren 2006 en 2007

Jan-dec 2006 Adelaar Buizerd Buurskamp Cirkel Driehoek Groote Huys Havik Kube Piramide Prisma Rietkamp Steenbeek Tympaan Totaal

Aantal in te vullen TVA’s 14 26 23 20 20 30 18 22 20 25 24 19 23 284

Jan-okt 2007 Aantal ingevuld 2 15 7 8 5 14 7 13 9 9 6 12 11 118

Respons percentage 14 58 30 40 25 47 39 59 45 36 25 63 48 42

Aantal in te vullen TVA’s 26 30 29 35 32 25 27 20 31 26 31 26 31 369

Aantal ingevuld 20 30 21 32 26 25 25 19 29 20 25 21 31 324

Respons percentage 77 100 72 91 81 100 93 95 94 77 81 81 100 88

De OGH had zich ten doel gesteld om 90% respons te behalen op de 1e meting en 80% respons bij de 2e meting. Uit Tabel 1 blijkt dat de totale respons over alle meetmomenten 88% is. Nadere analyse van de responspercentages op het 1e en 2e meetmoment wijst uit dat de responspercentages respectievelijk 94% voor de eerste meting en 85% voor herhaalde metingen zijn. Dat betekent dat de doelstelling is bereikt. Benutting TVA

Sinds september 2006 is het bij de OGH mogelijk om individuele scores van jongeren op de TVA direct te gebruiken. De mentoren vullen de TVA op de computer in Tulp in en kunnen direct een profiel met daarin de individuele scores van de jongere verkrijgen. Het is ook mogelijk om die scores te vergelijken met het vorige meetmoment van de jongere, zodat voorof achteruitgang inzichtelijk worden gemaakt. De TVA is daarnaast een goed uitgangspunt voor het groepsverslag dat mentoren voor de behandelplanbespreking moeten schrijven. Om na te gaan of de TVA in de behandeling van de jongeren wordt gebruikt, is door de onderzoekster regelmatig navraag gedaan bij de unitleiders en behandelcoördinatoren. Het gebruik van de TVA in de behandeling wordt nog niet overal consequent toegepast. Door sommige behandelcoördinatoren en unitleiders wordt de TVA standaard gebruikt in behandelplanbespreking van een jongere. Door sommige mentoren wordt de TVA alleen ingevuld omdat het moet, en wordt deze nog te weinig binnen de behandeling gebruikt. Redenen om de TVA wel te gebruiken zijn dat het een overzichtelijke en inzichtelijke manier is om resultaten van voorof achteruitgang te bespreken. Het geeft aanknopingspunten voor de behandeling en tijdens de behandelplanbespreking. Sommige medewerkers geven aan dat ze de TVA niet gebruiken omdat ze niet weten hoe ze een profiel van de TVA kunnen verkrijgen. Andere medewerkers geven aan dat ze zelf een goed beeld hebben van de jongeren en dat ze deze ervaringen gebruiken in het groepsverslag. Ook zonder het profiel van de TVA kunnen zij de voortgang van de jongeren bepalen. Bespreking van de uitkomsten van de tussenevaluatie tijdens de teambesprekingen op de units heeft weer een nieuwe impuls aan de afname van de TVA gegeven. Door presentatie van individuele resultaten van de jongeren per leefgroep, ging het gebruik van de TVA nog meer leven, omdat het toen niet meer over uitspraken op instellingsniveau ging, maar over individuele jongeren. Vaak was ook het verloop van de resultaten van de TVA tijdens de behandeling herkenbaar voor pedagogisch medewerkers. Als er bijvoorbeeld een dipje te zien was op een bepaald domein, dan konden zij vaak vertellen dat er toen bijvoorbeeld problemen op school waren, of de verkering uit was gegaan.

16

Benutting op team- en organisatieniveau is op dit moment nog niet aan de orde geweest. Omdat de bespreking van de tussenevaluatie op alle units zo succesvol was, lijkt het zinvol om dit begin volgend jaar (bijv. februari) weer te doen met de resultaten van de eindevaluatie. De resultaten kunnen dan op individueel, team- en instellingsniveau worden besproken en samen met medewerkers kan gekeken worden naar oorzaken van bepaalde resultaten. Ook kan met de medewerkers worden nagegaan welke verbeterpunten hieruit naar voren komen waaraan in het komende jaar gewerkt moet worden. Knelpunten

Het invullen van de TVA is nog niet helemaal geïnternaliseerd bij medewerkers. Het intensief bijhouden van de aanwezige data (datamonitoring) blijft belangrijk voor het al dan niet invullen van de TVA. Ook regelmatige aandacht voor de TVA in de werkbesprekingen en feedback van de resultaten zowel op individueel als op teamniveau is belangrijk voor het invullen van vragenlijsten. Continuïteit van het invullen op de juiste meetmomenten is met enige regelmaat in het gedrang gekomen door de vele personeelswisselingen in het afgelopen jaar. Nog niet alle pedagogisch medewerkers gebruiken de TVA voor hun rapportage en ook de behandelcoördinatoren gebruiken nog niet allemaal de TVA voor het formuleren van hun behandeldoelen. Niet iedereen is ervan overtuigd dat het gebruik van de TVA zinvol is voor het bepalen van de behandeling van de jongeren. Aan medewerkers moet nog meer duidelijk gemaakt worden dat de TVA een instrument is dat speciaal ontwikkeld is voor gebruik bij de SCM-methodiek en dat de resultaten van de TVA zelfs leidend kunnen zijn bij de behandeling. Mogelijk moeten medewerkers (pedagogisch medewerkers en behandelcoördinatoren) meer getraind worden in het gebruik en de benutting van de TVA. Daarnaast heeft de cultuuromslag naar resultaatgericht meten en benutting van gegevens op individueel niveau tijd nodig. Tenslotte blijft de TVA een arbeidsintensief meetinstrument om in te vullen.

1.3.2. Inventarisatie extra meetinstrumenten Aansluiten

De TVA richt zich op het meten van vaardigheden en competenties. Dat sluit aan bij de methodiek van het Sociaal Competentiemodel. Het SCM richt zich ook op afname van probleemgedrag en dat wordt door de TVA niet of nauwelijks gemeten. Ook uit het scriptieonderzoek11 van Jansen e.a. kwam naar voren dat met de TVA niet alle behandeldoelen worden gemeten. Doel van de OGH was dan ook om gedurende de projectperiode nader te onderzoeken welke instrumenten nog meer kunnen worden ingezet om de behandeldoelen te meten. Op basis van de resultaten van de scriptie van Jansen e.a. en op basis van overeenstemming in de werkgroep is besloten om gedragsproblemen en tevredenheid bij jongeren te gaan meten. Omdat ouders moeilijk bereikbaar zijn heeft de werkgroep ervoor gekozen hen voorlopig niet te benaderen om vragenlijsten in te vullen. In mei 2007 is vervolgens een pilotonderzoek uitgevoerd bij 15 jongeren van twee units om na te gaan welke vragenlijsten het meest geschikt zijn om gedragsproblemen en tevredenheid in de OGH te meten. De geschiktheid van de vragenlijsten wordt bepaald door het gebruiksgemak voor de jongeren en de bruikbaarheid van de uitkomsten voor behandelaars. Om gedragsproblemen bij 11

Jansen, M.S., Kampshoff, J. en De Koning, M.C.M. (2006). De TVA als outputinstrument van behandeling in een justitiële

jeugdinrichting. Bachelor-thesis, Universiteit Utrecht.

17

de jongeren te meten zijn twee vragenlijsten afgenomen: de Youth Self Report (YSR12), en de Strenghts and Difficulties Questionnaire (SDQ13). Beide vragenlijsten worden veel gebruikt bij diagnostiek en behandeling van jongeren, maar de YSR bestaat uit 113 items en de SDQ uit 25 items. Drie vragenlijsten zijn bij de jongeren afgenomen om tevredenheid over de behandeling te meten: de Bejegeningstoets (B-toets14), de Cliënttevredenheid-toets (C-toets15) en de tevredenheidslijst OGH. De tevredenheidslijst OGH is door medewerkers van de OGH opgesteld, met de B-toets en de C-toets is al wetenschappelijk onderzoek uitgevoerd (zie noot 9 en 10). De pilot is door de onderzoekster zelf uitgevoerd. Onder toezicht van de onderzoekster hebben de jongeren individueel de vragenlijsten ingevuld (duur ongeveer 30 tot 45 minuten). Daarna is steeds gevraagd of de jongere de vragenlijst moeilijk of makkelijk vond en of hij/zij de lijst zinvol vond voor de behandeling. De dataverzameling van deze pilot verliep vlot omdat de onderzoekster die zelf in de hand had. Alle gegevens zijn, waar mogelijk, ingevoerd in Bergop16. De resultaten van het pilotonderzoek worden beschreven in het volgende hoofdstuk. Op basis van de uitkomsten van het pilotonderzoek is een advies geformuleerd aan het Management Team (op p. 26 wordt dit verder toegelicht). Inbedding en benutting

In het pilotonderzoek is nog geen ervaring opgedaan met de inbedding van de YSR en C-toets in het primaire proces. De verwachting is dat zij op dezelfde wijze in de behandelplancyclus worden opgenomen als de TVA. Dat betekent een afname van de YSR en CBCL bij opname van de jongere in de OGH en tussentijdse metingen ten behoeve van behandelplanbesprekingen. Bij vertrek uit de OGH zal een eindmeting plaatsvinden. De Ctoets zal worden afgenomen aan het eind van de behandeling, bij vertrek van de jongere uit de OGH. Nadat het aan het MT geformuleerde advies is goedgekeurd zal nader aandacht besteed moeten worden aan de logistiek van de afname van de YSR bij de jongeren en de CBCL bij ouders. Er zijn ook nog geen ervaringen opgedaan met individuele terugkoppeling van resultaten van de YSR en CBCL naar behandelcoördinatoren en het gebruik daarvan in de behandeling. Knelpunt

Het advies voor de implementatie van YSR, CBCL en C-toets moet nog door het MT goedgekeurd worden. Dit wordt echter niet gezien als een knelpunt, maar als een aanknopingspunt om in een tijd waarin enerzijds het evidence-based werken steeds belangrijker wordt en anderzijds de overgang naar het Ministerie van Jeugd en Gezin voor de deur staat (met de door hen gebruikte prestatie-indicatoren), over te gaan tot het gebruik van meer vragenlijsten om resultaatgericht de effectiviteit van de behandeling te gaan meten.

12

Verhulst, F.C., Van der Ende, J., & Koot, H.M. (1996). Handleiding voor de CBCL/4-18. Rotterdam: Erasmus Universiteit/Sophia Kinderziekenhuis, afdeling Kinder- en Jeugdpsychiatrie. 13 Goodman, R. (1997). The Strengths and Difficulties Questionnaire: A research note. Journal of Child Psychology and Psychiatry, 38, 581-586. Goedhart, A., Treffers, F., & Van Widenfelt, B. (2003). Vragen naar psychische problemen bij kinderen en adolescenten. De Strengths and Difficulties Questionnaire (SDQ). Maandblad Geestelijke volksgezondheid, 58, 1018-1035. Treffers, Goedhart 14 Van Erve, N., Poiesz, M., & Veerman, J.W. (2007). Bejegening in de jeugdzorg. Handleiding B-toets. Nijmegen: Praktikon. 15 Jumelet, H., Welling, M., Jurrius, K., Havinga, L. (2004). Handleiding C-toets. Utrecht: MO-groep. 16 Bergop is een door Praktikon ontwikkelde database om vragenlijsten in te voeren en individuele profielen uit te draaien.

18

1.3.3 Oriëntatie op de toekomst Aansluiten, inbedden, benutten

De projectperiode van Zicht op Effectiviteit is ook gebruikt om na te denken over de toekomst. Wat zijn opvattingen en (onderzoeks)vragen van pedagogisch medewerkers, unitleiders en behandelcoördinatoren over het handhaven en verbeteren van de kwaliteit van de hulpverlening in de OGH? Krijgt wetenschappelijk onderzoek en de functie van onderzoeker een structurele plaats binnen de OGH? Tijdens de presentatie van de tussenevaluatie in de units, is met medewerkers gesproken over onderzoekswensen voor de toekomst. Veel medewerkers zijn geïnteresseerd in follow-up onderzoek: hoe gaat het met de jongeren na hun vertrek uit de OGH. Andere gewenste onderzoeksonderwerpen zijn: in welke mate behalen we onze behandeldoelen (doelrealisatie); wat is de invloed van de groepsleiding op (het gedrag van) jongeren versus de invloed van peers; wat is het verschil tussen probleemgedrag en de normale ontwikkeling in de puberteit; hoe zien jongeren zelf hun toekomst; hoe doen jongeren het op verlof; wat zijn normen en waarden van jongeren. Deze vragen van de werkvloer sluiten deels aan bij de behandeling die in de OGH wordt uitgevoerd. Follow-up onderzoek en doelrealisatie zijn daar voorbeelden van. Ondertussen is men bezig om met behulp van 2 masterstudenten een pilot follow-up onderzoek op te zetten, dat begin 2008 uitgevoerd zal worden bij jongeren van de OGH. Resultaten hiervan zijn bruikbaar voor de verbetering van de kwaliteit van de individuele hulpverlening. De andere onderzoeksvragen zijn minder gerelateerd aan het type interventie dat in de OGH wordt uitgevoerd, maar zeggen meer iets over de randvoorwaarden en de grenzen van de hulpverlening. Er zal aan het MT gerapporteerd worden welke onderzoeksvragen er leven bij pedagogisch medewerkers. Op termijn zal bekeken moeten worden welke onderzoeksvragen verder uitgewerkt gaan worden en op welke wijze zij ingebed en benut kunnen worden in het primaire proces. De onlangs opgerichte commissie kwaliteit en onderzoek, zal hier zeker een rol in gaan spelen. Daarbij zal ook aandacht besteed moeten worden aan de (on)mogelijkheden van de inrichting op het gebied van onderzoek. Voor de duur van het project is een onderzoekster aangesteld voor 24 uur. De onderzoekster wordt hiërarchisch en functioneel aangestuurd door de unitleider Behandeling en staat los van de beleidsafdeling Research en Development. De functie valt op dit moment onder de afdeling Behandeling omdat vanuit die afdeling tot nog toe de meeste onderzoeksvragen naar voren kwamen. Gedurende de projectperiode is de onderzoekster structureel deel uit gaan maken van het behandelcoördinatorenoverleg. Daarmee heeft zij een strategische positie in de organisatie ingenomen. Het is in de projectperiode wel duidelijk geworden dat het belangrijk is dat er een persoon is binnen de instelling die bijvoorbeeld het gebruik van meetinstrumenten monitort. Dit kan er niet ‘even bij’; er moet iemand zijn die hier tijd voor heeft. De OGH heeft dan ook besloten de functie van onderzoeker voor de duur van een jaar te verlengen.

1.3.4 Ervaringen met de projectperiode Zicht op Effectiviteit Leerpunten en adviezen voor nieuwe deelnemers

Deze projectperiode is geleerd dat je het resultaatgericht meten niet zo maar kunt starten. Er moet vanaf de werkvloer een duidelijke overtuiging zijn dat het gebruik van een meetinstrument, in dit geval de TVA, zinvol is. De TVA was een instrument met een

19

geschiedenis (hij werd tenslotte ook al voor Zicht op Effectiviteit ingevuld, maar nog niet benut voor de behandeling), en bleef voor sommigen toch vooral dat instrument met die eindeloze rij vragen waar je zo heel lang mee bezig bent. Om dat omgedraaid te krijgen, naar het besef dat het een instrument is dat zinvol is voor de behandeling en dat zelfs leidend kan zijn bij het formuleren van behandeldoelen en werkpunten, is lastig. Gelukkig zijn veel medewerkers enthousiast en is het gebruik enorm toegenomen, maar dit geldt nog niet voor iedereen. Het is dus belangrijk om te blijven checken of de implementatie van de vragenlijst goed is ‘geland’ en medewerkers goed te trainen in het gebruik en de benutting van vragenlijsten. Ook is het belangrijk dat er een procesbewaker is die bijhoudt of en wanneer vragenlijsten zijn ingevuld. Vaak gaat het invullen goed en op tijd, maar soms is een seintje van de procesbewaker nodig. Zonder procesbewaker wordt er toch minder ingevuld. Daaruit kunnen we tegelijkertijd concluderen dat het gebruik van de TVA nog niet voldoende is geïnternaliseerd. Echter, binnen de inrichting is men er van overtuigd dat dit ook een kwestie van tijd is. Zulk soort veranderingen (in denkwijze) hebben ook tijd nodig. Gezien de relatief korte duur van het project en de start van de dataverzameling (sinds begin van 2007), kan ook gesteld worden dat er een grote verbetering is opgetreden met een verdubbeling van het aantal ingevulde TVA’s. Tenslotte is het voor de OGH belangrijk om in de nabije toekomst de benutting van de TVA voor de individuele behandeling van jongeren te verbeteren, bijvoorbeeld door middel van een training van behandelcoördinatoren of door het gebruik van de TVA onderdeel te maken van de in service training SCM die nieuwe medewerkers van de OGH krijgen. Daardoor zal het verband tussen het SCM en de TVA voor iedereen nog duidelijker worden. Interviews met medewerkers Jean Paul de Rijk, hoofd behandeling

Jean Paul ziet dat deelname aan Zicht op Effectiviteit heeft geresulteerd in een verbetering/verhoging van het aantal ingevulde TVA’s. Deelname heeft dus een substantiële meerwaarde gehad. Tegelijkertijd heeft hij het gevoel dat het invullen van vragenlijsten en het gebruik van de resultaten voor de behandeling voor sommige medewerkers (pedagogisch medewerkers en behandelcoördinatoren) nog een beetje wezensvreemd is. Hij hoort weinig geluiden van pedagogisch medewerkers en bc’s, positief noch negatief over het gebruik van het instrument en dat verontrust hem. Hij denkt dat het gebruik van de TVA nog niet voldoende is geïnternaliseerd. Het is voor hem een aanduiding dat het geheel nog niet voldoende ‘geland’ is. Door deelname aan ZoE is er wel een ‘boost’ geweest in het verkrijgen en verwerken van de informatie uit de TVA (zowel op N=1 niveau als op N=X niveau), maar zijn twijfel ligt bij de vraag of dit niet te veel afhankelijk is van de procesbewaker. Aandachtspunten voor de nabije toekomst zijn er op twee gebieden. Ten eerste zullen de resultaten van de TVA nog meer op N = 1 niveau benut moeten worden, zodat de TVA een vanzelfsprekend onderdeel is van de behandeling. Ten tweede is voor hem belangrijk om datgene wat nu op papier staat over het gebruik van de TVA en de resultaten van de TVA, van het papier af de organisatie in te krijgen. Hoe gaan de resultaten leiden tot verbeteracties. Jean Paul geeft aan dat het plannen, doen en in mindere mate checken (zoals in de plan-do-checkact cyclus) ruim voldoende in de OGH aanwezig is. Echter de ‘act’ ontbreekt op dit moment nog. Voor hem is de uitdaging om de resultaten van ZoE om te zetten in concreet handelen en de vraag hoe je nu verder gaat naar aanleiding van de resultaten en tot welke verbeteringen dat in je organisatie leidt.

20

Jan Kersten en Ad Hurkens, unitleiders

Jan en Ad zien een verbetering in het aantal ingevulde TVA’s. Echter, het besef dat het werken volgens het Sociaal Competentie Model en de TVA gezien moeten worden als twee geïntegreerde componenten, is nog niet voldoende doorgedrongen bij pedagogisch medewerkers en behandelcoördinatoren. Ad geeft aan dat de TVA speciaal ontwikkeld is om te meten of werken volgens SCM effectief is, maar dat op dit moment het instrument nog niet zo wordt ervaren. Er kan nog een slag geslagen worden in het gebruik van de TVA voor de behandeling, omdat de resultaten van de TVA eigenlijk tot hele concrete werkpunten zouden moeten kunnen leiden. Op dit moment wordt de TVA meer als aanvullende informatie gezien dan als leidend voor de behandeling. In de teamvergaderingen van beide units worden de resultaten van de TVA door de behandelcoördinator uitgedraaid en besproken met de pedagogisch medewerkers. Dit kan leiden tot een afwijkend beeld van de TVA t.o.v. bijvoorbeeld het groepsverslag dat door een pedagogisch medewerker wordt geschreven. Dit leidt tot discussie. De TVA wordt op die manier ook gebruikt om verschillen tussen beleving van een jongere en ervaringen weergegeven in de TVA, te benoemen en te duiden. Pluspunt van het meedoen aan Zicht op Effectiviteit is volgens hen dat de TVA vaker ingevuld wordt, al zijn zij er zich wel van bewust dat dit nog niet helemaal geïnternaliseerd is, aangezien er soms nog een mailtje van de procesbewaker nodig is voor ontbrekende TVA’s. Concluderend geven zij aan dat met name de benutting een punt van aandacht is. Er zou meer besproken moeten worden wat de uitkomsten van de TVA betekenen (op casus-niveau en op inrichtingsniveau) en er zouden concrete verbeteracties uit naar voren moeten komen die leiden tot nieuwe doelen met betrekking tot gebruik van de TVA binnen de organisatie. Het zou jammer zijn als alles in de implementatiefase blijft hangen. Ella Peer, groepsleidster

In de afgelopen periode is geprobeerd de TVA’s structureel goed in te vullen. Ella heeft gemerkt dat het nog niet echt leeft. Het pedagogische personeel moet er nog de handigheid in krijgen om bijvoorbeeld de grafieken uit te draaien vóór men aan het groepsverslag begint. Tot nu toe heeft zij steeds de grafieken uitgedraaid. Tevens zit het invullen van de TVA nog niet echt in het systeem en heeft ze af en toe het gevoel dat het als last wordt ervaren. Wel is gebleken dat men wat heeft aan de grafieken omdat dan in één oogopslag duidelijk is waar de jeugdige bijvoorbeeld vooruitgang op heeft laten zien. Men weet dit en heeft het kunnen zien. Het lukt alleen nog niet echt om hier werk van te maken. Men heeft nog moeite met het vergelijken van de scores. Wanneer men hiermee aan de slag gaat, wordt nog regelmatig Ella’s hulp ingeroepen. Dit terwijl zij van mening is dat het goed op papier staat en je met de handleiding een heel eind moet kunnen komen. Geconcludeerd kan worden dat het op de juiste manier gebruiken van de TVA’s langzaam op gang begint te komen. Men begint al meer in te zien dat men er wat aan kan hebben. Jammer is dat er nog veel gekeken moet worden óf het überhaupt wordt gedaan. Ella is van mening dat als er een tijd wordt doorgegaan met het “promoten” en aansturen dat het pedagogisch personeel hier uiteindelijk het nut van in gaat zien en zal ervaren dat het alleen maar “handig” en fijn is om de TVA en grafieken te gebruiken, zeker als men bedenkt dat men daardoor beter kan zien wat men met een jongere heeft bereikt. Erik Rijshouwer, behandelcoördinator

Voorafgaand aan de halfjaarlijkse behandelbespreking print Erik de TVA van de betreffende jongere uit. Indien er één afname bestaat, gebruikt hij die afname. Indien er meerdere afnames bestaan, vergelijkt hij de scores van de laatste twee afnames. Voorafgaand aan de bespreking kijkt hij het profiel door en maakt een vergelijk tussen die gegevens en de tendensen die uit het groepsverslag naar voren komen. Opvallende overeenkomsten of afwijkingen houdt hij als 21

gespreksstof in z’n achterhoofd. Het scoreprofiel dat in Excel opgemaakt wordt, print hij voor ieder teamlid uit zodat zij dit tijdens de bespreking steeds kunnen raadplegen. In de bespreking zelf start hij over het algemeen met bijzonderheden uit het groepsverslag. In samenspraak met het team komt hij tot conclusies betreffende het behandelbeleid en aanpassingen etc. In veel gevallen – om zijn insteek duidelijk te maken – pakt hij het TVA profiel er bij om aan te geven op welke punten het belangrijk is, (of soms juist ook onmogelijk) zaken anders of beter aan te pakken. Vaak ook pakt Erik globale TVA tendensen om in zijn algemeenheid iets aan te geven over het functioneren van de jongere. Chantal van Basten, behandelcoördinator

Voorafgaand aan een behandelbespreking checkt Chantal of er een TVA is ingevuld door de mentor van de te bespreken jongere. Als dat zo is, neemt ze een uitdraai mee naar de behandelbespreking en bespreekt deze ook met het team. Meestal zijn er wel overeenkomsten tussen groepsverslag en uitkomsten TVA. Chantal denkt dat de groepsleiding eerst het groepsverslag schrijft en daarna de TVA invult. De TVA wordt dan niet als leidend voor behandeling gebruikt, door pedagogisch medewerkers. Indien er voor een behandelbespreking nog geen TVA is ingevuld, dan meldt zij dat tijdens de bespreking en vraagt deze alsnog in te vullen. Zij geeft eerlijkheidshalve wel aan, dat wanneer een TVA later wordt ingevuld, zij er niet meer in een bespreking op terug komt. Chantal was er tot voor kort niet van op de hoogte dat je twee meetmomenten met elkaar kunt vergelijken in een grafiek. Nu zij dat wel is, zal zij de vooruitgang en/of achteruitgang gaan bespreken met groepleiding. Tenslotte merkt Chantal op dat ze het gebruik van de TVA goed en zinvol vindt, maar dat ze het jammer vindt dat nieuwe groepsleiding niet of onvoldoende wordt geïnstrueerd. Peter Lankreijer, groepsleider/pedagogisch medewerker

Peter geeft aan de TVA heel duidelijk te vinden. De vragen zijn helder en zijn makkelijk in te vullen. Ondanks de hoeveelheid vragen is de vragenlijst toch vrij vlot in te vullen (maximaal een kwartier). Peter geeft wel aan dat het steeds makkelijker gaat, naarmate je meer TVA’s hebt ingevuld. Hij kent ook de bezwaren van collega’s over de lengte van de vragenlijst en de drempel die dat opwerpt om de TVA in te vullen, maar herkent dit zelf niet. Hij vindt de TVA gebruiksvriendelijk. De grafieken van de TVA worden door zijn behandelcoördinator uitgedraaid en meegenomen naar behandelbesprekingen. Datgene wat in de behandelbespreking naar voren komt uit de resultaten van de TVA wordt verwerkt in het groepsverslag. Al met al is Peter heel enthousiast over het gebruik van de TVA. Bert Klopman, groepsleider

Bert vult de TVA in, maar vindt het wel veel vragen. Hij heeft, zowel bij zichzelf als bij collega’s gemerkt dat het gebruik van de TVA een tijdje nodig heeft gehad voor ’t helemaal eigen is. Iets nieuws kost altijd tijd om te gaan doen, maar nu wordt de TVA goed ingevuld. Hij draait geen grafiekjes uit. Heeft het ooit wel een keer gedaan, maar doet het niet structureel. Vindt ook dat hij dat niet nodig heeft voor het schrijven van zijn groepsverslag. Hij kent z’n mentorkinderen goed genoeg en heeft in zijn hoofd zitten wat hij moet opschrijven en hoe de ontwikkelingen zijn. Hij zou wel behoefte hebben aan meer uitleg over de interpretatie van de grafieken en hoe deze dan te gebruiken voor de behandeling.

22

1.4 Resultaten instrumenten 1.4.1. Resultaten TVA De TVA bestaat uit 137 vragen, verdeeld over 29 schalen die weer verdeeld zijn over 6 domeinen. Voor de JJI’en zijn vier extra schalen opgenomen in een bijlage van de TVA (18 vragen). Deze vier schalen hebben betrekking op vaardigheden en competenties die vereist zijn in een JJI. De TVA wordt ingevuld door de mentor van de jongere. Binnen de OGH wordt vooral gebruik gemaakt van de domeinen ‘Omgaan met leeftijdgenoten’ ‘Autonomie en zelfsturing’ ‘School en toekomst’ en ‘Zelfverzorging’, de schalen ‘Alcoholgebruik’ ‘Druggebruik’ ‘Lichaamsbeeld’ ‘Complimenten’ en de vier aanvullende schalen voor de JJI’en ‘Eigen functioneren’ ‘Omgaan met wettelijke regelgeving binnen JJI’ ‘Zelfbepaling (binnen de mogelijkheden van de JJI)’ en ‘Behoud en versterking van het sociaal netwerk’. Over deze domeinen en schalen zal dan ook hier worden gerapporteerd. Effect TVA: vooren nameting

Om na te gaan over welke vaardigheden jongeren bij aanvang van de behandeling in de OGH beschikken en in welke mate zij daarin voorof achteruitgang hebben geboekt bij afsluiting van de behandeling, zijn gemiddelde scores van de eerste meting en de laatste meting berekend. Omdat de meetmomenten van de eerste meting (6 weken na aanvang behandeling) en de tweede meting (3 maanden na aanvang van behandeling) dicht bij elkaar liggen, is bij afwezigheid van de eerste meting, de tweede meting als aanvangsmeting gebruikt. Van 67 jongeren die in 2007 de OGH hebben verlaten (53 meisjes en 14 jongens; gemiddelde leeftijd 16;10 jaar) is een aanvangs- en een vertrekmeting beschikbaar. In Tabel 2 worden de gemiddelde scores op deze twee metingen gepresenteerd. Om een score te kunnen berekenen op een schaal of domein van de TVA moeten alle items die daartoe behoren zijn ingevuld (bij schalen met meer dan vijf items, mag één score ontbreken). Daardoor kan het voorkomen dat er van een jongere wel een TVA is ingevuld, maar dat er geen scores op bepaalde domeinen berekend kunnen worden vanwege teveel ontbrekende scores. Dit verklaart de grote verschillen in aantal respondenten (N) tussen de verschillende domeinen en schalen zoals te zien is in Tabel 2. Bovendien kan op de schalen drugs en alcohol alleen een score worden berekend indien jongeren deze middelen gebruiken. Scores op de TVA kunnen variëren van 1 tot 5. Hoe hoger de score op een schaal, hoe meer vaardigheden en competenties de jongere tot zijn beschikking heeft. De normgroep van de TVA bestaat uit jongeren die in residentiele instellingen verblijven. Er zijn aparte normen voor jongens en meisjes en voor drie leeftijdscategorieën (12-14 jaar, 14-16 jaar en 17+). Om een indicatie te kunnen geven van de score van de jongeren van de OGH ten opzichte van jongeren in andere residentiele instellingen, is in Tabel 2 een gemiddelde normscore opgenomen. Van de schalen van de TVA bijlage zijn geen normgegevens beschikbaar. In Tabel 2 is te zien dat op bijna alle domeinen en schalen vooruitgang is geboekt. Deze vooruitgang is op de meeste domeinen en schalen ook significant. Alleen op het domein Zelfverzorging en de schaal Eigen Functioneren van de bijlage van de TVA is geen significante vooruitgang geboekt. Bij vertrek uit de OGH scoren jongeren op alle vier de domeinen rond de norm. Op het domein School en Toekomst lijken ze iets hoger te scoren dan de normgroep. Op de schalen Alcoholgebruik en Drugsgebruik zijn de jongeren achteruitgegaan. Dit verschil is echter niet significant. Bij vertrek uit de OGH scoren de jongeren op deze twee schalen onder de norm.

23

Tabel 2. Groepsgewijze verandering op de TVA: gemiddelde scores bij aanvang en vertrek en effectsizes (N=67) Vertrekmeting T2 Aanvangsmeting T1 Norm N Gem. SD N Gem. SD

T1-T2 ES

Domeinen Omgaan met leeftijdgenoten Autonomie en Zelfsturing School en Toekomst Zelfverzorging

3,29 3,16 3,24 3,60

60 58 26 64

3,09 2,90 2,92 3,35

0,59 0,60 0,63 0,63

65 62 48 67

3,31* 3,19* 3,43** 3,49

0,57 0,66 0,81 0,75

0,38 0,45 0,67 0,20

4,03 3,19

20 13 45 65

3,25 2,52 3,14 3,47

0,90 0,92 0,71 0,75

45 28 62 67

2,94 2,28 3,49* 3,76*

0,97 0,78 0,71 0,66

-0,33 -0,29 0,50 0,40

57

3,11

0,67

64

3,26

0,94

0,18

51

3,03

0,65

61

3,39*

0,82

0,48

59

3,15

0,54

63

3,41*

0,75

0,41

56

3,48

0,72

61

3,80*

0,74

0,44

Schalen Alcoholgebruik Druggebruik Lichaamsbeeld Complimenten

Bijlage Eigen functioneren Omgaan met wettelijke regelgeving binnen JJI Zelfbepaling (binnen de mogelijkheden van de JJI) Behoud en versterking van het sociaal netwerk

* de gemiddelde score bij vertrek verschilt significant van de gemiddelde score bij aanvang, p < .05, ** de gemiddelde score bij vertrek verschilt significant van de gemiddelde score bij aanvang, p < .01 ES= effectsize

Om een indicatie te kunnen geven voor de grootte van de verschillen tussen vooren nameting, zijn effectsizes berekend. Effectsizes kleiner dan .20 zijn verwaarloosbaar, effectsizes tussen .20 en .49 zijn klein, tussen .50 en .79 middelgroot en boven .80 groot. De effectsizes zijn weergegeven in Tabel 2. Daaruit blijkt dat er op het domein School en Toekomst en op de schaal Lichaamsbeeld middelgrote effecten zijn. Effect TVA: individuele vooruitgang

Naast een maat voor effect van de verandering van de gehele groep, is het ook mogelijk om per individu de verandering te berekenen. Daarvoor zijn per individu effectsizes17 berekend. Op basis van de vuistregel voor de interpretatie van de grootte van effectsizes (zie boven) zijn vijf verschillende uitkomstcategorieën gevormd: • Duidelijk verbeterd: de effectsize is groot (≥.80 ), het individu is significant vooruitgegaan. • Deels verbeterd: de effectsize is middelgroot (≥.20 en <.79), het individu is vooruitgegaan, maar de vooruitgang is niet significant. • Geen verandering: de effectsize is verwaarloosbaar (>-. 20 en <.20) situatie is hetzelfde als bij start • Deels verslechterd: de effectsize is negatief en middelgroot (≤ -.20 en ≥ -.79), het individu is achteruitgegaan maar deze achteruitgang is niet significant. • Duidelijk verslechterd: de effectsize is negatief en groot (≤ -.80), het individu is significant achteruitgegaan. In Tabel 3 worden de percentages jongeren in deze uitkomstcategorieën per domein en schaal gepresenteerd. Omdat de individuele vooruitgang alleen berekend kan worden bij jongeren 17

Normaliter wordt hiervoor de Reliable Change Index (RCI) berekend. Daarmee kan worden bepaald of een persoon bij de eindmeting significant vooruitgegaan is ten opzichte van de aanvangsmeting. Echter, alleen voor de domeinen van de TVA waren de hiervoor benodigde gegevens beschikbaar en niet voor de schalen. Daarom is gekozen voor het berekenen van effectsizes per individu. Vergelijking van de RCI en de individuele effectsizes op de domeinen van de TVA leerde dat een grote individuele effectsize (>.80 of < -.80) overeenkomt met een significante vooruitgang volgens de RCI.

24

van wie zowel een aanvangs- als een vertrekscore op een domein of schaal beschikbaar is, is het aantal respondenten soms laag. Tabel 3. Individuele vooruitgang op de schalen van de TVA, aanvangs- en vertrek meting (N=67) % Duidelijk % Deels % Geen % Deels % Duidelijk N verbeterd verbeterd verandering verslechterd verslechterd

Domeinen Omgaan met leeftijdgenoten

58

17

35

19

24

5

Autonomie en Zelfsturing

56

13

43

30

11

4

School en Toekomst

21

21

29

33

17

0

Zelfverzorging

63

27

21

19

14

19

Schalen Alcoholgebruik

16

6

19

31

25

19

Druggebruik

7

14

14

43

29

0

Lichaamsbeeld

42

31

31

24

10

5

Complimenten

65

40

11

32

2

15

54

22

24

15

26

13

45

29

36

13

13

9

55

22

31

22

13

13

52

33

15

29

17

6

Bijlage Eigen functioneren Omgaan met wettelijke regelgeving binnen JJI Zelfbepaling (binnen de mogelijkheden van de JJI) Behoud en versterking van het sociaal netwerk

De grootste positieve veranderingen hebben zich voorgedaan op de schaal Complimenten: 40% van de jongeren heeft een duidelijke, significante vooruitgang gemaakt. Op de schaal Alcoholgebruik is de minste vooruitgang geboekt, 6% van de jongeren is op deze schaal significant verbeterd. Op deze schaal is ook het grootst aantal jongeren dat significant verslechterd is: 19%. Op de schaal Druggebruik heeft het grootst aantal jongeren geen voorof achteruitgang geboekt: 43%. Het gaat hier wel maar om 3 jongeren. Globaal gezien heeft ongeveer de helft van de jongeren vooruitgang geboekt op bijna alle schalen en domeinen van de TVA. Op de schalen Alcohol en Drugs heeft een kwart van de jongeren vooruitgang geboekt. Zo’n 15-30% van de jongeren is achteruitgegaan op de domeinen en schalen van de TVA en de rest is niet veranderd. Verschil tussen vooren nameting per unit

Zijn er verschillen tussen jongeren van de verschillende units voor wat betreft de scores op hun aanvangs- en vertrekmeting? Omdat de domeinen Leeftijdgenoten, Autonomie, School en Toekomst, en Zelfverzorging en de schalen Alcoholgebruik en Drugsgebruik, voor de behandeling het meest gebruikt worden, is er voor gekozen om (voor de overzichtelijkheid) alleen hierover gegevens te rapporteren. In de figuren 1, 2 en 3 worden voor deze domeinen en schalen de verschillen tussen vooren nameting van de jongeren van de zes units gepresenteerd. Als uitgangspunt is gekozen voor de unit waarvan de jongere vertrokken is. In Bijlage 1 is de bijbehorende tabel met aantal respondenten, gemiddelde scores, standaarddeviaties en verschilscores opgenomen. Vanwege de kleine aantallen per unit, zijn de geconstateerde verschillen tussen de units op de aanvangsmeting en de vertrekmeting niet significant. Ook de vooren/of achteruitgang op de schalen en domeinen van de TVA verschilt niet significant tussen de units.

25

In Figuur 1 valt op dat alleen de jongeren (N=12) van de unit Havik-Steenbeek bij de eindmeting een hogere score hebben op Alcoholgebruik. De jongere (N=1) van de unit Buizerd-Adelaar en de jongeren van de unit Rietkamp-Tympaan hebben een hogere score op Drugsgebruik. Een hogere score duidt erop dat de jongere over vaardigheden beschikt om adequaat om te gaan met Alcohol en Drugs. Wel moet worden opgemerkt dat alleen voor jongeren die alcohol en drugs gebruiken, deze schaal wordt ingevuld. Dat betekent dat het aantal respondenten op deze schalen erg klein is. Alcoholgebruik

5,00

Drugsgebruik

4,00

3,00

2,00

ha vi k

Aanvangsmeting Vertrekmeting

2

1

ku be -c irk el -s te en 3 be bu ek ize rd -a 4 de ri e la tk ar am pt 5 ym pi pa ra an m id edr 6 ie bu ho ur ek sk am ppr ism a 1 ku be 2 -c irk ha el vi kst ee nb 3 ee bu k ize rd 4 -a de ri e la tk ar am pt 5 ym pi pa ra an m id edr 6 ie bu ho ur ek sk am ppr ism a

1,00

Figuur 1. Gemiddelde score bij aanvang en vertrek op alcohol- en drugsgebruik, uitgesplitst naar unit

In Figuur 2 valt op dat bij vertrek de jongeren van alle units een hogere score hebben op de domeinen Leeftijdgenoten en Autonomie dan op het moment dat ze binnenkwamen in de OGH. Jongeren die van de unit Piramide-Driehoek zijn vertrokken hebben de grootste verschillen tussen aanvang- en vertrekmeting op beide domeinen. Jongeren die van de unit Kube-Cirkel zijn vertrokken hebben de hoogste score op het domein Leeftijdgenoten bij vertrek en jongeren van de unit Buurskamp-Prisma hebben de hoogste score op het domein Autonomie bij vertrek. Jongeren die van de unit Rietkamp-Tympaan zijn vertrokken hebben een relatief lage score op beide domeinen.

26

5,00

Leeftijdgenoten

Autonomie

4,00

3,00

2,00


2

1

ku be -c irk ha el vi kst ee nb 3 ee bu k ize rd -a 4 de ri e la tk ar am pty 5 m pi pa ra an m id edr 6 ie bu ho ur ek sk am ppr ism a 1 ku be 2 -c irk ha el vi kst ee nb 3 ee bu k ize rd 4 -a de ri e la tk ar am pty 5 m pi pa ra an m id edr 6 ie bu ho ur ek sk am ppr ism a

1,00

Figuur 2. Gemiddelde score bij aanvang en vertrek op domeinen leeftijdgenoten en autonomie, uitgesplitst naar unit

In Figuur 3 valt op dat in het domein School en Toekomst bij de jongeren van de meeste units grote verschillen te zien zijn tussen aanvang- en vertrekmeting. Jongeren die van de KubeCirkel zijn vertrokken hebben de hoogste score bij vertrek, jongeren van Rietkamp-Tympaan de laagste score. Overigens hebben deze jongeren ook de laagste score op dit domein bij binnenkomst in de OGH. Bij de jongeren die vertrokken zijn van de units Piramide-Driehoek en Buurskamp-Prisma zijn de grootste verschillen te zien tussen aanvangs- en vertrekmeting. Op het domein Zelfverzorging zijn de verschillen tussen aanvangs- en vertrekmeting relatief klein. Wel scoren jongeren bij vertrek bijna allemaal hoger dan bij aanvang.

5,00

School

Zelfverzorging

4,00

3,00

2,00


2

1

ku be -c irk ha el vi kst ee nb 3 ee bu k ize rd -a 4 de ri e la tk ar am pty 5 m pi pa ra an m id edr 6 ie bu ho ur ek sk am ppr ism a 1 ku be 2 -c irk ha el vi kst ee nb 3 ee bu k ize rd 4 -a de ri e la tk ar am pty 5 m pi pa ra an m id edr 6 ie bu ho ur ek sk am ppr ism a

1,00

Figuur 3. Gemiddelde score bij aanvang en vertrek op domeinen school en zelfverzorging, uitgesplitst naar unit

27

Behandelverloop

Hoe ontwikkelen jongeren zich gedurende hun behandeling op de OGH? Doordat de TVA ieder half jaar wordt afgenomen is het mogelijk om de ontwikkeling ofwel het behandelverloop van de jongeren in kaart te brengen. In Figuur 4 en 5 wordt het behandelverloop van de jongeren weergegeven voor de schalen Alcoholgebruik en Drugsgebruik en de vier domeinen. Per meetmoment worden de gemiddelde scores van alle jongeren van de OGH weergegeven18. De verwachting is dat jongeren die vertrekken anders scoren op de TVA dan jongeren die nog in behandeling zijn. Daarom is steeds onderscheid gemaakt tussen gemiddelde scores van de jongeren die op het betreffende meetmoment vertrekken en jongeren die op dat moment nog in de OGH verblijven. In Bijlage 2 is de bijbehorende tabel met aantal respondenten, gemiddelde scores en standaarddeviaties opgenomen.

5,00

4,00

3,00

2,00

alcoholgebruik vertrekkers alcoholgebruik blijvers drugsgebruik vertrekkers drugsgebruik blijvers

1,00

6 wkn/ 3mnd

9 maanden

15 maanden

21 maanden

27 maanden

Figuur 4. Behandelverloop: gemiddelde scores op alcohol en drugs gedurende de behandeling. Onderscheid tussen in- en uitgeschreven jongeren.

In Figuur 4 is te zien dat de score op de schaal Drugsgebruik bij de vertrekkers opvallend verloopt. Op meetmoment 9 maanden scoren vertrekkende jongeren hoger (beter) op Drugsgebruik dan de nog in behandeling zijnde jongeren, op de meetmomenten 15 en 21 maanden scoren vertrekkende jongeren lager (slechter) dan de nog in behandeling zijnde jongeren. Op de schaal Drugsgebruik is een kleine piek bij 15 maanden voor de in behandeling zijnde jongeren. Op de schaal Alcoholgebruik scoren vertrekkende jongeren in het algemeen hoger dan de nog in behandeling zijnde jongeren. Behalve op meetmoment 15 maanden, daar scoren vertrekkende jongeren lager. Voor de in behandeling zijnde jongeren is er een licht stijgende lijn naarmate de behandeling langer duurt. 18 Het betreft hier een cross-sectionele meting en geen longitudinale meting. Alle jongeren die op een bepaald meetmoment een meting hebben doen mee, het geeft een indruk hoe de populatie jongeren van de OGH het in zijn totaliteit doet. Bij een longitudinale meting doen alleen de jongeren mee van wie op alle meetmomenten scores beschikbaar zijn. Omdat de aantallen dan te klein zouden worden is hier niet voor gekozen.

28

5,00

4,00

3,00

2,00

leeftijdgenoten vertrekkers leeftijdgenoten blijvers autonomie vertrekkers autonomie blijvers

1,00

6 wkn/ 3mnd

9 maanden

15 maanden

21 maanden

27 maanden

Figuur 5. Behandelverloop: gemiddelde scores op domeinen leeftijdgenoten en autonomie gedurende de behandeling. Onderscheid tussen in- en uitgeschreven jongeren.

5,00

4,00

3,00

2,00

school vertrekkers school blijvers zelfverzorging vertrekkers zelfverzorging blijvers

1,00

6 wkn/ 3mnd

9 maanden

15 maanden

21 maanden

27 maanden

Figuur 6. Behandelverloop: gemiddelde scores op domeinen school en zelfverzorging gedurende de behandeling. Onderscheid tussen in- en uitgeschreven jongeren.

In Figuur 5 en 6 is te zien dat de vertrekkende jongeren op alle meetmomenten gemiddeld hoger scoren op de domeinen dan de nog in behandeling zijnde jongeren. Jongeren die vertrekken beschikken gemiddeld genomen over meer vaardigheden dan degenen die nog in

29

behandeling zijn. Daarnaast is er een bepaald verloop in de behandeling te zien bij zowel de vertrekkers als de blijvers. De scores op de TVA nemen eerst langzaam toe, tot een hoogtepunt op 9 maanden of 15 maanden en nemen vervolgens weer wat af. Bij vertrek rond 21 en 27 maanden liggen de scores op de TVA dan net boven de scores bij aanvang, of zijn ongeveer gelijk.

1.4.2 Pilot-onderzoek In onderstaande worden de resultaten van het pilot-onderzoek naar mogelijke aanvullende vragenlijsten beschreven. Eerst worden de uitkomsten van de vragenlijsten besproken. Vervolgens wordt kort samengevat wat de jongeren qua gebruiksgemak van de vragenlijsten vonden en in welke mate ze de vragenlijsten zinvol vinden voor gebruik tijdens de behandeling. Om gedragsproblemen te meten zijn de vragenlijsten Youth Self Report (YSR) en de Strenghts and Difficulties Questionnaire (SDQ) met elkaar vergeleken. Om tevredenheid met de behandeling te meten zijn de tevredenheidsvragenlijst van de OGH, de Cliënttevredenheid-toets (C-toets) en de Bejegenings-toets (B-toets) met elkaar vergeleken. Gedragsproblemen

In Tabel 4 worden de gemiddelde scores en de gemiddelde deviatiescores voor gedragsproblemen gemeten met de YSR en SDQ weergegeven. Een deviatiescore zegt iets over de afwijking t.o.v. de normgroep (niet-klinisch). Een deviatiescore van 0 betekent een score gelijk aan de gemiddelde score van de normgroep. Hoe hoger de deviatiescore, hoe meer de score afwijkt van de norm. Bij een deviatiescore van 1,29 of hoger spreken we van aanzienlijke problemen. De score wijkt dan zoveel af van de gemiddelde score van de normgroep dat we spreken van een klinische grens. Omdat een deviatiescore een gestandaardiseerde score is, is het mogelijk resultaten op verschillende vragenlijsten onderling te vergelijken. Tabel 4. Gemiddelde scores voor gedragsproblemen Gem. N deviatiescore YSR Internaliseren 15 1.33 Externaliseren 15 1.46 Totale problemen 15 1.53 N Gem. deviatiescore

Gemiddelde T-score

SD

60.00 60.40 62.27 Gemiddelde somscore

11.8 17.4 13.4 SD

14.67 4.07 3.40 4.80 2.40 7.93

5.2 2.8 2.4 2.3 1.7 1.8

SDQ

Totale problemen Emotionele problemen Gedragsproblemen Aandachtstekort-hyperactiviteit Problemen leeftijdgenoten Prosociaal gedrag

15 15 15 15 15 15

.90 .81 .92 .36 .35 -.21

In Tabel 4 is te zien dat jongeren op de schalen Internaliseren, Externaliseren en Totale problemen van de YSR gemiddeld wel boven de klinische grens scoren. Dat betekent dat de jongeren gemiddeld genomen wel een ernstige mate van problemen ervaren. Er is nader onderzocht hoeveel jongeren op de YSR al dan niet boven de klinische grens scoren. Drie van de 15 jongeren (20%) scoren in het klinisch gebied qua internaliserende gedragsproblemen. Dit betekent dat er sprake is van een ernstige mate van problemen. Meer dan de helft van de

30

jongeren (53%; 8 van de 15 jongeren) scoort bij externaliserende gedragsproblemen in het klinisch gebied. Wordt er naar de mate van totale problemen gekeken, dan valt 40% in het klinisch gebied (6 van de 15 jongeren). Alle drie de percentages liggen (ruim) boven het percentage van 10% dat in een ‘normale’ populatie wordt gevonden. In Tabel 4 worden ook de gemiddelde deviatiescores van de jongeren op de subschalen van de SDQ weergegeven. Op alle schalen van de SDQ scoren de jongeren gemiddeld genomen onder de klinische grens van 1.29. Nader onderzoek toont aan dat 40% van de jongeren boven de klinische grens scoort op het gebied van emotionele problemen. Op het gebied van gedragsproblemen, aandachtstekort-hyperactiviteit en problemen met leeftijdgenoten zijn deze percentages respectievelijk 53%, 20% en 13%. Op het gebied van prosociaal gedrag scoort niemand boven de klinische grens; dit betekent dat alle jongeren vinden dat zij voldoende prosociaal gedrag laten zien. Om de resultaten van de SDQ nog op een andere manier weer te geven, wordt in Tabel 5 getoond welke jongeren geen, dan wel enige of ernstige problemen op de diverse gebieden ervaren. Tabel 5. Frequentie mate van problemen en prosociaal gedrag gemeten met de SDQ Ernstige Schalen SDQ Geen Enige problemen problemen problemen Totale problemen 8 3 4 Emotionele problemen 8 1 6 3 Gedragsproblemen 7 5 Aandachtstekort-hyperactiviteit 9 3 3 2 Problemen leeftijdgenoten 12 1 Prosociaal gedrag 12 3 0

Met behulp van correlaties is nagegaan in welke mate de beide vragenlijsten elkaar overlappen. De score voor totale gedragsproblemen gemeten met de YSR hangt sterk samen met de score voor totale problemen gemeten met de SDQ (r = .89, p < .00). Dit betekent dat er een grote overlap is in wat beide vragenlijsten meten. Een zelfde hoge correlatie vinden we voor internaliserende problemen gemeten met de YSR en emotionele problemen gemeten met de SDQ (r = .84, p < .00). Dit betekent dat jongeren die hoog scoren op internaliserende problemen van de YSR ook hoog scoren op emotionele problemen van de SDQ. Voor externaliserende problemen gemeten met de YSR en gedragsproblemen gemeten met de SDQ wordt ook een hoge samenhang gevonden (r = .79, p < .00). Tevredenheid Tevredenheidsvragenlijst OGH

In Tabel 6 staan de resultaten voor de tevredenheidslijst van de OGH weergegeven. Over het algemeen geven de jongeren aan dat er nog veel verbeteringen nodig zijn met betrekking tot hun behandeling. Met name op de ervaren hulp met betrekking tot het meedenken over behandeldoelen; bijna alle jongeren vinden dat dat beter kan en moet.

31

Tabel 6. Frequenties tevredenheidsvragenlijst OGH Moet beter Kennis behandeldoelen 4 Meedenken over behandeldoelen 8 Behalen behandeldoelen 7 Vooruitgang behandeling 5 12 Ervaren hulp behalen doelen

Kan beter 5 7 3 4 2

Goed 4 0 3 4 1

Erg goed 2 0 2 2 0

C-toets

In Tabel 7 staan de gemiddelde scores weergegeven met betrekking tot kenmerken van tevredenheid gemeten met de C-toets. Antwoordcategorieën lopen uiteen van 1 tot 4 waarbij een hoge score duidt op tevredenheid met de behandeling. Over het algemeen zijn de jongeren matig tevreden over de behandeling. Met name over de bereikte resultaten zijn jongeren niet zo tevreden. Tabel 7. Gemiddelde scores tevredenheid jongeren Gemiddelde N Totaalscore 15 2.14 Contact en bejegening 15 2.17 Professionaliteit 15 2.29 2.26 Informatie en vooruitgang 15 Doel en resultaat 15 1.90

SD .48 .55 .78 .39 .50

B-toets

Met de B-toets wordt zowel gemeten hoe jongeren vinden dat ze bejegend zouden moeten worden als wel hoe ze daadwerkelijk bejegend worden (in dit geval door hun mentor). Er wordt geen samenhang gevonden tussen gewenste en ervaren bejegening (r = -.08, p = .81). In Tabel 8 worden de gemiddelde scores weergegeven van hoe jongeren de bejegening door hun mentoren ervaren op verschillende deelgebieden. De antwoordcategorieën lopen uiteen van 1 tot 6 waarbij een hoge score duidt op een positievere bejegening. Uit deze Tabel blijkt dat de jongeren de bejegening gemiddeld als voldoende ervaren op de verschillende deelgebieden, echter de scores liggen wel (ruim) onder de norm. Wat betreft de totale score voor bejegening, deze ligt ruim onder de gewenste norm van 96. Tabel 8. Gemiddelde scores op ervaren bejegening N Gemiddelde Duidelijkheid 14 3.44 Betrokkenheid 14 3.41 Gelijkwaardigheid 14 3.09 Betrouwbaarheid 14 3.61 Aansluiten bij cliënt 14 3.14 Respect 14 3.54 Goed contact 14 3.75 Positieve feedback 14 3.68 81.75 Bejegening totaal 12

SD 1.21 1.18 1.16 1.48 1.49 1.68 1.19 1.46 28.13

Norm 5.1 5.2 4.5 5.6 4.9 5.0 5.2 4.7 96

Meningen van de jongeren

In bovenstaande zijn de uitkomsten van de diverse vragenlijsten weergegeven. Aan de jongeren is ook gevraagd hoe gebruiksvriendelijk zij de vragenlijsten vonden en aan welke vragenlijsten zij een voorkeur zouden geven. Het blijkt dat iets meer dan de helft van de jongeren (8 van de 15) de YSR fijner vindt dan de SDQ. Argument voor gebruik van de YSR is vooral dat je er volgens de jongeren meer in kwijt kunt. Argument voor gebruik van de SDQ is dat die kort is (invullen duurt hoogstens 5 minuten). Als je daarbij meeneemt dat de correlaties tussen de YSR en SDQ hoog zijn (zie resultaten SDQ), dan blijkt dat er een grote overlap is tussen wat beiden meten. Dit betekent dat het niet zinvol lijkt beide lijsten in de toekomst af te nemen, maar te kiezen voor één van beide.

32

Wat betreft de tevredenheidslijsten blijkt dat de meeste jongeren niet zo goed uit de voeten kunnen met de tevredenheidslijst van de OGH. Ze vinden de vragen en antwoordcategorieën raar en hebben met name ook het idee dat er niets met hun antwoorden gebeurt. Opvallend was ook dat het gemiddelde rapportcijfer van de jongeren uit het pilot-onderzoek enorm afwijkt van de door OGH gerapporteerde cijfers die meestal tussen de 7 en 8 liggen. Over de C-toets en de B-toets zijn de jongeren over het algemeen positief. De jongeren vonden het fijn om hun mening kwijt te kunnen over de behandeling. Qua structuur in de antwoordcategorieën misten ze soms een (neutrale) tussencategorie. Ze vonden het lastig om echt voor de positieve of negatieve kant te kiezen (wat door deze antwoordstructuur wel nodig was, en waarschijnlijk niet voor niets zo gedaan door de makers van de vragenlijsten). Advies aan het MT

Op basis van de uitkomsten en bevindingen van de jongeren zal aan het MT worden geadviseerd om de YSR te gebruiken om gedragsproblemen bij jongeren te gaan meten. Om tevredenheid van behandeling te gaan meten wordt geadviseerd de C-toets te gaan gebruiken. Allereerst is deze vragenlijst uitgebreider en ook meer betrouwbaar dan de door de OGH samengestelde tevredenheidslijst. Daarnaast wordt de C-toets ook gebruikt als prestatieindicator door het ministerie van Jeugd en Gezin, waardoor het met het oog op de overgang naar dit ministerie zeer zinvol lijkt deze lijst te gaan gebruiken. Omdat een aantal vragen in de C-toets gaan over bejegening, wordt geadviseerd hier niet meer een aparte toets, namelijk de B-toets, aan toe te voegen. Het lijkt ook zeker zinvol om niet alleen de jongeren naar hun gedragsproblemen en tevredenheid van de behandeling te vragen, maar dit ook bij ouders te meten met behulp van de CBCL, aangezien dat enerzijds inzicht geeft in de door de ouders ervaren gedragsproblemen en de overeenstemming tussen jongere en ouder hierover. Op deze manier kunnen de resultaten gebruikt worden door de behandelcoördinator tijdens gesprekken met ouders en jongere. Anderzijds is het ook belangrijk van ouders te weten of zij wel of niet tevreden zijn over de behandeling van hun kind.

1.5 Conclusie en aanbevelingen 1.5.1 TVA Proces

•

• •

Om de inbedding van de TVA in het primaire proces te verbeteren is een protocol voor de afname van de TVA geschreven. Er is medewerkers uitleg gegeven over het gebruik van de individuele uitkomstprofielen van de TVA. De datamonitoring is door een procesbewaker in de hand genomen. Deze maatregelen hebben geleid tot een sterke verbetering van de respons. Bijna 90% van de in te vullen TVA’s wordt nu ingevuld. De benutting van de TVA in de individuele behandeling van de jongeren is nog niet optimaal. Niet iedereen is ervan overtuigd dat de TVA zinvol is voor het bepalen van de behandeling en daar zelfs leidend in kan zijn. Regelmatige aandacht voor de TVA in werkbesprekingen, regelmatige feedback op de resultaten, zowel op individueel, team- als organisatieniveau zijn van belang voor het ‘landen’ van de TVA in de organisatie.

33

•

•

•

Behandelcoördinatoren en mentoren zouden (opnieuw) getraind moeten worden in het gebruiken en benutten van de TVA. Daarbij moeten zij ook leren hoe zij gesprekken met jongeren moeten voeren zodat zij de benodigde informatie voor het invullen van de TVA te weten komen. Nu komt het nog te vaak voor dat mentoren bepaalde vragen niet kunnen invullen omdat ze er geen informatie over hebben. Voor nieuwe medewerkers zou een TVA-training heel goed passen in de inservicetraining van het SCM die medewerkers bij aanvang dienstverband volgen. Bij medewerkers die hier al (langere tijd) werken zou de behoefte aan verdere training in de benutting van de TVA gepeild kunnen worden. De geschiedenis van de TVA (wel invullen, maar geen mogelijkheid voor benutting) maakt een omslag naar het gebruik van meetinstrumenten in de behandeling mogelijk moeilijker. Daarnaast is er het besef dat dit proces tijd nodig heeft voordat iedereen ‘om’ is naar het gebruik van instrumenten in behandeling. De overtuiging is wel dat het gaat lukken om iedereen mee te krijgen. De meetmomenten 6 weken en 3 maanden na opname liggen heel dicht op elkaar. Omdat een afname bij 6 weken niet altijd beschikbaar is, zijn deze twee meetmomenten in de analyses samengevoegd. Men kan zich afvragen wat de meerwaarde is van een afname bij 6 weken en 3 maanden. Mogelijk kan een van deze twee meetmomenten komen te vervallen.

Uitkomsten

•

•

•

Gemiddeld genomen beschikken jongeren bij vertrek over meer vaardigheden dan aan het begin van de behandeling. Alleen ten aanzien van het omgaan met drugs- en alcohol beschikken jongeren gemiddeld genomen over minder vaardigheden bij vertrek. De helft van de jongeren heeft aan het eind van de behandeling vooruitgang geboekt op de meeste domeinen van de TVA. Behalve op de schalen Alcohol- en Drugsgebruik, daar heeft een kwart van de jongeren vooruitgang geboekt. Ongeveer een kwart van de jongeren is achteruitgegaan qua vaardigheden aan het eind van de behandeling. De vaardigheden van de jongeren nemen gedurende de behandeling licht toe tot een piek bij 15-21 maanden na opname. Bij een langere behandelduur daalt de score weer licht. Jongeren die vertrekken, scoren op de TVA in het algemeen hoger dan jongeren die op dat moment nog in behandeling zijn. De schalen Alcohol- en Drugsgebruik kennen een grilliger behandelverloop.

1.5.2 Inventarisatie extra meetinstrumenten •

•

Het pilotonderzoek naar mogelijke inzet van extra meetinstrumenten zal resulteren in een advies naar het MT. Daarin wordt voorgesteld om de YSR bij jongeren en de CBCL bij ouders in te zetten om gedragsproblemen te meten. Om tevredenheid van de behandeling te meten wordt geadviseerd om de C-toets bij jongeren, ouders en voogd af te nemen. De helft van de jongeren geeft van zichzelf aan dat zij in het klinische gebied scoren op het gebied van externaliserende problematiek, 20% van de jongeren scoort in het klinische gebied op het gebied van internaliserende problemen. Een kleine meerderheid van de jongeren vindt de YSR prettiger om in te vullen dan de SDQ, omdat ze er meer in kwijt kunnen.

34

•

•

Jongeren vinden dat de behandeling op diverse punten verbeterd kan worden. Ook hebben zij het idee dat er weinig tot niets met hun opmerkingen/ideeën over hun behandeling wordt gedaan. Jongeren ervaren de bejegening van hun mentor gemiddeld als voldoende. Om tevredenheid te meten geven jongeren de voorkeur aan de C-toets. Opgemerkt moet nog worden dat het bij het pilot-onderzoek gaat om een selecte steekproef, namelijk 15 jongeren van 2 leefgroepen. Dit maakt de generaliseerbaarheid naar de totale populatie van de OGH gering. Opgemerkt kan nog worden dat er een zekere mate van onderschatting van de problematiek, bijvoorbeeld op het gebied van gedragsproblemen, bij de jongeren is te verwachten. Daarom is het belangrijk om van meerdere bronnen, bijvoorbeeld ook de ouders, informatie te vergaren.

1.5.3 Oriëntatie op de toekomst • • • •

Er heeft een inventarisatie van onderzoekswensen plaatsgevonden, deze wordt gerapporteerd aan het MT. Er wordt opnieuw geld vrij gemaakt om een onderzoeker aan te nemen voor de duur van een jaar (24 uur per week). De huidige manier van gegevensverzameling met betrekking tot de TVA wordt voortgezet. Er is een commissie Kwaliteit en Onderzoek samengesteld die zich bezig zal houden met de integratie, implementatie en evaluatie van behandelingsmethoden.

1.5.4 Implicaties voor de voortgang •

•

• •

Deelname aan ZoE heeft er voor gezorgd dat resultaatgericht meten bij de OGH duidelijk op de agenda staat. Het invullen en monitoren van TVA krijgt gevolg. Verder is het nodig nog aandacht te besteden aan de benutting, opdat er een PDCAcyclus ontstaat, die leidt tot verbetering in invullen en benutting voor behandeling. Overgang naar Ministerie van Jeugd en Gezin biedt nieuwe mogelijkheden om resultaatgericht meten uit te breiden, aangezien een aantal vragenlijsten (bv de Ctoets) als prestatie-indicator wordt gebruikt door Jeugd en Gezin. Er is opnieuw geld vrij gemaakt om een onderzoeker voor de duur van een jaar (24 uur per week) aan te stellen. Het is in de projectperiode wel duidelijk geworden dat het belangrijk is dat er een persoon is binnen de instelling die gebruik van meetinstrumenten bijvoorbeeld monitort. Dit kan er niet ‘even bij’; er moet iemand zijn die hier tijd voor krijgt/heeft. Het Effectiviteitsplatform is ook in de toekomst zinvol voor uitwisseling van ervaringen met betrekking tot resultaatgericht meten. Verdere ondersteuning om rapportages te maken die op team- en managementniveau gebruikt kunnen worden, is wenselijk.

35

Bijlage 1.1 Gemiddelde scores bij aanvang en vertrek, uitgesplitst naar unit (N=67) N Alcoholgebruik 1 kube-cirkel 2 havik-steenbeek 3 buizerd-adelaar 4 rietkamp-tympaan 5 piramide-driehoek 6 buurskamp-prisma Drugsgebruik 1 kube-cirkel 2 havik-steenbeek 3 buizerd-adelaar 4 rietkamp-tympaan 5 piramide-driehoek 6 buurskamp-prisma Leeftijdgenoten 1 kube-cirkel 2 havik-steenbeek 3 buizerd-adelaar 4 rietkamp-tympaan 5 piramide-driehoek 6 buurskamp-prisma Autonomie 1 kube-cirkel 2 havik-steenbeek 3 buizerd-adelaar 4 rietkamp-tympaan 5 piramide-driehoek 6 buurskamp-prisma School en Toekomst 1 kube-cirkel 2 havik-steenbeek 3 buizerd-adelaar 4 rietkamp-tympaan 5 piramide-driehoek 6 buurskamp-prisma Zelfverzorging 1 kube-cirkel 2 havik-steenbeek 3 buizerd-adelaar 4 rietkamp-tympaan 5 piramide-driehoek 6 buurskamp-prisma

Aanvangsmeting Gem SD

N

Eindmeting Gem

SD

Verschil T1-T2

4 3 4 7 2 0

3,50 2,44 3,92 2,90 3,84

1,04 0,51 1,10 0,66 0,23

10 12 3 15 2 3

2,83 3,28 3,11 2,69 3,67 2,55

1,08 1,18 1,17 0,77 0,47 0,39

-0,67 0,83 -0,81 -0,22 -0,17

2 3 1 5 1 1

2,63 2,33 2,00 2,15 2,75 5,00

0,88 0,38

9 5 1 11 1 1

2,19 2,05 3,00 2,30 2,25 3,25

0,97 0,62

-0,43 -0,28 1,00 0,15 -0,50 -1,75

11 13 6 18 8 4

3,40 3,18 3,09 2,88 2,94 3,13

0,58 0,47 0,44 0,69 0,49 0,81

11 14 5 20 8 7

3,66 3,36 3,34 3,00 3,44 3,34

0,63 0,50 0,20 0,48 0,76 0,51

0,26 0,18 0,25 0,12 0,50 0,21

11 12 6 16 8 5

3,30 3,06 2,87 2,65 2,62 2,95

0,52 0,45 0,50 0,74 0,43 0,49

11 14 6 18 8 5

3,45 3,23 3,24 2,82 3,34 3,46

0,73 0,57 0,37 0,65 0,79 0,45

0,15 0,18 0,37 0,17 0,72 0,51

5 8 1 7 4 1

3,43 3,13 2,78 2,27 3,06 2,89

0,46 0,36

6 12 2 17 7 4

4,12 3,27 3,36 2,98 3,99 3,87

0,41 0,74 0,55 0,82 0,73 0,40

0,69 0,13 0,58 0,72 0,93 0,98

11 13 6 20 8 6

3,38 3,37 3,08 3,40 3,38 3,29

0,41 0,52 0,55 0,86 0,65 0,47

11 14 6 21 8 7

3,64 3,59 3,33 3,24 3,71 3,63

0,75 0,61 0,52 0,76 1,04 0,83

0,26 0,22 0,26 -0,15 0,34 0,35

0,65

0,63 0,57

0,75

N.B. De verschillen tussen de units bij de aanvangsmeting en vertrekmeting zijn niet significant. Ook bij de verschilscores zijn geen significante verschillen tussen de units.

36

Bijlage 1.2 Gemiddelde scores op meetmoment 1, 2, 3, 4, 5, uitgesplitst naar degenen die op dat moment nog in behandeling zijn (blijvers) en degenen die op dat moment vertrokken zijn (vertrekkers) N

Blijvers Gem

SD

N

Vertrekkers Gem

SD

42 33 145 120 56 140

2,86 2,02 2,93 2,74 2,85 3,20

1,04 0,87 0,59 0,57 0,63 0,68

1 2 2

1,75 2,78 2,55

0,88 0,27

2

2,99

0,35

38 34 82 71 45 81

2,68 2,27 3,15 2,95 3,32 3,35

0,89 1,01 0,58 0,61 0,67 0,73

22 14 29 29 20 30

3,24 2,77 3,22 3,14 3,38 3,44

0,87 0,81 0,57 0,62 0,72 0,69

21 17 34 31 23 33

2,86 2,43 3,18 2,91 3,37 3,26

0,96 0,89 0,55 0,62 0,56 0,61

17 12 26 23 18 26

2,69 2,04 3,40 3,33 3,61 3,58

0,98 0,61 0,50 0,65 0,77 0,82

7 6 13 13 7 12

2,95 2,17 2,96 2,79 3,08 2,81

0,95 0,68 0,76 0,58 0,64 0,80

8 3 14 13 12 14

3,50 1,50 3,36 3,25 3,41 3,55

1,41 0,66 0,65 0,73 0,93 0,82

8 4 8 8 6 8

3,12 2,19 3,35 3,07 3,11 3,23

1,22 1,38 0,59 0,62 0,64 0,56

T1 6 weken/ 3 maanden

Alcoholgebruik Drugsgebruik Leeftijdgenoten Autonomie School en Toekomst Zelfverzorging T2 9 maanden




Alcoholgebruik Drugsgebruik Leeftijdgenoten Autonomie School en Toekomst Zelfverzorging

37

38

Hoofdstuk 2 Zicht op Effectiviteit bij Triversum Stefan van den Langenberg en Marie-Christine van der Veldt

Inhoudsopgave 2.1 Inleiding 2.2 Plan van aanpak 2.3 Proces 2.3.1 Voorbereidingen 2.3.2 Logistiek 2.3.3 Software 2.3.4 Benutting 2.4 Uitkomsten op groepsniveau 2.4.1 Respons 2.4.2 Berekening van de scores 2.4.3 Problematiek op verschillende meetmomenten 2.5 Conclusie en aanbevelingen 2.5.1 Conclusies 2.5.2 Aanbevelingen

39

40

2.1 Inleiding Vanaf medio 2006 is Triversum één van de deelnemers aan het project ‘Zicht op Effectiviteit’. Zicht op Effectiviteit is een samenwerkingsproject van Praktikon, het NJI, Collegio, PI Research en Jeugdzorg Drenthe om in een aantal instellingen effectonderzoek in te bedden in het individueel hulpverlenend handelen en van daaruit te aggregeren naar groepen (units, instellingen). Dit project wordt gesubsidieerd door het Ministerie van Volksgezondheid, Welzijn en Sport. In het verbredingtraject dat medio 2006 van start is gegaan doen vier verbredingorganisaties mee, namelijk Triversum, ’s Heeren Loo Kwadrant, OC Ottho Gerhard Heldring en Tender Jeugdzorg. Aan deze vier organisaties wordt gedurende een periode van anderhalf jaar (medio 2006 tot eind december 2007) concrete ondersteuning geboden om onderzoek in deze organisaties op te zetten. Daarnaast is er een aantal smalle trajecten gestart bij Pactum, Parlan en de Waarden. Bij deze drie instellingen is al eerder begonnen met het zelf opzetten van praktijkgestuurd effectonderzoek en wordt concrete ondersteuning geboden bij het verder uit kristalliseren. PI Research heeft de ondersteuning van Triversum voor de projectperiode voor haar rekening genomen. De onderzoeker van Triversum heeft in deze periode een aantal bijeenkomsten van het zogeheten effectiviteitplatform bijgewoond, een regelmatig overleg van aan het project deelnemende instellingen. Per 1 januari 2008 komt het subsidie te vervallen, reden om de balans op te maken, zowel voor intern gebruik als bij wijze van “verantwoording” naar de subsidieverstrekker. Geprobeerd is een en ander beknopt te houden. Eerder werd immers al een projectvoorstel en een plan van aanpak geschreven en besproken, alsmede een tussentijdse evaluatie gehouden (juni 2007). Triversum is een kinderen jeugdpsychiatrisch centrum dat de gehele provincie Noord-Holland m.u.v. de regio’s Amsterdam, Diemen en ’t Gooi, tot haar verzorgingsgebied rekent. Alle kinderen en jongeren tussen 0-18 jaar (in sommige gevallen tot 21 jaar) die in dit verzorgingsgebied wonen komen in principe voor onderzoek en/of behandeling in aanmerking. Daartoe beschikt Triversum, verspreid over de regio, over zes poliklinieken (waarvan één voor kinderen en jongeren met een cognitieve beperking), één jeugdafdeling voor opname en observatie, vier meer algemene behandelafdelingen voor jongeren, :één afdeling klinische psychotherapie voor jongeren, drie kinder(dag)klinieken en twee logeerhuizen. In totaal gaat het om 88 bedden en 40 stoelen. Per 31-december 2006 waren 2675 patiënten in zorg. Triversum heeft als missie het bieden van een professioneel antwoord op de zorgvraag van kinderen en jeugdigen met een psychiatrische stoornis. Deze missie tracht Triversum te vervullen vanuit een doordachte en samenhangende visie. Deze visie wordt gekenmerkt door de idee dat de geboden zorg behalve van hoge professionele kwaliteit ook klantgericht en gedifferentieerd moet zijn. Om ook de nodige continuïteit van zorg te kunnen bieden moet voortdurend worden gewerkt aan het uitbouwen van geïntegreerde klinische en poliklinische zorg, en worden geïnvesteerd in samenwerking met andere zorgaanbieders. Over het zorgaanbod en de bedrijfsvoering wil Triversum aan alle stakeholders op zo transparant mogelijke manier verantwoording afleggen. Jaarlijks wordt aan de missie en visie een actuele vertaling gegeven in de Kaderbrief van de Raad van bestuur, het meest recent in de Kaderbrief 2008. Daarin worden de beleidsprioriteiten voor dat jaar aangegeven. Voor de middellange termijn werkt Triversum met een meerjarenbeleidplan. In het huidige meerjarenplan dat loopt tot 2008 is met betrekking tot de patiëntenzorg bijvoorbeeld te lezen dat het streven voor die periode is om de zorgverlening aan patiënten te verbeteren door onder meer het klinisch-wetenschappelijk denken binnen de organisatie te stimuleren en het behandelbeleid verder te ontwikkelen op basis van te meten behandelingsresultaten.

41

Het spreekt daarom vanzelf dat Triversum in het najaar van 2006 met beide handen de mogelijkheid aangreep om subsidie te verkrijgen voor een concreet project, gericht op effectmeting, dat goed leek aan te sluiten op een intern project dat reeds in een fase van voorbereiding was. Dit interne project had tot doel op korte termijn te komen tot het instellingsbreed meten van behandelingsresultaten en op wat langere termijn tot een systeem van “Routine Outcome Monitoring” (ROM). Het subsidie voor het project die in natura wordt verstrekt, zal zoals bij aanvang afgesproken, eind 2007 stoppen. Dit verslag dient als eindverslag over de gesubsidieerde fase en geeft de stand van zaken weer zoals die is per medio oktober 2007.

2.2 Plan van aanpak Vóór eind 2006 het subsidie in beeld komt is er binnen Triversum op het gebied van effectmeting wel al het een en ander gebeurd. Op de afdeling Klinische Psychotherapie is gedurende een aantal jaren ervaring opgedaan met het meten van behandelingsresultaten. Deze afdeling doet mee aan het zogeheten STEP-onderzoek, een landelijk project in samenwerking met de Stichting Klinische Psychotherapie en de Erasmusuniversiteit. Binnen dit project worden meerdere instrumenten gebruikt in het kader van tussentijdse effectmetingen en follow-up metingen. Hierdoor zou men kunnen denken dat Triversum een zekere voorsprong heeft op andere instellingen die nog helemaal geen effectonderzoek doen. Echter het gebruikte instrumentarium en de werkwijze zijn niet zonder meer bruikbaar binnen de overige afdelingen van Triversum, aangezien de afdeling die aan het STEP-onderzoek meedoet nogal specialistisch van aard is. Begin 2005 ziet de interne notitie ’Het meten van behandelingsresultaten in Triversum’ het licht. Deze notitie vloeit voort uit het meerjarenbeleidplan waarin het instellingsbreed meten van behandelingseffecten een speerpunt is. In de notitie wordt ingegaan op vragen als: (a) voor wie en met welk doel gaan we meten, (b) wát, wanneer en hoe moeten we meten, (c) hoe willen we de gegevens analyseren, verwerken, opslaan en presenteren. Ook wordt in de notitie ingegaan op handvatten en richtlijnen voor het kiezen van meetinstrumenten die in de praktijk bruikbaar zijn. Medio 2005 verschijnt het vervolg op bovengenoemde notitie. Daarin wordt het doel van het project ‘Meten van behandelingsresultaten’ voorlopig bescheiden omschreven als: het met objectieve gegevens onderbouwen van onze stelling dat de geboden behandelingen werken. De gegevens zullen, zo is de bedoeling, op geaggregeerd niveau voornamelijk door het bestuur worden gebruikt in de dialoog met patiënten en zorgkantoor/verzekeraar; er worden dus vooral externe gebruikers voorzien. Vooralsnog is er op dat moment bij het management geen grote behoefte om de gegevens op individueel niveau te gebruiken voor het monitoren of evalueren van individuele behandelingen, of om te komen tot een meer omvattend ’outcomes management system’. Vervolgens is in de notitie de voorkeur uitgesproken de behandelingsresultaten zo mogelijk te meten in termen van veranderingen in niveau van klachten en/of symptomen, veranderingen in algeheel niveau van functioneren/competentieniveau, en veranderingen in door ouders ervaren stress. Deze laatste categorie is genoemd omdat behandelingen soms niet primair effecten laten zien bij het behandelde kind maar wel bij de ouders, bijvoorbeeld als gevolg van psycho-educatie. Op basis van een overzicht van mogelijke vragenlijsten met hun sterke

42

en zwakke kanten wordt de keuze gemaakt voor de Strenghts and Difficulties Questionnaire (SDQ) en de Nijmeegse Ouderlijke Stress Index (NOSI). In de tweede helft van 2006 is voorzichtig een begin gemaakt met een pilot op één afdeling. Als kort daarna duidelijk wordt dat Triversum voor dit project mogelijk subsidie kan krijgen in het kader van het landelijke project Zicht op Effectiviteit wordt de pilot opgeschort. Toekenning van het subsidie leidt vervolgens in eerste instantie tot het samen met de externe ondersteuners van PI Research en Collegio schrijven van een plan van aanpak voor het vervolg van het project. Het schrijven van dit plan van aanpak, waarbij ook een klinisch psycholoog i.o. nauw betrokken is, blijkt een vruchtbare exercitie. De ideeën die leven bij de “onderzoekers” van Triversum worden getoetst aan de kennis en de ervaring van de externe begeleiders, mogelijkheden en beperkingen worden onder ogen gezien, en wensen en doelstellingen worden op realiteitsgehalte getoetst. In december 2006 is het plan van aanpak gereed en kan het aan het management van de instelling worden gepresenteerd. Met het pilotproject worden drie doelen beoogd. Het eerste doel is het tot stand brengen van een infrastructuur en een methodiek voor het verzamelen, verwerken en analyseren van gegevens waarmee de resultaten van behandelingen in beeld kunnen worden gebracht op een beperkt aantal afdelingen. De te ontwikkelen infrastructuur en methodiek moeten vanaf 1 januari 2008 stapsgewijs instellingsbreed kunnen worden ingevoerd. Het tweede doel is dat daadwerkelijk gegevens over behandelingsresultaten worden gegenereerd die inzicht verschaffen in de eindresultaten van de behandelingen op individueel en groepsniveau, maar zo mogelijk ook in de ontwikkeling van deze effecten in de loop van het behandelingsproces. Het idee is dat tussentijdse metingen, op momenten dat de patiënt toch al door de staf wordt geëvalueerd, leiden tot een snellere feedback naar hulpverleners en daardoor tot een grotere bereidheid tot medewerking van diezelfde hulpverleners. Eind 2007 moet over de tot dan toe verzamelde gegevens worden gerapporteerd. De doelstelling is dat op de pilotafdelingen op dat moment sprake zal zijn van een duidelijke aanzet tot ‘routine outcome monitoring’(ROM). Het derde doel is dat de medewerkers van de deelnemende afdelingen aan het einde van 2007 ervan overtuigd zijn dat het werk dat zij in dit kader moeten verzetten de behandeling van de patiënten ten goede komt. Zij moeten dermate enthousiast zijn dat zij de meetactiviteiten zonder al te veel aansturing van buitenaf kunnen volhouden en hun enthousiasme kunnen uitdragen, waardoor de overige afdelingen gretig zullen zijn om in de loop van 2008 ook mee te kunnen gaan doen. In het plan van aanpak zijn belangrijke keuzes gemaakt. Zo is besloten het onderzoek op drie afdelingen uit te voeren, te weten (1) de Kinderdagkliniek in Alkmaar, (2) een kliniek voor jeugdigen in Alkmaar en (3) de polikliniek in Hoofddorp. Door van elk cluster (ambulant, kinderen en jeugd) een afdeling in het onderzoek te laten participeren kan van een representatieve pilot worden gesproken. De eerder gemaakte keuzes voor de SDQ en de verkorte versie van de NOSI (NOSIK) worden herbevestigd. Het beknopte, generieke karakter van de SDQ wordt aantrekkelijk gevonden, alsmede het feit dat in de lijst niet alleen aandacht is voor problemen, maar ook voor prosociale factoren. Vanzelfsprekend levert de verkorte versie van de NOSI wel veel minder informatie op dan de lange. Tot slot werd besloten met zowel de SDQ als de NOSIK een meting te doen bij aanvang zowel als bij afsluiten van de behandeling en daarnaast nog tussentijdse metingen met de SDQ te doen op het moment van tussentijdse evaluaties.

43

2.3 Proces 2.3.1 Voorbereiding Tijdens het schrijven van het plan van aanpak is in toenemende mate duidelijk geworden hoe belangrijk het is dat het verzamelen van gegevens wordt ingebed in het dagelijks handelen van degenen die daarmee worden belast, teneinde op voldoende medewerking te kunnen rekenen. Ook is allengs duidelijker geworden dat de gegevensverzameling zo snel mogelijk tot resultaten zou moeten leiden waar de hulpverlener op individueel niveau wat aan zou kunnen hebben voor het verder plannen en uitvoeren van een behandeling. Draagvlak, routine en snelle feedback werden sleutelbegrippen. In een korte brief aan de betrokken afdelingen werd de doelstelling van het project en de globale werkwijze toegelicht, waarna de onderzoekers van Triversum in oktober 2006 een bezoek brachten aan de deelnemende afdelingen om hen te informeren over het project en het draagvlak te vergroten. Over het algemeen varieerden de reacties van enthousiast tot welwillend. Op elke afdeling is een aandachtsfunctionaris voor het project aangesteld. De belangrijkste taak voor de aandachtsfunctionaris dan wel procesbewaker was te fungeren als aanspreekpunt voor de onderzoeker, het proces van dataverzameling op de afdeling te monitoren en knelpunten daarbij te signaleren. Al snel na de start van de dataverzameling is een werkgroep in het leven geroepen, bestaande uit genoemde procesbewakers van de drie afdelingen, de onderzoekers en een medewerker van de afdeling Applicatiebeheer. Deze groep zou moeten gaan functioneren als een soort projectgroep. De bedoeling was door uitwisseling van ervaringen van elkaar te leren, uniformiteit in de procedures en processen te houden waar mogelijk, en zich aandienende knelpunten snel op te lossen. De werkgroep is in totaal zes keer bijeen geweest, waarvan één keer met de externe begeleiders. De voornaamste thema’s die zijn besproken hadden vooral met de logistiek van de dataverzameling te maken. Voor elke afdeling is zo concreet mogelijk het proces van het uitzetten, het laten invullen en het terugnemen van de vragenlijsten beschreven, tot en met het moment van invoer van de gegevens. Bij het beschrijven van dit logistieke proces is getracht zo goed mogelijk aan te sluiten bij de bestaande processen en procedures op een afdeling. Er is voor gekozen om uitsluitend aan nieuwe patiënten een vragenlijst uit te reiken bij aanvang van hun behandeling, hun daarop volgende evaluaties, en bij afronding van de behandeling. Patiënten die bij aanvang van de pilot reeds in behandeling waren, zijn buiten het onderzoek gehouden. Voor het invoeren, opslaan en verwerken van de gegevens kregen de afdelingen de beschikking over het softwareprogramma CDL-Java, en voor het monitoren van de dataverzameling is een excel-sheet aangereikt. De daadwerkelijke dataverzameling is in februari 2007 gestart. Behalve door middel van de bijeenkomsten van de hierboven genoemde projectgroep heeft de onderzoeker ook voortdurend zicht gehouden op de gang van zaken door middel van bilaterale contacten met de procesbewakers en de afdeling applicatiebeheer. De externe begeleiding door PI Research en Collegio kreeg vorm door de zogeheten platformbijeenkomsten met andere deelnemende instellingen waar ervaringen werden uitgewisseld. Daarnaast vond een bijeenkomst plaats van de projectgroep met een medewerker van PI Research en Praktikon met als thema de onderzoekslogistiek. Tenslotte zijn er gedurende het traject telefonische en e-mail contacten geweest tussen alle betrokkenen.

44

In juni 2007 vond een tussentijdse evaluatie plaats. Als basis voor dat gesprek, waar ook de Raad van Bestuur van Triversum bij was betrokken, gold een notitie waarin de stand van zaken van dat moment is vergeleken met de criteria “best practice praktijkgestuurd effectonderzoek”. Wat er tot op heden goed en minder goed is gegaan kan het best worden besproken aan de hand van drie thema’s, te weten: logistiek, software, en benutting van gegevens. Het zijn drie thema’s die nauw met elkaar samenhangen en elkaar over en weer sterk beïnvloeden 2.3.2 Logistiek Het doen van onderzoek staat of valt met de kwaliteit van de gegevensverzameling. Voor het kunnen beschikken over voldoende, en ook juiste, gegevens, is de onderzoeker die werkt met zelfrapportage vragenlijsten zoals in ons onderzoek het geval is, aangewezen op de patiënt en/of diens ouders. Deze moeten immers de lijst invullen. Daarnaast is de onderzoeker aangewezen op medewerkers van de afdelingen waar het onderzoek zich afspeelt, want zij moeten ervoor zorgen dat de patiënt/ouder op het juiste moment de juiste lijst krijgt voorgelegd. Zoals gezegd is voor elke deelnemende afdeling de procedure voor gegevensverzameling beschreven en gaandeweg op geleide van de ervaringen aangepast. Al snel werd duidelijk dat ook aan details veel aandacht geschonken moet worden. Zo lijkt er geen twijfel te bestaan over wat onder het begrip ‘aanvang van de behandeling’ moet worden verstaan. In de praktijk bleek dit echter niet altijd duidelijk te zijn en moest zodoende nader worden gedefinieerd wat met dit begrip bedoeld wordt. Anderzijds moest weerstand worden geboden aan de neiging te komen tot een 100% sluitende richtlijn die alle verrassingen zou uitsluiten, want daardoor zou een veel te lange betuttelende tekst ontstaan. Op dit moment wordt nog gewerkt aan het verbeteren van de beschrijvingen van de logistieke procedures. Duidelijk is dat de logistiek op de (dag)klinieken relatief het eenvoudigst is. Begin en einde van de behandeling (opname) zijn hier duidelijk gemarkeerd. Ook de momenten voor een tussenmeting zijn duidelijk, doordat de patiënt steeds op gezette tijden door het volledige team wordt geëvalueerd. Tot slot is ook het monitoren van de dataverzameling een relatief overzichtelijke klus daar het per afdeling steeds om een beperkt aantal patiënten gaat. Op de Kinderdagkliniek krijgt 100% van de ouders op het juiste moment (bij aanvang en tussentijds) de vragenlijsten uitgereikt, en daarvan komt ook bijna 100% ingevuld retour. Op de Jeugdkliniek (JVB-A en B) zijn het zowel ouders als jongeren die een vragenlijst moeten ontvangen. Tot dusver hebben alle jongeren en ouders die een vragenlijst bij aanvang moesten krijgen deze ook daadwerkelijk gekregen (100%). Daarvan is 100% ingevuld retour gekomen. Bij de tussenmetingen is 100% van de lijsten uitgedeeld, daarvan is 70% ingevuld retour gekomen, al kostte dat soms veel inzet van de procesbewaker. Op de polikliniek is de logistieke problematiek weerbarstiger. Er zijn ook meer vragen rond bijvoorbeeld het wel/niet mee laten tellen van medicamenteuze behandelingen, babybehandelingen, het starten van groepsbehandelingen, het niet tegelijkertijd opstarten van individuele behandeling en ouderbegeleiding, en de gevolgen die dit heeft of moet hebben voor de meetsystematiek. Op de polikliniek wordt tot op heden bij aanvang ongeveer 65% van de uit te reiken lijsten daadwerkelijk uitgereikt. Daarvan komt bijna 100% ingevuld retour. Bij de tussentijdse metingen (waarbij we dus meer afhankelijk zijn van de hulpverlener) wordt slechts 15% uitgereikt. Daarvan komt 100% ingevuld retour. Met eindlijsten is tot op heden nog nauwelijks ervaring opgedaan.

45

Behalve bij een duidelijke beschrijving van de logistieke procedure is een hoge respons ook waarschijnlijker wanneer de personen die in die procedure een rol spelen, de bereidheid en de discipline hebben om de hen toevallende taken daadwerkelijk uit te voeren. Hier ligt een knelpunt. Het zijn namelijk de hulpverleners zelf die een cruciale rol spelen in het uitzetten en innemen van de vragenlijsten. Vanuit professioneel oogpunt ziet men wel de voordelen van deze meer geobjectiveerde manier van resultaatmeting. De administratieve lastendruk is met name op de poliklinieken de laatste jaren echter dramatisch toegenomen, waarbij van hulpverleners ook registratie en administratie wordt gevraagd van allerlei zaken die minder aan het primaire proces gerelateerd zijn en ervaren worden als bureaucratische ballast. Daarnaast neemt de productiedruk toe. Met dit alles neemt de bereidheid en de mogelijkheid voor hulpverleners af om tijd te besteden aan activiteiten die niet van onmiddellijk belang zijn voor de voortgang van de behandeling. Hierbij speelt natuurlijk ook een rol dat de hulpverleners aanvankelijk zelf (nog) niets met de uitkomsten van de lijsten konden doen, terwijl dit wel de opzet van praktijkgestuurd onderzoek is. Gaandeweg het proces vatte bij de onderzoeker de gedachte post dat het wellicht toch beter was geweest bij aanvang van de pilot álle patiënten (oud en nieuw) op de daartoe afgesproken momenten een vragenlijst te laten invullen. Het inslijpen van routine bij de hulpverleners zou daardoor mogelijk makkelijker zijn gegaan. Het zoveel mogelijk versimpelen van administratieve en registratietaken, en het weghalen van dergelijke taken bij de hulpverleners als ze ook door anderen kunnen worden gedaan, zal de aandacht voor het werken met behandelingsgerelateerde lijsten ten goede komen. Verder helpt het wanneer de logistiek simpel van opzet is en de resultaten snel beschikbaar komen in een aantrekkelijke vorm. Hierbij kan softwarematige ondersteuning een rol spelen.

2.3.3 Software Voor het verzamelen, opslaan, analyseren en presenteren van onderzoeksgegevens kunnen we niet zonder goede ondersteuning door ICT. Vanaf het begin van het project was dit duidelijk. Aanvankelijk hadden we zelfs de hoop dat het hele onderzoek webbased gedaan zou kunnen worden en dat de patiënten thuis achter de computer de nodige vragenlijsten zouden kunnen invullen die dan automatisch zouden worden opgeslagen in een centrale database. Hulpverleners zouden ontlast worden doordat afdelingssecretaressen op daartoe aangewezen momenten de patiënt of de ouders een e-mail zouden sturen met inlogcode voor het internet, zodat de vragenlijsten thuis konden worden ingevuld. In de praktijk is een dergelijke werkwijze ook realiseerbaar. In Groot-Brittannië functioneert bijvoorbeeld sinds 2002 het project CAMHS-CORC, dat van een dergelijke opzet gebruik maakt. In Nederland bestaat tenminste één computerprogramma met soortgelijke functionaliteit: Questmanager. Het is echter een duur programma dat nog in de kinderschoenen staat. Bovendien is nog niet duidelijk of dit programma of iets anders de standaard binnen de GGZ zal gaan worden. Ook blijkt het programma veel meer mogelijkheden te bevatten dan in het huidige stadium van het project nodig is. In feite gaat Questmanager de kant op van een Elektronisch Patiënten Dossier (EPD), terwijl Triversum op termijn waarschijnlijk het EPD uit USER gaat gebruiken. Na onderzoek en overleg met andere instellingen is medio 2006, nog vóór de subsidieaanvraag, gekozen voor het programma CDL-Java, een veel eenvoudiger en goedkoper alternatief. Toen het project de gesubsidieerde fase in ging bleken veel instellingen die aan Zicht op Effectiviteit deelnamen, te werken met het programma BergOp, terwijl Triversum zich min of meer had gecommitteerd aan CDL-Java. Er is besloten op dat moment

46

niet meteen de overstap te maken. Er waren immers meer bij het project betrokken instellingen die nog geen definitieve keuze hadden gemaakt. De vraag was bovendien of BergOp niet teveel op de Jeugdhulpverlening was toegesneden. Daarnaast leek binnen “Zicht op Effectiviteit” nog weinig tot geen aandacht aan alternatieven besteed te zijn. Tot slot was ook een argument dat een grote onderzoeksafdeling van een centrum voor psychiatrie waarmee al in een eerdere fase contacten waren, tot aanschaf van CDL over ging. Dat CDL nog niet was uitontwikkeld zag Triversum, in tegenstelling tot de externe begeleiders die bang waren dat Triversum opnieuw het wiel moest gaan uitvinden, als een mogelijkheid iets binnen te halen wat meer op maat zou kunnen worden gemaakt. Halverwege het project heeft Triversum de overstap wel moeten maken, omdat CDL niet naar wens bleek te functioneren en dat ook niet op korte termijn leek te zullen gaan doen, terwijl inmiddels de functionaliteit van BergOp was uitgebreid met de mogelijkheid tot een effectmeting op individueel patiëntniveau. Over die overstap is Triversum beslist tevreden, ondanks het feit dat ook BergOp nog het nodige te wensen overlaat. Zo is het binnen dit programma nog niet mogelijk een onderscheid te maken tussen lees- en schrijfrechten. Ook moet de import van gegevens uit de patiëntenadministratie (USER) handmatig gebeuren. Een beeldende weergave van het behandelingsverloop, bijvoorbeeld door alle meetuitslagen van een individuele patiënt in een grafiek weer te geven, behoort ook nog tot het wensenpakket. Belangrijk is hier te vermelden dat Triversum de ondersteuning vanuit de landelijke projectgroep bij het beoordelen van de softwarematige mogelijkheden en beperkingen als minder toereikend heeft ervaren. In de loop van het project is veel geput uit het “Bronnenboek voor praktijkgestuurd onderzoek in de jeugdzorg” en uit de uitwisseling van ervaringen met andere deelnemers, zeker wanneer het gaat om de logistieke problemen en het belang van een goede inbedding en een goed draagvlak binnen de organisatie. In het Bronnenboek staat echter over de diverse softwaremogelijkheden nagenoeg niets, terwijl de meeste andere instellingen ook niet veel andere mogelijkheden leken te hebben onderzocht. Dat resulteerde in een vrij eenzame zoektocht waarbij ook het ontbreken van onderzoeksexpertise binnen Triversum zelf zich heeft gewroken. Een en ander heeft ertoe geleid dat Triversum er pas recent, in oktober, in slaagde alle hulpverleners de beschikking te geven over BergOp waarmee zij de vragenlijstgegevens van de patiënten van hun eigen afdeling, en de eventuele (tussentijdse) behandelingseffecten konden bekijken. CDL-Java was namelijk voor het opslaan van de gegevens wel geschikt, maar voor de feedback absoluut niet. Daarmee kwam een instrument dat ook moest dienen ter verdere motivering van de hulpverleners dus pas zeer laat in de looptijd ter beschikking. Bovendien heeft dat ertoe geleid dat de benutting van de individuele onderzoeksgegevens pas laat van de grond is gekomen, terwijl dat toch ook één van de kernpunten uit het project was. 2.3.4 Benutting Tijdens de looptijd is het al aanwezige besef dat het meten van behandelingsresultaten op zo kort mogelijke termijn iets concreets voor de betrokken hulpverleners moet opleveren alleen maar toegenomen. Uitsluitend meten vanuit een “academische” interesse of voor externe stakeholders als de zorgverzekeraar, is minder zinvol. Vandaar dat een begin- en een eindmeting alléén, met aan het eind van elk jaar een analyse op groepsniveau, ons minder zinvol voorkomt. Mede daarom zijn tussentijdse metingen in het onderzoek ingebouwd, die op relevante momenten (de evaluatiemomenten van patiënten) de hulpverlener informatie verschaffen die voor verder planning van de behandeling benut kunnen worden.

47

Helaas hebben de verwikkelingen rond het vinden en implementeren van geschikte software ertoe geleid dat pas vanaf oktober de vlotte feedback naar hulpverleners beschikbaar is. Er is daarom nog weinig ervaring met de vraag of en hoe de hulpverleners de gegevens benutten en hun eventuele wensen omtrent de gegeven feedback. Ook kan nog niet worden gezegd of deze vorm van snelle feedback het enthousiasme van de hulpverleners en daarmee mogelijk de respons ook werkelijk, zoals gehoopt, ten goede komt. Deze doelstelling van vlotte beschikbaarheid is dus veel later behaald dan verwacht. Pas in de tweede helft van december zal iets zinnigs gezegd kunnen worden over de reactie van de hulpverleners erop. Naast benutting van de gegevens op individueel niveau kunnen deze ook benut worden op geaggregeerd niveau. De analyse van de verzamelde gegevens op groepsniveau is bewust zo lang mogelijk uitgesteld, met de bedoeling zoveel mogelijk data in de verwerking te betrekken. Nog steeds is de hoeveelheid data te gering om stevige conclusies over bevindingen op groepsniveau te trekken, maar een eerste voorbeeld hoe de rapportage op groepsniveau er in de toekomst kan uitzien is beschikbaar. In de volgende paragraaf zullen de eerste resultaten worden gepresenteerd.

2.4. Uitkomsten op groepsniveau 2.4.1 Respons De dataverzameling is gestart op 1 februari 2007. Vanaf dit moment is het de bedoeling dat alle cliënten (of hun ouders) bij wie geïndiceerde hulp van start is gegaan aan de beginmeting mee doen. Na verloop van tijd, en/of aan het eind van de behandeling, zijn cliënten opnieuw benaderd voor het invullen van vragenlijsten. Voor de jeugdkliniek (JVB-A / JVB-B) geldt dat bij aanvang van de behandeling de NOSIK aan de ouders wordt uitgereikt en de SDQ aan de jongere. Bij de tussenmetingen wordt alleen de SDQ bij de jongere afgenomen. De meting die samenvalt met het einde van de behandeling bestaat uit de NOSIK, ingevuld door de ouders, en de SDQ ingevuld door de jongere. Bij de kinderkliniek te Alkmaar worden, gezien de leeftijd van de kinderen, alleen aan de ouders vragenlijsten voorgelegd. Bij aanvang zijn dat de NOSIK en de (ouderversie van de) SDQ. Bij de tussenmetingen wordt alleen de SDQ ingevuld. Bij beëindiging van de behandeling worden zowel de NOSIK als de SDQ uitgereikt. Voor de polikliniek te Hoofddorp geldt dat bij aanvang zowel de NOSIK als de SDQ worden afgenomen. De NOSIK wordt altijd door de ouders ingevuld, wie de SDQ invult is afhankelijk van de leeftijd van de jongere. Is de jongere jonger dan 12 jaar, dan vullen de ouders de SDQ in. Is de jongere ouder dan 12 jaar, dan vult hij de vragenlijst zelf in. Bij de tussenmeting wordt alleen de SDQ afgenomen. Bij beëindiging van de behandeling is de procedure hetzelfde als bij de aanvang van de behandeling. De respons is het aantal cliënten dat de vragenlijsten op een bepaald meetmoment heeft ingevuld, gedeeld door het aantal gestarte behandelingen. De vier onderstaande tabellen geven de respons op de diverse meetmomenten weer. Tabel 1 brengt de respons bij aanvang van de behandeling in kaart, tabel 2 de respons tijdens de eerste tussenmeting, tabel 3 de respons op de tweede tussenmeting en tabel 4 zegt iets over de respons bij het einde van de behandeling. Gezien het feit dat de peildatum waarop de respons per afdeling is bepaald niet exact dezelfde is als de datum waarop de data zijn geëxporteerd kan het voorkomen dat de respons hoger uitvalt dan 100%. Zo blijkt bijvoorbeeld uit tabel 1 dat er volgens het aangeleverde overzicht van de jeugdkliniek (JVB-A en JVB-B) twaalf behandelingen zijn

48

gestart terwijl er in het databestand twee NOSIK’s en één SDQ meer zijn aangetroffen, hetgeen er waarschijnlijk op duidt dat er inmiddels twee nieuwe behandelingen zijn gestart. Tabel 1. Respons bij aanvang Afdeling JVB-A / JVB-B Kinderkliniek Alkmaar

Aantal gestarte behandelingen 12

15

Polikliniek Hoofddorp

66

Aantal vragenlijsten

Vragenlijst

Cliënten

Respons %

NOSIK

14

14

117%

SDQ-jongere

13

13

108%

NOSIK

13

13

87%

SDQ-ouders

13

13

87% 58%

NOSIK

39

38

SDQ-jongere

13

13

SDQ-ouders

33

32

68%

Tabel 2. Respons bij de 1e tussenmeting Afdeling JVB-A / JVB-B Kinderkliniek Alkmaar

Aantal 1e tussenmetingen 7

6


13

Vragenlijst


Cliënten

Respons %

NOSIK

1

1

-

SDQ-jongere

3

3

43%

NOSIK

-

-

-

SDQ-ouders

5

5

83% -

NOSIK

-

-

SDQ-jongere

1

1

SDQ-ouders

1

1


Cliënten

13%

Tabel 3. Respons bij tweede tussenmeting Afdeling JVB-A / JVB-B Kinderkliniek Alkmaar

Aantal 2e tussenmetingen 2

2


n.v.t.

Vragenlijst

Respons %

NOSIK

1

1

-

SDQ-jongere

2

2

100%

NOSIK

-

-

-

SDQ-ouders

-

-

0%

NOSIK

-

-

-

SDQ-jongere

-

-

-

SDQ-ouders

-

-

-


Cliënten

Respons %

Tabel 4. Respons bij einde behandeling Afdeling JVB-A / JVB-B Kinderkliniek Alkmaar

Aantal beëindigde behandelingen 1

0


4

Vragenlijst NOSIK

1

1

100%

SDQ-jongere

1

1

100%

NOSIK

-

-

0

SDQ-ouders

1

1

0 0%

NOSIK

-

-

SDQ-jongere

-

-

SDQ-ouders

-

-

49

0%

Als we de vuistregel hanteren die door Veerman en Roosma19 gegeven worden op basis van praktijkonderzoek, dan kan een respons van 60 – 74% bij een meting worden gekwalificeerd als matig, en een respons van 75 – 89% als redelijk. Uit bovenstaande tabellen blijkt dat er tot op heden voornamelijk vragenlijsten zijn ingevuld bij aanvang van de behandeling. Met name op de jeugdkliniek (JVB-A en JVB-B) en op de kinderkliniek is er sprake van een goede respons. De respons op de polikliniek in Hoofddorp ligt een stuk lager. Op het overzicht van deze afdeling blijkt dat er weliswaar 66 behandelingen zijn gestart, maar dat slechts aan 44 van de 66 cliënten vragenlijsten zijn uitgereikt. Deze cliënten tellen echter wel mee bij het berekenen van de respons. Verder valt het op dat er bij de tussentijdse metingen ook NOSIK’s zijn aangetroffen in het databestand, terwijl dit volgens de afgesproken procedure niet de bedoeling is. Tijdens de tussenmetingen zou namelijk alleen de SDQ worden afgenomen. Mogelijk is er sprake van een invoerfout.

2.4.2 Berekening van de scores Om de uitkomsten te berekenen is gebruik gemaakt van deviatiescores. Deze worden als volgt berekend. In het onderzoek is gebruik gemaakt van gestandaardiseerde en genormeerde vragenlijsten: de SDQ en de NOSIK. Van beide vragenlijsten zijn Nederlandse populatienormen beschikbaar. Daardoor is het mogelijk bij iedere individuele score uit te rekenen, hoeveel deze score afwijkt van het landelijk gemiddelde binnen de normgroep voor de betreffende vragenlijst (deviatie = afwijking). Door deze afwijkingsscore te delen door de standaardafwijking van de landelijke scores ontstaat de zgn. normatieve deviatiescore, oftewel deviatiescore. In formule:

Deviatiescore =

(Behaalde score – Landelijk gemiddelde score) Standaardafwijking van landelijk gemiddelde

Een deviatiescore van 0 betekent dat de behaalde score op een vragenlijst gelijk is aan – oftewel niets afwijkt van - het landelijk gemiddelde voor de betreffende vragenlijst. Een deviatiescore van +1 betekent dat een score één standaardafwijking boven het landelijk gemiddelde ligt. Dit houdt per definitie in dat slechts 15% van de bevolking hoger scoort (of lager, in geval van een score van -1). Zo is voor elke deviatiescore aan te geven welk percentage van de bevolking hoger (of laag) scoort. Deze percentages van de bevolking met de bijbehorende interpretaties van deviatiescores staan in tabel 5. Tabel 5. Interpretatie van deviatiescores Deviatiescore Percentielscore Label > 1,96 1,65 - 1,96 1,29 - 1,64 0,80 - 1,28 < 0,80

> 97,5% 95% - 97,5% 90% - 95% 79% - 90% < 79%

Betekenis

Zeer ernstige problemen Ernstige problemen Aanzienlijke problemen Matige problemen Geen problemen

Problematiek verdient behandeling Problematiek verdient aandacht Geen problemen van betekenis

Het grote voordeel van het gebruik van deviatiescores is dat de uitkomsten van verschillende vragenlijsten onderling vergelijkbaar zijn. Zo wijst een deviatiescore van 1,30 op de SDQ op aanzienlijke (gedrags)problemen, waarbij slechts 10% van de normale bevolking een gelijke 19

Veerman, J.W., & Roosma, D. (2006). Wat komt er allemaal bij kijken? Onderzoekslogistiek in de praktijk van de jeugdzorg. In: T.A. van Yperen & J.W. Veerman (Red.). Zicht op effectiviteit. Bronnenboek voor praktijkgestuurd effectonderzoek in de jeugdzorg. Deel III. Utrecht / Nijmegen: NIZW / Praktikon.

50

of hogere score heeft, en hetzelfde geldt voor de NOSIK. Als vuistregel kan gelden dat deviatiescores groter dan 1 wijzen op matige problematiek en scores groter dan 2 op zeer ernstige problematiek.

2.4.3 Problematiek op verschillende meetmomenten Gedragsproblemen

De gedrags- en emotionele problemen van de jongere zijn gemeten met behulp van de ouderversie van de SDQ, ook wel de Sterke Kanten en Moeilijkheden Vragenlijst genoemd. De SDQ bevat vijf schalen met ieder vijf vragen. Vier schalen meten de problemen, te weten (1) emotionele problemen, (2) gedragsproblemen, (3) hyperactiviteit / aandachttekort en (4) problemen met leeftijdsgenoten. Deze vier schalen samen vormen de totale gedragsproblemen. De vijfde schaal is positief geformuleerd; pro-sociaal gedrag. Met de SDQ kan een Totale Probleemscore worden berekend. De 25 items zijn geformuleerd aan de hand van stellingen (bijvoorbeeld: ‘Mijn kind houdt rekening met gevoelens van anderen’). Bij elk item kan gekozen worden uit het antwoord ‘niet waar’, ‘een beetje waar’, of ‘zeker waar’. In tabel 6 zijn de gemiddelde deviatiescores op de schaal Totale Probleemscore van de SDQ weergegeven, opgesplitst per behandelvorm en meetmoment. Aangezien in deze tabel alleen de scores van de SDQ’s die door de ouders zijn ingevuld worden weergegeven, komt de jeugdkliniek (JVB-A en JVB-B) niet in de tabel voor. Niet de ouders, maar de jongeren zelf hebben namelijk een SDQ ingevuld (zie tabel 8). Tabel 6. Deviatiescores Totale Probleemscore (SDQ) per behandelvorm en meetmoment Aanvang Afdeling

1e Tussentijdse meting n

Gem.


Gem.

Einde

n

Gem.

n

Kinderkliniek Alkmaar

12

3,33

5

2,89

-

1


32

2,26

1

0,62

-

-

Gem. 0,81

Zowel voor de jongeren van de kinderkliniek als de jongeren van de polikliniek geldt dat zij bij aanvang van de behandeling, naar het oordeel van hun ouders, zeer ernstige problemen hebben (deviatiescores bedragen 3,33 respectievelijk 2,26). De gemiddelde deviatiescore over de hele groep bij aanvang (n = 44) is 2,55 (standaardafwijking = 1,20). Bij de eerste tussentijdse meting is de gemiddelde deviatiescore voor jongeren op de kinderkliniek nog steeds hoog. Aangezien het slechts vijf vragenlijsten betreft, moet deze score met de nodige terughoudendheid worden geïnterpreteerd. Op de polikliniek in Hoofddorp is slechts voor één jongere tussentijds een SDQ ingevuld. Deze deviatiescore van 0,62 duidt op geen problemen van betekenis. Opvoedingsstress

Opvoedingsstress is gemeten met de verkorte versie van de NOSI, de NOSIK. De NOSIK richt zich op het gezin als opvoedingssysteem en gaat na in hoeverre er in de beleving van ouders sprake is van een zekere mate van stress of belasting vanuit diverse bronnen binnen de context van de opvoeding van een kind. In tabel 7 staan de gemiddelde deviatiescores op de schaal Totale opvoedingsstress, per behandelvorm en meetmoment. Zoals uit de tabel blijkt is er bij alle afdelingen sprake van een ernstige tot zeer ernstige opvoedingsstress bij aanvang van de behandeling. De

51

gemiddelde deviatiescore over de hele groep bij aanvang (n = 64) is 2,57 (met een standaardafwijking van 1,53). Tabel 7. Deviatiescores Opvoedingsstress (NOSIK) per behandelvorm en meetmoment. Aanvang

1e Tussenmeting

2e Tussenmeting

n

n

Einde

Afdeling n

Gem.

Gem.

JVB-A / JVB-B

14

3,62

1

Kinderkliniek Alkmaar

13

3,30

-

-

-


37

1,92

-

-

-

-

1

Gem.

n

-

1

Gem. 4,68

Gedragsproblemen en Opvoedingsstress tezamen

In figuur 1 zijn de gedragsproblemen en de opvoedingsstress (bij aanvang van de behandeling) bij dezelfde cliënten naast elkaar gezet. Aangezien het gedragsproblemen betreft, zoals die door ouders zijn beoordeeld, komen in deze figuur alleen de kinderkliniek in Alkmaar (n=13) en de polikliniek in Hoofddorp (n=29) voor.

3,5 3

Deviatiescore

2,5 2

Gedragsproblemen Opvoedingsstress

1,5 1 0,5 0 Alkmaar

Hoofddorp

Figuur 1. Gedragsproblemen en Opvoedingsstress tezamen

Het blijkt dat de cliënten van de kinderkliniek hoger scoren zowel wat betreft gedragsproblemen als opvoedingsstress, deze waarden liggen dicht bij elkaar. De gemiddelde deviatiescore op gedragsproblemen is 3,33 (met een standaardafwijking van 0,65), de gemiddelde deviatiescore op opvoedingsstress is 3,30 (met een standaardafwijking van 0,96). De populatie van de polikliniek in Hoofddorp scoort lager zowel op gedragsproblemen als op opvoedingsstress. Ook deze waarden blijken niet veel van elkaar te verschillen. De gemiddelde deviatiescore op gedragsproblemen is 2,14 (met een standaardafwijking van 1,18), de gemiddelde deviatiescore op opvoedingsstress is 2,26 (met een standaardafwijking van 1,30). Voor beide afdelingen geldt dat de problematiek ernstig is.

52

Zelfbeleving jongeren

Naast de ouderversie van de SDQ is er ook een versie voor jongeren zelf. Het betreft exact dezelfde vragenlijst, maar nu zijn de vragen afgestemd op de jongere zelf. Tabel 8. Deviatiescores Gedragsproblemen (SDQ) per behandelvorm en meetmoment Aanvang Afdeling


Gem.

2e Tussentijdse meting

n

Gem.

n

JVB-A / JVB-B

13

2,17

3

1,52

2


13

0,30

1

0,02

-

Gem. -1,00

Einde n 1

Gem. 2,67

-

Zoals uit tabel 8 blijkt is er bij de jeugdkliniek sprake van zeer ernstige gedragsproblemen bij aanvang van de behandeling. Uit de deviatiescore op de polikliniek in Hoofddorp blijkt dat de jongeren zichzelf geen gedragsproblemen toeschrijven. De gemiddelde deviatiescore over de hele groep bij aanvang (n=26) is 1,24 (met een standaardafwijking van 1,49). De relatief lage scores voor gedragsproblemen bij de polikliniek, beoordeeld door de jongeren zelf, zijn niet uitzonderlijk. Het is een terugkerend gegeven bij zelfrapportage van gedragsproblemen, dat ─ bij gebruik van verschillende soorten vragenlijsten, zoals gestructureerde interviews, de SDQ ─ jongeren met gedrags- of emotionele problemen over het algemeen laag scoren. Blijkbaar kunnen of willen de jongeren zelf dit soort problematiek bij zichzelf moeilijk onderkennen, terwijl anderen wel problemen signaleren. Het is namelijk ook zo dat er steeds lage correlaties worden gevonden tussen de scores van ouders en leerkrachten enerzijds en de jongeren zelf anderzijds, bij gebruik van instrumenten die parallelle versies kennen voor ouders, leerkrachten en jongeren20.

2.5 Conclusies en aanbevelingen 2.5.1 Conclusies Welke conclusies kunnen worden getrokken uit de ervaringen van de afgelopen tijd, en wat is raadzaam om te doen met het oog op de verdere voortgang van het project na 1 januari 2008? De belangrijkste conclusie is dat het gelukt is om op drie verschillende afdelingen van Triversum een begin te maken met het meten van behandelingsresultaten op individueel en op groepsniveau. Tegelijkertijd moet worden vastgesteld dat men er nog onvoldoende in is geslaagd de medewerkers (en de patiënten) hiervan te laten profiteren, als gevolg van het laat ter beschikking komen van adequate software. Op zich zijn de gegenereerde gegevens, onder meer omdat er behalve een begin- en een eindmeting, ook één of meer tussenmetingen zijn, op individueel niveau in de loop van de behandeling zeker bruikbaar.

20

Kroes, G. (2006). The perception of child problem behavior. The role of informant personality and context. Nijmegen: Praktikon. Van Widenfelt, B.M., Goedhart, A.W., Treffers, P.D.A., & Goodman, R. (2003). Dutch version of the Strengths and Difficulties Questionnaire (SDQ). European Child & Adolescent Psychiatry, 12, 281-289.

53

Verder kan worden geconstateerd dat de meningen over de bruikbaarheid van de lijsten op zich verschillen. Op de jeugdafdeling(en) vindt men de SDQ voor de eigen patiëntenpopulatie minder geschikt. De lijst zou onvoldoende gevoelig zijn voor het type verbeteringen dat met deze doelgroep kan worden bereikt. Daarnaast heeft men de indruk dat de lijst voor veel jongeren toch aan de moeilijke kant is. Een andere vaststelling is dat in de keten: dataverzameling – data-invoer – dataverwerking – data-analyse – rapportage op groepsniveau, de zwakste schakel het verzamelen van de data is, en het monitoren daarvan. In de (dag)kliniek loopt dit om verschillende en begrijpelijke redenen beter dan op de polikliniek. Dataverzameling en – monitoring legt, zeker op de polikliniek, een redelijk aanzienlijk tijdsbeslag. De expertise binnen Triversum op het gebied van onderzoeksmethodologie en onderzoeksmanagement is in de loop van het project wel toegenomen, maar nog steeds ontoereikend. Het “Bronnenboek voor praktijkgestuurd onderzoek in de jeugdzorg” is een aanwinst voor praktijkonderzoekers en vult een leemte in de bestaande (zeker de Nederlandstalige) literatuur. Er is dan ook veel gebruik van gemaakt. Wel moet worden opgemerkt dat tussen de verschillende vormen van ondersteuning die er tijdens het project waren (Bronnenboek, effectiviteitplatform en losse ondersteuningsmodules) soms de nodige overlap bestond. Verder zou het de onderlinge uitwisseling ten goede komen indien het project Zicht op Effectiviteit meer instellingen voor (kinderen jeugd) psychiatrische hulpverlening zou aantrekken.

2.5.2 Aanbevelingen Op grond van een en ander kunnen de volgende aanbevelingen worden gedaan voor het vervolgtraject binnen Triversum: • Besteed de komende tijd aan het optimaliseren van de procedures voor dataverzameling op de drie pilotafdelingen, met name de polikliniek. Doelstelling zou kunnen zijn: 90% van de lijsten die móeten worden uitgereikt wórdt ook daadwerkelijk uitgereikt, en van de uitgereikte lijsten is het responspercentage 90%. Voor de (dag)kliniek blijkt dit al haalbaar, voor de polikliniek zullen de streefcijfers wat lager moeten liggen. Houd in de personeelsformatie expliciet rekening met de tijd die nodig is voor procesbewaking. Het is van essentieel belang dat binnen de afdeling iemand wordt belast met het monitoren van de dataverzameling en dat deze functionaris ook kan ingrijpen wanneer het proces van dataverzameling dreigt te stagneren. • Gebruik de komende tijd om de daadwerkelijke benutting van de individugebonden gegevens in de loop van de behandeling, te bevorderen. Streven kan zijn om in elk geval tijdens elke evaluatiebespreking de scores van de betreffende patiënt paraat te hebben en in de evaluatie te betrekken. Enthousiasme van gebruikers kan de uitrol daarna vergemakkelijken, kritiek geeft aanknopingspunten voor verbeteringen. Behalve dat hulpverleners zelf de meetgegevens bij aanvang, evaluatie en einde behandeling benutten is het ook van belang dat de uitkomsten op individueel niveau met de patiënten zelf worden besproken. De gegevens kunnen een rol spelen bij het plannen van de verdere duur van de behandeling en bij het stellen van (sub)doelen voor de behandeling. • Stel de uitrol van het project naar andere afdelingen uit tot het moment dat op bovenstaande punten duidelijke resultaten zijn te melden. Spreek evaluatiemomenten af en criteria waaraan moet zijn voldaan alvorens uitgerold kan worden. Dat zal op de (dag)kliniek eerder het geval zijn dan op de polikliniek. Rol dan uit naar Kinderkliniek

54

• •

•

Hoofddorp, de polikliniek Zaandam, JVB-C en D, en nog weer later naar de overige afdelingen. Kies bij de start op een nieuwe afdeling in principe voor het betrekken van álle patiënten bij het onderzoek, en niet uitsluitend de nieuwe; Stel een onderzoeker aan met kennis van/ervaring in praktijkonderzoek en onderzoeksmanagement, of zorg anderszins dat Triversum over deze expertise kan beschikken; Volg (en participeer eventueel in) de verdere ontwikkeling van BergOp maar ga tegelijkertijd na of in het EPD van USER een module met de functionaliteit van BergOp zou kunnen worden ingebouwd. Dit kan met betrekking tot snelheid van invoer, koppeling van gegevens, en gebruiksvriendelijkheid zeker voordelen hebben. Ga na welke keuzes andere GGZ-instellingen voor kinderen en jeugdigen op dit vlak maken, maar ook wat de internationale ontwikkelingen zijn (CAMHS-CORC bijvoorbeeld); Ga na of de gehoorde bezwaren tegen de SDQ realistisch zijn en zo ja, hoe daar dan aan tegemoet kan worden gekomen.

55

56

Hoofdstuk 3 Zicht op Effectiviteit bij Tender Coleta van Dam, Eefje Strijbosch, Saar Arts, Geert Verdaasdonk en Mariette van Brandenburg

Inhoudsopgave 3.1 Inleiding 3.1.1 Behandelvisie 3.1.2 Organisatie behandelaanbod 3.1.3 Dienst Kennis en Innovatie 3.1.4 Deelname Zicht op Effectiviteit 3.2 Plan van aanpak 3.2.1 Taken stuurgroep, projectgroep, projectleider 3.2.2 Doelen 3.3 Procesresultaten 3.3.1 Implementatie cliënttevredenheid Tenderbreed 3.3.2 Implementatie doelrealisatie en probleemreductie op drie pilotafdelingen 3.3.3 Overige doelen 3.3.4 Knelpunten 3.3.5 Ervaringen van Tender met Zicht op Effectiviteit 3.4 Resultaten instrumenten 3.4.1 Cliënttevredenheid: C-toets 3.4.2 Probleemreductie: CBCL en SDQ 3.5 Conclusie en aanbevelingen 3.5.1 Ontwikkelingen binnen Tender 3.5.2 Doelstellingen Zicht op Effectiviteit 3.5.3 Procesverloop 3.5.4 Hoe gaat Tender verder? 3.5.5 Effectiviteitsonderzoek als onderdeel van het dagelijks handelen Bijlage 3.1 Bijlage 3.2 Bijlage 3.3 Bijlage 3.4 Bijlage 3.5

57

58

3.1 Inleiding Tender is op 1 januari 2003 ontstaan uit een fusie van Stichting Jeugdhulp West-Brabant (SJWB) en Medisch-Pedagogische Instellingen West-Brabant (MPI). De SJWB had vooral ervaring met de oudere jeugd, de MPI met de jongere jeugd. Door deze fusie heeft Tender een breed jeugdzorgaanbod (ambulante hulp, dagbehandeling en – open en besloten – residentiële voorziening) in de regio West-Brabant voor de leeftijdscategorie 0-18 jaar. Jongeren en/of hun ouders worden bij Tender aangemeld op basis van een indicatiestelling van Bureau Jeugdzorg of Centrum Indicatiestelling Zorg. Tender richt zich op jeugdigen en gezinnen met opvoedings- en opgroeiproblemen en heeft jaarlijks zo’n 1500-2000 cliënten. 3.1.1 Behandelvisie Uitgangspunt bij de behandeling is dat jeugdigen en hun ouders zoveel mogelijk in de eigen leefomgeving worden geholpen. Bij jongere kinderen ligt de nadruk op behandeling in en om het gezin, bij oudere kinderen ligt de nadruk op individuele begeleiding, waarbij nadrukkelijk aandacht is voor samenwerking met en gebruikmaking van hulpbronnen uit hun eigen netwerk. Ambulante zorg heeft de voorkeur boven residentiële zorg, maar als de intensieve residentiële zorg nodig is, wordt deze geboden. De missie21 van Tender is: Tender is een organisatie voor jeugdzorg. Wij bieden kansen aan kinderen, jongeren en gezinnen bij wie het opgroeien of opvoeden niet vanzelf gaat. Wij gaan uit van de eigen kracht van de cliënt en kiezen samen voor de juiste aanpak. Wij werken zo veel mogelijk in de eigen kontekst en bieden speciale zorg indien nodig. Daarbij bereiken wij meer door ketensamenwerking binnen en buiten onze organisatie. Kwaliteit krijgt gestalte in onze medewerkers met tastbare resultaten als maatstaf. Doordat Tender een breed jeugdzorgaanbod heeft, wordt gebruik gemaakt van verschillende theoretische kaders die in de diverse hulpvormen tot uiting komen. Overkoepelend kader wordt gevormd door de systeemvisie: een probleem van een kind wordt niet gezien als een geïsoleerd gegeven, maar beschouwd en behandeld in de context van zijn leefomgeving. Kinderen en jongeren worden altijd in relatie tot de opvoedingssituatie behandeld en begeleid en daarbij wordt uitgegaan van een onlosmakelijke verbondenheid van ouder en kind. Daarnaast wordt er door alle medewerkers van Tender gewerkt vanuit een oplossingsgerichte beroepshouding. In de oplossingsgerichte benadering wordt ervan uitgegaan dat elk mens beschikt over krachten, vaardigheden en talenten waarmee hij of zij in staat is om tot werkbare oplossingen te komen. Er wordt onderscheid gemaakt tussen problemen waarvoor oplossingen bestaan en beperkingen die men moet accepteren22. Bij het aanleren van vaardigheden aan het kind en het gezin wordt gebruik gemaakt van inzichten uit de sociale leertheorie en het competentiemodel. Elementen uit de communicatietheorie worden toegepast om positieve interacties tussen jeugdigen en hun opvoeder(s) te verbeteren.

21 22

Tender (2007). Beleidsplan Tender 2008-2011. Eerste versie september 2007. Breda: Tender. Tender (2006). Tender Ontwikkelingsplan 2: Oplossingsgericht werken, effectiviteit en toerusting. Breda: Tender.

59

3.1.2 Organisatie behandelaanbod Tender bestaat uit drie divisies: de divisie Breda en omgeving, de divisie Westelijk NoordBrabant (Roosendaal, Bergen op Zoom) en de divisie Speciale Jeugdzorg23. De divisies Breda en omgeving en Westelijk Noord-Brabant heten ook wel de divisies ‘Jeugdzorg Dichtbij’. Dat betekent dat de hulpvormen die in beide divisies worden geboden zo dicht mogelijk in de eigen leefomgeving van de jongere en het gezin plaatsvinden. Deze beide divisies bieden ambulante hulp, daghulp, crisishulp en zelfstandigheidstraining, georganiseerd naar geografische locaties. De divisie Speciale Jeugdzorg is er voor die situaties waarin hulp in de leefomgeving niet meer volstaat. Deze divisie richt zich op de complexere problematiek van jongeren en bestaat uit residentiële jeugdzorg voor zowel de jongere jeugd als de oudere jeugd. Iedere divisie is onderverdeeld in een aantal afdelingen die weer bestaan uit verschillende locaties. In de subregio Breda zijn er vier afdelingen: 1. De afdeling Daghulp jongere jeugd biedt dagbehandeling en observatieopname aan kinderen van 0-12 jaar. 2. De afdeling Crisishulp biedt residentiële crisisopvang en ambulante crisishulp zoals Ambulante Spoedhulp en Families First. 3. De afdeling Ambulante jeugdhulp biedt diverse vormen van ambulante hulpverlening variërend van licht tot zwaar, zoals Speltherapie, Creatieve therapie en Intensieve Orthopedagogische Gezinsbehandeling. 4. De afdeling Jeugd en zelfstandigheid biedt (kortdurende) trajecten aan de oudere jeugd zoals zelfstandigheidstraining, kamertraining en vertrektraining. In de subregio Westelijk Noord-Brabant zijn er drie afdelingen: 1. De afdeling Daghulp jongere jeugd biedt dagbehandeling en observatieopname aan kinderen van 0-12 jaar. 2. De afdeling Ambulante jeugdhulp biedt diverse vormen van ambulante hulpverlening op gebied van zorg en onderwijs, zoals Psychomotore Therapie, Tender Arbeid (arbeidstoeleiding en dagtraining), Onderwijs/Jeugdzorgteam, Kamertraining en Intensieve Orthopedagogische Gezinsbehandeling. 3. De afdeling Dag- en nachthulp oudere jeugd biedt residentiële zorg aan jongeren van 12-18 jaar zoals de Bruggroep (longstay) en residentiële zelfstandigheidstraining. Twee afdelingen werken voor heel West-Brabant en deels daarbuiten: 1. De afdeling Dag- en nachthulp jongere jeugd biedt observatieopname en residentiële behandeling (inclusief onderwijs) voor 0-14 jarigen (locatie Krabbebossen). 2. De afdeling Dag- en nachthulp oudere jeugd biedt residentiële orthopedagogische en gedragstherapeutische behandeling (inclusief onderwijs) voor jongeren van 12-18 jaar (locatie Lievenshove). Ook het zorgprogramma voor jeugdigen met antisociaal gedrag (besloten jeugdzorg: Paljas Plus) behoort tot deze afdeling. De gemiddelde behandelduur bij Tender is sterk afhankelijk van de behandelvorm. Voor crisishulp (zowel ambulant als residentieel) geldt een maximale termijn van vier weken. Ambulante hulp duurt, afhankelijk van de module, drie maanden tot een jaar. Dagbehandeling duurt gemiddeld dertien maanden en kan maximaal anderhalf jaar zijn, mede afhankelijk van het aantal dagdelen per week. Residentiële behandeling duurt gemiddeld twaalf maanden. 23

Per 1 januari 2008 zijn de drie divisies anders ingedeeld (zie ook hoofdstuk 5); er is een Front Office, een divisie “Kind en Gezin” en een divisie “Jeugd en Netwerk”. Dit rapport gaat nog uit van de indeling zoals deze tot en met 2007 was.

60

Residentiële zorg in de vorm van een leefgroep (long stay) kent een gemiddelde verblijfsduur van 24 maanden. 3.1.3 Dienst Kennis en Innovatie In 2005 heeft Tender de keuze gemaakt om stevig in te zetten op inhoudelijke ontwikkeling. Deze keuze is vastgelegd en uitgewerkt in de Tender Ontwikkelplannen (zie noot 2). Deze ontwikkelplannen omvatten samengevat de volgende onderdelen: 1) Tenderbrede invoering van de metavisie Oplossingsgericht Bejegenen. 2) Werken aan vakmanschap middels opleidingsbeleid. 3) Inzetten op methodisch werken via module-ontwikkeling en effectiviteitsonderzoek. Om dit te realiseren heeft Tender begin 2007 een stafafdeling Kennis en Innovatie (K&I) gevormd; in 2007 is veel tijd besteed aan de opbouw daarvan. Vanaf 1 november 2007 is de afdeling in personele zin op sterkte. Per die datum is aan K&I een medewerker Onderzoek & Ontwikkeling verbonden, die onder andere optreedt als projectleider in het project Zicht op Effectiviteit. 3.1.4 Deelname Zicht op Effectiviteit Zoals gezegd is het opzetten en uitvoeren van onderzoek naar de effectiviteit van de hulpverlening één van de drie hoofdthema’s in de Tender Ontwikkelplannen. Tender wil op deze manier laten zien dat de middelen die ze krijgt om haar maatschappelijke opdracht te vervullen ook daadwerkelijk effect hebben. Tender heeft een beperkte traditie op het gebied van onderzoek. Primaire doel van deelname aan het project Zicht op Effectiviteit was dan ook om praktijk gestuurd effectonderzoek in de reguliere werkprocessen van Tender te implementeren en de resultaten daarvan te gebruiken ter verbetering van deze processen. Het gaat daarbij om implementatie van doelrealisatie, probleemreductie en cliënttevredenheid. In de project periode wil men ook inventariseren welke onderzoeksvragen er op de werkvloer nog leven ten aanzien van meer specifiek onderzoek, bijvoorbeeld gericht op bepaalde doelgroepen. Tot slot wil men in de projectperiode bereiken dat hulpverleners de resultaten van onderzoek gebruiken in hun dagelijks handelen. Op deze manier wordt onderzoek niet als last ervaren, maar als een onderdeel van hun dagelijkse werk.

3.2 Plan van aanpak Tender heeft drie doelstellingen geformuleerd voor de duur van het project: implementatie van effectonderzoek in het hulpverleningsproces, verkenning van specifieke aanvullende onderzoeksvragen op de werkvloer, en benutting van onderzoeksresultaten door hulpverleners. Bij aanvang van het project Zicht op Effectiviteit zijn een stuurgroep en een projectgroep geformeerd en is er een projectleider aangesteld. In onderstaande worden de taken van deze toegelicht en wordt per doel aangegeven hoe Tender van plan was deze doelen te realiseren.

61

3.2.1 Taken stuurgroep, projectgroep, projectleider De stuurgroep bewaakt de voortgang van het project op basis van de doelstellingen, stuurt daar waar noodzakelijk bij en zorgt voor verantwoording aan de raad van bestuur. De stuurgroep bestaat uit de drie divisiemanagers en de projectleider en komt eens per zes weken bijeen. In de projectgroep wordt de concrete invoering van het effectonderzoek voorbereid en gemonitord. De zorgcoördinatoren vervullen hierbij een sleutelrol, zij zijn verantwoordelijk voor de inbedding van de onderzoeksinstrumenten in het hulpverleningsproces. De projectgroep komt eens per vier weken bij elkaar en bestaat uit zes zorgcoördinatoren en de projectleider, en ook de voorzitter van de stuurgroep neemt deel aan de vergaderingen. Alle drie de divisies en hulpvormen (ambulant, dagbehandeling en residentieel) zijn daarbij vertegenwoordigd. De projectleider heeft de taak van procesbewaker. Hij monitort de datastroom en stelt rapportages op. Hij monitort de secretariële ondersteuning en draagt zorg voor tijdige instructies aan het secretariaat. De projectleider neemt namens Tender deel aan het Effectiviteitsplatform. 3.2.2 Doelen Doel 1. Implementatie effectonderzoek

De structurele inbedding van algemeen effectiviteitonderzoek in het hulpverleningsproces (doelrealisatie, probleemreductie en cliënttevredenheid) is onderverdeeld in twee subdoelen: a. Cliënttevredenheid (C-toets) wordt Tenderbreed ingevoerd. b. Probleemreductie en doelrealisatie worden eerst op drie pilotafdelingen geïmplementeerd. Doel 1a. Cliënttevredenheid Tenderbreed implementeren

Voor het meten van cliënttevredenheid zal de C-toets24 worden gebruikt. De C-toets zal worden afgenomen bij alle jeugdigen (vanaf de leeftijd van 12 jaar) en hun ouders die gebruik maken van geïndiceerde hulpverlening van Tender. De C-toets wordt op twee momenten in de behandeling afgenomen: bij de tussentijdse evaluatie en bij de afsluiting van de zorg. Indien het hulpverleningstraject korter is dan 13 weken wordt de C-toets alleen bij de eindevaluatie afgenomen. De C-toets wordt ingevoerd in IJZA (cliëntregistratie-systeem IJ voor zorgaanbieders). Daartoe zullen in IJZA een aantal standaardrapportages worden ontwikkeld. De uitkomsten van de C-toets worden op cliëntniveau en beleidsniveau gebruikt. Cliëntniveau. Daar waar de ingevulde C-toets er aanleiding toe geeft kan er direct met de cliënt over worden gesproken (indien de cliënt heeft aangegeven daarmee akkoord te gaan). Jaarlijks zal een nieuwsbrief met resultaten naar de cliënten worden verspreid. Beleidsniveau. De gemiddelde scores op cliënttevredenheid kunnen worden uitgedraaid per module, afdeling, organisatie en uitgesplitst naar jongere of ouders. Afdelingen/medewerkers zullen worden uitgedaagd om met prikkelende normering de eigen doelstellingen verder scherp te stellen. Bijvoorbeeld: niet meer dan 5% van de respondenten mag negatief scoren op (een deel van) de vragen. Begin 2007 zal de afname van de C-toets Tenderbreed worden ingevoerd. In oktober november 2006 zal de projectgroep daarvoor een concrete (logistieke) procedure opstellen. Daarin zal ook een procedure voor de verwerking van de resultaten worden opgenomen. 24

Jumelet, H., Welling, M., Jurrius, K., Havinga, L. (2004). Handleiding C-toets. Utrecht: MO-groep.

62

Doel 1b. Implementatie doelrealisatie en probleemreductie op drie pilotafdelingen

De implementatie van doelrealisatie en probleemreductie wordt in de vorm van een pilot uitgevoerd op drie afdelingen. Op basis van ervaringen van de pilotafdelingen wordt eind 2007 het brede/algemene effectiviteitonderzoek geïmplementeerd in de overige afdelingen van Tender. De pilotafdelingen zijn: - Jeugd- en zelfstandigheid (ambulant en residentieel, leeftijd 12–18 jaar ), divisie Breda - Boddaert (3 groepen daghulp, leeftijd 6-12 jaar), divisie Westelijk Noord-Brabant - De Krabbebossen ( 4 groepen residentieel, leeftijd 6-14 jaar), divisie Speciale Jeugdzorg Met deze keuze zijn de drie hulpvormen (residentieel, daghulp en ambulant), de drie divisies en alle leeftijden van jeugdigen bij Tender vertegenwoordigd. Doelrealisatie

De mate waarin de doelen uit het hulpverleningsplan gerealiseerd zijn, zal worden gemeten met behulp van de GAS-score (Goal Attainment Scale). Op een 4-puntschaal (-1, 0, +1, +2) kan aangegeven worden in welke mate de respondent vindt dat een doel behaald is. Op twee momenten in de behandeling, bij de tussentijdse evaluatie en de eindevaluatie, zal aan de jeugdigen, ouders/opvoeders en de hulpverlener worden gevraagd de doelen te scoren. Indien het hulpverleningstraject korter is dan 13 weken wordt alleen bij de eindevaluatie gemeten. De GAS-scores worden ingevoerd in IJZA. Op deze manier is een direct koppeling met de doelen van het hulpverleningsplan mogelijk. In het najaar van 2007 worden daartoe standaardrapportages in IJZA ontwikkeld. De uitkomsten worden op cliëntniveau en beleidsniveau gebruikt. Cliëntniveau. De uitkomsten geven de cliënt en de hulpverlener inzicht in de stand van zaken met betrekking tot het hulpverleningsproces. Ze geven richting aan de (tussentijdse) evaluatie. Beleidsniveau. Uitkomsten geven zicht op gemiddelde scores per afdeling of module. Door doelen te koppelen aan een KWIS-domein kan informatie worden verkregen over welk type doelen (veel) gebruikt worden bij bepaalde modules en wat de gemiddelde scores zijn per domein. Om doelrealisatie te implementeren moeten de volgende zaken eind 2007 gerealiseerd zijn: - Scholing/training voor zorgcoordinatoren waarbij de nadruk ligt op de kwaliteit van doelformulering. - De zorgcoördinatoren worden ondersteund bij het formuleren van doelen. - Er wordt een start gemaakt met het opstellen van een lijst met een gestandaardiseerde omschrijving van veel voorkomende doelen. - De projectgroep zal een protocol opstellen voor de procedures van doelrealisatie. - Er moet worden onderzocht of het scoren van de doelen van het hulpverleningsplan de beste werkwijze is of dat er ook werkdoelen gescoord moeten worden. Probleemreductie

Om probleemreductie te meten wordt het probleemgedrag van jeugdigen gemeten. Tender heeft bij aanvang nog geen keuze gemaakt welke gedragsvragenlijst ze wil gebruiken: de Child Behavior Checklist (CBCL25) of de Strengths and Difficulties Questionnaire (SDQ26). Onderzoeksstagiaires doen tussen november 2006 en juni 2007 onderzoek naar de bruikbaarheid van de twee verschillende vragenlijsten. Medio 2007 zal Tender een definitieve 25

Verhulst, F.C., Van der Ende, J., & Koot, H.M. (1996). Handleiding voor de CBCL/4-18. Rotterdam: Erasmus Universiteit/Sophia Kinderziekenhuis, afdeling Kinder- en Jeugdpsychiatrie. 26 Goodman, R. (1997). The Strengths and Difficulties Questionnaire: A research note. Journal of Child Psychology and Psychiatry, 38, 581-586. Goedhart, A., Treffers, F., & Van Widenfelt, B. (2003). Vragen naar psychische problemen bij kinderen en adolescenten. De Strengths and Difficulties Questionnaire (SDQ). Maandblad Geestelijke volksgezondheid, 58, 1018-1035.

63

keuze maken op basis van de resultaten van het onderzoek en de ervaringen van de projectafdelingen. Vervolgens gaan de pilotafdelingen met de betreffende vragenlijsten werken. Op twee momenten in de behandeling wordt de gedragsvragenlijst afgenomen bij ouders en jongeren, bij aanvang en bij afsluiting van de behandeling. Er zijn nog geen mogelijkheden voor handzame elektronische verwerking van de gedragsvragenlijsten. Resultaten worden gebruikt op cliëntniveau en beleidsniveau. Cliëntniveau. De resultaten van de meting worden gebruikt bij de evaluatie van de hulpverlening. Beleidsniveau. Op moduleniveau kan worden nagegaan of de juiste doelgroep wordt bereikt. Tevens levert het informatie over de toe- of afname van de problematiek gedurende de behandeling. Deze informatie kan mede gebruikt worden bij de teambegeleiding/ -evaluatie. Om de afname van een gedragsvragenlijst te implementeren moeten de volgende zaken eind 2007 zijn gerealiseerd. - Individuele terugkoppeling van resultaten naar cliënten. - Duidelijk protocol voor de afname van de gedragsvragenlijst. - Softwarematige ondersteuning voor de verwerking van de gedragsvragenlijst. - Secretariële ondersteuning voor de verwerking van de vragenlijsten. - Instructie/scholing in het gebruik van de gedragsvragenlijst. Doel 2. Verkenning specifieke onderzoeksvragen

Binnen de drie deelnemende pilotafdelingen wordt nader geïnventariseerd welke specifieke onderzoeksvragen er op de werkvloer zijn. Daarbij wordt ook concreet nagegaan welke meetinstrumentarium daar bij zou kunnen passen. Dat zal eind 2007 resulteren in een (meerjaren)plan, waarin is vastgelegd welk specifiek onderzoek zal plaatsvinden en welke werkwijze daarbij zal worden gehanteerd. Doel 3. Benutting onderzoeksresultaten door hulpverleners

Effectonderzoek kan leiden tot verbetering van het hulpverlenend handelen van medewerkers, als ze de resultaten ook gebruiken in hun dagelijks handelen. Als hulpverleners ervaren dat onderzoek bruikbaar is in hun dagelijkse werk, zullen ze onderzoek daarnaast ook minder als last ervaren. Resultaten moeten worden teruggekoppeld naar de teams en uitgangspunt vormen in de teamevaluaties. Zorgcoördinatoren spelen hierin een cruciale rol. Zij krijgen een centrale positie in het project en ondersteuning/scholing zal zich in eerste instantie op hen richten. Eind 2007 moeten de volgende zaken, in ieder geval binnen de deelnemende afdelingen, zijn gerealiseerd: - uitkomsten op teamniveau worden gebruikt voor teamevaluaties/ werkbegeleiding - er is een structuur voor vertaling van uitkomsten naar verbeteracties binnen afdelingen/modules, waarbij er verbinding is met de beleidscyclus - periodiek worden rapportages opgesteld door projectleider - scholing/ instructie teambegeleiding/-evaluatie voor zorgcoördinatoren en teamleiders is geregeld

64

3.3 Procesresultaten In het Bronnenboek deel 127 worden drie principes van effectonderzoek beschreven (p.12): aansluiting, inbedding en benutting. Onderzoek naar het effect van interventies heeft alleen zin als een interventie te omschrijven en over te dragen is. Het moet ‘aansluiten bij het ontwikkelingsniveau van die interventies’, het moet qua opzet (design en meetinstrumenten) niet verder gaan dan mogelijk is. Effectonderzoek moet daarnaast ingebed zijn in de dagelijkse procedures van het primair proces. Dat betekent dat het gebruik van de meetinstrumenten onderdeel is van het hulpverlenend handelen. Tot slot moeten de uit het effectonderzoek verzamelde gegevens benut worden in de praktijk. Het gaat dan om gebruik in de individuele behandeling, maar ook om terugkoppeling op interventie-, team- of organisatieniveau. Bij de beschrijving van de procesresultaten van de projectperiode, wordt steeds nagegaan hoe deze principes van effectonderzoek bij de verschillende doelstellingen van Tender tot uiting zijn gekomen. 3.3.1 Implementatie cliënttevredenheid Tenderbreed Aansluiting

Tender wil graag weten of de cliënten tevreden zijn over de wijze waarop de hulpverlening is uitgevoerd en de manier waarop ze bejegend zijn. Bejegening (betrokkenheid, aansluiting bij cliënt, betrouwbaarheid) bepaalt in grote mate de kans op succes van de hulp. Om aan te sluiten bij landelijke en regionale ontwikkelingen in het meten van cliënttevredenheid is ervoor gekozen om tevredenheid te meten met behulp van de C-toets. De C-toets wordt afgenomen bij alle cliënten van Tender, ouders en jongeren. Inbedding

In oktober – december 2006 is de introductie van de C-toets voorbereid door de projectgroep. Er is een procedure geschreven voor de afname en verwerking van de C-toets die door de zorgcoördinatoren op afdelingsniveau is uitgewerkt – met als doel ze “op de huid” van de afdeling te schrijven. De C-toets wordt afgenomen bij de tussenevaluatie en bij afsluiting van de hulp. Voor hulpvormen die korter duren dan 13 weken, wordt de C-toets alleen bij de eindevaluatie afgenomen. De secretariaten van de verschillende afdelingen houden bij op welk moment de C-toets moet worden afgenomen. De mentoren zorgen ervoor dat de C-toets door de jongere wordt ingevuld; de secretariaten versturen de vragenlijst naar ouders. Ouders en jongeren wordt gevraagd aan te geven of zij wel of niet op de inhoud van de C-toets terug willen komen tijdens de evaluatie. De vragenlijsten worden geretourneerd aan de zorgcoördinatoren. Nadat de zorgcoördinator de C-toets heeft doorgenomen wordt deze naar het secretariaat verstuurt die ze vervolgens verwerkt in Bergop28. De respons wordt door de secretariaten bijgehouden aan de hand van een standaardschema dat met bijbehorende instructie naar alle afdelingen is verstuurd. In het registratieoverleg van de secretaresses is daar nog verdere toelichting op gegeven. Vanaf 1 januari 2007 wordt bij alle afdelingen van Tender de C-toets afgenomen, op alle zich voordoende meetmomenten. De enige uitzondering 27

Yperen, T. van, & Veerman, J.W. (2006) (red). Zicht op effectiviteit. Bronnenboek voor praktijkgestuurd effectonderzoek in de jeugdzorg. Deel I. Utrecht, Nijmegen, Den Haag: NIZW, Praktikon, Ministerie van VWS.

28

Oorspronkelijk zou de C-toets in IJZA worden ingevoerd. Omdat Bergop is aangeschaft voor de verwerking van de CBCL en SDQ (zie par. 3.2), is gekozen om ook de C-toets in Bergop te verwerken.

65

is de afdeling Ambulante jeugdhulp Westelijk Noord-Brabant. Om organisatorische redenen was het niet mogelijk al op 1 januari te starten. Zij zijn per 1 maart gestart met het afnemen van de C-toets. Om het belang van de afname van de C-toets te benadrukken heeft Tender het responspercentage van de C-toets onderdeel gemaakt van het prestatiegebonden deel van de eindejaarsuitkering. Men streeft naar 70% verspreidingsrespons. Dat betekent dat 70% van de C-toetsen die naar cliënten verstuurd had moeten worden, ook daadwerkelijk verstuurd is. Tijdens de tussenevaluatie in augustus 2007 is de balans opgemaakt ten aanzien van de implementatie van de C-toets. Daaruit kwam naar voren dat de afname van de C-toets nog niet op alle afdelingen even goed van de grond was gekomen. De resultaten van de tussenevaluatie zijn aan de afdelingsmanagers verspreid. Sinds de tussenevaluatie is er over het algemeen een positieve ontwikkeling doorgemaakt, de C-toets zit steeds meer in het systeem van de mensen. Inmiddels is een overzicht gemaakt waarin voor elke module afzonderlijk de meetmomenten worden weergegeven. Dit overzicht is als bijlage toegevoegd aan de procedure C-toets. Sturing op respons vindt nog nauwelijks plaats. Aandachtspunt blijven ook de verspreidingspercentages bij overplaatsing van verschillende modules binnen een zelfde zorgaanspraak. De C-toets zou dan bij afsluiting van de ”leidende” module afgenomen moeten worden (bijvoorbeeld bij overstap van een behandelgroep naar zelfstandigheidstraining). Dit is tot nu toe niet consequent toegepast. Het is van belang dat de secretariaatsmedewerkers herinnerd blijven worden aan de procedure van de C-toets. Respons In Tabel 1 worden de responscijfers van 1 januari 2007 tot 12 november 2007 gepresenteerd. Het totale verspreidingspercentage per locatie blijkt overal boven het streefpercentage van 70% te liggen. Dat betekent dat de verspreidingsproblemen van de beginfase nu aardig lijken te zijn opgelost. Wel zijn er verschillen tussen de hulpvormen. Kijkend naar de responspercentages, dus het aantal vragenlijsten dat ook ingevuld is teruggekomen, dan blijkt deze het hoogst te zijn bij Begeleid Wonen van de locatie Lentehof, de locatie Driekant, Ambulante jeugdhulp WNB en Hulp aan Huis Breda. Zeer lage respons is te zien bij Karam, Families First en Vertrektraining van de locatie Lentehof. De gemiddelde respons van ingevulde vragenlijsten dat is teruggekomen is Tenderbreed 54%. De lage respons kan te maken hebben met de manier waarop bij ouders (en bij jongeren in de ambulante hulpverlening) de C-toets wordt afgenomen. De vragenlijst wordt opgestuurd en er wordt gevraagd of cliënten hem willen terugsturen. Mogelijk dat een andere manier van werken (bij het laatste gesprek laten invullen) responsverhogend werkt. Ten aanzien van de gegevens in Tabel 1 moet het volgende worden opgemerkt. De registratie (en mogelijk ook de verspreiding) van uitgave en retour van de C-toetsen is in de eerste periode niet bij alle secretariaten even snel op gang gekomen. Daardoor kan het gebeuren dat de verspreidingsen responspercentages niet helemaal zuiver zijn. Daarnaast bestaat er een discrepantie tussen de C-toetsen die volgens de overzichten van de secretariaten aanwezig zouden moeten zijn en die in Bergop zijn ingevoerd. Mogelijk heeft dit te maken met het relatief grote verloop (in- en uitstroom) bij de (kortdurende) ambulante hulpvormen. Daardoor kan de administratie wat achter lopen en zijn sommige vragenlijsten wel ontvangen, maar nog niet verwerkt in Bergop. Het kan ook zijn dat de eindevaluatie snel volgt op de tussenevaluatie en een tweede meting om die reden niet gedaan wordt. De verwachting is dat deze onzuiverheden zich volgend jaar niet meer zullen voordoen, aangezien de C-toets inmiddels volledig is ingevoerd en de registratie op alle afdelingen redelijk tot goed loopt.

66

Tabel 1. Het verspreidingsprecentage en het responspercentage van de C-toets over de periode 1 januari -12 november 2007 Aantal meetAantal CVerspreidingsAantal CRespons Locatie en hulpvorm momenten toetsen percentage1 toetsen retour percentage2 verspreid 96 % 27 26 13 50% De Tweegelanden

Daghulp

Lentehof Crisis oudere jeugd Karam Families First Amb. Spoedhulp Zelfst. Training Kamertraining Begeleid wonen Vertrektraining Coaching Coaching OCTO Coaching school

De Driekant Crisis Residentieel

Boddaert (Bergen op Zoom)

469 115 23 19 107 29 10 9 11 88 12 46 101 32 69 27

391 86 23 19 95 21 6 5 7 87 0 42 77 20 57 27

100%

175 40 4 5 44 13 3 5 1 46 0 14 61 15 46 17

45% 47% 17% 27% 46% 62% 50% 100% 14% 53% 0% 33% 79% 75% 81% 63%

198

183

92 %

86

47%

171 52

140 52

82% 100%

104 28

74% 54%

161 35

146 31

91% 86%

108 11

74% 35%

27

26

96%

13

50%

1838

1567

85%

852

54%

83%

75% 100% 100% 89% 72% 60% 56% 64% 99% 0% 91% 76%

63% 83%

Daghulp jongere jeugd

Lievenshove Residentieel

Ambulante jeugdhulp WNB De Stegel Daghulp jongere jeugd

Hulp aan Huis (Breda) De Krabbebossen Residentieel

Omgang na scheiding (WNB) Totaal Tender

N.B. Het aantal meetmomenten is bepaald door het aantal tussenevaluaties en het aantal cliënten waarbij de hulp is afgesloten bij elkaar op te tellen en met twee te vermenigvuldigen (indien zowel jongere als ouder(s) de C-toets invullen). Het aantal verspreide vragenlijsten is het aantal daadwerkelijk uitgezette vragenlijsten. 1Verspreidingspercentage = aantal verspreide vragenlijsten / aantal meetmomenten in percentage 2Responspercentage = aantal ontvangen vragenlijsten / aantal verspreide vragenlijsten in percentage.

67

Benutting

Cliëntniveau. De C-toets wordt ingevuld geretourneerd aan de zorgcoördinatoren. De zorgcoördinator leest deze altijd door. Jongeren en ouders kunnen aangeven of ze de C-toets wel of niet willen bespreken tijdens de tussen- of eindevaluatie. Door de zorgcoördinatoren is niet exact bijgehouden hoeveel van de ingevulde vragenlijsten er besproken zijn. Als respondenten aan hebben gegeven op C-toets terug te willen komen, wordt daaraan altijd voldaan. Teamniveau. Bij enkele afdelingen wordt gebruik gemaakt van de C-toets als “signaleringslijst”: de afdelingsmanager wordt op de hoogte gesteld van opvallende feedback. Dit wordt vervolgens besproken in het afdelingsoverleg. In de aangepaste versie van de procedure C-toets (oktober 2007) is deze actie standaard opgenomen. De resultaten van de tussenevaluatie: procesbeschrijving, responscijfers en de gemiddelde scores op de C-toets zijn verwerkt in een notitie en verspreid onder de afdelingsmanagers. Indien de afdelingsmanager dat wenste heeft de procesbewaker de resultaten mondeling toegelicht aan de afdeling. Niet alle afdelingen hebben hier gebruik van gemaakt. Het is dan ook onduidelijk of en hoe de informatie van de tussenevaluatie verspreid is onder de teams. Bij sommige afdelingen wordt regelmatig naar de respons op de C-toets gekeken en wordt deze besproken in het divisieoverleg. Bij andere afdelingen wordt er niet of nauwelijks aandacht aan besteed. De indruk bestaat dat vooral de pilotafdelingen op de hoogte zijn van de tussentijdse resultaten en het project Zicht op Effectiviteit.

3.3.2 Implementatie doelrealisatie en probleemreductie op drie pilotafdelingen Aansluiting doelrealisatie en probleemreductie

Tender wil aan de cliënten laten zien dat de methodieken en interventies die bij Tender ingezet worden, succesvol zijn. Daarnaast wil men ook aan financiers kunnen laten zien dat de middelen die ze krijgt om haar maatschappelijke opdracht te vervullen ook daadwerkelijk effect hebben. Om de effectiviteit van hulp inzichtelijk te maken, zijn naast de mate van cliënttevredenheid nog twee indicatoren van belang: doelrealisatie en probleemreductie. De mate waarin gestelde doelen uit het hulpverleningsplan behaald zijn, is een maat voor het effect van de hulp. De daarbij behorende vraag is dan of het behalen van de doelen ook daadwerkelijk leidt tot vermindering van de ervaren problematiek (probleemreductie). De implementatie van doelrealisatie en probleemreductie sluit aan bij de inhoudelijke ontwikkeling die Tender wil gaan realiseren (zie ook de kader notities TOP en TOP-2, noot 3). Inbedding doelrealisatie

Er is binnen Tender al enige ervaring opgedaan met doelrealisatie in het kader van scriptieonderzoek29, uitgevoerd bij locatie De TweeGelanden. Uit dit onderzoek komt naar voren dat in termen van de SMART-criteria, de doelen niet of nauwelijks Specifiek, Meetbaar en Tijdgebonden zijn. Wel blijken de doelen in hoge mate Acceptabel en Realistisch te zijn. Medewerkers vinden het lastig om doelen haalbaar en meetbaar te formuleren. Ook ervaart men een gebrek aan eenheid in de formulering van doelen. Tijdens de Tenderdag (31-3-06) 29

Corti, S. de (2005). Realiteit in kwaliteit. Een onderzoek naar doelrealisatie en doelformulering op Medisch Kleuterdagverblijf De TweeGelanden. Nijmegen: doctoraalscriptie.

68

hebben hulpverleners en zorgcoördinatoren ook om aandacht voor dit punt gevraagd. Een doel van het project Zicht op Effectiviteit is dat de zorgcoördinatoren ondersteund worden bij het formuleren van doelen in de vorm van scholing en training. Bij aanvang van het project Zicht op Effectiviteit is in eerste instantie de nadruk gelegd op de implementatie van de C-toets. Ten aanzien van doelrealisatie is in de stuurgroep de tijd genomen om de kaders helder te krijgen en de verbinding met het hulpverleningsplan te maken. In juni 2007 is er een studiedag geweest voor de zorgcoördinatoren over doelrealisatie. Deze dag werd verzorgd door het NJI (Mariska van de Steege). Doel was het leren formuleren van einddoelen in termen van de SMART-criteria en het meten van de einddoelen middels GAS-scores. De conclusie van deze dag was dat het samen met de cliënt (in dialoog) formuleren van einddoelen en daarvoor indicatoren en normen af te spreken (SMART), goed past bij de methodiek van oplossingsgericht werken. De zorgcoördinatoren hadden een helder beeld bij het formuleren van doelen en zijn gemotiveerd om er mee verder te gaan. Besloten werd om vanaf september 2007 te starten met doelrealisatie op de drie pilotlocaties. Vanaf dan was het ook mogelijk om doelrealisatie te registreren in IJZA. Om secretariaten niet onnodig te belasten, houden de zorgcoördinatoren de registratie van doelen zelf in de hand. Door de procesbewaker is er een logistieke procedure geschreven over hoe doelrealisatie te gebruiken als onderdeel van het primair proces. Afgesproken wordt dat bij de tussenevaluatie (dit moment is voor alle verblijfsmodules vastgesteld op vijf maanden) en de eindevaluatie de gestelde einddoelen worden geëvalueerd aan de hand van de GAS-scores. Vóór de evaluatiebespreking wordt aan de jongere, ouders en de hulpverlener een formulier toegestuurd met de vraag aan te geven in welke mate de doelen gerealiseerd zijn. Deze scoringsformulieren zijn direct uit IJZA te downloaden. De scores worden tijdens het evaluatiegesprek met de cliënt besproken. In september 2007 blijkt het toch lastig te zijn om op de pilotafdelingen reeds met doelrealisatie te starten. Er is behoefte aan helderheid omtrent het kader: welke doelen worden gescoord, hoe weet men of het doel SMART genoeg is, hoe wordt omgegaan met de doelen van BJZ (die zijn niet SMART geformuleerd, maar daar moeten de hulpverleningsdoelen wel bij aansluiten) etc. Ook is er behoefte aan een aanspreekpunt in de organisatie die ondersteuning kan bieden bij vragen omtrent doelrealisatie en SMART-formuleringen. Naar aanleiding van de resultaten van de tussenevaluatie wordt besloten om prioriteit te geven aan de implementatie van de C-toets en probleemreductie en doelrealisatie voorlopig op een laag pitje te zetten. Om de in de training opgedane kennis niet te verliezen gaan de pilotafdelingen wel alvast zelf oefenen met het SMART formuleren en scoren van doelen met cliënten. Intervisie ten aanzien van doelrealisatie zal een vast onderdeel worden van de projectgroepvergaderingen, zodat ervaringen kunnen worden uitgewisseld. Op termijn zal nagegaan worden of het formuleren van standaarddoelen een volgende stap is. Benutting doelrealisatie

In de procedure van doelrealisatie staat beschreven dat de doelen en scores daarop met de cliënt worden besproken in de behandelevaluaties. Er is nog geen ervaring opgedaan met de daadwerkelijke benutting van doelrealisatie. Inbedding probleemreductie

Om probleemreductie bij cliënten te meten wil men een gedragsvragenlijst bij jongeren en ouders afnemen bij begin en eind van de behandeling. Bij de start van Zicht op Effectiviteit is nog geen definitieve keuze gemaakt voor de vragenlijst die daarvoor gebruikt zal worden, CBCL of SDQ. Om een goede keuze te maken tussen beide instrumenten is bij aanvang van

69

het project Zicht op Effectiviteit besloten om een scriptieonderzoek30 uit te laten voeren op de drie pilotlocaties. In dit onderzoek is de bruikbaarheid en de onderlinge vergelijkbaarheid van beide vragenlijsten onderzocht. Om een indruk te kunnen geven van de inbedding en benutting van de gedragsvragenlijst wordt het verloop van het scriptieonderzoek kort beschreven. Voor een volledige beschrijving van dit onderzoek verwijzen we naar Van den Broek en Jagt (zie noot 10). Aan 37 jongeren en hun ouders die in de periode januari-mei 2007 startten met behandeling bij één van de pilotlocaties (Boddaert, Krabbebossen en Jeugd en Zelfstandigheid) of op de locatie Lievenshove, zijn beide vragenlijsten voorgelegd. Jongeren (vanaf 11 jaar) werd gevraagd de Youth Self-Report (YSR31) en de jongerenversie van de SDQ in te vullen. Ouders werd gevraagd de CBCL en de ouderversie van de SDQ in te vullen. Vervolgens zijn hen een aantal vragen voorgelegd over de bruikbaarheid van beide lijsten. Deze betroffen de overzichtelijkheid, lengte, duidelijkheid, inhoud en voorkeur. Aan drie van de zorgcoördinatoren van de betreffende locaties is gevraagd naar hun mening en ervaringen met de CBCL en SDQ. Bij de afdeling Jeugd en Zelfstandigheid is alleen de SDQ afgenomen, omdat medewerkers de CBCL een te zware vragenlijst vinden voor de kortdurende modules van deze afdeling. De vragenlijsten werden aan ouders toegestuurd met het verzoek ze ingevuld mee te nemen naar het kennismakingsgesprek. De jongeren vulden de vragenlijsten binnen twee weken na opname in. De vragenlijsten van de jongeren werden uitgedeeld en opgehaald door de onderzoeksters. Nadat alle vragenlijsten waren geretourneerd bleek dat bij slechts 12 van de 37 gezinnen alle data (zowel de CBCL, YSR, SDQ-jongere, SDQ-ouders en de evaluatievragenlijst) compleet was. Er zijn daarom verschillende onderzoeksgroepen gecreëerd om bij de verschillende deelvragen toch meer respondenten mee te kunnen nemen. Ten aanzien van de vergelijkbaarheid tussen de CBCL/YSR en SDQ blijkt er een hoge samenhang (hoogste r =.88) te zijn tussen de schalen van CBCL en SDQ die inhoudelijk overeenkomen. De onderzoeksters concluderen dat de vragenlijsten onderling niet uitwisselbaar zijn; daarvoor zouden de correlaties tussen .90 en 1.00 moeten zijn. Verder blijkt dat een kleine meerderheid van de ouders en jongeren de CBCL prefereert boven de SDQ. De CBCL scoort beter dan de SDQ qua duidelijkheid en inhoud, de SDQ scoort beter op overzichtelijkheid en lengte. De zorgcoördinatoren prefereren de CBCL boven de SDQ omdat deze vragenlijst meer schalen heeft en omdat zij meer ervaring hebben met het gebruik van de CBCL. De lengte en inhoud van de CBCL vinden zij wel belastend voor ouders en jongeren; dit beeld wordt echter niet bevestigd door ouders en jongeren. De zorgcoördinator van de locatie Jeugd en Zelfstandigheid, waarbij alleen de SDQ is afgenomen, vindt de SDQ minder geschikt voor de doelgroep oudere jongeren. Er wordt niets gevraagd over werk, school, seksualiteit en genotsmiddelen. Op basis van de resultaten van dit onderzoek, en de ervaringen die binnen Tender en daarbuiten met de vragenlijsten is opgedaan, werd in september 2007 aan de stuurgroep geadviseerd om de CBCL in te zetten bij alle hulpvormen van Tender. Vervolgens is een procedure geschreven voor verspreiding en verwerking van de CBCL. Ouders en jongeren wordt gevraagd de CBCL c.q. YSR bij aanvang en beëindiging van de behandeling (leidende module) in te vullen en te retourneren. De secretariaten zorgen voor verspreiding en verwerking van de vragenlijsten in Bergop. De uitkomsten van de vragenlijsten worden met de cliënt besproken. Op moduleniveau worden de uitkomsten gebruikt voor de jaarlijkse modulereview en onderzoek naar de effectiviteit van de module. Omdat tijdens het pilotonderzoek nog te weinig ervaring is opgedaan met verspreiding, verwerking en benutting 30 Broek, S. van den, & Jagt, M. (2007). Meten van probleemgedrag bij kinderen en adolescenten: CBCL of SDQ? Tilburg: Master Thesis. 31 Dit is de jongerenversie van de CBCL, zie noot 5.

70

van de CBCL, wordt de CBCL eerst op de pilotlocaties geïmplementeerd en pas in de loop van 2008 Tenderbreed verspreid. Inmiddels is men eind 2007 bij de pilotlocaties gestart met de afname van de CBCL. Benutting probleemreductie

Tijdens het pilotonderzoek zijn door de zorgcoördinatoren de uitkomsten/profielen van de CBCL wel bekeken, maar nog niet met ouders en jongeren besproken. De zorgcoördinatoren hadden onvoldoende handvatten om de uitkomsten toe te passen. Om hen daarin te ondersteunen is begin november gebruik gemaakt van het ondersteuningspakket “Werken met vragenlijsten: de CBCL”. Een aantal zorgcoördinatoren hebben geoefend met het bespreken van profielen bij ouders. Zij weten nu meer van de CBCL en hoe ze het kunnen gebruiken, maar zullen nog meer ervaring op moeten doen in de gesprekken met ouders. Vervolgens zullen zij hun collega’s weer verder trainen in het gebruik van de CBCL. Er zijn nog geen ervaringen opgedaan met het bespreken van de resultaten van de CBCL op moduleniveau.

3.3.3 Overige doelen Naast de doelen met betrekking tot implementatie van cliënttevredenheid, doelrealisatie en probleemreductie, zijn in het projectplan nog twee doelen geformuleerd: ‘Verkenning van specifieke onderzoeksvragen’ en ‘Benutting van de onderzoeksresultaten door hulpverleners’. In onderstaande wordt kort beschreven wat er ten aan zien van deze doelen in de projectperiode is bereikt. Doel 2. Verkenning specifieke onderzoeksvragen

Binnen de drie deelnemende pilotafdelingen zou nader worden geïnventariseerd welke specifieke onderzoeksvragen er op de werkvloer nog zijn en welk meetinstrumentarium daar bij zou kunnen passen. Eind 2007 zou dat moeten resulteren in een plan, waarin is vastgelegd welk specifiek onderzoek zal plaatsvinden en welke werkwijze daarbij zal worden gehanteerd. Eerder (par. 3.2) is al geconstateerd dat het goed laten lopen van de implementatie van C-toets en CBCL gedurende het project prioriteit heeft gekregen. Dat betekent dat dit doel in de projectperiode weinig aandacht heeft gekregen. Doel 3. Benutting onderzoeksresultaten door hulpverleners

Als expliciet doel was in het projectplan opgenomen dat de medewerkers de resultaten van onderzoek gebruiken in hun dagelijks handelen. Resultaten moeten worden teruggekoppeld naar de teams en uitgangspunt vormen in de teamevaluaties. Zorgcoördinatoren krijgen een centrale positie in het project en ondersteuning/scholing zal zich in eerste instantie op hen richten. Veel aspecten van dit doel zijn al aan bod gekomen in de vorige paragrafen onder de kopjes benutting. Ten aanzien van de te realiseren punten zoals beschreven in het plan van aanpak (hoofdstuk 2) kan het volgende geconcludeerd worden. De zorgcoördinatoren zijn goed geïnformeerd over hun rol in het onderzoek en zijn goed op de hoogte van het project. Zij zijn getraind in doelrealisatie en het gebruik van de CBCL. Afdelingsmanagers en hulpverleners zijn minder betrokken geweest bij het onderzoek. Door hen nadrukkelijker te betrekken – in eerste instantie door het bespreken van de onderzoeks- en responsresultaten – kan de plaats van onderzoek binnen Tender verder worden verstevigd. De uitkomsten van onderzoek: de tussenevaluatie en de respons van de C-toets worden in sommige teams wel besproken en in andere teams niet. Voor de vertaling van de uitkomsten naar concrete 71

verbeteracties binnen bepaalde modules is een procedure uitgewerkt. Vanaf 2008 zullen de onderzoeksresultaten onderdeel vormen van de managementinformatie en van de modulereviews, een jaarlijkse evaluatie op module-niveau. 3.3.4 Knelpunten •

•

•

•

•

•

•

Na de start van het project Zicht op Effectiviteit werd al snel duidelijk dat implementatie van zowel C-toets en doelrealisatie en een gedragsvragenlijst te ambitieus was. Gedurende het project is de termijnplanning losgelaten en zijn opnieuw prioriteiten gesteld. Besloten is dat implementatie van de C-toets Tenderbreed en implementatie van de CBCL op de pilotlocaties op dit moment de belangrijkste speerpunten zijn. Tender is een grote organisatie met veel locaties en verschillende behandelvormen. Iedere locatie of behandelvorm heeft zijn eigen manier van werken. Het is dan niet altijd makkelijk om overal dezelfde procedures voor de routing van CBCL en C-toets door te voeren. Zo hebben de zorgcoördinatoren een sleutelrol in de implementatie en benutting van de vragenlijsten. Maar bij sommige behandelvormen zijn de zorgcoördinatoren niet standaard bij de behandelevaluatiebespreking aanwezig. Dat heeft dan consequenties voor het bespreken van de resultaten van de C-toets en CBCL met de cliënten. In de beginfase van de afname van de C-toets was er veel onduidelijkheid over wanneer nu wel of niet een C-toets moest worden afgenomen. Daardoor zijn er in het begin van 2007 bij verschillende cliënten geen lijsten verspreid. Goede communicatie en heldere afspraken naar sleutelfiguren in het proces (zorgcoördinatoren, secretariaatsmedewerkers) is erg belangrijk. Tot nu toe gebruikt ieder secretariaat een eigen format voor een datamonitoringsoverzicht. Het berekenen van de responscijfers aan de hand van de verschillende overzichten is erg arbeidsintensief gebleken. Regelmatig moest aanvullende informatie worden opgezocht in het cliëntsysteem (IJZA) of in Bergop. Het verdient aanbeveling om een eenduidig format te ontwikkelen waardoor in de toekomst de dataverzameling efficiënter kan zijn. De afname van de C-toets levert voor de secretariaatsmedewerkers een extra werkbelasting op. Ze moeten bijhouden wie wanneer een C-toets moet invullen, de lijsten moeten verstuurd worden aan ouders en de geretourneerde vragenlijsten moeten verwerkt worden in Bergop. De secretariaten willen graag voor deze extra werkbelasting ook meer uren tot hun beschikking hebben. Zeker nu daar de CBCL ook nog bijkomt. Het lijkt erop dat het project Zicht op Effectiviteit zich vooral concentreerde op de pilotafdelingen en dat het project voor veel andere medewerkers onbekend is gebleven. In de beginperiode en gedurende het project had meer aandacht besteed moeten worden aan interne communicatie. De startende projectleider en procesbewaker van het project Zicht op Effectiviteit is gedurende het project van baan veranderd. Binnen Tender was men zich terdege bewust van het gevaar dat het project zou vertragen doordat de projectleider was weggevallen. Men heeft dit opgevangen door een tijdelijke medewerker aan te trekken die direct enkele taken van de projectleider over kon nemen. Deze is waar nodig extra ondersteund door het Hoofd Kennis en Innovatie en de onderzoeker van Praktikon. Vervolgens is de tijd genomen om een goed taak- en functieprofiel op te zetten. Daarin is meer tijd vrijgemaakt voor onderzoek, en is ervoor gekozen om het aantal uren uit te

72

•

breiden en de functie te verdelen over twee personen. Deze werkwijze heeft er voor gezorgd dat de problemen door het vertrek van de projectleider overzienbaar zijn gebleven. De rol van de afdelingsmanagers in verspreiding van informatie over het project Zicht op Effectiviteit wordt heel verschillend ingevuld. Mogelijk heeft dat te maken met het feit dat de afdelingsmanagers tot nu toe geen duidelijk rol in het project hadden: ze maken geen deel uit van de projectgroep of de stuurgroep. Afdelingsmanagers zouden heel goed een rol kunnen hebben in het project bij het bespreken van de verspreidingsen responspercentages in de teams. De projectgroep en stuurgroep gaan hierover een besluit nemen. Het is van belang om aandacht te besteden aan de rol van de verschillende managementlagen bij de implementatie van praktijkonderzoek en de benutting van de onderzoeksresultaten.

3.3.5. Ervaringen van Tender met de projectperiode Zicht op Effectiviteit Een aantal medewerkers zijn geïnterviewd over hun ervaringen met het project Zicht op Effectiviteit. Hieronder staat in beschrijvende samenvattingen een weergave van hun antwoorden. Intervieuws met medewerkers Theo Ruikes, divisiemanager Speciale Jeugdzorg; voorzitter van de stuurgroep ZoE.

Op de vraag hoe het project over het algemeen is verlopen, geeft Theo allereerst aan dat de wisselingen in de leiding van het project volgens hem vlekkeloos zijn verlopen. Terugkijkend op het proces, blijkt de termijnplanning erg ambitieus te zijn geweest. De realisering van de drie projectdoelen blijkt meer tijd te vragen dan vooraf werd ingeschat. Achteraf bekeken is er na de start van de structurele afname van de C-toets, te weinig aandacht besteed aan het monitoren van dit proces. De rolverdeling was in deze taak niet helder genoeg (wat doen de secretariaatsmedewerkers, wat doen de zorgcoördinatoren, etc). Wat volgens Theo ook jammer is geweest, is dat er in de beginperiode niet meer aandacht is besteed aan het communiceren van het project en de projectvoortgang binnen de gehele organisatie (bijvoorbeeld middels een nieuwsbrief). Daardoor is het project voor velen onbekend gebleven. In hoeverre is het project nu binnen de organisatie bekend? Theo geeft aan dat het project (tot nu toe vooral de afname van de C-toets) op alle afdelingen goed loopt. De betrokkenheid bij het project is het grootst op de pilotafdelingen. Voor zijn eigen divisie geldt dat de verslagen van de projectgroep ter kennisgeving worden meegenomen in het divisieoverleg. Hij weet niet hoe informatie over het projectverloop binnen de andere twee divisies verspreid wordt. Erg positief is dat de zorgcoördinatoren van alle afdelingen goed op de hoogte zijn van het project en zich erg betrokken tonen. De inspanningen van de zgn. primus inter pares onder de zorgcoördinatoren, alsook van een tweede zorgcoördinator die als uitvoerende verantwoordelijk is in het proces, hebben veel opgeleverd. De eerstgenoemde heeft mede het project ZoE op de werkvloer ingevoerd. Theo heeft de indruk dat de secretariaten inmiddels goed op de hoogte zijn van hun taken in het project. Wat er voor de secretariaatsmedewerkers onder andere is bijgekomen, is het werken met BergOp. Al met al levert het project de secretariaatsmedewerkers duidelijk een extra werkbelasting op. Hoe loopt het project inhoudelijk gezien? Theo geeft aan dat de afdelingsmanagers regelmatig kijken naar de respons op de C-toets. Dit wordt meegenomen in het divisieoverleg (in elk geval bij de divisie Speciale Jeugdzorg). Met doelrealisatie is men al langere tijd bezig, maar dit is nog niet geïmplementeerd. Er is wel een scholingsdag geweest. Er is veel 73

bewustzijn, en er wordt natuurlijk altijd al met doelen gewerkt. Er wordt toegewerkt naar het stellen van beter meetbare doelen. Theo vindt dat de organisatie het afgelopen jaar duidelijk meer “onderzoeksminded” is geworden. Dit blijkt onder andere uit de het feit dat op een betrokken wijze wordt deelgenomen in de pilotprojecten. Ook in overlegbijeenkomsten, zoals het divisieoverleg, toont men zich gedreven. Iedereen wil graag weten hoe we het doen, hoe effectief de zorg is die we bieden. Op de werkvloer leeft volgens Theo het gevoel dat effectiviteitsmeting nuttig is in de praktijk. Men is zich ervan bewust dat de resultaten niet alleen belangrijk zijn om een overzicht van de effectiviteit te genereren, maar juist ook te benutten zijn in het hulpverleningsproces. Het oude idee dat resultaten van onderzoek alleen maar in een lade komen te liggen, lijkt door alle ontwikkelingen in het afgelopen jaar in elk geval aardig te zijn vervaagd. Hoe zie je de toekomst van het project? Kijkend naar de toekomst, benadrukt Theo dat de Tenderbrede uitrol van het project in 2008 goed in de gaten moet worden gehouden en gepland. Tender is een dynamische ambitieuze organisatie die zich op verschillende fronten tegelijk wil ontwikkelen. Het is van groot belang om in beeld te brengen wat een haalbaar tijdspad is. Hierbij moeten ook andere (parallel lopende) processen in de gaten gehouden worden, zoals de invoering van het oplossingsgericht werken en de HKZ-certificering. We moeten onszelf niet overvragen. We moeten ons constant afvragen of we nog steeds bereiken wat we willen. Ook moet er blijvende aandacht zijn voor het waarborgen van een draagvlak in de organisatie voor het effectiviteitsonderzoek. Belangrijk hierbij is onder andere om de toenemende werkdruk van o.a. de secretariaatsmedewerkers en zorgcoördinatoren in de gaten te houden. De centrale ondersteuning in de vorm van de medewerker onderzoek en ontwikkeling moet ervoor zorgen dat er een beter totaaloverzicht komt over het project op de werkvloer. De datastromen zullen systematisch worden gemonitord, en er zal meer ruimte zijn voor het met regelmaat communiceren van de stand van zaken middels nieuwsbrieven, intranet, bijeenkomsten etc. Theo vindt het belangrijk dat op de verschillende locaties met (clusters van) teams concreet aan de slag wordt gaan met de projectdoelen. Trees van Hoek, secretariaatsmedewerker

Op de vraag hoe de secretariaatsmedewerkers aankijken tegen het project ZoE, geeft Trees aan dat over de inhoud/achtergrond van het project weinig met hen is gecommuniceerd. Op een gegeven moment is men de C-toets gaan verspreiden, omdat hiertoe opdracht werd gegeven. De instructieochtend over BergOp is volgens Trees als heel prettig ervaren. Het is altijd prettig om duidelijke uitleg te krijgen. Toen bleek dat er een aantal dingen mis gingen met invoeren, is er opnieuw uitleg geweest en zijn duidelijke afspraken gemaakt over het gebruik van BergOp. Wat betekent het project voor de secretariaatsmedewerkers? Trees geeft aan dat het voor hen vooral een verzwaring van taken betekent. Het in de gaten houden van de meetmomenten, versturen en klaarleggen van de lijsten; de verwerking in BergOp. En ook al kost het per lijst maar een paar minuten, uiteindelijk betekent het een duidelijk hogere werkdruk. Zeker ook in de ambulante tak, waar veel doorstroom is en dus ook veel lijsten ingevuld moeten worden. Wat de secretariaatsmedewerkers het liefste veranderd zouden willen hebben, is dat ze voor de extra taken ook extra uren krijgen. Er wordt op meerdere fronten steeds meer van ze gevraagd. Er moet steeds meer op papier en in informatiesystemen komen te staan. Trees maakt zich zorgen over de extra werkdruk die er voor de secretariaten bij zal komen met de CBCL /YSR. Hier dient aandacht voor te zijn. Wat is er wel goed gegaan? Daar wordt eigenlijk weinig over gesproken, geeft Trees aan. Wat bijvoorbeeld tijdens het registratiemedewerkersoverleg aan de orde komt, is wat er

74

mis gaat en wat de knelpunten zijn. Bij de resultaten van de C-toets voelen de secretariaatsmedewerkers zich volgens Trees niet direct betrokken. Hoe tevreden de cliënten zijn, is interessant voor de hulpverleners zelf, maar in principe gaat het niet over de inspanningen van het secretariaat. Hun rol daarin is voor hun gevoel maar klein. Uiteraard willen alle secretariaatsmedewerkers zich inzetten voor een kwalitatief goede hulpverlening. Ze vinden het echter een aandachtspunt dat het papierwerk voor jeugdigen en ouders ook steeds meer toeneemt. De secretariaatsmedewerkers vragen zich af of om die reden de vragenlijsten soms niet terugkomen. Trees benoemt dat de respons hoger is wanneer de lijst in persoonlijke interactie wordt afgenomen. Dit gebeurt vooral bij crisishulp en ambulante hulp. De persoonlijke benadering is heel belangrijk. Het werkt duidelijk drempelverlagend, en op die manier vormen de vragenlijsten duidelijker een onderdeel van het hulpverleningsproces. Mogelijk kan dit de antwoorden wel beïnvloeden. Ad Kops, afdelingsmanager van één van de pilotafdelingen

Ad is naar eigen zeggen zijdelings betrokken geweest bij het project. Anouk Voeten (zorgcoördinator) weet er op zijn afdeling het meeste vanaf. Bij navraag blijkt Ad geen zicht te hebben op de resultaten van de tussenevaluatie. Ad geeft aan er van overtuigd te zijn dat effectiviteitsonderzoek in de dagelijkse hulpverleningspraktijk zinvol kan zijn. Hij benadrukt dat het onderzoek niet los moet staan van de werkvloer en dat afstemming over en weer van groot belang is. Wat betreft de C-toets, geeft Ad aan dat deze op zijn afdeling goed is verspreid. Er is echter weinig teruggekomen. Ad realiseert zich dat met name bij de korte trajecten aardig wat van de cliënten wordt gevraagd. In dit geval is het des te belangrijker dat de hulpverlener de cliënt het belang van onderzoek kan uitleggen. Ook bij de invoer van de CBCL vraagt hij aandacht voor overbelasting van de cliënt. Praktijkgericht effectonderzoek is volgens Ad in kortdurende modules lastig, maar niet onmogelijk. Er zijn echter een aantal basisvoorwaarden van belang: facilitering van de administratie, een goede vervanging bij ziekte, een efficiënte koppeling met IJZA, zo veel mogelijk de (dubbele) registratie in verschillende systemen voorkomen. Naast de aandachtspunten op het administratieve vlak, is aandacht nodig voor de hulpverleners die bezig zijn hun jongeren zo goed mogelijk te begeleiden. Op het moment dat zij niet inzien wat de toegevoegde waarde is van het afnemen van vragenlijsten en dit niet direct kunnen gebruiken in hun hulpverlening, is het voor de zorgcoördinatoren veel moeilijker hen te motiveren voor het effectiviteitsonderzoek. Ad benadrukt dat het Centraal Bureau de realiteit van de werkvloer goed in het oog moet houden. Er is volgens Ad te weinig gecommuniceerd over het project. Het zou prettig zijn als er vaker teruggekoppeld wordt over bijvoorbeeld (tussentijdse) resultaten. Zo hebben de medewerkers van zijn afdeling ervoor gezorgd dat de SDQ werd ingevuld, maar niet teruggehoord wat ermee is gebeurd. Terugkoppeling vindt hij belangrijk om meer draagvlak voor het onderzoek te creëren. De uitvoerend medewerkers zouden meer uitleg moeten krijgen over het project: over de achtergrond, de duur, wanneer er resultaten te zien zullen zijn, en het nut van het hele onderzoek. Monika de Prenter, zorgcoördinator, lid van de projectgroep

Het traject van ZoE is volgens Monika in eerste instantie gericht geweest op het inventariseren van alle noodzakelijke activiteiten. Het heeft geleid tot een actieplan dat concreet en overzichtelijk was. Op de implementatie van de C-toets werkte dit goed. Alle projectgroepleden hadden hierin een actieve rol. Het hele traject heeft veel tijd gekost, met name om de faciliteiten en de organisatorische zaken te regelen.

75

In de projectgroep bleek vooral veel behoefte aan overleg en communicatie. Dit gold ook voor de zorgcoördinatoren die geen deel uitmaakten van de projectgroep. Deze taak was aan de primus inter parus toebedeeld, maar niet in iedere divisie bleek de overlegstructuur hier voldoende op toegerust. Dit heeft volgens Monika op de werkvloer voor de nodige onrust en informatieachterstand gezorgd. Rond de implementatie van de CBCL is het lange tijd stil geweest. De stagiaires hadden hier een leidende rol in en de deelnemers van de werkgroep zouden op basis van die ervaringen de routes maken voor hun afdelingen. Op dat moment vertrok de projectleider en stagneerde daardoor de voortgang even. Om de voortgang te borgen is centraal een route CBCL ontwikkeld. Hoewel het jammer is dat hierdoor minder bottum-up gewerkt kon worden, was het een duidelijke route die voor zover mogelijk gelijk liep aan de C-toets. Al met al is de projectgroep van groot belang geweest om één lijn te krijgen in afspraken en communicatie. De communicatie buiten de werkgroep vergt de nodige aandacht, met name het informeren en het maken van afspraken over implementatie vormen een aandachtspunt.

3.4 Resultaten 3.4.1 Clienttevredenheid: C-toets De C-toets is ontwikkeld om inzicht te krijgen in het perspectief van de cliënt op de kwaliteit van de jeugdzorg. De C-toets bestaat uit 21 stellingen waarop de respondent (ouder/verzorger of jongere) door middel van een vier-punts schaal kan aangeven in hoeverre hij/zij het daarmee eens is (1=helemaal niet mee eens, 4= helemaal mee eens). Alle stellingen zijn positief geformuleerd. Hoe hoger de score van een respondent, hoe tevredener hij is. Daarna kan de respondent een rapportcijfer geven voor de tevredenheid over de hulp die hij ontvangen heeft. Wanneer bepaalde vragen worden samengenomen kan de ervaren kwaliteit op vier specifieke aspecten worden vastgesteld: Contact & Bejegening, Professionaliteit, Informatie & Voortgang, Doel & Resultaat. Om na te gaan hoe tevreden cliënten zijn over de hulpverlening van Tender zijn per behandelvorm de gemiddelde scores berekend op de vier aspecten van de C-toets, de totaalscore en het rapportcijfer. Daarbij is onderscheid gemaakt in scores bij de tussenevaluatie en scores bij de eindevaluatie. De scores op de C-toets zijn als volgt te interpreteren. De scores op de schalen kunnen variëren van 1 tot 4, waarbij een score tussen 1 en 2 staat voor een slechte kwaliteit, een score tussen 2 en 3 kan worden geïnterpreteerd als een redelijke kwaliteit, en een score van 3 tot en met 4 staat voor een goede kwaliteit. Voor de interpretatie van het gemiddelde rapportcijfer geldt dat ≤ 6 is zeer ontevreden, tussen 6 en 7 is matig tevreden, tussen 7 en 8 is redelijk tevreden en ≥ 8 is zeer tevreden. Jongeren

In Figuur 1 worden de gemiddelde totaalscores van de jongeren per behandelvorm en per meetmoment gepresenteerd. In Figuur 2 worden de rapportcijfers per behandelvorm en per meetmoment gepresenteerd. De bijbehorende tabel met gemiddelde scores en standaarddeviaties van alle schalen is weergegeven in Bijlage 1. In Figuur 1 is in de eerste kolom te zien dat alle jongeren van Tender gemiddeld 3.13 scoren bij de tussentijdse evaluatie en 3.20 bij de eindevaluatie. Gemiddeld genomen beoordelen de jongeren de kwaliteit van de hulp bij Tender dus als goed. Vervolgens zijn gemiddelde scores per behandelvorm weergegeven. Door middel van een horizontale lijn in

76

de figuur kunnen de scores van de verschillende behandelvormen vergeleken worden met de totaalscore van Tender. De scores van Arbeidstoeleiding, Coaching en Kamertraining zijn relatief hoog vergeleken bij de gemiddelde score van Tender (Boddaert en Vertrektraining scoren nog hoger, maar het gaat hierbij steeds maar om één jongere). Deze jongeren zijn dus meer tevreden over de algehele kwaliteit van de hulpverlening dan de gemiddelde jongere bij Tender. De scores bij de eindevaluatie van de Orthopedagogische Residentiële Behandeling en Paljas Plus zijn relatief laag. Deze jongeren zijn dus minder tevreden over de algehele kwaliteit van de hulpverlening dan de gemiddelde jongere bij Tender. In Figuur 2 zijn de rapportcijfers van de jongeren weergegeven. In de eerste kolom is te zien dat jongeren gemiddeld een rapportcijfer geven van 7,65 bij de tussentijdse meting en 7,78 bij de eindmeting. De jongeren zijn dus redelijk tevreden over de behandeling bij Tender. Vervolgens zijn gemiddelde rapportcijfers per behandelvorm weergegeven. Door middel van een horizontale lijn in de figuur kunnen de rapportcijfers van de verschillende behandelvormen vergeleken worden met het gemiddelde rapportcijfer van Tender. De rapportcijfers van MKT 3-12, KIOG, Arbeidstoeleiding en Coaching zijn relatief hoog vergeleken bij het gemiddelde rapportcijfer van Tender (scores bij FF en Vertrektraining zijn hoger, maar het gaat steeds maar om één jongere). Het rapportcijfer bij de eindmeting van Paljas Plus is relatief het laagst, wat betekent dat jongeren ontevreden zijn over de hulpverlening bij Paljas Plus. 4

3,5 Gemiddelde score Tender totaal

3

2,5

2

1,5

Am To bu taa lT la nt en e d s po e r Ar be ed id hu st lp Be oel ei ge di le ng id w on Bo en dd ae rt Co ac Cr hi ng isi so pv an g Ka I m OG er tra in in g KI O LL G OG /L LF Lo ng Or s t th M KT a y o. re 3 s. be - 12 h. 12 Pa -18 l ja Re s s. Pl us ba sis hu PE lp L v Ve erle Ze ni rtr lfs ng ta ek nd t ra ig i ni he ng id tra in in g

1

Figuur 1. Totaalscore C-toets jongere per behandelvorm en meetmoment.

77

Tussentijds Eindevaluatie

10 9 8

Gemiddeld rapportcijfer Tender totaal

7 6 5 4 3 2 1


tra in in g KI O LL G OG /L O L Lo rth ng F o. Re s M ta K s. y be T 3 ha -1 nd 2 .1 2 Pa -18 lja Re s s. Pl ba us sis hu P lp ve EL Ze V r lfs ert len in r ta nd ektr g ai ig n he id ing t ra in in g

FF

IO G

Ka m er

Am

To bu taa lT la nt en e de s Ar po r be ed id h u s Be toel lp ei ge d le id ing w on Bo en dd a Co ert ac Cr isi hing so pv an g

0

Figuur 2. Rapportcijfer C-toets jongere per behandelvorm en meetmoment.

Ouders

In Figuur 3 worden de gemiddelde totaalscores van de ouders per behandelvorm en per meetmoment gepresenteerd. In Figuur 4 worden de rapportcijfers per behandelvorm en per meetmoment gepresenteerd. De bijbehorende tabel met gemiddelde scores en standaarddeviaties van alle schalen is weergegeven in Bijlage 2. 4

3,5

Gemiddelde score Tender totaal

3

2,5

2

1,5

F

es id e

M nt KD .b M KT eh an 3 -1 de lin 2 g Re 12 s. Pa -18 ba lja sis s Ze hu Pl lfs us lp ta ve nd rle ig ni he ng id t ra in in g

LL

G O

OG /

FF

IO G

KI

LL Or th op ed .r

Am bu la nt e

Te nd er je ug To Am dh ta al u bu lp la W nt NB e sp R Ar oe be dh id u st oe lp le id Bo ing dd ae rt* Co ac hi Cr ng isi so pv an g

1

Figuur 3. Totaalscore C-toets ouders per behandelvorm en meetmoment.

78


10 9 Gemiddeld rapportcijfer Tender totaal

8 7 6 5 4 3 2 1


F nt M .b KD M eh KT an 3 de -1 lin 2 g 1 Re 2s. 18 Pa ba * lja sis s Ze hu P lu lfs lp s ta ve nd rle ig n in he g id t ra in in g

LL

G O

OG /

KI

LL

IO G

FF

O rth

op ed .r

es id e

Am bu la nt

e

Te nd er je ug To Am dh ta al u bu lp la W nt NB e sp R Ar oe be dh id u st oe lp le id in g Bo dd ae rt Co ac hi Cr ng isi so pv an g

0

Figuur 4. Rapportcijfer C-toets ouders per behandelvorm en meetmoment.

In Figuur 3 is in de eerste kolom te zien dat ouders gemiddeld 3.50 scoren bij de tussentijdse evaluatie en 3.45 bij de eindevaluatie. Gemiddeld genomen beoordelen de ouders de kwaliteit van de hulpverlening bij Tender dus als goed. Vervolgens zijn gemiddelde scores per behandelvorm weergegeven. Door middel van een horizontale lijn in de figuur kunnen de scores van de verschillende behandelvormen vergeleken worden met de totaalscore van Tender. De scores bij de eindevaluatie van Boddaert en FF zijn relatief hoog vergeleken bij de gemiddelde score van Tender. Deze ouders zijn dus meer tevreden over de algehele kwaliteit van de hulpverlening dan de gemiddelde ouder bij Tender. Het verschil tussen de score bij de tussentijdse meting en de eindmeting van Boddaert is significant. Ouders zijn bij de eindmeting tevredener. De scores bij Crisisopvang, Orthopedagogische Residentiële Behandeling 12-18 jaar, Paljas Plus en Zelfstandigheidstraining zijn relatief laag. Deze ouders zijn dus minder tevreden over de algehele kwaliteit van de hulpverlening dan de gemiddelde ouder bij Tender. In Figuur 4 zijn de rapportcijfers van ouders weergegeven. In de eerste kolom is te zien dat ouders gemiddeld een rapportcijfer geven van 8,16 bij de tussentijdse meting en 8,18 bij de eindmeting. Gemiddeld genomen zijn ouders dus zeer tevreden over de hulpverlening bij Tender. Vervolgens zijn gemiddelde rapportcijfers per behandelvorm weergegeven. Door middel van een horizontale lijn in de figuur kunnen de rapportcijfers van de verschillende behandelvormen vergeleken worden met het gemiddelde rapportcijfer van Tender. De rapportcijfers van Ambulante Spoedhulp, Boddaert, LLOG/LLF en MKD zijn relatief hoog vergeleken bij het gemiddelde rapportcijfer van Tender. De rapportcijfers bij de tussentijdse metingen van Paljas Plus en Zelfstandigheidstraining en de eindmeting bij MKT 3-12 zijn relatief laag, ouders zijn matig tevreden over de hulpverlening. Bij Orthopedagogische Residentiele Behandeling 12-18 jaar is er een significant verschil tussen het rapportcijfer bij de tussentijdse meting en bij de eindmeting. Bij de eindmeting is het cijfer lager (8,50 vs 7,20).

79

Wanneer de scores van ouders en jongeren met elkaar vergeleken worden dan valt op dat ouders gemiddeld tevredener zijn over de behandeling dan jongeren.

3.4.2 Probleemreductie: CBCL en SDQ In het kader van het pilot-onderzoek naar de vergelijking en bruikbaarheid van CBCL en SDQ zijn bij 53 gezinnen van vier locaties de SDQ en CBCL/YSR bij ouders en/of jongeren afgenomen: Boddaert, Krabbebossen, Jeugd & Zelfstandigheid en Lievenshove. Bij Boddaert (daghulp jongere jeugd) en de Krabbebossen (residentieel jongere jeugd) zijn maar enkele vragenlijsten door jongeren ingevuld omdat de meesten daarvoor te jong zijn (jonger dan 11 jaar). Bij de afdeling Jeugd en Zelfstandigheid (ambulante hulp oudere jeugd) is alleen de SDQ door ouders en jongeren ingevuld. Men vond afname van twee vragenlijsten te belastend voor deze kortdurende module waarbij de doelgroep relatief lichte problematiek kent. Bij de afdeling Lievenshove (residentieel oudere jeugd) zijn zowel SDQ als CBCL/YSR bij ouders en jongeren afgenomen. De vragenlijsten zijn in principe afgenomen bij opname van de jongere in de betreffende behandelvorm. In enkele gevallen is een vragenlijst bij afsluiting van de behandeling ingevuld of bij zowel opname als afsluiting. In onderstaande worden per vragenlijst (SDQ resp. CBCL/YSR) de resultaten weergegeven in grafieken. De resultaten worden gepresenteerd in de vorm van gemiddelde deviatiescores. Een deviatiescore zegt iets over de afwijking t.o.v. de normgroep (nietklinisch). Een deviatiescore van 0 betekent een score gelijk aan de gemiddelde score van de normgroep. Hoe hoger de deviatiescore, hoe meer de score afwijkt van de norm. Bij een deviatiescore van 1,29 of hoger spreken we van aanzienlijke problemen. De score wijkt dan zoveel af van de gemiddelde score van de normgroep dat we spreken van een klinische grens. Omdat een deviatiescore een gestandaardiseerde score is, is het mogelijk resultaten op verschillende vragenlijsten onderling te vergelijken. In de grafieken wordt de klinische grens steeds weergegeven in de vorm van een horizontale lijn. Zo is direct te zien op welke schalen de jeugdigen boven de klinische grens scoren. SDQ: Gemiddelde scores bij opname en einde behandeling

Bij 26 jongeren is een SDQ bij opname afgenomen, bij 2 jongeren is een SDQ bij afsluiting van de behandeling afgenomen (deze zijn daarom in de grafiek buiten beschouwing gelaten). Door 27 ouders is een SDQ ingevuld bij opname van hun kind, door 7 ouders is een SDQ ingevuld bij afsluiting van de behandeling. In Figuur 5 worden de gemiddelde scores van jongeren bij opname op de SDQ gepresenteerd. Eveneens worden de gemiddelde scores van ouders bij opname en einde behandeling op de SDQ gepresenteerd. De bijbehorende tabel met gemiddelde scores en standaarddeviaties is weergegeven in Bijlage 3.3.

80

3,50

SDQ jo opname N=26 SDQ ou opname N=27 SDQ ou einde N=7

3,00

2,50

2,00

1,50

klinische grens 1,29

1,00

0,50

0,00 Emotionele symptomen

Gedragsproblemen

Hyperactiviteit

Problemen met leeftijdsgenoten

Prosociaal gedrag

Totale problemen

-0,50

Figuur 5. Gemiddelde scores van jongeren en ouders op de schalen van de SDQ bij opname en bij einde behandeling (ouders).

In Figuur 5 is te zien dat jongeren bij opname op geen enkele schaal boven de klinische grens scoren. Dat betekent dat zij gemiddeld genomen geen ernstige problemen ervaren. Relatief gezien ervaren zij de meeste problemen op de schaal gedragsproblemen. Ouders daarentegen ervaren bij opname aanzienlijke problemen bij hun kinderen op de schalen gedragsproblemen, hyperactiviteit en totale problemen. Ouders die een SDQ bij einde van behandeling hebben ingevuld, ervaren aanzienlijke problemen op de schalen gedragsproblemen, hyperactiviteit, problemen met leeftijdgenoten en totale problemen. In vergelijking met ouders die een SDQ bij opname van hun kind hebben ingevuld, ervaren de ouders bij einde behandeling minder problemen op het gebied van emotionele problemen en prosociaal gedrag en meer problemen op de schalen gedragsproblemen, problemen met leeftijdsgenoten en totale problemen. De geconstateerde verschillen tussen de meting bij opname en bij einde behandeling zijn niet significant. Verder moet worden opgemerkt dat de ouders die bij afsluiting van de behandeling een SDQ hebben ingevuld, niet dezelfde zijn als de ouders die bij opname een SDQ hebben ingevuld en dat het bij afsluiting om zeven ouders gaat. Het beeld dat ouders en jongeren grote verschillen ervaren in de mate van de problematiek is een bekend verschijnsel. SDQ: Gemiddelde scores per locatie

Vervolgens is nagegaan of er bij de SDQ-meting bij opname verschillen zijn tussen de locaties. In Figuur 6 worden de gemiddelde scores van ouders en jongeren per behandelvorm gepresenteerd. Daarbij zijn in de grafiek alleen de locaties meegenomen waarvan drie of meer vragenlijsten van ouders en/of jongere beschikbaar zijn. De bijbehorende tabel met gemiddelde scores en standaarddeviaties van alle locaties is weergegeven in Bijlage 3.4.

81

4,00

SDQ SDQ SDQ SDQ SDQ

3,50

jo J&Z Breda N=7 jo Lievenshove N=11 ou Boddaert N=3 ou J&Z Breda N=9 ou Lievenshove N=9

3,00

2,50

2,00

1,50 klinische grens 1,29 1,00

0,50

0,00 Emotionele symptomen

Gedragsproblemen

Hyperactiviteit


Prosociaal gedrag

Totale problemen

-0,50

Figuur 6. Gemiddelde scores op de SDQ van jongeren en ouders bij opname per locatie.

Bij de locatie Jeugd & Zelfstandigheid in Breda rapporteren de jongeren meer emotionele problemen, meer problemen op het gebied van hyperactiviteit, minder problemen op het gebied van prosociaal gedrag en meer totale problemen dan jongeren van de locatie Lievenshove. Op de schalen gedragsproblemen en problemen met leeftijdsgenoten rapporteren jongeren van beide locaties ongeveer evenveel problemen. Deze geconstateerde verschillen zijn niet significant. Ouders van kinderen die zijn opgenomen bij de locaties Lievenshove en Jeugd & Zelfstandigheid ervaren aanzienlijke emotionele problemen bij hun kinderen. Ouders van jongeren van Lievenshove ervaren relatief de meeste emotionele problemen bij hun kinderen. Ouders van alle locaties ervaren aanzienlijke gedragsproblemen bij hun kinderen. Ouders van kinderen die zijn opgenomen bij Boddaert ervaren relatief de meeste gedragsproblemen. Ouders van jeugdigen die zijn opgenomen bij Jeugd & Zelfstandigheid ervaren aanzienlijke problemen op het gebied van leeftijdsgenoten bij hun kinderen. De jongeren van Lievenshove hebben, volgens hun ouders, aanzienlijke problemen op het gebied van prosociaal gedrag. De geconstateerde verschillen tussen de locaties zijn niet significant. CBCL/YSR: Gemiddelde scores bij opname en einde behandeling

Bij 15 jongeren (allen van de locatie Lievenshove) is een YSR bij opname afgenomen, bij 1 jongere is een YSR bij afsluiting van de behandeling afgenomen (deze is daarom in de grafiek buiten beschouwing gelaten). Door 18 ouders is een CBCL ingevuld bij opname van hun kind, door 6 ouders is een CBCL ingevuld bij afsluiting van de behandeling. In Figuur 7 worden de gemiddelde scores van jongeren bij opname op de YSR gepresenteerd. Eveneens worden de gemiddelde scores van ouders bij opname en bij einde behandeling op de CBCL gepresenteerd. De bijbehorende tabel met gemiddelde scores en standaarddeviaties van alle jongeren en ouders is weergegeven in Bijlage 3.5.

82

3,50

3,00

2,50

2,00

1,50 klinische grens 1,29 1,00

0,50

na l

m en ro bl e

ise

re n

re n

To ta l

e

ge

dr ag sp

Ex te r

na lis e In te r

fg ed

ra g

ra g nt ge d

Ag re ss ie

en qu e lin

m

le m De

m en

ac ht sp ro b

Aa nd

De n

pr ob le

kp ro bl e

en

f sie So c ia le

en ch t

gs t ig -d ep re s

An

kl a el ijk e

am Li ch

Te ru gg

et ro kk en

0,00

YSR jo opname N=15 CBCL Ou opname N=18 CBCL Ou einde N=6

Figuur 7. Gemiddelde scores op de YSR bij opname en CBCL bij opname en afsluiting

In Figuur 7 is te zien dat jongeren op geen van de subschalen aanzienlijke problemen ervaren; hetzelfde beeld als bij de SDQ. Relatief gezien ervaren zij de meeste problemen op de schalen Denkproblemen, Agressief Gedrag en Externaliseren. Ouders daarentegen ervaren bij opname, net als bij de SDQ, aanzienlijke problemen bij hun kinderen op alle schalen. Relatief gezien ervaren zij de meeste problemen op de schalen Angstig-Depressief, Denkproblemen, Delinquent gedrag, Externaliseren en Totale gedragsproblemen. De minste problemen ervaren zij op de schaal Lichamelijke Klachten. Bij het einde van de behandeling ervaren ouders op bijna alle schalen (behalve Teruggetrokken gedrag) aanzienlijke problemen. Op de schalen Lichamelijke Klachten, Angstig-Depressief en Denkproblemen ervaren ouders bij einde behandeling iets meer problemen dan ouders bij opname. Bij einde behandeling ervaren ouders minder problemen op de schalen Aandachtsproblemen, Delinquent Gedrag, Agressief Gedrag, Internaliseren, Externaliseren en Totale Gedragsproblemen dan ouders bij opname. De geconstateerde verschillen van ouders tussen de scores bij opname en bij einde behandeling zijn niet significant. Tevens moet worden opgemerkt dat de ouders die bij afsluiting van de behandeling een CBCL hebben ingevuld, niet dezelfde zijn als de ouders die bij opname een CBCL hebben ingevuld en dat het bij afsluiting om vijf ouders gaat. CBCL: Gemiddelde scores per locatie

Van de 18 ouders die bij opname een CBCL invulden, zijn 11 kinderen op Lievenshove geplaatst, twee op Boddaert, één op de Krabbebossen, één op de Driekant en van drie ouders is onbekend waar hun kind geplaatst is. De YSR is alleen bij de locatie Lievenshove ingevuld. Vanwege deze kleine aantallen respondenten per locatie is ervoor gekozen de resultaten hier niet in een grafiek te presenteren. De scores per locatie zijn opgenomen in een tabel in Bijlage 3.6.

83

3.5 Conclusies en aanbevelingen 3.5.1 Ontwikkelingen binnen Tender “Bij de tijd blijven” in de context van alle nieuwe ontwikkelingen in de jeugdzorg, vereist van jeugdzorgaanbieders een grote slagvaardigheid. In het kader van de spirituele metafoor Tender wil met haar tijd mee gaan, maar niet van haar geloof afvallen, heeft Tender in haar Beleidsplan 2008-2011 een ontwikkelrichting beschreven die inspeelt op ontwikkelingen zoals de komst van Centra voor Jeugd en Gezin en de toenemende marktwerking. In de beweging die Tender de afgelopen tijd heeft ingezet en doorgemaakt, was deelname aan het project Zicht op Effectiviteit een mooie en passende schakel. Het opzetten en uitvoeren van onderzoek naar de effectiviteit van de hulpverlening werd reeds beschreven als één van de drie hoofdthema’s in de Tender Ontwikkelplannen (TOP1 en TOP232). Tender wil met haar effectiviteitsonderzoek laten zien dat de middelen die ze krijgt om haar maatschappelijke opdracht te vervullen ook daadwerkelijk effect hebben. De uitrol van het effectiviteitsonderzoek krijgt een plaats in een breed scala aan nieuwe ontwikkellijnen (deelprojecten) die naar verwachting gezamenlijk een flinke slag betekenen in het borgen en verbeteren van de kwaliteit in de organisatie. Zo heeft Tender in de eerder genoemde Ontwikkelplannen ook haar keuze voor de metavisie “Oplossingsgericht Bejegenen” (OGB) vastgelegd. Dit betreft een positieve, toekomstgerichte mensvisie en communicatie met vooral opbouwende vragen, gericht op eigen oplossingen. De hulpverlener (of de leidinggevende) ondersteunt de cliënt (of de medewerker) om zijn mogelijkheden te ontdekken en in te zetten. Middels de attitude en interventies die passen binnen deze wijze van bejegenen verwacht Tender een bijdrage te realiseren aan, inmiddels door onderzoek vast komen te staan, algemeen werkzame bestanddelen van de hulp. Daarnaast bevindt Tender zich midden in een certificeringstraject, waardoor de samenhang tussen kwaliteit, professionaliteit en effectiviteit steeds herkenbaarder wordt voor onze medewerkers. Tot slot heeft Tender recent het Meerjarenbeleidsplan 2008-2011 vastgesteld waarin zij – middels aanpassingen in de topstructuur en in de aansturing van de organisatie – inspeelt op de veranderende context van de jeugdzorg. De verandering van drie divisies naar twee divisies (divisie Kind en Gezin en divisie Jeugd en Netwerk) en een Front-Office wordt momenteel geïmplementeerd. Van het FrontOffice maken drie onderdelen deel uit: cliëntmanagement, diagnostiek en directe hulp. De unit “directe hulp”is een belangrijk onderdeel van een nieuwe meer marktgerichte werkwijze en een vorm om aansluiting te zoeken bij de Centra voor Jeugd en Gezin. De externe geografische herkenbaarheid zal geen vorm krijgen in twee relatief grote regio’s (Breda en WNB), maar in kleinere regio’s parallel aan de Centra voor Jeugd en Gezin. Daarnaast zal het zorgaanbod meer vraaggericht worden geordend door de keuze voor een indeling in de volgende zes programmalijnen: Jeugdigen en gezinnen in crisis, Ontwikkelingsstoornissen jonge kind, Multiple gezinsproblemen, Multiculturele problematiek, Gedragsstoornissen en Faseproblematiek zelfstandigheid. De modules die binnen de programmalijnen aangeboden worden, zullen jaarlijks geëvalueerd gaan worden, waarmee aan verbetering en vernieuwing van het zorgaanbod van Tender structureel aandacht wordt gegeven. De bovengenoemde ontwikkelingen vragen van de medewerkers van Tender veel flexibiliteit, maar leveren hen ook veel op. Ingaande op het verloop van het project Zicht op Effectiviteit binnen Tender, kan gezegd worden dat er al veel bereikt is. Een aantal van de vooraf gestelde doelen is behaald en een belangrijke winst is dat de organisatie in de vrij korte periode van een jaar meer “onderzoeksminded” is geworden. Bevorderlijk voor de toekomst is het aantrekken van een nieuwe medewerker Onderzoek & Ontwikkeling (O&O), waardoor 32

Verwijzing TOP1 TOP2

84

onderzoek gekoppeld aan zorgontwikkeling, geborgd wordt. Terugkijkend op het afgelopen jaar is gebleken dat de plannen qua inhoud en tijdspad vrij ambitieus zijn geweest. Daarnaast heeft de interne communicatie over de resultaten van het project – en de mogelijkheden om de gegevens te benutten – te wensen overgelaten. Vooral de pilotafdelingen zijn goed op de hoogte van het project Zicht op Effectiviteit; voor de overige afdeling geldt dit in mindere mate. 3.5.2 Doelstellingen Zicht op Effectiviteit De drie doelstellingen voor de duur van het project waren: (1) implementatie van effectonderzoek (cliënttevredenheid, doelrealisatie en probleemreductie) in het hulpverleningsproces, (2) verkenning van specifieke aanvullende onderzoeksvragen op de werkvloer, en (3) benutting van onderzoeksresultaten door hulpverleners. Bij elk doel hoorde een aantal praktische doelen, welke in hoofdstuk 2 zijn beschreven. Bij aanvang van het project Zicht op Effectiviteit zijn een stuurgroep en een projectgroep geformeerd en is er een projectleider aangesteld.

3.5.3 Procesverloop In paragraaf 3 van dit hoofdstuk was te lezen hoe het proces met betrekking tot het werken aan de drie doelstellingen is verlopen. Er zijn successen behaald maar ook knelpunten zichtbaar geworden. Praktisch gezien loopt momenteel de afname van de C-toets op alle afdelingen redelijk tot goed. Het streven om 70% van de C-toetsen die naar cliënten verstuurd hadden moeten worden ook daadwerkelijk te versturen, is inmiddels behaald. Daarnaast is recent bij de pilotlocaties gestart met de afname van de CBCL. Ondersteuning bij de data-invoer is georganiseerd door aan elk van de pilotlocaties een onderzoeksstagiaire te koppelen. De organisatiebrede uitrol van het gebruik van de CBCL en YSR voor het structureel meten van de probleemreductie is in voorbereiding. Zo heeft een aantal zorgcoördinatoren en hulpverleners begin november een training gevolgd over het werken met en benutten van de CBCL in het hulpverleningsproces. In februari volgt een terugkomdag. Voor elk van de drie onderdelen van het effectiviteitsonderzoek zijn procedures geschreven; naast de procedures voor de C-toets en de CBCL heeft Tender inmiddels ook een procedure doelrealisatie. Dit onderdeel van de effectiviteitsmeting is nog niet ingevoerd maar wel in voorbereiding. Het formuleren van meetbare hulpverleningsdoelen blijkt voor de medewerkers een lastige omslag te zijn, ook na de scholingsdag afgelopen juni. Wat met name lastig is gebleken, is om de doelen niet “te klein” te maken. Van de hulpverleningsdoelen worden immers de “kleinere” (modulaire) werkdoelen afgeleid, en via de evaluatie van de werkdoelen worden de hulpverleningsdoelen uiteindelijk geëvalueerd. Er moet veel mee geoefend worden om erin thuis te geraken. Omdat de implementatie van de C-toets en CBCL gedurende het project prioriteit heeft gekregen, is er weinig aandacht geweest voor de vraag welke verdiepende onderzoeksvragen er nog leven in de organisatie. De verwachting is dat als de afname van de C-toets, doelrealisatie en de CBCL geïmplementeerd zijn op de pilotlocaties, dat daar specifieke, verdiepende vragen ontstaan, die onder meer aanleiding kunnen vormen tot onderzoek door studenten voor hun Masterthesis. Ten aanzien van het laatste doel (benutting van onderzoeksresultaten door hulpverleners) kan geconcludeerd worden dat de zorgcoördinatoren goed geïnformeerd zijn

85

over hun rol in het onderzoek. Afdelingsmanagers en hulpverleners zijn minder betrokken geweest bij het onderzoek. Voor de vertaling van de uitkomsten naar concrete verbeteracties binnen bepaalde modules is een procedure uitgewerkt. Vanaf 2008 zullen de onderzoeksresultaten onderdeel vormen van de managementinformatie (de indicatoren cliënttevredenheid en doelrealisatie halfjaarlijks, en probleemreductie jaarlijks) en van de modulereviews, een jaarlijkse evaluatie op module-niveau die een structurele plaats heeft gekregen in de Planning en Control-cyclus. In 2008 zal gestart worden met enkele modulen per programmalijn, deze zijn in overleg met het divisiemanagement inmiddels vastgesteld.

3.5.4 Hoe gaat Tender verder? Van het procesverloop tijdens de deelname aan het project Zicht op Effectiviteit is veel geleerd. Dit geeft aanleiding tot een aantal vervolgstappen die al op de korte termijn zullen worden gezet. De verspreiding van de C-toets zit weliswaar redelijk tot goed in het systeem van de secretariaatsmedewerkers, over de achtergrond en het nut van de vragenlijst is bij hen en bij de afdelingsmanagers en hulpverleners nog te weinig bekend. De medewerker O&O zal begin 2007 een ronde maken langs de teams zodat de resultaten van 2007 voldoende bekend zullen zijn en de vragenlijst als het ware meer gaat leven. Naar verwachting zullen de resultaten dan in het vervolg meer benut worden. De registratie van de C-toets blijft een punt van aandacht, zowel bij de secretariaten als ook bij de hulpverleners. Vooral voor de laatste groep moet dit nog onderdeel van de vaste routine worden. De medewerker O&O zal zorgen voor de invoering van een eenduidig Excelformat op de secretariaten, en daar uitleg bij geven. De overzichten voor datamonitoring zullen periodiek (het eerste half jaar sowieso maandelijks) door de medewerker O&O worden opgevraagd. Zij zal de verspreidingsen responspercentages terugkoppelen aan de afdelingsmanager (geordend per afdeling en/of module). Ook over de cijfermatige resultaten van de C-toets zal maandelijks worden teruggekoppeld. Daarnaast zal aan zorgcoördinatoren gevraagd worden voortaan bij te houden hoe veel van de ingevulde C-toetsen besproken zijn. Het benutten van de C-toets als signaleringsintrument zal (voor zover dit nog niet gebeurt) gestimuleerd worden. Afdelingsmanagers zullen een rol moeten spelen bij het bespreken van de verspreidingsen responspercentages en de resultaten van de C-toets in de teams. De medewerker O&O zal regelmatig nagaan of dit ook daadwerkelijk gebeurt. Ook zal zij een format maken waarin afdelingsmanagers naar aanleiding van de aangeboden sturingsinformatie hun daaruit volgende verbeteracties kunnen weergeven. Afdelingsmanagers wordt gevraagd dit overzicht terug te koppelen aan de divisiemanager en de medewerker O&O. Belangrijke resultaten van het effectiviteitsonderzoek zullen op de frontpage van het intranet verschijnen. De cliënten van Tender zullen worden voorzien van informatie over het effectiviteitsonderzoek middels publicatie van (een korte samenvatting van algemene resultaten) in de Tender-krant, welke drie keer per jaar uitkomt. Wat betreft de CBCL/YSR, is in de huidige fase van implementatie een goede ondersteuning bij het proces van groot belang. Dit geldt momenteel vooral voor de pilotafdelingen, die er al mee werken. De medewerker onderzoek en ontwikkeling (O&O) verzorgt instructie aan secretariaten over de invoer van de vragenlijsten in Bergop, en is altijd bereikbaar voor vragen. De gegevens van de SDQ’s van Lentehof die nog zijn blijven liggen, zal de medewerker O&O op korte termijn in samenwerking met de onderzoeksstagiaires uitwerken en bij Lentehof bespreken. Ook zal zij een plan schrijven voor de gefaseerde invoer

86

van de CBCL/YSR over de overige afdelingen, dat kan worden uitgevoerd nadat CBCL/YSR zijn geïmplementeerd binnen de pilotafdelingen. De volgorde hangt mede samen met de planning voor het trainen van de medewerkers (de zorgcoördinatoren en andere functiegroepen zoals de gezinshulpverleners) in het gebruik van de vragenlijsten. Er staat al een aantal instructiebijeenkomsten gepland. De medewerker O&O zal de voortgang monitoren en waar nodig faciliteren. Daar waar voor medewerkers nog geen training gepland is, zal de medewerker O&O hiervoor een plan opstellen. Wat betreft doelrealisatie, is het vooral belangrijk om er veel mee te oefenen. Hiertoe zullen intervisiebijeenkomsten plaatsvinden, waarvan de eerste gepland staat in januari. Zodra het werken met SMART geformuleerde doelen wat meer vorm krijgt, zal de medewerker O&O een plan schrijven voor gefaseerde uitrol van (het meten van) doelrealisatie binnen de afdelingen van Tender. Doelrealisatie is in Brabant vastgesteld als een van de prestatieindicatoren. In dit kader participeert Tender in het landelijke benchmark-project. Standaardisatie van doelen kan een opbrengst zijn die voortkomt uit deze benchmark. Tender zal in elk geval een start maken met het opstellen van een lijst met gestandaardiseerde omschrijving van veel voorkomende doelen. Daarnaast neemt Tender deel aan de provinciale projectaanvraag RAAK. Hierbinnen zal het gezamenlijk leren binnen de provincie op het gebied van doelrealisatie vorm krijgen. Tender maakt hierin een start samen met De Combinatie, Oosterpoort en mogelijk ook Kompaan, waarna het project verder over Brabant zal worden uitgerold. De uitvoer van het project zal naar verwachting 1 april starten. De medewerker O&O zal, zo mogelijk steeds met een projectgroeplid, werkbezoeken organiseren bij enkele collega-instellingen (buiten Brabant) die verder zijn met de implementatie van doelrealisatie. Een algemeen aandachtspunt voor de korte termijn betreft de extra werkbelasting voor de secretariaatsmedewerkers. Zij moeten bijhouden wie wanneer een vragenlijst moet invullen, de lijsten moeten verspreid worden en de geretourneerde vragenlijsten moeten verwerkt worden in Bergop. De secretariaten zal worden gevraagd om in kaart te brengen hoe veel extra tijd het hen kost, zodat kan worden nagegaan op welke wijze secretariaten gefaciliteerd moeten worden. In het afgelopen jaar betrof Zicht op Effectiviteit een landelijk project. Voortzetting van het effectiviteitsonderzoek binnen Tender zal nog minimaal een jaar binnen een projectstructuur plaatsvinden. Begin 2008 zal bekeken worden of dit op dezelfde wijze als in 2007 georganiseerd zal worden. Met datgene wat geleerd is, zal een structuur worden vastgesteld die de verdere uitrol van het effectiviteitsonderzoek naar verwachting het meest effectief ondersteunt en bewaakt. De bijeenkomsten van het Effectiviteitsplatform (EPF) kunnen in de toekomst ook ondersteunend zijn voor de medewerker O&O. In de bijeenkomsten van het EPF is ruimte voor onderlinge uitwisseling van ervaringen met het implementeren en uitvoeren van praktijkonderzoek.

3.5.5 Effectiviteitsonderzoek als onderdeel van het dagelijks handelen In de nieuw vast te stellen ondersteuningsstructuur, is blijvende aandacht voor communicatie over het effectiviteitsonderzoek van groot belang. Hierbij hoort ook aandacht voor de rol van de verschillende managementlagen bij de implementatie van praktijkonderzoek en benutting van de resultaten. Om te bereiken dat hulpverleners de resultaten van het effectiviteitsonderzoek gebruiken in hun dagelijks handelen, zonder dat het als last wordt ervaren, is een positieve attitude over het onderzoek een basisvoorwaarde. Logischerwijs willen medewerkers en

87

cliënten weten waar ze het voor doen. Om het nut ervan te laten “leven” en tastbaar te maken, is echter eerst respons nodig. Dit is een tegenstrijdigheid in het geheel; er moet eerst een periode veel geïnvesteerd worden voordat men inziet dat het “werkt”. In het afgelopen jaar heeft Tender een stap in de goede richting gezet. Meer en meer is het ons effectiviteitsonderzoek en niet alleen “het onderzoek van de medewerker O&O”; een goede basis om op voort te bouwen.

88

Bijlage 3.1 Gemiddelde scores van de jongeren op de C-toets bij de verschillende behandelvormen op twee meetmomenten (N=230) Totaalscore Bejegening Professionaliteit Informatie Resultaat N Gem SD Gem SD Gem SD Gem SD Gem SD Afsluiting 3 3,32 0,40 3,67 0,58 3,53 0,31 3,06 0,35 3,17 0,44 Tussentijds 5 3,33 0,49 3,55 0,54 3,40 0,58 3,13 0,52 3,33 0,47 Afsluiting 6 3,46 0,35 3,63 0,41 3,56 0,34 3,39 0,38 3,33 0,46 3,43 0,67 3,63 0,53 3,40 0,57 3,25 0,82 3,50 0,71 Begeleid wonen Tussentijds 2 Afsluiting 3 3,15 0,27 3,33 0,58 3,33 0,58 2,82 0,17 3,18 0,02 Boddaert Afsluiting 1 4,00 4,00 4,00 4,00 4,00 Coaching Tussentijds 4 3,39 0,29 3,69 0,38 3,56 0,33 3,04 0,21 3,42 0,42 Afsluiting 36 3,42 0,41 3,62 0,40 3,57 0,48 3,15 0,45 3,44 0,49 Crisisopvang Afsluiting 26 3,04 0,48 3,14 0,49 3,15 0,62 2,92 0,56 3,00 0,55 FF Afsluiting 1 4,00 3,20 3,33 IOG Tussentijds 19 3,18 0,36 3,40 0,37 3,24 0,44 2,98 0,46 3,17 0,46 Afsluiting 27 3,18 0,32 3,48 0,35 3,23 0,40 2,95 0,43 3,20 0,38 Kamertraining Tussentijds 5 3,42 0,28 3,70 0,41 3,43 0,32 3,13 0,22 3,51 0,40 Afsluiting 8 3,51 0,38 3,66 0,44 3,50 0,39 3,38 0,39 3,54 0,53 KIOG Afsluiting 2 3,60 0,29 3,38 0,18 3,70 0,42 3,83 0,24 3,50 0,71 LLOG/LLF Tussentijds 1 3,24 3,75 3,40 3,00 3,00 Long stay Tussentijds 1 3,25 3,75 3,00 2,83 3,60 Afsluiting 1 3,19 3,75 3,80 2,67 2,83 MKT 3 - 12 Tussentijds 2 3,10 0,34 3,50 0,71 3,30 0,42 2,92 1,06 2,83 0,24 Afsluiting 3 3,25 0,34 3,42 0,52 3,47 0,12 2,89 0,95 3,33 0,67 Tussentijds 20 3,05 0,44 3,25 0,37 3,26*** 0,44 2,85 0,59 2,96 0,59 Orthoped resident. behandeling 12-18 Afsluiting 15 2,76 0,63 2,93 0,78 2,78*** 0,58 2,60 0,66 2,80 0,76 Paljas Plus Tussentijds 8 2,76 0,52 3,07 0,35 2,73 0,65 2,60 0,62 2,76 0,67 Afsluiting 7 2,77 0,34 2,93 0,35 2,80 0,64 2,81 0,41 2,71 0,79 PEL Tussentijds 4 3,19 0,43 3,56 0,43 3,00 0,59 3,29 0,21 2,91 0,54 Afsluiting 1 2,90 3,25 2,60 3,00 2,83 Res. basishulpverlening Tussentijds 6 3,19 0,41 3,17 0,34 3,37 0,41 2,86 0,64 3,39 0,43 Afsluiting 6 3,01 0,37 3,18 0,56 3,03 0,34 2,83 0,33 3,06 0,50 3,90 4,00 4,00 4,00 3,67 Vertrektraining Afsluiting 1 Zelfstandigheidtraining Tussentijds 9 3,00 0,35 3,08 0,38 3,13 0,47 2,83 0,32 2,99 0,39 Afsluiting 14 3,27 0,55 3,35 0,54 3,34 0,49 3,09 0,67 3,33 0,60 3,13 0,42 3,35 0,42 3,22 0,48 2,93 0,51 3,11 0,53 Totaal Tender Tussentijds 86 Afsluiting 161 3,20 0,48 3,38 0,53 3,29 0,54 3,02 0,54 3,20 0,57 N.B. Er zijn in totaal 247 C-toetsen door jongeren ingevuld bij de tussentijdse evaluatie of aan het eind van de behandeling. Van 17 jongeren is zowel bij de tussentijdse evaluatie behandeling een C-toets afgenomen. *** Het verschil tussen de tussentijdse meting en de meting bij afsluiting is significiant, p < .01 Behandelvorm Ambulante spoedhulp Arbeidstoeleiding

Meetmoment

89

Rapportcijfer Gem SD 8,33 0,58 8,60 1,34 8,60 1,52 8,50 2,12 7,50 0,71 8,00 8,50 1,29 8,47 1,28 7,68 1,91 9,00 7,95 0,97 7,92 1,12 8,00 1,22 8,40 1,14 9,00 0,00 8,00 9,00 8,00 7,00 1,41 8,67 0,58 7,32 2,00 6,80 1,37 6,38 2,67 5,43 2,23 8,00 7,00 7,50 1,05 7,50 1,05 10,00 7,56 1,01 7,36 1,91 7,65 1,60 7,78 1,61 als aan het eind van de

Bijlage 3.2 Gemiddelde scores van de ouders op de C-toets bij de verschillende behandelvormen op twee meetmomenten (N=372) Totaalscore Bejegening Professionaliteit Informatie Resultaat Rapportcijfer N Gem SD Gem SD Gem SD Gem SD Gem SD Gem SD Ambulante jeugdhulp WNBR Tussentijds 13 3,35 0,42 3,56 0,44 3,35 0,56 3,27 0,57 3,25 0,48 8,00 0,85 Ambulante spoedhulp Afsluiting 8 3,53 0,41 3,80 0,39 3,28 0,28 3,53 0,53 3,53 0,57 8,86 1,46 Arbeidstoeleiding Tussentijds 4 3,38 0,51 3,40 0,49 3,10 0,42 3,49 0,55 3,50 0,64 7,50 0,58 Afsluiting 6 3,37 0,56 3,50 0,55 3,50 0,55 3,32 0,63 3,37 0,55 8,25 0,96 Boddaert Tussentijds 9 3,58* 0,27 3,82 0,27 3,24** 0,26 3,63* 0,36 3,61* 0,35 8,00 1,41 Afsluiting 4 3,88* 0,08 3,90 0,20 3,60** 0,28 4,00* 0,00 4,00* 0,00 8,67 0,58 Coaching Tussentijds 2 3,42 0,75 3,70 0,42 4,00 3,40 0,57 3,33 0,94 7,50 0,71 Afsluiting 16 3,31 0,34 3,40 0,46 3,23 0,51 3,25 0,46 3,24 0,35 8,17 0,58 Crisisopvang Afsluiting 43 3,17 0,47 3,31 0,54 3,15 0,55 3,14 0,52 3,09 0,53 7,49 1,52 FF Afsluiting 2 3,68 0,25 4,00 0,00 3,40 0,00 3,38 0,88 3,83 0,24 8,50 0,71 IOG Tussentijds 57 3,59 0,41 3,73 0,34 3,58 0,47 3,46 0,51 3,62 0,42 8,35 1,21 Afsluiting 83 3,58 0,41 3,67 0,40 3,60 0,49 3,46 0,50 3,62 0,45 8,53 1,18 KIOG Tussentijds 2 3,49 0,36 3,40 0,00 3,80 0,28 3,20 0,57 3,58 0,59 8,00 1,41 Afsluiting 11 3,46 0,41 3,50 0,35 3,38 0,49 3,38 0,40 3,56 0,46 8,09 0,70 LLOG/LLF Tussentijds 2 3,45 0,71 3,30 0,71 3,50 0,71 3,50 0,71 3,50 0,71 9,00 1,41 MKD Tussentijds 34 3,59 0,33 3,74 0,39 3,48 0,42 3,52 0,44 3,59 0,33 8,53 0,80 Afsluiting 43 3,52 0,40 3,61 0,44 3,43 0,50 3,45 0,44 3,59 0,45 8,65 0,95 MKT 3 - 12 Tussentijds 12 3,25 0,47 3,42 0,54 3,09 0,66 3,23 0,56 3,24 0,50 7,60 0,97 Afsluiting 8 3,27 0,62 3,25 0,53 3,18 0,74 3,28 0,73 3,36 0,60 6,86 2,12 Tussentijds 10 3,48 0,48 3,40 0,65 3,29 0,45 3,42 0,58 3,56 0,55 8,50* 1,07 Orthoped. resident. behandeling 12-18 Afsluiting 5 3,17 0,31 3,36 0,50 3,04 0,09 3,16 0,36 3,13 0,50 7,20* 1,10 Paljas Plus Tussentijds 6 3,13 0,64 3,40 0,57 3,08 0,83 2,78 0,84 2,78 0,84 6,80 2,17 Afsluiting 6 3,33 0,79 3,37 0,85 3,30 1,04 3,27 0,68 3,36 0,73 7,33 2,25 Res. basis hulpverlening Tussentijds 4 3,50 0,45 3,50 0,58 3,50 0,48 3,50 0,48 3,50 0,36 7,75 0,50 Afsluiting 5 3,58 0,40 3,52 0,41 3,49 0,47 3,65 0,47 3,47 0,40 8,00 0,71 3,03 1,03 3,20 0,85 2,90 1,56 3,20 0,85 2,85 0,92 6,50 2,12 Zelfstandigheidtraining Tussentijds 2 Afsluiting 2 3,00 0,07 3,10 0,14 2,75 0,35 3,00 0,28 3,08 0,12 7,00 Tender Totaal Tussentijds 157 3,50 0,43 3,63* 0,44 3,43 0,52 3,42 0,53 3,50 0,49 8,16 1,17 Afsluiting 242 3,45 0,46 3,54* 0,48 3,40 0,54 3,38 0,51 3,47 0,51 8,18 1,32 N.B. Er zijn in totaal 399 C-toetsen door ouders ingevuld bij de tussentijdse evaluatie of aan het eind van de behandeling. Van 27 jongeren hebben ouders zowel een C-toets bij de tussenevaluatie als aan het eind van de behandeling ingevuld. *** Het verschil tussen de tussentijdse meting en de meting bij afsluiting is significiant, p < .01 ** Het verschil tussen de tussentijdse meting en de meting bij afsluiting is significiant, p < .05 * Het verschil tussen de tussentijdse meting en de meting bij afsluiting is significiant, p < .10 Behandelvorm

Meetmoment

90

Bijlage 3.3 Gemiddelde scores van jongeren op de SDQ bij opname en einde behandeling

Jongeren Emotionele symptomen Gedragsproblemen Hyperactiviteit Problemen met leeftijdsgenoten Prosociaal gedrag Totale problemen

Opname N=26 Gem SD 0,42 1,37 0,77 1,19 0,62 1,23 0,49 1,09 -0,03 0,95 0,87 1,15

Einde N=2 Gemid SD 0,15 1,06 1,67 1,41 0,52 1,84 -0,82 0,42 0,52 0,61 0,53 1,59

Gemiddelde scores van ouders op de SDQ bij opname en einde behandeling

Ouders Emotionele symptomen Gedragsproblemen Hyperactiviteit Problemen met leeftijdsgenoten Prosociaal gedrag Totale problemen

Opname N=27 Gem SD 1,29 1,40 2,35 1,28 1,41 0,91 1,28 1,51 0,88 1,48 2,17 0,95

91

Einde N=7 Gemid SD 1,16 1,39 3,06 2,50 1,43 0,77 1,81 1,73 0,52 1,75 2,48 1,75

Bijlage 3.4 Gemiddelde scores op de SDQ bij opname van jongeren en ouders, uitgesplitst naar locatie N

Jongeren Gem

SD

N

Ouders Gem

SD

Emotionele symptomen

Boddaert De Krabbebossen Driekant J&Z Breda Lievenshove TweeGelanden Locatie onbekend

1 0 1 7 11 1 5

0,90 -0,60 0,61 0,08 2,90 0,50

1,47 1,01 1,92

3 1 0 9 9 1 4

1,16 1,16

0,53

1,33 1,86 2,21 -0,16

1,58 1,39 0,91

Gedragsproblemen


1 0 1 7 11 1 5

2,67

1 0 1 7 11 1 5

2,70

1 0 1 7 11 1 5

0,06

0,67 0,76 0,67 0,67 0,67

1,12 1,30 1,33

3 1 0 9 9 1 4

3,33 2,14

1,09

2,30 2,14 1,43 2,50

1,28 1,01

3 1 0 9 9 1 4

1,59 1,22

1,61

1,59 1,76 0,11 0,48

0,61 0,85

3 1 0 9 9 1 4

0,77 -0,06

0,95

1,88 0,84 4,94 0,72

1,86 0,77

3 1 0 9 9 1 4

0,56 1,00

1,68

0,63 1,44 0,33 0,50

1,67 1,56

3 1 0 9 9 1 4

2,32 1,57

1,15

2,45 2,36 2,70 1,05

0,60 1,04

2,22

Hyperactiviteit


1,39 0,77 0,01 1,39 1,04

0,97 1,15 1,46

0,52



-0,53 0,65 0,59 3,59 -0,29

0,76 0,93 0,89

0,94

Prosociaal gedrag


1 0 1 7 11 1 5

2,26 -0,35 -0,22 0,01 -0,35 -0,17

0,90 0,99 0,73

1,26

Totale problemen


1 0 1 7 11 1 5

2,47 0,43 1,07 0,45 3,29 0,80

92

0,85 0,87 1,62

0,90

Bijlage 3.5 Gemiddelde scores op de YSR en de CBCL bij opname en einde behandeling

Teruggetrokken

Jongeren YSR Opname N=15 Einde N=1 Gem SD Gem 0,44 1,02 1,09

Ouders CBCL Opname N=18 Einde N=6 Gem SD Gem SD 1,56 1,66 0,70 1,68

Lichamelijke klachten

0,71

1,58

1,41

3,35

1,67

2,55

Angstig-depressief

0,56

1,44

2,58

2,12

2,72

2,70

Sociale problemen

0,61

1,06

1,84

1,87

1,72

2,01

Denkproblemen

1,15

1,45

2,67

3,27

2,89

2,80

Aandachtsproblemen

0,59

1,41

2,28

1,45

1,77

1,70

Delinquent gedrag

0,97

1,32

2,71

4,40

3,00

2,45

3,17

Agressief gedrag

1,17

1,84

0,97

2,44

1,62

1,53

1,96

Internaliseren

0,71

1,31

2,39

2,34

1,98

2,99

Externaliseren

1,24

1,67

1,73

3,22

1,94

1,86

2,18

Totale gedragsproblemen

1,08

1,57

2,20

3,54

2,59

2,13

2,77

3,22

93

Bijlage 3.6 Gemiddelde scores op de CBCL bij opname, uitgesplitst naar locatie N

Gem

SD

Teruggetrokken

Boddaert De Krabbebossen Driekant Lievenshove Locatie onbekend

2 1 1 11 3

1,42 1,94 0,22 1,72 1,39

2,50

2 1 1 11 3

0,21 -0,62 -0,62 1,34 3,81

1,18

2 1 1 11 3

2,22 2,52 2,52 2,91 1,64

0,43

2 1 1 11 3

0,76 -0,18 1,55 2,04 2,57

0,51

2 1 1 9 3

0,14 3,11 6,68 2,56 3,21

0,83

2 1 1 11 3

0,91 2,82 2,46 2,49 2,19

1,91


1,72 2,09

Lichamelijke klachten



2,08 7,67


2,24 3,31


1,70 3,28

1,65 1,22 6,89 5,17 3,62

0,39

2 1 1 11 3

2,32 0,93 0,74 2,82 2,20

0,67

2 1 1 11 3

1,76 1,75 1,52 2,64 2,37

0,01

2 1 1 11 3

2,34 1,06 2,16 3,79 2,80

0,48

1 1 1 11 3

1,34 2,13 2,34 3,96 3,61

2,93 3,70

1,74 1,91

2,22 4,53

1,96 2,67

Totale gedragsproblemen


2,99 5,37

Aandachtsproblemen


2 1 1 11 3

Externaliseren

Denkproblemen


SD

Internaliseren

Sociale problemen


Gem

Agressief gedrag

Angstig-depressief


N Delinquent gedrag

1,47 1,73

94

2,34 4,61

Hoofdstuk 4 Resultaatgericht behandelen bij Arkemeyde/ ’s-Heeren Loo Kwadrant Harm Wijgergangs, Anke Breg-Vijlbrief en Bas Bijl

Inhoudsopgave 4.1 Inleiding 4.1.1 Starten bij Arkemeyde 4.1.2 Uitgangspunten bij het proces 4.2 Plan van aanpak 4.3 Opzet en ervaringen 4.3.1 Resultaatgebieden 4.3.2 Structuur en organisatie 4.4 Resultaten instrumenten 4.4.1 Respons 4.4.2 Berekening van de scores 4.4.3 Problematiek bij aanvang en gedurende de behandeling 4.5 Conclusie en aanbevelingen 4.5.1 Conclusies 4.5.2 Aanbevelingen Bijlage 4.1 Bijlage 4.2 Bijlage 4.3 Bijlage 4.4 Bijlage 4.5

95

96

4.1 Inleiding 4.1.1. Starten bij Arkemeyde In 2005 is men bij Kwadrant gestart met het project Resultaat Gericht Behandelen. Doel van dit project was in verschillende pilots effectmeting te introduceren in de organisatie om de inhoudskwaliteit te verbeteren. Daartoe deden alle resultaat verantwoordelijke eenheden van Kwadrant mee, te weten Emaus, Middelrode, Auriga en Arkemeyde. Arkemeyde is een orthopedagogisch behandelcentrum (onderdeel van ’s-Heeren Loo Kwadrant) voor licht verstandelijk gehandicapte jeugdigen en hun gezinssysteem. Arkemeyde heeft meegedaan met Zicht op Effectiviteit met als doel te oefenen met effectmeting om uiteindelijk effectmeting te kunnen implementeren in de gehele organisatie. Binnen Arkemeyde was dit een logische volgende stap in de ontwikkeling van Kwadrant waarbij er veel aandacht is voor organisatieaspecten als visie en missie, doelen, rollen in taken en verantwoordelijkheden, structuur, methodiek en zorgtraject. Bij Arkemeyde was de proceskwaliteit al geoperationaliseerd via richtlijnen van het HKZ-model. De inhoudskwaliteit was reeds vormgeven in het beschrijven van de gedeelde behandelvisie van Kwadrant en het implementeren en verder uitwerken van een centrale doelgerichte behandelmethodiek (Competentie Gericht Werken). Op basis van deze ontwikkelingen wist men tot op zekere hoogte wat men wilde, wat men deed en hoe men dat deed. Ten aanzien van de inhoudskwaliteit was derhalve de volgende logische stap te vragen: “Heeft het zin wat we doen, kunnen we laten zien wat we doen en hoe kunnen we dat verbeteren”. De die uit deze vragen spreekt is dus onder andere geoperationaliseerd binnen de deelname aan Zicht op Effectiviteit. In feite was Arkemeyde al aardig op dreef met het eigen project alvorens het aan sloot bij Zicht op Effectiviteit. We beschrijven aldus hier de periode van 1 mei 2006 tot 1 oktober 2007. We beginnen daarmee met hetgeen wat Arkemeyde specifiek gekozen heeft: een procesmatige aanpak waarbij alle medewerkers zijn “maar we moeten al betrokken zijn. zoveel” 4.1.2. Uitgangspunten bij het proces Alhoewel de deelname aan Zicht Op Effectiviteit geïnitieerd was vanuit de staf van Arkemeyde, was het meteen gelukt om de professionals op de werkvloer te betrekken bij de uitgangspunten. Er is bewust gekozen voor een procesmatige aanpak, met veel ruimte en aandacht voor het informeren en meenemen van die professionals in de doelstelling van Zicht op Effectiviteit. Uitgangspunten voor de implementatie waren: • Hulpverleners willen weten of datgene wat zij doen resultaat heeft; • Hulpverleners zijn professionals die bewust met kwaliteit bezig zijn; • Professionals willen resultaten begrijpen, verklaren en benutten; • Professionals zijn hulpverleners die het leuk vinden om hun resultaten te toetsen: daar worden ze blij van! Bij Arkemeyde vinden we het verbeteren van kwaliteit binnen een professionele organisatie normaal. Het maakt deel uit van de reguliere bedrijfsvoering. Kwaliteit heeft te maken met hoe medewerkers en organisaties denken en kijken naar hun eigen rol en handelen en hoe ze zich verder willen ontwikkelen ten dienste van de hulpverlening aan de cliënt. Kwaliteitsbeleid komt het meest tot zijn recht als de organisatie en medewerkers bereid en in staat zijn op basis van reflecties het eigen handelen te verbeteren. 97

Kwaliteit is het zicht krijgen op de vragen: 1. Heeft het zin wat we doen 2. Kunnen we dat laten zien 3. Hoe kunnen we verbeteren wat we doen Kwaliteitsverbetering is niet meer, maar anders. Kwaliteitsverbetering vormt een integraal onderdeel van Kwadrant, waarbij ten aanzien van de proces en inhoudskwaliteit gestuurd wordt op basis van informatie volgens de PDCA verbeter-cyclus. Het ideaalbeeld voor Arkemeyde is een praktijk die zichzelf continu verbeterd door stelselmatig verbeteracties te plannen, die uit te voeren, te monitoren (meten) en te evalueren Kwaliteitsbeleid moet leiden tot het zichtbaar maken van de meerwaarde van de hulpverlening. Zicht krijgen op de vraag: Welke interventies en attitude van medewerkers dragen daartoe bij? Binnen Arkemeyde hebben we als uitgangspunt gekozen dat het meten een integraal onderdeel dient te zijn van de werkprocessen. Dit betekende dat: • meten verankerd moest worden in het primaire proces • meten verankerd moest worden in de dienstverlening aan de cliënt en een onderdeel van de behandeling • meten bij moest dragen aan de ontwikkeling van medewerkers, omdat evalueren en benutten van de verkregen informatie zou leiden tot meer effectieve deskundigheidsbevordering. Voor Arkemeyde stond vast dat het kwaliteitsbeleid effectief wordt als: • de informatie (meetresultaten) leidt tot bijsturing van processen en verandering in gedrag (de benutting). • het aansluit bij de (intrinsieke) behoefte van de cliënten, medewerkers en de organisatie. Daarom is er gestreefd naar door het werkveld gedragen en bruikbare methoden. Cliënten en medewerkers worden daarmee gemotiveerd instrumenten te gebruiken om de behandeling te evalueren en te verbeteren en leren resultaten te vertalen in verbetertrajecten. In de visie van Arkemeyde dient kwaliteitsbeleid een bijdrage te leveren aan een effectieve en doelmatige organisatie waarbij criteria van doelmatigheid zijn33: • Maatschappelijke doelmatigheid: behoeftevoorziening van cliënten. • Psychosociale doelmatigheid: satisfactie van medewerkers (intrinsieke behoefte) • Technische en economische doelmatigheid: efficiënte inzet van middelen • Bestuurlijke doelmatigheid: zelfhandhaving, flexibiliteit en slagvaardigheid ten opzichte van veranderlijkheid in maatschappelijke ontwikkelingen op korte en lange termijn. In het kader van ZoE werden drie hulpvormen van Arkemeyde ingebracht, namelijk Ambulante gezinsbehandeling (IOG-LVG / IPG-LVG / PPG), Naschoolse dagbehandeling en Therapie. Professionals hebben – op de reguliere momenten in het behandelproces vragenlijsten afgenomen en zijn daartoe allemaal geschoold (1 dag). “We weten toch wel wat de problemen zijn”

33

Keuning, D. & Eppink, D.J. (2004). Management en Organisatie. Groningen: Wolters Noordhoff.

98

Voor het totale project van ’s-Heerenloo Kwadrant is een extern projectleider aangesteld die de verbinding houdt tussen alle pilots met de aandachtsfunctionarissen en de voortgang bewaakt.

4.2 Plan van aanpak Voor de cliënt en de medewerker wordt middels Zicht op Effectiviteit concrete invulling gegeven aan de hulpvraagverduidelijking bij de start, evaluatie en adviesmomenten met de cliënt en ouders. De procesmatige aanpak heeft ook geleid tot het gebruik van de reguliere overlegmomenten binnen het primaire proces van de hulpverlening. Daar wordt de cliënt werkelijk en concreet betrokken bij de behandeling, de evaluatie en de voortgang. Door de cliënt ook in de evaluatie serieus te nemen, samen instrumenten in te vullen en te bespreken, wordt de hulpvraagverduidelijking en evaluatie een vitaal onderdeel van het hulpverleningsproces. Ouders en cliënt hebben daardoor echt invloed. Voor medewerkers is deze werkwijze een operationalisatie en onderbouwing van het kwaliteitsdenken. Zij worden zich hierdoor zeer bewust van de kwaliteit van hun handelen. De beoogde methodiek binnen het project Resultaat Gericht Behandelen zien we in eerste instantie als een intentionele behandelinterventie. Resultaat Gericht Behandelen levert daarmee een belangrijk aandeel in de behandelmethodiek en is daarmee van meerwaarde voor zowel de medewerker als de cliënt. Het genereren van managementinformatie is vanuit dit perspectief een bijkomend, maar niet onbelangrijk, “het bewijst dat onze hulpvorm voordeel. meer is dan ranja met een rietje” De doelstelling van de pilot Resultaat Gericht Behandelen is: 1. Wennen aan de systematiek van het meten van resultaten; 2. Toetsen van de gebruikte meetinstrumenten 3. Toetsen of de systematiek van meten efficiënt, betrouwbaar, en werkbaar is voor de doelgroep jeugdigen met een licht verstandelijke handicap. Ad. 1. Deze doelstelling is behaald wanneer uit de evaluatie na de pilotfase blijkt dat de betrokken hulpverleners in de pilot een of meerdere vragenlijsten hebben afgenomen in het primaire proces op de daarvoor geëigende momenten, de vragenlijst gescoord is en de profielscore besproken is in het Interdisciplinaire Overleg en met de ouders/cliënt. Ad. 2. Deze doelstelling is behaald als bij de evaluatie na de pilotfase blijkt dat kritische opmerkingen over het meetinstrumentaria gemaakt zijn en deze leiden tot discussie, verdere verdieping of aanpassing. Ad. 3. Deze doelstelling is behaald als uit de evaluatie met de betrokken hulpverleners blijkt dat de systematiek van meten voor hen werkbaar en uitvoerbaar is. Overige aspecten dienen vanuit de evaluatie uitgezet te worden in een verbetertraject met duidelijk begin- en einddoelen. Tegelijk met de deelname aan Zicht op Effectiviteit is binnen Arkemeyde de Kwaliteitscommissie gestart met de volgende beoogde resultaten: 4. Kwadrant beschikt over transparante en gebruiksvriendelijke procedures en werkwijzen om zorgmodulen binnen Kwadrant te beschrijven op het niveau van potentieel en veelbelovend (niveau 1 en 2 van de effect/kwaliteitsladder).

99

5. Kwadrant beschikt over procedures en werkwijzen hoe om te gaan met resultaten voortkomend uit het project resultaat gericht behandelen (Doeltreffend: niveau drie van de effectladder) 6. Kwadrant benut onderzoekresultaten in de zin van het formuleren van verbetertrajecten/voorstellen in het werkveld. 7. Kwadrant beschikt over richtlijnen hoe resultaten intern worden geïnterpreteerd en gepresenteerd op verschillende niveaus. 8. Kwadrant beschikt over richtlijnen hoe resultaten extern worden geïnterpreteerd en gepresenteerd op verschillende niveaus. 9. Binnen Kwadrant is het duidelijk op welke wijze (structuur en invulling) inhoudelijk kwaliteitsbeleid inclusief resultaat gericht behandelen geborgd wordt binnen Kwadrant op de lange termijn. Tot slot kunnen andere (collega)instellingen profiteren van de wijze waarop we e.e.a. met medewerkers hebben opgezet en vervolgens hebben georganiseerd, met name t.a.v. de randvoorwaarden die daarbij van belang worden geacht. Tevens “zie je wel hoe ernstig worden resultaten van het ingang gezette proces gedeeld met het de problematiek is” landelijk kenniscentrum LVG.

4.3 Opzet en ervaringen 4.3.1 Resultaatgebieden Met een vertegenwoordiging van staf- en lijnmanagers en gedragswetenschappers in een projectgroep structuur, en met begeleiding van Forium en PI Research zijn vanuit de missie en visie van Arkemeyde een vijftal resultaatgebieden geformuleerd. Ook hierbij zijn veel mensen betrokken geweest, zoals alle vakgroepen (diagnostici maatschappelijk werkers, gedragswetenschappers). De resultaatgebieden vormen gezamenlijk een tamelijk complete afspiegeling van hetgeen men binnen Arkemeyde verstaat onder een goed resultaat van de zorg. Of anders gezegd: gegeven de (maatschappelijke) opdracht van Arkemeyde om zorg te bieden aan kinderen en jongeren met een licht verstandelijke handicap, wordt voor elk cliëntsysteem op onderstaande gebieden positieve uitkomsten nagestreefd. 1. vermindering van problematiek 2. versterking van competent gedrag 3. versterking van zelfbepalingsvaardigheden (volgens het ‘het-wij-ik’ principe) Onderstaande resultaatgebieden worden voorlopig niet in het onderzoek meegenomen, maar na verloop van tijd integraal opgenomen. 4. bereiken van (optimale) (re)ïntegratie 5. dit alles (1-4) op een zo (kosten)efficiënt mogelijke wijze De onderzoeksgroepen voor Zicht op Effectiviteit zijn: • Naschoolse dagbehandelingen “Ouders hebben nu echt • Hulp aan huis modulen IOG, PPG, IPG invloed” • Ambulante therapie

100

4.3.2 Structuur en organisatie

De vragenlijsten die gebruikt worden zijn: A. Ten behoeve van resultaat gebied “Afname problematiek”: SDQ-O en SDQ-J en NOSI (K) De SDQ is nadrukkelijk in overleg en na onderzoek van de vakgroep diagnostiek van kwadrant gekozen. Belangrijke argumenten: De lijst is vergelijkbaar met de CBCL, ook voor wat betreft validiteit en betrouwbaarheid. De lijst is buitengewoon klantvriendelijk en relatief kort. B. Ten behoeve van resultaat gebied “Toename competent gedrag” en “zelfbepaling”: Doelrealisatie(formulier), SRZ-P en de Competentielijsten (aangepast aan deze tijd en de doelgroep). De competentielijsten zijn gekozen vanwege het Competentie Gericht Werken wat binnen Kwadrant als standaard methodiek ingevoerd is. Respons doelstelling: minimaal 70% bij aanvang en afsluiting en 40% bij follow up. De taken en verantwoordelijkheden tijdens de pilot waren: • Projectleider: verantwoordelijk voor uitvoering, voortgang en verbinding tussen pilots, aanspreekpunt voor aandachtsfunctionarissen en Kwadrant projectgroep, management/directie en communicatie naar ZoE. • Persoonlijk begeleider, gezinshulpverlener, therapeut: Neemt lijsten af, interpreteert (in eerste instantie) en koppelt resultaten terug • Manager Primair Proces: Verantwoordelijk voor de uitvoering • Maatschappelijk werker/Pedagoog: coacht persoonlijk begeleider in de gespreksvoering met ouders • Diagnosticus: Instrueert medewerkers primair proces in verband met afname en interpretatie RM-lijsten. • Interdisciplinair Overleg: Checkt interpretatie en vertaalt resultaten in behandelingsdoelen en perspectief • Werkplanbespreking: Bespreking doelrealisatieformulier • Secretariaat: Invoering RM-Lijsten en controlefunctie meetmomenten/monitoring data • Aandachtsfunctionaris: Coördineert en stimuleert, check datastroom en monitoring De monitoringfunctie was er in eerste instantie niet. In de loop van het proces is deze komen te liggen bij de medewerker van de cliëntenadministratie die de data verwerkt en overzicht over de planningen van de interdisciplinaire overleggen. De medewerker cliëntenadministratie controleert op aanwezigheid van vragenlijsten twee weken voor interdisciplinair overleg. Dit wordt gerapporteerd aan de trajectregisseur of de manager primair proces. Deze voert een check uit t.a.v. de respons en onderneemt acties richting leidinggevende en projectleider. Omdat het afnemen van vragenlijsten een behandelinterventie is waarmee een persoonlijk plan geschreven wordt, is meteen duidelijk als er lijsten niet zijn. In het IO (overleg met hulpverleners) komt dat aan de orde en kan er geen adviesgesprek plaatsvinden omdat er geen persoonlijk plan gemaakt kan worden.

101

Financiering was geregeld middels begroting per resultaat verantwoordelijke eenheid (dus maakt deel uit van de integrale kostprijs). Extra middelen zijn vrijgemaakt om de opstartkosten te financieren in 2006 en 2007. Een softwarepakket wat via het interne netwerk loopt moet nog gerealiseerd worden (nu via laptops). Dit is meegenomen in de begroting van 2007. “zichtbaar maken van wat inspanningen van ouders en van ons oplevert”.

4.4 Uitkomst van de metingen 4.4.1. Respons De dataverzameling is gestart in mei 2006. Vanaf dat moment is aan alle cliënten (of hun ouders) bij wie geïndiceerde hulp van start ging, gevraagd om aan de beginmeting mee te doen. Na verloop van tijd, werden cliënten opnieuw benaderd voor het invullen van vragenlijsten. Het gaat hier om de vragenlijsten: • Competentielijst 6-12 of Competentielijst 12-21 (wordt ingevuld door de begeleider van het kind, resp. de jongere) • NOSI bij aanvang hulp; NOSIK bij vervolgmetingen (ouder) • SDQ ouders • SDQ jongeren (v.a. 12 jaar) “Vooruitgang is prachtig” • SRZ-P (begeleider) Tussen mei 2006 en oktober 2007 zijn in totaal 236 cliënten gestart met een vorm van geïndiceerde hulp. Van een beperkt aantal cliënten zijn gegevens verzameld op de ´tussentijdse’ meetmomenten 1 en 2. Hoe groot dit aantal is, kan thans niet worden weergegeven, omdat de koppeling met het cliëntregistratiesysteem (Plancare) nog niet kan worden gemaakt. Zodoende bestaat er op dit moment geen inzicht in het aantal cliënten dat, gegeven de aanvangsdatum van de hulp, in aanmerking zou komen voor een vervolgmeting. Tabel 1 geeft een globaal overzicht van de respons voor de drie behandelvormen, bij aanvang van de hulp. De respons is het aantal cliënten dat de vragenlijsten bij aanvang heeft ingevuld (of: voor wie de vragenlijst is ingevuld), gedeeld door het aantal gestarte behandelingen. De twee meest rechtse kolommen in de tabel geven aan dat het aantal ingevulde vragenlijsten, dat retour is ontvangen, sterk varieert. Met uitzondering van Therapie was de respons op de NOSI/NOSIK en de SDQ-ouders over het algemeen ‘matig’ tot ‘redelijk goed’ te noemen. Dat geldt ook voor de Competentielijsten bij de Naschoolse Dagbehandeling. De respons op de SZR-P is over de gehele linie als ‘slecht’ te beschouwen. Deze kwalificaties zijn gebaseerd op de vuistregel die Veerman en Roosma34 hanteren voor de respons bij praktijkonderzoek. Bijlage 4.4 geeft de bijzonderheden van de respons per vragenlijst.

34

Veerman, J.W. & Roosma, D. (2006). Onderzoekslogistiek in de praktijk van de jeugdzorg. In: T.A. van Yperen & J.W. Veerman (Red.). Zicht op effectiviteit. Bronnenboek voor praktijkgestuurd effectonderzoek in de jeugdzorg. Deel III. Utrecht / Nijmegen: NIZW / Praktikon.

102

Tabel 1. Respons bij aanvang; periode 1-5-2006 tot en met 30-9-2007 Behandelvorm IOG / IPG / PPG

Gestarte behandelingen 129

Vragenlijsten retour 42 - 95

Respons % 33% - 74%

Naschoolse Dagbehandeling

49

20 - 42

41% - 86%

Therapie

58

15 - 32

26% - 55%

Totaal

236

Voor de meting bij aanvang geldt dat IOG/IPG/PPG een gemiddelde respons heeft van 51%, voor de Naschoolse Behandeling geldt een respons van 68% en Therapie scoort een respons van 36%. Als we de eerder genoemde vuistregel van Veerman en Roosma hanteren heeft de Naschoolse Dagbehandeling het met een ´matige´ respons de beste papieren. In bijlage 4.4 is tevens te zien dat in de meeste gevallen per cliënt meerdere informanten een vragenlijst hebben ingevuld. Bij het berekenen van de deviatiescores is slechts één ingevulde vragenlijst per cliënt gebruikt. Wanneer er twee vragenlijsten van één cliënt geregistreerd zijn, is die van de moeder gebruikt om de deviatiescore te berekenen. Tenslotte is opvallend dat tweederde van de SRZ-P’s en zo’n zeventig procent van de Competentielijsten door de ouders van de cliënten is ingevuld, terwijl de persoonlijk begeleiders hier de aangewezen informanten zijn. Uiteraard heeft dit consequenties voor de interpretatie van de uitkomsten. We komen hierop nog terug. In afwijking van de aanvankelijke afspraak om de NOSI bij de aanvang en de verkorte versie hiervan (de NOSIK) bij de herhaalde metingen te gebruiken, hebben ouders voor 43 cliënten de verkorte versie ingevuld. Uit bijlage 4.4 blijkt voorts dat de respons op de vervolgmeting feitelijk nog op gang moet komen. Gezien de periode waarop deze rapportage betrekking heeft, zou een hoger aantal ingevulde vragenlijsten mogen worden verwacht.

4.4.2. Berekening van de scores In deze paragraaf worden twee typen scores gebruikt om de uitkomsten weer te geven. De ernst van de problematiek van de cliënten wordt uitgedrukt in zogenaamde Deviatiescores. Om per cliënt te kunnen vaststellen in hoeverre sprake is van een vermindering van de problematiek, wordt een index berekend: de Reliable Change Index (RCI). De wijze waarop deze scores worden berekend wordt hieronder kort toegelicht. Deviatiescores

Deviatiescores worden als volgt berekend. In het onderzoek is gebruik gemaakt van een gestandaardiseerde en genormeerde vragenlijsten, zoals de SDQ en de NOSIK. Van al deze vragenlijsten zijn Nederlandse populatienormen beschikbaar. Daardoor is het mogelijk bij iedere individuele score uit te rekenen, hoeveel deze score afwijkt van het landelijk gemiddelde binnen de normgroep voor de betreffende vragenlijst (deviatie = afwijking). Door deze afwijkingsscore te delen door de standaardafwijking van de landelijke scores ontstaat de zgn. normatieve deviatiescore, oftewel deviatiescore. (Behaalde score – Landelijk gemiddelde score) In formule: Deviatiescore= Standaardafwijking van landelijk gemiddelde Een deviatiescore van 0 betekent dat de behaalde score op een vragenlijst gelijk is aan – oftewel niets afwijkt van - het landelijk gemiddelde voor de betreffende vragenlijst. Een

103

deviatiescore van +1 betekent dat een score één standaardafwijking boven het landelijk gemiddelde ligt. Dit houdt per definitie in dat slechts 15% van de bevolking hoger scoort (of lager, in geval van een score van -1). Zo is voor elke deviatiescore aan te geven welk percentage van de bevolking hoger (of laag) scoort. Deze percentages van de bevolking met de bijbehorende interpretaties van deviatiescores staan in tabel 2. Tabel 2. Interpretatie van deviatiescores. Deviatiescore Percentielscore Label > 1,96 > 97,5% Zeer ernstige problemen 1,65 – 1,96 95% - 97,5% Ernstige problemen 1,29 – 1,64 90% - 95% Aanzienlijke problemen 0,80 – 1,28 79% - 90% Matige problemen < 0,80 < 79% Geen problemen

Betekenis Problematiek verdient behandeling

Problematiek verdient aandacht Geen problemen van betekenis

Het grote voordeel van het gebruik van deviatiescores is dat de uitkomsten van verschillende vragenlijsten onderling vergelijkbaar zijn. Zo wijst een deviatiescore van 1,30 op de SDQ op aanzienlijke (gedrags)problemen, waarbij slechts 10% van de normale bevolking een gelijke of hogere score heeft, en hetzelfde geldt voor de NOSI. Als vuistregel kan gelden dat deviatiescores groter dan 1 wijzen op matige problematiek en scores groter dan 2 op zeer ernstige problematiek. Reliable Change Index (RCI)35

Om te bepalen of er statistisch gezien bij een behandeling sprak is van een niet toevallige verandering, wordt gebruik gemaakt van de Reliable Change Index (RCI). Deze wordt berekend door het verschil van de ruwe score bij aanvang min de ruwe score bij afsluiting te delen door de standaardfout van het verschil. De standaardfout van het verschil wordt bepaald door de standaardmeetfout alsmede de test-hertest betrouwbaarheid, danwel interne consistentie van de betreffende vragenlijst. Om deze reden is het berekenen van de RCI alleen mogelijk bij de NOSI / NOSIK, SRZ-P en de SDQ (zowel voor de ouders als voor de jongere). Voor de beide versies van de Competentielijsten zijn geen betrouwbaarheidsgegevens beschikbaar. In formule:36

RCI=

(Ruwe score aanvang – Ruwe score afsluiting) Standaardfout van het verschil

Statistisch gesproken wordt de RCI verondersteld normaal verdeeld te zijn met een gemiddelde van 0 en een standaarddeviatie van 1. De interpretaties van de RCI staan in tabel 3. Tabel 3. Interpretatie van RCIa RCI Betekenis Groter dan 1,64 Zekere betrouwbare vooruitgang 1,29 t/m 1,64 Mogelijke betrouwbare vooruitgang -1,29 t/m +1,29 Geen betrouwbare voorof achteruitgang -1,64 t/m -1,29 Mogelijke betrouwbare achteruitgang Kleiner dan -1,64 Zekere betrouwbare achteruitgang a Ontleend aan: Meyer, R.E. de & Veerman, J.W. (2004). Resultaten Hulp aan Huis Groningen. Tabellenboek 2003. Nijmegen: Praktikon.

35 36

Zie Veerman & Roosma (2006). Voor de berekening van de ‘Standaardfout van het verschil’, zie bijlage 5.

104

De RCI is een specifiek effectindex. De index geeft aan of sprake is van (betrouwbare) voorof achteruitgang. Naast deze informatie is het belangrijk om te weten wat de status is van het huidige probleemgedrag van de jeugdige en van de opvoedingsstress van de ouders op dat moment. Uitgaande van twee veranderingscategorieën (voor- resp. achteruitgang) en twee statuscategorieën (aan- resp. afwezigheid van ernstige problematiek) zijn vier combinaties mogelijk om de uitkomsten van of bij individuele cliënten te typeren (zie tabel 4). 37 Tabel 4. Interpretatiekader individuele uitkomsten: combinaties o.b.v. verandering in en status van problematieka Symbolen Omschrijving Betekenis Betrouwbare vooruitgang, geen aanzienlijke Uiterst succesvolle uitkomst V+S+ problematiek Betrouwbare vooruitgang, wel aanzienlijke Er is een positieve verandering opgetreden, maar er V+Sproblematiek zijn nog problemen Betrouwbare achteruitgang, geen aanzienlijke Een wat onlogische combinatie, kan een signaal zijn V-S+ problematiek voor een onterechte aanmelding Betrouwbare achteruitgang, geen aanzienlijke Problematiek lijkt erg vast te zitten, risico op V-Sproblematiek ongunstige ontwikkeling blijft aanwezig a Ontleend aan: Meyer, R.E. de & Veerman, J.W. (2004). Resultaten Hulp aan Huis Groningen. Tabellenboek 2003. Nijmegen: Praktikon.

4.4.3. Problematiek bij aanvang en gedurende de behandeling Gedragsproblemen

De gedrags- en emotionele problemen van de jongeren, beoordeeld door de ouders, zijn gemeten met behulp van de SDQ – in het Nederlands de vragenlijst Sterke Kanten en Moeilijkheden. De SDQ bevat 5 schalen met ieder vijf vragen. Vier schalen meten de problemen, dit zijn emotionele problemen, gedragsproblemen, aandachttekort-hyperactiviteit en problemen met leeftijdsgenoten. Deze vier schalen samen vormen de totale gedragsproblemen. De vijfde schaal is positief geformuleerd; prosociaal gedrag, welke ingaat op de sterke kanten van de jongere. In tabel 5 zijn de gemiddelde deviatiescores op de schaal Totale gedragsproblemen van de SDQ weergegeven, uitgesplitst naar behandelvorm en meetmoment. Tabel 5. Gemiddelde deviatiescores op de SDQ ouders (Gedragsproblemen) per behandelvorm en meetmoment. Aanvang

Tussentijds 1

N

Gem.

N

IOG / IPG / PPG

95

2,44


39

2,49

Therapie

31

2,09

12

Tussentijds 2

Gem.

N

Gem.

26

2,51

3

2,07

16

2,56

1

0,43

1,93

-

Zoals blijkt uit de tabel zijn de (gemiddelde) scores bij aanvang hoog en wijzen deze op zeer ernstige gedragsproblemen. De gemiddelde deviatiescore over de hele groep bij aanvang (N = 165) is 2,39 (standaardafwijking = 1,22). De respons bij meetmoment ‘Tussentijds 1’ is aanzienlijk lager. De deviatiescores blijven hoog, en wijzen op ernstige tot zeer ernstige problemen. De gemiddelde deviatiescore over de hele groep bij meetmoment ‘Tussentijds 1’ 37

Zie Veerman & Roosma (2006).

105

(N = 54) is 2,39 (standaardafwijking = 1,29). Van het meetmoment ‘Tussentijds 2’ zijn dermate weinig gegevens beschikbaar, dat het eigenlijk niet zinvol is om in termen van gemiddelde scores te rapporteren. Tabellen 6 en 7 geven de mate van verandering weer tussen meting ‘aanvang’ en ‘tussentijds 1’ van alle behandelvormen samen. Tabel 6 laat zien dat voor 38 cliënten een RCI kon worden berekend. Voor veertig procent geldt dat sprake is van een (zekere of mogelijk) betrouwbare vooruitgang in de gedragsproblematiek. Dat wil zeggen, dat de betreffende ouders, in vergelijking met de aanvang van de hulp, ten tijde van de meting ‘tussentijds 1’ beduidend minder gedragsproblemen waarnemen. Tabel 6. Verandering in problematiek (volgens ouders) ten tijde van meting ‘tussentijds 1’ i.v.m. aanvangsmeting, o.b.v. berekende RCI. Zekere Mogelijk Mogelijk Zekere Geen N betrouwbare betrouwbare betrouwbare betrouwbare verandering vooruitgang vooruitgang achteruitgang achteruitgang Gedragsproblemen

12 (32%)

38

3 (8%)

13 (34%)

3 (8%)

7 (18%)

Als deze gegevens worden gecombineerd met de informatie over de ernst van de problematiek bij de meting ‘tussentijds 1’, ontstaat het beeld dat is weergegeven in tabel 7. Voor 18% van de cliënten kan op dat moment worden vastgesteld dat de behandeling succesvol is. Bij 21% is weliswaar een positieve verandering opgetreden, maar zijn er nog problemen. Opvallend is dat voor iets meer dan de helft van de cliënten geldt de problematiek aanzienlijk (verder) is verslechterd. Tabel 7. Individuele verandering gedragsproblemen (volgens ouders) ten tijde van meting ‘tussentijds 1’ i.v.m. aanvangsmeting

Gedragsproblemen

N

V+S+

V+S-

V-S+

V-S-

38

7 (18%)

8 (21%)

3 (8%)

20 (53%)

Zelfbeoordeling jongeren

Naast de ouderversie van de SDQ, is er ook een versie ontworpen die jongeren (v.a. 12 jaar) zelf invullen, om de mening van de jongeren zelf te horen over zijn / haar gedragsproblemen. Dit is de Sterke Kanten en Moeilijkheden Vragenlijst voor Jongeren. Deze SDQ bevat ook 5 schalen met ieder vijf vragen. Vier schalen meten de problemen, dit zijn emotionele problemen, gedragsproblemen, aandachtekort-hyperactiviteit en problemen met leeftijdsgenoten. Deze vier schalen samen vormen de totale gedragsproblemen. De vijfde schaal is positief geformuleerd; prosociaal gedrag, welke ingaat op de sterke kanten van de jongere. In tabel 8 zijn de gemiddelde deviatiescores op de schaal Totale gedragsproblemen van de SDQ weergegeven, uitgesplitst naar behandelvorm en meetmoment.

106

Tabel 8 Gemiddelde deviatiescores op de SDQ jongeren (Gedragsproblemen) per behandelvorm en meetmoment. Aanvang

IOG / IPG / PPG Naschoolse Dagbehandeling Therapie

Tussentijds 1

Tussentijds 2

N

Gem.

N

Gem.

N

Gem.

59

1,05

7

1,48

2

0,20

24

0,74

5

0,06

-

32

0,80

7

1,07

-

Zoals uit de tabel blijkt, scoren de jongeren bij aanvang van de behandeling boven gemiddeld, maar blijft de score in niet klinisch gebied. De gemiddelde deviatiescore over de hele groep bij aanvang (N = 115) is 0,91 (met een standaardafwijking van 1,21). De gemiddelde deviatiescore over de hele groep bij meetmoment ‘Tussentijds 1’ (N = 19) is 0,95 (met een standaardafwijking van 1,21). Van het meetmoment ‘Tussentijds 2’ zijn dermate weinig gegevens beschikbaar, dat het eigenlijk niet zinvol is om in termen van gemiddelde scores te rapporteren. De relatief lage scores voor gedragsproblemen, beoordeeld door de jongeren zelf, zijn niet uitzonderlijk. Het is een terugkerend gegeven bij zelf-rapportage van gedragsproblemen, dat ─ bij gebruik van verschillende soorten vragenlijsten, zoals gestructureerde interviews, de SDQ, of de YSR ─ jongeren met gedrags- of emotionele problemen over het algemeen laag scoren. Dat wil niet zeggen dat deze vragenlijsten onbetrouwbaar zijn; integendeel, juist het consistent vinden van lage scores voor gedragsproblemen bij jongeren, met verschillende instrumenten, wijst er op dat jongeren deze lijsten steeds op dezelfde manier invullen. Echter, blijkbaar kunnen of willen de jongeren zelf dit soort problematiek bij zichzelf moeilijk onderkennen, terwijl anderen wel problemen signaleren. Het is namelijk ook zo dat er steeds lage correlaties worden gevonden tussen de scores van ouders en leerkrachten enerzijds en de jongeren zelf anderzijds, bij gebruik van instrumenten die parallelle versies kennen voor ouders, leerkrachten en jongeren.38 Tabellen 9 en 10 geven de mate van verandering weer tussen meting ‘aanvang’ en ‘tussentijds 1’ van alle behandelvormen samen. Tabel 9 laat zien dat voor 17 cliënten een RCI kon worden berekend. Voor 41% geldt dat sprake is van een (zekere of mogelijk) betrouwbare vooruitgang in de gedragsproblematiek. Dat wil zeggen, dat de betreffende jongeren (van 12 jaar of ouder), in vergelijking met de aanvang van de hulp, ten tijde van de meting ‘tussentijds 1’ zelf beduidend minder gedragsproblemen rapporteren. Tabel 9 Verandering in problematiek (volgens jongeren) ten tijde van meting ‘tussentijds 1’ i.v.m. aanvangsmeting, o.b.v. berekende RCI. Zekere Mogelijk Mogelijk Zekere Geen N betrouwbare betrouwbare betrouwbare betrouwbare verandering vooruitgang vooruitgang achteruitgang achteruitgang Gedragsproblemen

17

5 (29%)

2 (12%)

5 (29%)

1 (6%)

4 (24%)

Als deze gegevens worden gecombineerd met de informatie over de ernst van de problematiek bij de meting ‘tussentijds 1’, ontstaat het beeld dat is weergegeven in tabel 10. Voor 35% van de cliënten kan op dat moment worden vastgesteld dat de behandeling succesvol is. Bij 6% (let wel: het gaat hier om maar één jongere) is weliswaar een positieve verandering

38

Kroes, G; Meeuwsen, T. & Veerman, J.W. (2007). Aantoonbare kwaliteit. Verslag van het implementatieproject. Nijmegen: Praktikon/De Waarden.

107

opgetreden, maar zijn er nog problemen. Opvallend is dat een kwart van de jongeren (4 van de 17) aangeeft dat de problematiek aanzienlijk (verder) is verslechterd. Tabel 10 Individuele verandering gedragsproblemen (volgens jongeren) ten tijde van meting ‘tussentijds 1’ i.v.m. aanvangsmeting

Gedragsproblemen

N

V+S+

V+S-

V-S+

V-S-

17

6 (35%)

1 (6%)

4 (24%)

6 (35%)

Opvoedingsstress

Opvoedingsstress is zowel gemeten met de NOSI als met de NOSIK. NOSI staat voor Nijmeegse Ouderlijke Stress Index. De NOSIK is een korte variant met 25 items. De NOSI(K) richt zich op het gezin als opvoedingssysteem en gaat na in hoeverre er in de beleving van ouders sprake is van een zekere mate van stress of belasting vanuit diverse bronnen binnen de context van de opvoeding van een kind. De NOSI wordt alleen bij aanvang van de hulp door de ouders ingevuld; bij de vervolgmetingen wordt de verkorte versie (NOSIK) gebruikt. In de praktijk blijkt een aantal keren abusievelijk de NOSIK bij aanvang te zijn ingevuld. Ook anders dan oorspronkelijk de bedoeling was, is in een beperkt aantal gevallen de NOSI bij de eerste vervolgmeting te zijn gebruikt (zie tabel 11). Gegevens over de tweede meting ontbreken zo goed als volledig (bij IOG/IPG/PPG is slechts één ingevulde NOSIK ontvangen). In tabel 11 staan de gemiddelde deviatiescores op de schaal Totale opvoedingsstress, per behandelvorm en meetmoment van de NOSI, respectievelijk de NOSIK. Zoals uit de tabel blijkt is, gemiddeld genomen, bij de behandelvormen IOG/IPG/PPG en Naschoolse Dagbehandeling sprake van zeer ernstige opvoedingsstress bij aanvang van de behandeling. De gemiddelde score op zowel de NOSI als de NOSIK is groter dan 1,96. Bij aanvang van de behandelvorm Therapie zijn hoofdzakelijk NOSIKs afgenomen en op basis van de gemiddelde score hierop kan de opvoedingstress ‘ernstig’ genoemd worden. De ‘overall’ gemiddelde deviatiescore bij aanvang (N = 98) op de NOSI is 2,67 (met een standaardafwijking van 1,52). De gemiddelde deviatiescore over de hele groep bij aanvang op de NOSIK (N = 43) is 2,16 (met een standaardafwijking van 1,57). Van de eerste vervolgmeting is een relatief beperkt aantal gegevens beschikbaar. Omdat de gegevens van NOSI en NOSIK niet zondermeer bij elkaar genomen kunnen worden, kunnen geen algemene conclusies worden getrokken. Tabel 11. Gemiddelde deviatiescores op de NOSI, resp. NOSIK (Opvoedingsstress) per behandelvorm en meetmoment. Aanvang NOSIK Tussentijds 1 NOSI Tussentijds 1 NOSIK Aanvang NOSI


N

Gem

N

Gem

N

Gem

N

Gem

70

2,69

13

2,86

5

3,06

1

3,34

26

2,68

15

2,16

-

1

1,88

2

1,81

15

1,55

-

2

2,12

Tabellen 12 en 13 geven de mate van verandering weer tussen meting ‘aanvang’ en ‘tussentijds 1’ van alle behandelvormen samen. Tabel 12 laat zien dat voor 9 cliënten een RCI kon worden berekend. In vijf van de negen gevallen (55%) geldt dat sprake is van een (zekere of mogelijk) betrouwbare vooruitgang op het gebied van de ervaren opvoedingsstress. Dat wil

108

zeggen, dat de betreffende ouders, in vergelijking met de aanvang van de hulp, ten tijde van de meting ‘tussentijds 1’ beduidend minder stress ervaren. Tabel 12. Verandering in opvoedingsstress (volgens ouders) ten tijde van meting ‘tussentijds 1’ i.v.m. aanvangsmeting, o.b.v. berekende RCI. Zekere Mogelijk Mogelijk Zekere Geen N betrouwbare betrouwbare betrouwbare betrouwbare verandering vooruitgang vooruitgang achteruitgang achteruitgang Opvoedingsstress

9

4 (44%)

1 (11%)

3 (33%)

1 (11%)

-

Als deze gegevens worden gecombineerd met de informatie over de ernst van de opvoedingsstress bij de meting ‘tussentijds 1’, ontstaat het beeld dat is weergegeven in tabel 13. Voor één ouder (van de 9; 11%) kan op dat moment worden vastgesteld dat de behandeling succesvol is. Bij vier ouders (44%) is weliswaar een positieve verandering opgetreden, maar dezen ervaren nog veel stress. Tabel 13. Individuele verandering opvoedingsstress, ‘tussentijds 1’ i.v.m. meting aanvang.

Opvoedingsstress

N

V+S+

V+S-

V-S+

V-S-

9

1 (11%)

4 (44%)

-

4 (44%)


In figuur 1 zijn de gedragsprobleem en de opvoedingsstress (bij aanvang van de behandeling) bij dezelfde cliënten naast elkaar gezet (N=111). Het gaat hier om cliënten voor wie zowel de SDQ door de ouders is ingevuld als de NOSI of NOSIK. Tabel 14 geeft de gemiddelden per behandelvorm en meetinstrument. Tabel 14. Gemiddelde deviatiescores Gedragsproblemen en Opvoedingsstress tezamen, bij aanvang van de hulp Gedragsproblemen Opvoedingsstress (SDQ ouders) (NOSI / NOSIK) N Gem. SD Gem. SD 61 IOG / IPG / PPG 2,48 1,21 2,72 1,44 Naschoolse 34 2,57 1,33 2,48 1,56 Dagbehandeling 16 Therapie 2,01 1,11 1,67 1,69

De gegevens uit tabel 14 zijn weergegeven in figuur 1. Hieruit blijkt dat, over het geheel genomen, gedragsproblematiek van kinderen/jongeren (in de ogen van ouders) en ervaren opvoedingsstress (door dezelfde ouders) min of meer gelijk oplopen.

109

3

2,5

2 De via tie sc 1,5 ore

Gedragsproblemen Opvoedingsstress

1

0,5

0 IOG / IPG / PPG


Therapie

Figuur 1. Deviatiescores bij aanvang van Gedragsproblemen en Opvoedingsstress tezamen.

Competentielijst

De Competentielijst moet worden ingevuld door de persoonlijk begeleider (hulpverlener) van kinderen/jongeren en is bedoeld om zicht te krijgen op de vaardigheden en vaardigheidstekorten van jeugdigen met betrekking tot de diverse ontwikkelingstaken. Van de Competentielijst zijn er twee versies; er is een lijst voor 6 tot 12 jarigen en een lijst voor 12 tot 21 jarigen. De competentielijst 6-12 bevat een zestal onderdelen: Ouders, Volwassenen, Leeftijdsgenoten, Gezondheid, Vrije tijd, Onderwijs, Thuissituatie en Openbare voorzieningen. De Competentielijst 12-21 is voor oudere jongeren en gaat in op zes andere thema’s: Gezin, Werk, Vrije tijd, Woonsituatie, Autoriteiten, Gezondheid, Vriendschap en Seksualiteit. Van de Competentielijsten zijn nog geen normgegevens voorhanden. In tabel 15 zijn de gemiddelde ruwe scores weergegeven voor de groep 6-12 jarigen, per behandelvorm en meetmoment. Een score van 1 staat voor ‘heeft nog veel leerpunten’ en een score van 10 ‘doet al heel veel goed’ weergeeft. De gemiddelde ruwe score over de hele groep bij aanvang (N = 27) is 6,10 (met een standaardafwijking van 1,46). De respons op de overige meetmomenten is zeer gering, danwel ontbrekend. Tabel 15. Gemiddelde ruwe scores op de Competentielijst 6-12 jaar per behandelvorm en meetmoment Aanvang


Tussentijds 1

Tussentijds 2

N

Gem.

N

Gem.

N

14

5,88

5

5,10

-

8

5,98

2

6,06

-

5

6,88

-

Gem.

-

Tabel 16 bevat de gegevens voor jongeren van 12-21 jaar. De gemiddelde ruwe score over de hele groep bij aanvang (N = 16) is 6,37 (met een standaardafwijking van 1,70). De respons op de overige meetmomenten is bijna nihil.

110

Tabel 16 . Gemiddelde ruwe scores Competentielijst 12-21 jaar per behandelvorm en meetmoment Aanvang N IOG / IPG / PPG Naschoolse Dagbehandeling Therapie

Tussentijds 1 Gem.

N

7

6,57

-

5

5,90

1

4

6,59

-

Tussentijds 2 Gem.

N 1

7,38

Gem. 5,88

-

Sociale redzaamheid

De mate van sociale redzaamheid wordt gemeten met de SRZ-P. De SRZ-P is bedoeld voor (vrijwel) volwassen personen die functioneren op ruim matig verstandelijk beperkt tot en met zwakbegaafd niveau. Het doel van de SRZ-P is te meten of de persoon voldoet aan de eisen die een samenleving (vrijwel) dagelijks stelt. Deze vragenlijst moet door de begeleider (hulpverlener) van de jeugdige worden ingevuld. De vragenlijst gaat in op domeinen als zelfredzaamheid, waarbij het gaat om aan- / uitkleden, wassen, min of meer zelfstandig eten enz. Daarnaast is er sprake van verbaal-communicatief-cognitief (sub)domein, men meet hier de mate van spraak, taalbegrip, lezen, rekenen, schrijven enz. Het sociale omgangsdomein richt zich op het omgaan met anderen, dingen samendoen, hulp aanbieden enz. Onder het laatste domein vat men de (grove) motoriek samen.39 Tabel 17. Gemiddelde deviatiescores op de SRZ-P (Sociale redzaamheid) per behandelvorm en meetmoment Aanvang


Tussentijds 1

Tussentijds 2

N

Gem.

N

Gem.

N

Gem.

43

-0,65

9

-0,51

1

-1,64

20

-0,75

4

-0,79

-

15

-0,05

1

-0,48

-

Tabel 17 geeft de gemiddelde deviatiescores van de SRZ-P weer per behandelvorm en meetmoment. De gemiddelden zijn alle negatief, wat betekent dat de sociale redzaamheid over het algemeen minder groot is dan die van de doorsnee jongere uit de (klinische) normgroep. Hierbij tekenen we aan dat de leeftijd van de jongeren uit de normgroep tussen 17 en 20 jaar ligt. Aan de andere kant wijken de deviatiescores niet sterk af van het gemiddelde van nul. De gemiddelde deviatiescore over alle behandelvormen bij aanvang (N = 78) is –0,56 (met een standaardafwijking van 1,12). De gemiddelde ruwe score over de hele groep bij meetmoment ‘Tussentijds 1’ (N = 14) is –0,59 (met een standaardafwijking van0,82). Van het meetmoment ‘Tussentijds 2’ zijn dermate weinig gegevens beschikbaar, dat het eigenlijk niet zinvol is om in termen van gemiddelde scores te rapporteren. Tabellen 18 en 19 geven de mate van verandering weer tussen meting ‘aanvang’ en ‘tussentijds 1’ van alle behandelvormen samen. Tabel 18 laat zien dat voor 6 cliënten een RCI kon worden berekend. Voor één cliënt geldt dat sprake is van een zekere betrouwbare vooruitgang in de sociale redzaamheid. Dat wil zeggen, dat de betreffende jongere, in vergelijking met de aanvang van de hulp, ten tijde van de meting ‘tussentijds 1’ van een beduidend grotere mate van sociale redzaamheid blijk geeft. 39

Kraijer, D.W. & Kema, G.N. (2004). Sociale redzaamheidsschaal-Z voor hoger niveau. SRZ-P Handleiding. Lisse: Harcourt.

111

Tabel 18. Verandering in sociale redzaamheid ten tijde van meting ‘tussentijds 1’ i.v.m. aanvangsmeting, o.b.v. berekende RCI. Zekere Mogelijk Mogelijk Zekere betrouwbare Geen N betrouwbare betrouwbare betrouwbare achteruitgang verandering vooruitgang vooruitgang achteruitgang Sociale redzaamheid

6

1 (17%)

2 (33%)

-

3 (50%)

-

Als deze gegevens worden gecombineerd met de informatie over de ernst van de problematiek bij de meting ‘tussentijds 1’, ontstaat het beeld dat is weergegeven in tabel 19. Voor één cliënt kan op dat moment worden vastgesteld dat de behandeling succesvol is. Bij vier van de zes cliënten is de sociale redzaamheid aanzienlijk (verder) verslechterd. Tabel 19. Individuele verandering sociale redzaamheid ten tijde van meting ‘tussentijds 1’ i.v.m. aanvangsmeting

Sociale redzaamheid

N

V+S+

V+S-

V-S+

V-S-

6

1 (17%)

-

1 (17%)

4 (67%)

4.5 Conclusies en aanbevelingen 4.5.1 Conclusies Het meten van resultaten

Veel hulpverleners zijn betrokken geweest bij de pilots en nagenoeg iedereen heeft vragenlijsten afgenomen. Bij de een ging dat soepel en gemakkelijk, terwijl het bij de ander meer moeite kostte. Vooral de inzet om er iets van te maken was opvallend. Er is veel meegedacht en er zijn veel oplossingen aangedragen voor problemen die zich voordeden. Pas drie maanden na de start van de pilot was de verwerking van de data goed geregeld en kwamen vragenlijsten ook binnen een week weer terug met een profielscore. Bij de evaluaties is men enthousiast tot kritisch. Bovenal benieuwd naar de resultaten. We kunnen concluderen dat bij de in het primair proces beschreven werkprocessen zichtbaar zal moeten worden wanneer wat moet gebeuren conform het logistieke proces van Resultaat Gericht Behandelen. Dit is noodzakelijk om de datamonitoring te kunnen regelen. De cliëntenadministratie heeft overzicht en is betrokken bij de planning van het Interdisciplinaire Overleg, waarin behandelingen worden gepland en geëvalueerd. De administratie geeft een signaal aan de Managers Primair Proces als vragenlijsten niet op tijd binnen zijn. Er dient kritisch gekeken te worden naar de hoeveelheid activiteiten die in korte tijd gedaan moeten worden rondom kennismaking. Welke activiteiten kunnen geschrapt worden als vragenlijsten gebruikt worden? “er is al zoveel veranderd de afgelopen jaren, moet dat nu...” De uitkomsten van de metingen

De respons is over de gehele linie te laag. Uitgaande van de norm die Kwadrant aan de respons op aanvangsgegevens heeft verbonden, zou een respons van minimaal 70% moeten worden behaald. Alleen Naschoolse Dagbehandeling komt hiervan, gemiddeld genomen, in

112

de buurt. De respons van de twee ander behandelvormen is te laag. Overigens is de respons van ouders over het algemeen beter (en voldoet in een aantal gevallen aan de gestelde norm) dan die van de hulpverleners. Bij hen is nog belangrijke winst te boeken. Voorts is het duidelijk dat de verzameling van gegevens bij de vervolgmetingen (tussentijdse meting 1 en 2) nog echt op gang moet komen. Met uitzondering van de SDQ voor ouders, zijn er niet of nauwelijks gegevens binnen gekomen. De Kwadrantnorm van 40% bij vervolgmetingen wordt bij lange na niet gehaald. Het is van groot belang dat dit verbetert, want deze metingen zijn cruciaal voor de vaststelling van de effectiviteit van de uitgevoerde behandelingen. Overigens is het op dit moment nog niet mogelijk om gegevens uit de cliëntenadministratie te koppelen aan de vragenlijstgegevens. Hierdoor kunnen nog geen algemene gegevens (geslacht, leeftijd, etnisch-culturele achtergrond etc.) worden gepresenteerd. Ook is het daardoor lastiger om de respons op de verschillende momenten vast te stellen. Uit de verkregen informatie blijkt dat de problematiek van de cliënten van alle drie de behandelvormen, bij aanvang van de behandeling, over het algemeen zeer ernstig is. Verder ervaren de ouders van de kinderen/jongeren die IOG/IPG/PPG en de Naschoolse Dagbehandeling ontvangen (gemiddeld genomen) extreem veel opvoedingsstress. Voor de ouders van de Therapiecliënten is de stress ook hoog, maar in minder hevige mate. In vergelijking met de gebruikte normgroep is de sociale redzaamheid van de kinderen/jongeren niet problematisch te noemen. De gemiddelde scores van de behandelvormen wijken niet substantieel af van het gemiddelde in de normgroep. Hierbij moet wel worden aangetekend dat de normgroep bestaat uit jongeren van 17 tot en met 20 jaar uit een residentiële populatie (Orthopedagogische centra voor jeugdig licht verstandelijk gehandicapten). Aan de onderzoeksresultaten met betrekking tot de Competentielijsten kunnen door het ontbreken van normgroepen geen conclusies worden verbonden. In een afzonderlijk project wordt aan de totstandkoming hiervan gewerkt. Omdat de respons van de vervolgmetingen erg laag is, kunnen geen gefundeerde uitspraken worden gedaan over gerealiseerde veranderingen ten aanzien van gedragsproblematiek van de jeugdigen (volgens henzelf), opvoedingsstress en sociale redzaamheid. Voor de gedragsproblematiek van de jeugdigen (volgens de ouders) ligt dat iets anders. Zo’n veertig procent van de cliënten laat een (zekere of mogelijke) betrouwbare vooruitgang zien. Het aantal cliënten waarvoor zowel aanvangsgegevens als gegevens van de eerste vervolgmeting beschikbaar zijn is tegelijkertijd niet groot genoeg om binnen deze groep een onderscheid naar behandelvorm te maken. Als de gegevens over (betrouwbare) verandering worden gecombineerd met de status van de problematiek bij de eerste tussentijdse meting, dan blijkt voor achttien procent van de jongeren de behandeling succesvol genoemd te kunnen worden. Toetsen van de gebruikte meetinstrumenten

Dit is een voortdurend proces en onderwerp van gesprek. Er zijn geen oplossingsgerichte vragenlijsten noch vragenlijsten voor de specifieke doelgroep. Dat wordt nog steeds als een gemis ervaren. Vaak is de gebruikte vraagstelling in de instrumenten te ingewikkeld voor de doelgroep. Aan het landelijk kenniscentrum LVG is gevraagd mee te denken over oplossingen. Bij de keuze van meetinstrumenten is van belang: 1. De uniformiteit van het basisinstrumentarium van Resultaatgericht Behandelen. Het basisinstrumentarium bestaat uit een aantal meetinstrumenten die door iedere hulpvorm moet worden gebruikt. Dit maakt onderlinge vergelijking binnen Kwadrant mogelijk. Aan het basisinstrumentarium kunnen naar believen andere instrumenten worden toegevoegd.

113

2. De bruikbaarheid van de gegevens die met de meetinstrumenten worden verzameld. Op de werkvloer moeten hulpverleners de vragenlijsten testgegevens kunnen gebruiken in hun contacten met het cliëntsysteem. Uit de pilots komt dat de NOSI en SDQ voldoen aan de verwachtingen. Voor wat betreft de NOSI is aan het effectiviteitsplatform van het project Zicht op Effectiviteit gevraagd om een korter alternatief. Voor LVG ouders is het een grote investering zijn. Tot er een alternatief is wordt de NOSI gebruikt. De NOSIK wordt alleen nog gebruikt bij follow-up metingen (bij afsluiting van hulpverlening van Kwadrant). Doelrealisatie is nog niet goed ingebed en zal in de teamtraining aandacht behoeven. De SRZ-P en Competentielijsten worden gebruikt. Een punt van aandacht is dat de vragenlijsten in een aantal gevallen zijn ingevuld door anderen dan de bedoelde informanten. Vooral bij de SRZ-P en de Competentielijsten, die beide voor hulpverleners zijn bestemd, is het nogal eens voorgekomen dat de ouders deze lijsten hebben ingevuld. Verder is in afwijking van de afspraak hierover de NOSIK in een aantal gevallen gebruikt bij de aanvangsmeting, terwijl de NOSI had moeten worden ingevuld. « het is niet meer maar anders « Actueel worden op meerdere locaties door verschillende medewerkers data ingevoerd, verwerkt, opgeslagen en terug gezonden. Voor dit proces zijn vier laptops beschikbaar met op elke laptop eenzelfde softwarepakket (BergOp), waarvoor apart update en onderhoudskosten worden betaald. Deze versnippering van activiteiten is kostbaar. De kans op fouten in het logistieke proces is evenredig met het aantal handelingen dat moet worden verricht. Positief resultaat is dat het aantal medewerkers die de data invoeren toeneemt, waardoor e.e.a. minder kwetsbaar is i.v.m. de omvang van hun taakstelling. Om de kans op fouten te verminderen, dient het logistieke proces eenduidig en eenvoudig te zijn. Dan kunnen ook de kosten worden teruggebracht. Daarom is Kwadrant gestart met de ontwikkeling van een eigen database en analyseprogramma en dit onder te brengen in het Zorg Informatie Systeem (Plancare). Het voordeel is dat het invoeren gedigitaliseerd wordt, gekoppeld aan de kwaliteitseisen van automatisering en beschikbare cliëntgegevens respectievelijk dossiervorming. Toetsen of de systematiek van meten efficiënt, betrouwbaar, en werkbaar is voor de doelgroep jeugdigen met een licht verstandelijke handicap.

In zijn algemeenheid wordt de systematiek werkbaar ervaren. Op het vlak van efficiency en betrouwbaarheid dient nog het nodige te verbeteren voor wat betreft de respons. Deze moet veel hoger wil men redelijk betrouwbare uitspraken kunnen doen over de zwaarte van de problematiek en over het succes van de verstrekte hulp. RGB heeft als doel ouders bij de voortgang van de hulpverlening te betrekken door samen met hen regelmatig de behaalde resultaten te bespreken. Dit lukt goed bij die hulpvormen waar ouders al betrokken worden. Maar daar waar de behandeling zich vooral focust op de jeugdige, dient extra aandacht te zijn voor het organiseren van overlegmomenten met ouders en daarin RGB een duidelijke plaats te geven. Veel aandacht dient er te zijn voor het benutten van de gegevens ten behoeve van : 1. ouders en jeugdigen 2. in de IO’s 3. in de teams (teamresultaten, individuele resultaten). Orthopedagogen en managers primair proces hebben hierin een belangrijke taak.

114

Vanuit het belang van een optimale borging zullen de vakgroepen diagnostiek en orthopedagogiek nauwer worden betrokken bij de uitvoering en ondersteuning van persoonlijk begeleiders, ambulant begeleiders en gezinshulpverleners. De orthopedagogen zijn inhoudelijk verantwoordelijk voor effectmeting in het kader van het persoonlijk plan en de benutting van de uitkomsten van vragenlijsten in het Interdisciplinaire Overleg en de vertaling van gegevens op teamniveau. De diagnostici zorgen voor een training in gebruik van vragenlijsten (een training voor nieuwe medewerkers en eventueel verdiepingstraining op teamniveau). De resultaten

Binnen de teams en afdelingen wordt momenteel geoefend met het benutten van gegevens op diverse niveaus. Dat geldt ook voor het stafmanagement als het lijnmanagement. Daar worden nu speciale bijeenkomsten voor georganiseerd. Op cliëntniveau zijn de resultaten gebruikt tijdens evaluaties in het interdisciplinair overleg en zijn de uitkomsten ter onderbouwing van de behandeling door gesproeken met cliënten. Op teamniveau is begin 2007 het tabellenboek waarin de data-analyse zichtbaar is gemaakt, via een PowerPoint per pilot gepresenteerd. Het ging hier over de gegevens die in 2006 waren verzameld. De presentatie wordt eerst door projectleider gedaan met manager staf. In het vervolg door Advisium: manager staf met orthopedagoog, en manager primair proces. Bij de presentatie worden de resultaten besproken via de benuttingmethodiek. Er vindt daarbij tevens een terugkoppeling plaats naar de uitgangspunten van de interventietheorie. De evaluatie op teamniveau leiden tot verbeteracties ten aanzien van het logistieke proces (Is de respons hoog genoeg? Worden resultaten voldoende besproken en benut); verbeteracties ten aanzien van inhoudskwaliteit en verdere aanscherping van de interventietheorie. De antwoorden worden per team vastgelegd en op regioniveau vastgesteld en elk half jaar bijgesteld aan de hand van de resultaten. Borging

Vanuit de pilots is duidelijk geworden dat er belangrijke stappen in de goede richting zijn gezet, met name voor wat betreft het logistieke proces. Ook is duidelijk geworden dat in een lijn-staf organisatie zoals bij Arkemeyde het van belang is dat afspraken tussen staf en lijn functionarissen in het kader van de borging en verantwoordelijkheid helder zijn. Een aanspreekcultuur (op eigen verantwoordelijkheid) is daarbij van evident belang. Producten Resultaat Gericht Behandelen heeft een aantal producten opgeleverd. • Uitgave: Instructieboekje voor medewerkers (organisatie, logistiek, uitleg over lijsten, wijze van afname, oplossingsgericht etc). (2006) Wijgergangs, H. & Bierens, G. Ermelo: Kwadrant • Uitgave: Inhoudelijk kwaliteitsbeleid Kwadrant (2007, Bierens, G., Bijl, B. & Wijgergangs H). Ermelo: Kwadrant. • Kwadrants Competentielijst: aanpassing Competentielijsten door PI Research “ik wil wel weten of het werkt”

115

4.5.2 Aanbevelingen 1. De implementatie heeft zijn eigen dynamiek die bij elk team, organisatieonderdeel of hulpvorm anders is. Kaders kunnen worden gegeven, echter ruimte om te oefenen, te verbeteren, er over te praten en te delen is bovenal belangrijk. Dit is een parallelproces voor wat betreft de uitvoering van effectmeting: praat over de bevindingen, snappen we ze, verklaren we ze, waarderen we ze, verbeteren we iets? 2. Aandacht voor het proces van implementatie en borging blijkt een van de kritische succesfactoren te zijn. Niet de hoogte van de respons (alhoewel zeer motiverend) is bepalend, maar vooral het gesprek over de lage respons. Het hoe en waarom van de effectscore. Aandacht voor de moeite die sommige hebben met het werken met lijsten levert veel informatie op over randvoorwaarden en facilitering. Maar ook over werkdruk en haalbaarheid, en nog meer over visie en missie, over betrokkenheid en professionaliteit. Daarom zijn bij de implementatie alle medewerkers betrokken geweest. Vakgroepen zijn ingezet om vragenlijsten uit te kiezen. Staf en lijn verantwoordelijken hebben zich gebogen over de resultaatgebieden vanuit de visie en missie, groepsleiders hebben gesprekken gevoerd met ouders en werden ondersteund door maatschappelijk werkers. 3. Wat tevens een belangrijke bijdrage heeft geleverd aan het succes van de implementatie is de organisatiecultuur bij Arkemeyde: in een lerende organisatie is men gewoon elkaar aan te spreken op taken en verantwoordelijkheden. Binnen zulke teams is de ‘onderlinge veiligheid’ gewaarborgd. Uitgangspunt: Bespreken en bediscussiëren van onderzoeksresultaten hebben geen nadelige consequenties voor teams, integendeel ze dragen bij aan kwaliteitsverhoging. Teams moeten voldoende geëquipeerd zijn om met elkaar de onderzoeksresultaten te bespreken en, daarop volgend, verbeteracties te formuleren. 4. Het meten van resultaten dient geborgd te zijn in de in de ‘dagelijkse routine’ van medewerkers en onderdeel te zijn van sollicitatiegesprekken; 5. Teams nemen structureel de tijd en de ruimte voor bijeenkomsten (bijv. twee keer per jaar) om zich te wijden aan de onderzoeksuitkomsten (reflectie en discussie); 6. Zorg voor een structuur waarbij per afdeling/onderdeel iemand verantwoordelijk is voor logistieke proces, inhoudelijke ontwikkeling en benutting etc. 7. Maak een implementatieplan waarin is opgenomen: a. informatie en voorlichting over effectmeting aan betrokken medewerkers (2 uur); b. instructie, korte training (2 uur) in afnemen en terugkoppelen van vragenlijsten voor medewerkers in het primaire proces die uitvoerende taken hebben in het afnemen, interpreteren van de vragenlijsten en het bespreken van de resultaten met de cliënten. Deze training kan uitgevoerd worden dor de vakgroepen diagnostiek. Voor nieuwe medewerkers – of als opfriscursus – is het aan te bevelen om minimaal 2 jaarlijks een training aan te bieden dan wel dit in team of afdelingsverband te organiseren; c. instructie en training van stafmedewerkers die het primaire proces moeten begeleiden in het afnemen en interpreteren van vragenlijsten, en het bespreken van de resultaten met cliënten. d. instructie en training van interviewers die een eerste aanzet maken van de interventietheorie. e. Instructie en training van medewerkers (gedragswetenschappers) die het proces begeleiden van de bespreking van resultaten binnen het interdisciplinaire team middels de benuttingsmethodiek. “daar ben ik nu blij van geworden”

116

Bijlage 4.1 Hulp aan Huismodulen: IOG/IPG/PPG Meetmomenten (conform primaire proces) en instrumenten

Overlegmoment

T140 start Observatieperiode

T2, T3, T4 evaluatie Evaluatie Gesprek

Tijd na opname

6 weken

6 mnd evt 12 mnd

Wie

Met wie

T5 nazorg

Ouders

Gezins-medewerker

NOSI SDQ-O Comp.lijst SRZ-P Doelrealisatie

NOSIK SDQ-O Comp.lijst SRZ-P Doelrealisatie

NOSIK SDQ-O

Jongere

Gezins-medewerker

SDQ-J Doelrealisatie

SDQ-J Doelrealisatie

SDQ-J

Gezinsmedewerker

40

Doelrealisatie

T1 is de eerste meting. De nummering is afhankelijk van het aantal tussenevaluaties.

117

Bijlage 4.2 Naschoolse dagbehandeling Meetmomenten (conform primaire proces) en instrumenten Wie

Met wie

T2, T3, T4 evaluatie

Overlegmoment

T1 start kennismaking

Tijd na opname

3 maanden

9 maanden 15 maanden

T5 nazorg

Ouders

Pb-er + Mw.

NOSI SDQ-O Comp. lijst SRZ-P Doelrealisatie

NOSIK SDQ-O Comp. lijst SRZ-P Doelrealisatie

NOSIK SDQ-O

Jongere

Pb-er

SDQ-J

SDQ-J

SDQ-J

Pb-er

Doelrealisatie Comp. Lijst

118

Bijlage 4.3. Ambulante therapie Meetmomenten (conform primaire proces) en instrumenten •

Alle nieuwkomers per 1 mei 2006 (individueel en groepstherapie)

•

Clienten die van 1 mei 2006- 1 oktober 2007 therapie ontvangen (geoormerkte clienten).

•

Niet de clienten die ook een hulp aan huis module (IOG, IPG, PPG) of dagbehandeling ontvangen.

Wie

Met wie

Overlegmoment

Tijd na opname

T1 Start Kennism. Observatie

T2, T3

T4 nazorg

Evaluatie/ Eind gesprek

1 mnd

6/12 mnd

15 mnd

Ouders

Therapeut



NOSIK SDQ-O

Jongere

Therapeut

SDQ-J

SDQ-J

SDQ-J

Therapeut

Doelrealisatie

119

Bijlage 4.4 Respons per meetmoment Tabel 1. Respons bij aanvang; periode mei 2006 tot en met september 2007 Behandelvorm IOG / IPG / PPG

Naschoolse

# Behandelingen 129

49

Dagbehandeling

Therapie

58

# Vragenlijsten

# Cliënten

NOSIK

Vragenlijst

22

13

Respons %

NOSI

101

70

SDQ-jongere

61

59

-a

SDQ-ouders

117

95

74%

Comp 6-12

32

26

Comp 12-21

17

16

SRZ-P

48

43

NOSIK

20

15

NOSI

34

27

SDQ-jongere

24

24

-a

SDQ-ouders

45

39

80%

Comp 6-12

20

18

Comp 12-21

17

14

SRZ-P

23

20

64%

33% 33% 86%

65% 41%

NOSIK

20

15

NOSI

2

2

SDQ-jongere

32

32

-a

SDQ-ouders

34

31

53%

Comp 6-12

8

7

Comp 12-21

17

14

SRZ-P

15

15

29%

36% 26%

a Respons is niet te berekenen omdat onbekend is hoeveel cliënten van het totaal 12 jaar of ouder is op het moment van de meting.

120

Tabel 2. Respons bij meetmoment ‘Tussentijds 1’ # Behandelingena Vragenlijst Behandelvorm IOG / IPG / PPG

Naschoolse opvang

Onbekend

Onbekend

Dagbehandeling

Therapie

Onbekend

# Vragenlijsten

# Cliënten

Respons %

NOSIK

2

1

-

NOSI

6

5

-

SDQ-jongere

7

7

-

SDQ-ouders

33

26

-

Comp 6-12

8

7

-

Comp 12-21

-

-

SRZ-P

9

9

-

NOSIK

1

1

-

NOSI

-

-

-

SDQ-jongere

5

5

-

SDQ-ouders

20

16

-

Comp 6-12

5

4

-

Comp 12-21

5

3

-

SRZ-P

4

4

-

NOSIK

3

2

-

NOSI

-

-

-

SDQ-jongere

7

7

-

SDQ-ouders

15

12

-

Comp 6-12

-

-

-

Comp 12-21

-

-

-

SRZ-P

1

1

-

a

Het is onbekend hoeveel cliënten er in de periode van mei 2006 tot en met september 2007 in aanmerking kwamen voor een vervolgmeting, oftewel meetmoment ‘Tussentijds 1’ Daardoor is het evenmin mogelijk om een responspercentage te berekenen.

121

Tabel 3. Respons bij meetmoment ‘Tussentijds 2’ Behandelvorm # Behandelingen a Vragenlijst IOG / IPG / PPG

Naschoolse opvang

Onbekend

Onbekend

Dagbehandeling

Therapie

Onbekend

# Vragenlijsten

# Cliënten

Respons %

NOSIK

1

1

-

NOSI

-

-

-

SDQ-jongere

2

2

-

SDQ-ouders

4

3

-

Comp 6-12

-

-

-

Comp 12-21

1

1

SRZ-P

1

1

-

NOSIK

-

-

-

NOSI

-

-

-

SDQ-jongere

-

-

-

SDQ-ouders

1

1

-

Comp 6-12

-

-

-

Comp 12-21

-

-

-

SRZ-P

-

-

-

NOSIK

-

-

-

NOSI

-

-

-

SDQ-jongere

-

-

-

SDQ-ouders

-

-

-

Comp 6-12

-

-

-

Comp 12-21

-

-

-

SRZ-P

-

-

-

a

Het is onbekend hoeveel cliënten er in de periode van mei 2006 tot en met september 2007 in aanmerking kwamen voor een vervolgmeting, oftewel meetmoment ‘Tussentijds 2’ Daardoor is het evenmin mogelijk om een responspercentage te berekenen.

122

Bijlage 4.5 Berekening RCI RCI = (ruwe score aanvang - ruwe score afsluiting) / Sdiff Sdiff : standaardfout van het verschil Sdiff = √2(Se)² * Se = S1√(1-rx) Se : standaardmeetfout van het meetinstrument S1 : standaarddeviatie normale populatie rx : betrouwbaarheid van het meetinstrument (test-hertest of interne consistentie)

123

124

Hoofdstuk 5 Effecten in beeld bij Pactum Inge Bastiaanssen, Harm Damen en Jan Willem Veerman

Inhoudsopgave 5.1

5.2

5.3

5.4

5.5

Inleiding 5.1.1 Intro 5.1.2 Pactum 5.1.3 Effecten in Beeld 5.1.4 Pactum en Zicht op Effectiviteit Plan van aanpak 5.2.1 Inleiding 5.2.2 De Pilot 5.2.3 Beloop 5.2.4 Doelrealisatie 5.2.5 Cliënttevredenheid 5.2.6 Protocollen en Gegevensverwerking Proces 5.3.1 Inleiding 5.3.2 Clientenraad en Jongerenraad 5.3.3 Tussentijdse Evaluatie 5.3.4 Verbeterpunten 5.3.5 Ervaringen medewerkers Inleiding 5.4.1 Inleiding 5.4.2 De onderzoeksgroep: Achtergronden 5.4.3 Respons 5.4.4 Beschrijving van enkele inhoudelijke kenmerken Overzicht conclusies en verdere voortgang project 5.5.1 Inleiding 5.5.2 Overzicht conclusies 5.5.3 Verdere voortgang project Bijlage 5.1 Bijlage 5.2

125

126

5.1 Inleiding 5.1.1 Intro Dit hoofdstuk is een beschrijving van het project Effecten in Beeld, een project voor het opzetten van doelrealisatie en effectmeting binnen verschillende hulpvormen van jeugdzorginstelling Pactum Jeugdzorg & Educatie. Doel van dit project is het inzichtelijk maken van de effectiviteit van de behandelingen die binnen Pactum worden geboden en daarmee bij te dragen aan een verdere professionalisering en profilering van het zorgaanbod binnen de organisatie. Het project Effecten in Beeld maakt vanaf halverwege 2006 deel uit van het landelijk project Zicht op Effectiviteit, een project waarin zeven instellingen binnen hun eigen organisatie bezig zijn om de effectiviteit van het zorgaanbod in beeld te brengen en hun ervaringen hiermee onderling delen. Om zicht te krijgen op de effectiviteit van het zorgaanbod is een systeem voor gegevensverzameling ontwikkeld en als eerste geïmplementeerd binnen vier pilotlocaties van Residentiële Behandeling en Daghulp van Pactum. In dit hoofdstuk zijn we ingegaan op de opzet en implementatie van het systeem. Na een korte achtergrondbeschrijving van het project (paragraaf 1) is in paragraaf 2 het plan van aanpak (opzet systeem van gegevensverzameling) beschreven. In paragraaf 3 is vervolgens een beschrijving gegeven van het proces waarbinnen het systeem van gegevensverzameling binnen de pilotlocaties is geïmplementeerd. Inmiddels is gedurende ruim anderhalf jaar met het systeem informatie verzameld over 57 jongeren die binnen Residentiële Behandeling en Daghulp zijn geholpen. Op basis van deze informatie werden in paragraaf 4 enkele resultaten gepresenteerd. In de laatste paragraaf geven we een overzicht van de conclusies uit de verschillende hoofdstukken en gaan we in op de verdere voortgang van het project. Met dit hoofdstuk wordt de pilotfase van het Effecten in Beeld definitief afgesloten. Inmiddels is de verbreding binnen de organisatie in volle gang. De bedoeling is dat eind 2008 effectonderzoek binnen alle hulpvormen van Pactum een plaats heeft gekregen. In de eerste paragraaf worden de achtergronden van het implementeren van praktijkgestuurd effectonderzoek bij Pactum beschreven. In de eerste subparagraaf komt de instelling Pactum aan bod. In de daaropvolgende subparagraaf wordt het project Effecten in Beeld toegelicht. En in de laatste subparagraaf wordt de betrokkenheid van Pactum bij het landelijke VWS project Zicht op Effectiviteit beschreven. 5.1.2 Pactum Pactum Jeugdzorg & Educatie is een multifunctionele organisatie voor jeugdhulpverlening voor het verlenen van psychosociale en educatieve hulp aan kinderen en jongeren tot en met de leeftijd van 21 jaar en hun ouders en gezinnen. Het werkgebied omvat de provincies Gelderland en Overijssel, met name de regio’s Noord- en Midden-Gelderland en de regio Midden-IJssel, met vestigingen in Arnhem, Deventer, Ede, Nunspeet, Harderwijk, Apeldoorn, Zutphen en Lochem. Het hoofdbureau is gevestigd in Arnhem. Het aanbod van Pactum bestaat uit verschillende behandelvormen die vanuit een viertal sectoren geleverd kunnen worden, te weten: (1) de sector Intensief Ambulante Gezinsbehandeling en Pleegzorg, (2) de sector Intensieve Behandeling van het Jonge Kind, (3) de sector Integrale Daghulp Oudere Jeugd en Rijnside (4) en de sector Residentiële Behandeling. De totale hulpverleningscapaciteit kent ruim 1000 plaatsen. Er wordt binnen Pactum gewerkt vanuit een gemeenschappelijke oplossingsgerichte en handelingsgerichte hulpverleningsvisie die

127

gebaseerd is op een contextueel geïntegreerd model. Hierbij wordt aangesloten wordt bij de wensen en waarden van de jongeren en diens ouders. Dat betekent dat de dialoog met het cliëntsysteem van groot belang is, het cliëntsysteem wordt actief bij de zorg betrokken en bepaalt mede de inhoud van het behandelplan. 5.1.3 Effecten in Beeld Directie en staf van Pactum hebben ruime tijd geleden te kennen gegeven de effecten van de zorg op een meer systematische wijze te willen vastleggen. Met deze gegevens hoopt Pactum zicht te krijgen op wat er aan behandeling nodig is en wat werkt. Hierdoor verwacht Pactum de kwaliteit zorg verder te verbeteren en de zorg ook beter te verantwoorden ten opzichte van de financiers (de landelijke, provinciale en gemeentelijke overheden). Voor de realisatie van deze voornemens is Praktikon verzocht ondersteuning te bieden. Praktikon is een organisatie voor onderzoek en ontwikkeling in de jeugdzorg, gelieerd aan de Radboud Universiteit Nijmegen. In 2004 werd op basis van een door Praktikon opgesteld projectplan gestart met het onderzoek “Effecten in beeld”. Het doel van dit projectplan was te komen tot een samenhangend instrumentarium voor effectmeting dat ingebed is in het hulpverlenend handelen. Dat wil zeggen: hulpverleners zorgen zelf, al dan niet met behulp van ondersteunende diensten voor de verzameling, scoring, verwerking en analyse van effectgegevens. Tevens benutten zij deze gegevens voor verbetering en verantwoording van de door hen verleende zorg. Op een hoger aggregatieniveau krijgt de directie inzicht in de effectiviteit van afdelingen en sectoren. Een en ander dient ondersteund te worden door een geautomatiseerd registratiesysteem. Op deze wijze zijn uitvoerend medewerkers en hun leidinggevenden zelf de eigenaars van het effectonderzoek. Het uiteindelijke doel is dat er bij Pactum een attitude van resultaatgericht meten ontstaat, die past binnen de oplossings- en handelingsgerichte hulpverleningsvisie van de organisatie en die een continue monitoring van effecten geeft op basis waarvan sturing van zorgprocessen kan plaatsvinden. Wat betreft de projectstructuur en de inbedding heeft Pactum een procesbewaker in dienst gesteld van het project. In eerste instantie voor per januari 2006 voor een dag in de week (8 uur), dit is in maart 2007 uitgebreid naar twee dagen (16 uur) in de week. De procesbewaker heeft naast procesbewakerstaken (trainen en coachen medewerkers bij uitvoeren van onderzoek, zorgdragen voor heldere protocollen, signaleren en oplossen knelpunten, monitoren van datainzameling, contactpersoon voor onderzoekers van Praktikon) ook onderzoekstaken uitgevoerd op het gebied van ontwikkeling/training. Er is een stuurgroep (bestaande uit directielid, sectormanager residentiële behandeling en onderzoekers Praktikon) en een werkgroep (sectormanager residentiële behandeling, procesbewaker en verschillende disciplines uit de praktijk). Tevens zijn medewerkers betrokken bij de ontwikkeling om het onderzoek zo praktijkgestuurd mogelijk te maken. Zo is er een deelwerkgroep doelrealisatie ingesteld, en kunnen meer deelwerkgroepen ingesteld worden met een specifieke opdracht die bijdraagt aan verbetering van de kwaliteit van het onderzoek en/of de hulpverlening. 5.1.4 Pactum en Zicht op Effectiviteit Om meer zicht op effectiviteit van de jeugdzorg te krijgen is in 2005 een projectgroep gestart met vertegenwoordigers van Praktikon, NJI, PI Research, Collegio, Bureau Jeugdzorg Drenthe/Jeugdzorg Drenthe en de Hoenderloogroep. Met financiële steun van het ministerie van VWS voert deze groep in de periode van 2005 t/m 2007 verschillende projecten uit. Na een aanmeldings- en selectieprocedure sluit Pactum halverwege 2006 aan bij het verbredingsproject. 128

Het Verbredingsproject van Zicht op effectiviteit biedt een aantal instellingen tijdelijk extra ondersteuning bij de implementatie van praktijkgestuurd onderzoek naar de effectiviteit van de hulpverlening. De deelnemende instellingen krijgen tot eind 2007 ondersteuning bij het opbouwen van een werkwijze om gegevens over de effectiviteit van het eigen aanbod te verzamelen en te rapporteren. Pactum is een van de zeven instellingen die deze ondersteuning ontvangen. Omdat Pactum al enige tijd bezig is met het ontwikkelen van praktijkgestuurd effectonderzoek binnen de instellingen krijgt Pactum een smal pakket aangeboden. Een smal pakket houdt in dat Pactum kan gaan deelnemen aan het reeds bestaande effectiviteitsplatform waarin alle aan het project verbonden instellingen participeren. Middels de deelname kan Pactum profiteren van de ervaringen die in zes modellocaties zijn opgedaan, en de ervaringen van de vers op te starten projecten van de overige zes nieuwe instellingen. Daarnaast krijgt Pactum een ondersteuningspakket aangeboden in de vorm van een workshop voor medewerkers over een specifiek onderdeel van praktijkgestuurd effectonderzoek. Dit laatste gaat binnenkort plaatsvinden: gedragswetenschappers van Pactum worden getraind om andere medewerkers te trainen in het gebruiken van vragenlijsten in de hulpverlening.

5.2 Plan van Aanpak 5.2.1 Inleiding In deze paragraaf wordt allereerst uitleg gegeven over de pilotfase van het project Effecten in Beeld. Vervolgens komen de drie onderdelen van effectonderzoek (beloop, doelrealisatie, en cliënttevredenheidsonderzoek) aan bod en welke inhoud Pactum hieraan heeft gegeven. Met name doelrealisatie is uitgebreid beschreven middels een uiteenzetting van de verschillende onderdelen zoals de gespreksmethode ‘Samen Beslissen’ en standaarddoelen op kaarten (zgn. ‘doelkaarten’). Tenslotte wordt stil gestaan bij de protocollen en gegevensverwerking. 5.2.2 De Pilot In eerste instantie vond het onderzoek als pilot plaats in de sectoren Integrale Daghulp Oudere Jeugd en de Residentiële Behandeling, beide te Arnhem (zie tabel 2.1 voor overzicht van betrokken locaties en hulpvormen). Tabel 2.1: deelnemende locaties pilot Effecten in Beeld Sector Locatie Integrale Daghulp Bloemstraat Arnhem Oudere Jeugd41 Residentiële Behandeling

Eusebiusbuitensingel Arnhem Apeldoornseweg Arnhem Lawick van Pabststraat

Zorgmodule Centrale Opvang Daghulp Niet Schoolgaande Jeugd Leefgroep Fasehuis Fasehuis

Capaciteit 29 9 11 11

Het gaat om drie lijnen waarlangs effecten in beeld worden gebracht: (1) verrichten van vooren nametingen om het beloop in kaart te brengen, (2) evaluatie van bereikte doelen om de mate van doelrealisatie na te kunnen gaan, (3) vaststellen van cliënttevredenheid. 41

In deze rapportage in vervolg veelal afgekort als ‘Daghulp’.

129

5.2.3 Beloop Wat betreft het volgen van het beloop werd gekozen voor het gebruik van een aantal vragenlijsten, te weten: de Sterke Kanten en Moeilijkheden Vragenlijst42 (Strengths and Difficulties Questionnaire, SDQ; versie ouders en jongeren), en de Empowerment Vragenlijst (EMPO, versie voor ouders en versie voor jongeren ouders dan 16 jaar)43. Met de keuze voor deze vragenlijsten is aangesloten op de oplossingsgerichte en handelingsgerichte hulpverleningsvisie van Pactum (bijlage 2: beschrijving instrumenten). Bij aanvang, tussentijds (jaarlijks) en bij einde worden ouders en jongeren gevraagd deze vragenlijsten in te vullen. De vragenlijsten worden verwerkt door het secretariaat en uitkomsten worden besproken met ouders en jongere.

5.2.4 Doelrealisatie Wat betreft doelrealisatie is gekozen voor het werken met standaarddoelen volgens de methode van het project ‘Samen Beslissen’ in de verslavingszorg44. Daarvoor zijn alle standaarddoelen op kaartjes gezet. Zo ontstonden doelkaarten die de hulpverlener en de cliënt een praktisch middel bieden om tot overeenstemming te komen over doelen en inhoud van de zorg. De standaarddoelen (ook wel ‘veelgebruikte’ doelen genoemd; oftewel doelen die bij hulpvormen van Pactum veelvuldig gebruikt worden) zijn geordend volgens bepaalde domeinen (ook wel ‘KWIS’ domeinen genoemd). Voor het samenstellen van een overzicht van standaarddoelen van Pactum is gebruik gemaakt van de standaarddoelen van een collegainstelling45 die al geruime tijd met standaarddoelen werkt. Een werkgroep bestaande uit een sectormanager, stafmedewerker en twee gedragswetenschappers heeft deze doelen ‘vertaald naar de zorgcultuur van Pactum’. Daarbij hebben doelen aangaande scholing en werk een expliciete plaats gekregen (zie tabel 2.2). Tabel 2.2: Domeinen, standaarddoelen en behandeldoelen van Pactum; aantallen en voorbeelden. Domein Standaarddoel Aantal Voorbeeld Persoonlijkheid 14 Ik heb voldoende eigenheid. Gedrag 28 Ik accepteer grenzen. Emotie/ gevoelens 16 Ik durf fouten te maken. Gezin 42 Ik kan een conflict oplossen met mijn kind. Onderwijs/werk 10 Ik heb mijn diploma gehaald. Omgeving 22 Ik heb eigen woonruimte. Sociaal netwerk 21 Mijn familie helpt mij. Lichaam 8 Ik ga verantwoord om met mijn medicatie. Totaal 161

Novadic-Kentron, een gespecialiseerde instelling voor verslavingszorg in Noord-Brabant, heeft in nauwe samenwerking met cliëntenraad, wetenschappelijke commissie, cliënten en 42

Goodman, R. (1997). The Strenghts and Difficulties Questionnaire: A research note. Journal of Child Psychologie and

Psychiatry, 38, 581-586. 43 44 45

Damen, H., & Veerman, J.W. (2005). Achtergronden: Empowerment en jeugdzorg. Nijmegen: Praktikon. Dit betreft het promotieonderzoek van E. Joosten (promotor prof. dr. C. de Jong, NISPA/ NOVADIC). Lindenhout (www.lindenhout.nl)

130

hulpverleners de gespreksmodule 'Samen Beslissen' ontwikkeld. 'Samen Beslissen' is een gestandaardiseerde methode om te komen tot een verantwoorde zorgovereenkomst, die op systematische wijze wordt geëvalueerd. Pactum heeft ervoor gekozen het gedachtegoed van deze gespreksmodule te hanteren bij het doelen stellen samen met de cliënt (jongere en/of ouders). Daarvoor zijn alle behandeldoelen op kaartjes gedrukt. Elk domein heeft een eigen kleur. Dit betekent dat er totaal 161 kaartjes zijn, in 8 verschillende kleuren. Omdat het aantal behandeldoelen zo groot is zijn binnen de domeinen trefwoorden aangebracht, om de doelen overzichtelijk te kunnen categoriseren voor de gebruiker (ouders, jeugdige en hulpverlener). Voor het gebruiken van de doelkaarten middels de samen beslissen methode is een procedure opgesteld voor de medewerkers van Pactum. De procedure is beschreven in een protocol. Het belangrijkste uitgangspunt bij het werken met de doelkaarten is dat de doelkaarten als middel gebruikt kunnen worden en niet als doel op zich. Men hoeft niet alle kaarten door te werken met de cliënt om te kijken welke van toepassing zouden kunnen zijn. Dit zijn er immers te veel. Met behulp van de trefwoordenlijst kan men dit beperken. Waar het omgaat, is dat er samen met de ouders/jeugdige en hulpverlener vooraf vastgesteld wordt welke behandeldoelen van belang zijn bij de betreffende cliënt. Wanneer doelen zijn uitgekozen worden ze geregistreerd op een doelenformulier. Er zijn twee soorten doelenformulieren: een voor aanvang van de hulpverlening (start), en een voor tussentijds (halfjaarlijkse evaluatie van de zorgovereenkomst) en voor einde hulpverlening. Op het doelenformulier tussentijds/einde kan een waardering gegeven worden aan elk doel wat bij start gekozen is. Tijdens de evaluatie van de zorgovereenkomst (tussentijds) of de eindbespreking (bij het beëindigen van de hulpverlening) kunnen jongere, ouders en de hulpverlener van Pactum (de pedagogisch medewerker46 die de mentor is van de jongere van de jongere, of de ambulant hulpverlener47) apart van elkaar aangeven in hoeverre zij vinden dat een doel behaald is. De waardering geschiedt volgens GAS; Goal Attainment Scaling. Middels GAS kan aangegeven worden in hoeverre een doel behaald is (verslechterd, niet behaald, deels behaald, of behaald). Tijdens de bespreking wordt wederom samen besloten of een doel blijft staan of dat een doel behaald is en dus voor de komende hulpverleningsperiode komt te vervallen.

5.2.5 Cliënttevredenheid Voor het meten van cliënttevredenheid is aangesloten bij de landelijke door de MOgroep aanbevolen C-toets48 (bijlage 2: beschrijving instrumenten). Deze wordt tussentijds (jaarlijks), en bij einde van de zorg afgenomen, tegelijkertijd met de vragenlijsten die het beloop meten. De bedoeling is dat de hulpverlener de vragenlijst met de cliënt (ouders/jongere) terugbespreekt. Op deze manier krijgt de hulpverlener feedback van de cliënt over de uitgevoerde zorg. Omdat deze vragenlijst ook tussentijds wordt afgenomen, is hiermee de mogelijkheid gecreëerd om gedurende zorg zaken bij te stellen om de tevredenheid van de cliënt toe te laten nemen. In 2006 heeft Pactum tevens de C-toets collectief en anoniem afgenomen bij alle cliënten waarvan de zorg in 2005 was beëindigd. De uitslag van het cliënttevredenheidsonderzoek liet zien dat cliënten positief zijn over de ontvangen hulp,

46 47 48

Met pedagogisch medewerker wordt tevens bedoeld: mentor, groepsleider of educatiemedewerker. Met ambulant werker wordt tevens bedoeld: maatschappelijk werker, trajectbegeleider, gezinswerker of ouderbegeleider. Jumelet, H., Welling, M., Jurrius, K., en Havinga, L. (2004). Handleiding C-toets voor de jeugdzorg. Utrecht: MOgroep

131

ouders zijn meer tevreden dan jongeren49. De respons op de C-toets was echter vrij laag (21%). 5.2.6 Protocollen en gegevensverwerking De procesbewaker heeft voor alle hulpvormen protocollen gemaakt (wie doet wat wanneer). De gegevensverzameling is zoveel mogelijk aangepast aan de gebruikelijke gegevensinzameling die bij het zorgproces hoort. Tegelijkertijd met het opstarten van het pilotproject Effecten in Beeld werden nieuwe prestatieafspraken ingevoerd tussen Bureau Jeugdzorg en Zorgaanbieders Gelderland. Er is voor gekozen om deze twee processen op elkaar af te stemmen. Dit betekende voor de medewerkers die werkzaam waren binnen de hulpvormen die deelnamen aan het pilotproject dat zij niet alleen effectmeting gingen uitvoeren, maar ook dat zij binnen het zorgproces zich moesten gaan houden aan vastgestelde termijnen (eerste gesprek binnen 3 weken na binnenkomst indicatie, zorgovereenkomst vaststellen binnen 6 weken, afspraken over overbruggingszorg tot aan starten van de geïndiceerde zorg). De protocollen zijn besproken met de sleutelfiguren die betrokken zijn bij de datainzameling (teamleider, gedragswetenschapper, ambulant werker, secretariaat). In januari 2006 is gestart met datainzameling (vragenlijsten). Jongeren die nieuw instroomden binnen de hulpvormen behoorden bij de onderzoeksgroep. In mei 2006 is gestart met doelrealisatie. Bijhouden van dossier is een taak van de verantwoordelijke van desbetreffende hulpvorm/locatie. De vragenlijsten blijven tijdens en ook na afloop van het onderzoek (en het zorgproces) in dit dossier, dat valt onder privacyregels voor cliëntgegevens. Software voor de opslag van onderzoeksgegevens wordt door Praktikon aangeleverd (BergOp). Dit bevordert een uniforme opslag van gegevens. Vanuit deze database kunnen ook een aantal vragenlijsten eenvoudig worden gescoord, en profielen en procesformulieren worden geprint. Secretariaatsmedewerkers voeren de gegevens in in BergOp. De procesbewaker is beheerder van BergOp i.s.m. de afdeling ICT van Pactum. De procesbewaker traint de secretariaatsmedewerkers voor het gebruik van BergOp en is eerste aanspreekpunt voor secretariaatsmedewerkers in geval van vragen of irregulariteiten in het programma. De procesbewaker draagt zorg voor de export van de gegevens naar Praktikon. Praktikon verwerkt de gegevens tot een rapportage volgens afspraken met directie/managementteam Pactum. Als extra controle naast het databaseprogramma BergOp houdt het secretariaat een datamonitoringslijst bij. Een datamonitoringslijst bevat het identiteitsnummer van de cliënt (BergOp), naam, geboortedatum, welke lijsten zijn ingevuld, welke lijsten ontbreken, of doelenformulieren zijn ingevuld (bij aanvang, halfjaarlijks en bij einde). Bij opmerkingen kan het secretariaat aangeven waarom vragenlijsten ontbreken (bijv. geen ouder betrokken bij de hulpverlening, cliënt niet gemotiveerd), en wanneer beide ouders vragenlijsten hebben ingevoerd, wie de onderzoeksouder is. Wanneer de onderzoeker met onderzoeksgegevens aan de slag gaat kan deze de datamonitoringslijst gebruiken naast de databasegegevens uit BergOp. Pactum heeft de mogelijkheden onderzocht om gegevens over beloop en doelrealisatie (verwerken van vragenlijsten en doelenformulieren) te registreren middels het cliëntregistratieprogramma Care 4. Dit vanuit de wens om voor het volledige elektronische 49

109 ouders en 61 jongeren retourneerden de vragenlijst. Ouders scoorden een gemiddelde van 3,35 op de stellingen (range 1-4) en gaven een gemiddeld rapportcijfer van 7,8. Jongeren scoorden een gemiddelde van 2,91 op de stellingen (range 1-4) en gaven een gemiddeld rapportcijfer van 6,9.

132

cliëntdossier één programma te kunnen gebruiken. Uiteindelijk is ervoor gekozen om BergOp voorlopig te handhaven, omdat de mogelijkheden van het programma BergOp beter aansloten bij de doelstellingen van praktijkgestuurd effectonderzoek. Conclusies

Er is een adequaat systeem van gegevensverzameling ontwikkeld dat op verschillende gebieden (gedragsproblemen jongeren, empowerment ouders en jongeren, doelrealisatie tijdens de behandeling en tevredenheid jongeren en ouders) adequate informatie kan bieden de effectiviteit van behandeling binnen Pactum zichtbaar te maken. Met het implementeren van vragenlijstengebruik, doelrealisatie en cliënttevredenheidsonderzoek wordt meer structuur gegeven aan de inhoud van de hulpverlening en heeft kwaliteitsbewaking en -verbetering een vaste plaats binnen het hulpverleningsproces gekregen.

5.3. Proces 5.3.1 Inleiding In deze paragraaf wordt stilgestaan bij het proces van implementeren van praktijkgestuurd effectonderzoek binnen Pactum. In de eerste subparagraaf wordt kort verslag gedaan van de presentatie van het project aan de cliëntenraad en de jongerenraad. In de tweede subparagraaf volgt de verslaglegging van de tussentijdse evaluatie. Daarbij zijn de gesignaleerde knelpunten van de eerste periode meteen vertaald naar verbeterpunten die in de derde paragraaf aan bod komen. De verbeterpunten worden behandeld per onderdeel van effectonderzoek (beloop, doelrealisatie, cliënttevredenheid) en de bijbehorende randvoorwaarden van onderzoek (protocollen en gegevensverwerking). De verbeterpunten zijn doorgevoerd binnen de pilotlocaties, maar tevens gebruikt voor het verbreden van Effecten in Beeld naar alle locaties van de sectoren ‘Integrale Daghulp Oudere Jeugd en Rijnside’ en ‘Residentiële Behandeling’. De paragraaf wordt afgesloten met een aantal conclusies. 5.3.2 Cliëntenraad en Jongerenraad De procesbewaker heeft het project gepresenteerd aan de cliëntenraad en de jongerenraad. De reacties van de cliëntenraad liepen uiteen van sceptisch tot enthousiast. Met name met betrekking tot vragenlijstengebruik heeft de procesbewaker veel moeten toelichten. Wat betreft doelrealisatie was men overwegend positief. De jongerenraad reageerde enthousiast op zowel de vragenlijsten als de doelkaarten. Jongeren vonden het fijn dat ze door de vragenlijst moesten nadenken over zichzelf, ze vinden dit interessant en zijn ook benieuwd naar de uitslagen. Jongeren merkten op dat door doelen te stellen heel duidelijk aan de toekomst kan worden gewerkt. 5.3.3 Tussentijdse evaluatie In oktober 2006 heeft de procesbewaker een rondje langs de teams gemaakt voor een tussentijdse evaluatie van het pilotproject. De eerste gegevens uit de database rapporteerden 133

een hoge respons op aanvangsmetingen van de vragenlijsten, tussentijdse (jaarlijks) en eindmetingen waren op dat moment nog niet aan de orde gezien de nog korte looptijd van het project. Vanwege reorganisatie is de Daghulp Oudere Jeugd in Arnhem gestopt met het pilotproject Effecten in Beeld. De hulpvorm Centrale Opvang is vervangen door Rebound en Herstart, een samenwerking tussen onderwijs in jeugdzorg, beide nog in ontwikkeling zijnde hulpvormen. Vanwege deze reorganisatie is besloten om tijdens de herstart van het project (na het afsluiten van de pilotfase) voortaan enkel de hulpvorm Daghulp Niet Schoolgaande Jeugd te laten deelnemen. De tussenevaluatie kort samengevat heeft het project Effecten in Beeld met name binnen de pilotlocaties van de sector Residentiële Behandeling een goede start gemaakt met een duidelijk protocol en een hoge respons aanvangsmetingen. Met de ervaringen van de medewerkers van de eerste periode werken met vragenlijsten (van januari t/m september 2006) en doelrealisatie (mei t/m september 2006) kunnen verbeterpunten geïnventariseerd gaan worden. Daarbij is het belangrijk om het project levend te houden voor alle medewerkers en de teams voldoende te faciliteren om effectmeting en doelrealisatie binnen de hulpverlening te integreren. De verbeterpunten komen in de volgende paragraaf aan bod. 5.3.4 Verbeterpunten Na de tussenevaluatie is het pilotproject gaan verbreden binnen de organisatie, meer locaties van de sectoren Daghulp Oudere jeugd en Residentiële Behandeling gingen deelnemen. De ervaringen van de eerste periode tot aan de tussenevaluatie, maar ook de periode daarna, zijn gebruikt om het gehele systeem van effectonderzoek binnen Pactum te verbeteren. Deze verbeteringen zijn van maart 2007 tot juli 2007 doorgevoerd bij de locaties die nieuw starten met Effecten in Beeld en de reeds bestaande locaties. Om de verbreding en verbetering vorm te kunnen geven heeft de procesbewaker uitbreiding van uren gekregen (van 8 naar 16 uur). Ook zijn er totaal meer uren gedragswetenschappers aan de totale organisatie toegevoegd. De verbeterpunten die naar voren kwamen uit de tussentijdse evaluatie en de ervaringen daarna zijn (plus de acties die zijn uitgezet) schematisch weergegeven in tabel 3.1. Voor een meer uitgebreide beschrijving van de verbeterpunten en acties zie bijlage 1.

134

Tabel 3.1: Verbeterpunten en acties Verbeterpunt

Actie

Beloop 1 2

Lage respons tussentijdse meting (en naar verwachting later bij eindmetingen) Nauwelijks benutting in het primaire proces (terugbespreken van resultaten vragenlijsten met cliënten

Nieuw datamonitoringssysteem - Instructie introductie vragenlijsten - Benutting op cliëntniveau beter verankerd in zorgproces - Training omgaan met vragenlijsten - Terugkoppeling van resultaten op teamniveau

Doelrealisatie 1

Teveel standaarddoelen, onduidelijk geformuleerd voor de cliënt

2

Niveau van standaarddoelen nog te ‘hoog’

3

Pedagogisch medewerkers onvoldoende betrokken bij doelrealisatie.

4

Onduidelijkheden over plaats indicatiedoelen BJZ, en moment van doelen stellen binnen Pactum

5

Teveel doelen stellen, waardoor niet haalbaar

6

Voortgang doelen lastig registreren

Revisie standaarddoelen, aantal teruggebracht (van 161 naar 96 doelen) en concreter en duidelijker geformuleerd. Standaarddoelen voortaan uitwerken in werkpunten (SMART) Pedagogisch medewerkers (meest betrokken bij de dagelijkse uitvoering van de zorg) gaan de werkpunten formuleren met de jongere. Verbeteren van instructie: - Doelen van BJZ gelden als uitgangspunt en zijn geldig voor de duur van de indicatie. - Doelen stellen duidelijke plaats binnen zorgproces (6 weken na start van geïndiceerde zorg). - Uitkomst vragenlijsten tevens als onderlegger voor het stellen van doelen. Verbeteren van de instructie: Niet meer dan 5 doelen, voor de termijn tot aan de volgende behandelplanbespreking (half jaar). Doelenformulieren aangepast, instructie doelrealisatie aangepast.

Cliënttevredenheid 1 2

C-toets alleen bij hulpvormen Effecten in Beeld C-toets is geen exitinstrument

Alle hulpvormen gaan bij einde zorg C-toets afnemen In afwachting van exitinstrument wat ontwikkeld wordt bij MOgroep/St. Alexander

Protocollen en gegevensverzameling 1 2 3 4

Gebruik van protocollen minimaal Gebrek aan overzicht voor secretariaat Doelen registeren in BergOp veel werk Onduidelijkheid over onderzoeksgroep

Zelf protocollen laten maken, wel kaders aanreiken. Nieuw datamonitoringssysteem Doelen gecodeerd Instructie: importeren van cliënt van Care4 naar BergOp zodra geïndiceerde zorg start (en niet pas als er vragenlijsten binnenkomen)

5.3.5 Ervaringen medewerkers De procesbewaker heeft met medewerkers die vanaf de aanvang betrokken zijn geweest bij het project Effecten in Beeld een kort interview gehouden over hun ervaringen met het project. De hoofdvragen waren; “Hoe stonden ze aanvankelijk tegenover het project, en hoe staan ze er nu tegenover”.

135

Interviews met medewerkers Chantal Fijen, unitleider Residentiele Behandeling Arnhem

“Vanaf de start van het project Effecten in Beeld was ik enthousiast. Door effectonderzoek en doelrealisatie te implementeren binnen onze zorg krijgen we meer zicht op wat we precies doen en bereiken met onze cliënten. Met name de doelrealisatie ben ik erg blij mee. Een doelengesprek in de startfase van de behandeling geeft naast een richting, ook ontzettend veel informatie over de jongere en diens situatie. Met de manier waarop wij dat bij Pactum hebben ingericht worden de jongere en zijn ouders intensief betrokken bij het bepalen van die doelen en dus de inhoud van het behandelplan. Omdat de jongere veel inspraak heeft zou je verwachten dat zij voor andere doelen kiezen dan die wij als volwassenen belangrijk voor ze vinden. Dat blijkt dus helemaal niet zo te zijn, het merendeel van de jongeren wil werken aan hun problemen en kiezen de doelen uit waarvan ouders en hulpverleners ook graag zien dat ze die oppakken. In de meeste gevallen zijn de doelengesprekken prettige en zinvolle gesprekken. Ondanks de confrontatie met hun problemen en de op handen zijnde uithuisplaatsing kunnen jongeren dit aan. Moeilijker is om tijdens de behandeling de jongere gemotiveerd te houden voor het bereiken van de doelen. De standaarddoelen zijn daarvoor te algemeen geformuleerd. Nu we ze gaan uitwerken in werkpunten verwacht ik dat dit dan beter zal gaan. Wat betreft de vragenlijsten heb ik gemerkt hoe belangrijk het is om de randvoorwaarden goed te organiseren. Wij hebben een tijdje geen gedragswetenschapper gehad in onze afdeling, waardoor de uitwerking van de resultaten bleef liggen. Daardoor werden resultaten niet terugbesproken met de cliënten. Het nut ervan bleef daardoor uit. En ook de logistiek van vragenlijsten moet goed georganiseerd zijn. We hebben al wat acties uitgezet om dit te verbeteren. Benutting van de vragenlijsten en de respons blijft voor onze afdeling een aandachtspunt. Ook vind ik dat het invullen van de vragenlijsten veel werk is voor ouders en jongeren. Wanneer ik de uitkomsten van ons cliënttevredenheidsonderzoek lees dan herken ik zowel de complimenten als de kritiekpunten die wij van onze cliënten krijgen. Maar ik merk ook wel eens dat cliënten bepaalde taal uit de vragenlijst niet begrijpen. Wat mij bijvoorbeeld heeft verrast is dat cliënten regelmatig aangeven dat ze niet goed op de hoogte zijn van de inhoud van het hulpverleningsplan. Terwijl deze cliënt naast het eerste doelengesprek bij aanvang, ook bij alle behandelplanbesprekingen aanwezig is geweest. Wanneer ik dit navraag dan blijkt dat de cliënt niet heeft begrepen wat bedoeld werd met ‘inhoud van het hulpverleningsplan’. Zo merk je dat voor jou als hulpverlener de taal die je gebruikt heel vanzelfsprekend is, maar dat dit voor de cliënt lang niet altijd zo geldt.” Arco van Peer, medewerker secretariaat Residentiële Behandeling Arnhem

“In het begin had ik totaal geen verwachting. Ik heb mij laten informeren en gedacht; ‘ik laat het wel op mij afkomen’. Het doel van alles was mij destijds duidelijk. Nu weet ik pas hoeveel werk het mij kost. Ik had dat in eerste instantie niet voorzien. Ik ben alleen verantwoordelijk voor het invoeren van vragenlijsten en doelenformulieren en ben voor de aanvoer daarvan afhankelijk van anderen. Omdat ik de gegevens verwerk voor meerdere locaties, weet ik niet welke lijsten verspreid zijn en door wie. Het verontrust mij als ik merk dat bepaalde vragenlijsten en formulieren ontbreken. Daardoor vind ik het een lastig project. Sinds kort ga ik maandelijks met de unitleider om de tafel om door te spreken wat we missen aan vragenlijsten en doelenformulieren. Zo proberen we ontbrekende gegevens nog aan te vullen, en het geeft mij meer overzicht. Zo heb ik het gevoel er iets meer grip op te krijgen. Het lastige van dit soort registratieklussen (dat geldt ook voor de reguliere cliëntadministratie) is dat het voor medewerkers van het secretariaat vooral heel veel werk is, dat ‘inkloppen’ van allerlei informatie zoals we dat dan noemen. Maar als secretariaat hoor je nooit terug wat het oplevert, waar het toe leidt. En dat werkt niet motiverend.”

136

Irene Jansen, ambulant werker Residentiële Behandeling Arnhem

“Tijdens de eerste presentatie over het project Effecten in Beeld, dacht ik; “Alweer iets nieuws…”. Ik was wat sceptisch en zag ertegen op. Vooral omdat ik al voorzag dat het meer administratief werk zou worden, terwijl rapporteren en registreren tegenwoordig al zo’n groot deel van mijn werkzaamheden is. Toch is dit snel omgeslagen. Ik vind dat doelrealisatie en effectmeting de hulpverlening overzichtelijker en gestructureerder maakt voor alle betrokkenen, en dat is een goede zaak. Wat ik ook sterk vind is dat jongere en ouders meer betrokken worden bij het bepalen van de inhoud van de hulpverlening. Omgaan met de vragenlijsten vind ik wel lastig. Dit moet nog meer een duidelijke plek gaan krijgen binnen ons zorgproces. Momenteel wordt dit onvoldoende benut. Ik vind dat degene die de vragenlijsten invullen, de ouders en de jongere, als eerste recht hebben om terug te horen wat de uitkomsten zijn. Dat daarnaast ook gegevens over de kwaliteit van ons werk naar voren komen is mooi, maar staat voor mij niet op de eerste plaats. Ook heb ik vraagtekens bij de vragenlijsten zelf. De SDQ is te kinderlijk voor een jongere van 16 jaar of ouder. Maar het mooiste van het project Effecten in Beeld is de doelrealisatie. Door het inzetten van de doelkaarten kunnen de jongere en de ouders zelf richting geven aan de hulp. Ik heb gemerkt dat onze cliënten hier houvast aan hebben, ze weten nu beter de richting van de zorg die ze krijgen aangeboden. Daarbij is het concreet, meetbaar, en toetsbaar. Kortom een goed instrument dat aansluit bij de oplossingsgerichte hulpverleningsvisie van onze organisatie. Wat nog wel een aandachtspunt blijft is het aansluiten bij de doelen van Bureau Jeugdzorg. En zo zijn er nog meer punten waarbij we in de praktijk blijven zoeken naar hoe het anders of beter kan. Het is belangrijk om als organisatie hierin te blijven groeien. Ik vind dat heel interessant en werk daar graag aan mee.” Conclusies

Het systeem van gegevensverzameling wordt binnen de pilotlocaties van Pactum voldoende gedragen. Naar aanleiding van de eerste bevindingen zijn tussentijds al een groot aantal verbeteracties uitgezet voor verbreding naar andere locaties van Pactum.

5.4 Resultaten 5.4.1 Inleiding In de pilotperiode is binnen Residentiële Behandeling en Daghulp Oudere Jeugd van Pactum een systeem voor gegevensverzameling opgezet en geïmplementeerd. Met dit systeem wordt gedurende de hulp aan jongeren, op verschillende momenten (bij aanvang, tussentijds en bij afsluiting van de behandeling), bij verschillende betrokkenen (bij jongeren zelf, ouders en hulpverleners), verschillende soorten van informatie verzameld, vaak met behulp van vragenlijsten. De verzamelde kennis wordt gebruikt om zicht te krijgen op de effectiviteit van de behandeling: Hoe hebben jongeren zich gedurende de behandeling ontwikkeld? Welke doelen zijn gesteld en in hoeverre zijn deze doelen bereikt? In welke mate zijn jongeren en hun ouders tevreden over de hulp die ze hebben gekregen? Om een betrouwbaar antwoord te geven op dergelijke vragen is het nodig dat we beschikken over voldoende relevante informatie en dat deze informatie is verzameld over een voldoende 137

aantal jongeren. Een goede respons op de gevraagde informatie is dus essentieel. Met het plan van aanpak en de implementatie van het systeem voor gegevensverzameling dat in de voorafgaande twee hoofdstukken werd beschreven, hebben we een belangrijke randvoorwaarde voor een goede respons proberen te creëren. In deze vierde paragraaf willen we laten zien wat het systeem in de praktijk aan respons heeft opgeleverd (paragraaf 5.4.3) en wat er met de verkregen informatie gezegd kan worden over de jongeren (en hun ouders) binnen de Residentiële Behandeling en Daghulp (paragraaf 5.4.4). Als opmaat wordt in paragraaf 5.4.2 een algemene beschrijving gegeven van de groep jongeren die met onderzoek is gevolgd. 5.4.2 De onderzoeksgroep: Achtergronden De onderzoeksgroep voor deze rapportage bestaat uit jongeren die op één van de vier pilotlocaties50 zijn gestart met Residentiële Behandeling (periode januari 2006 – juni 2007) of met Daghulp (periode januari 2006 – december 2006). De periode van toelating van jongeren tot het onderzoek is voor Daghulp minder lang omdat daar vanwege reorganisatie tijdens de pilot, een onderzoektime-out is ingelast. De onderzoeksgroep bestaat uit 57 jongeren (zie Tabel 4.1). Daarvan zijn 33 jongeren met Residentiële Behandeling gestart (58%) en 24 jongeren met Daghulp (42%). Het aantal mannen (31: 54%) en vrouwen (26: 46%) in de totale onderzoeksgroep is ongeveer even groot. Wel is het zo dat de onderzoeksgroep bij Residentiële Behandeling uit relatief meer vrouwen bestaat (20 vrouwen: 61%) en bij Daghulp uit relatief meer mannen (18 mannen: 75%). Van de 57 jongeren die aan de behandeling zijn begonnen heeft 44% (25 jongeren) de hulp afgesloten. Het gaat dan vooral om jongeren binnen de Daghulp (21 jongeren: 88%) en minder om jongeren binnen Residentiële Behandeling (4 jongeren: 12%)51. Tabel 4.1 Achtergrondkenmerken I: aantal, geslacht en afgesloten behandelingen1 Residentiële Daghulp TOTAAL behandeling

Aantal jongeren

Aantal

Percentage

Aantal

Percentage

Aantal

Percentage

33

58%

24

42%

57

100%

13 20 33

39% 61% 100%

18 6 24

75% 25% 100%

31 26 57

54% 46% 100%

29 4 33

88% 12% 100%

3 21 24

12% 88% 100%

32 25 57

56% 44% 100%

Geslacht jongeren Man Vrouw Totaal

Behandeling afgesloten? Nee Ja Totaal 1

Onder afgesloten behandelingen worden zowel behandeling verstaan die volgens het hulpverleningsplan zijn beëindigd, als behandelingen die vroegtijdig zijn afgebroken.

50

De pilotlocaties voor Residentiële Behandeling bevinden zich op de Eusebiusbuitensingel Arnhem (zorgmodule Leefgroep), de Apeldoornseweg en de Lawick van Pabsstraat Arnhem (beide Fasehuis). De pilotlocatie voor Daghulp is te vinden aan de Bloemstraat Arnhem (zorgmodule Centrale Opvang en Daghulp Niet Schoolgaande Jeugd) (zie ook Tabel 1 in Hoofdstuk 5.1). 51 Navraag leert dat het bij de 4 jongeren binnen Residentiële Behandeling gaat om jongeren die niet volgens het hulpverleningsplan zijn gestopt en daarmee de hulp vroegtijdig hebben afgesloten.

138

De gemiddelde leeftijd van de jongeren bij aanvang van de behandeling is 15 jaar (zie Tabel 4.2). De gemiddelde leeftijd van een jongere ligt bij Residentiële Behandeling (16 jaar) iets hoger dan binnen de Daghulp (15 jaar). Omdat niet alle jongeren op hetzelfde moment met de behandeling zijn gestart én omdat sommigen de hulp in de onderzoeksperiode hebben afgesloten, verschilt het aantal maanden dat de jongeren met onderzoek is gevolgd. De gemiddelde duur van de onderzoeksperiode is 6 maanden. De jongeren binnen Residentiële Behandeling zijn gemiddeld langer met onderzoek gevolgd (7 maanden) dan de jongeren binnen Daghulp (5 maanden). Eén van de verklaringen hiervoor is dat er binnen Daghulp zoals gezegd een onderzoektime-out is geweest. Een andere verklaring is dat de Centrale Opvang binnen Daghulp maximaal 3 maanden duurt. Tabel 4.2 laat verder zien dat de afgesloten behandelingen gemiddeld 18 weken hebben geduurd en dat de gemiddelde duur voor Residentiële Behandeling met 15 weken korter is dan voor Daghulp (19 weken)52. Tabel 4.2 Achtergrondkenmerken II: Leeftijd, maanden in onderzoek en duur van de behandeling Residentiële Daghulp TOTAAL Behandeling Aantal jongeren in pilot

33 jongeren

24 jongeren

57 jongeren

13 jaar 18 jaar 16 jaar 1.4



0 maanden 15 maanden 7 maanden 4.6

1 maand 14 maanden 5 maanden 3.0

0 maanden 15 maanden 6 maanden 4.1

4 behandelingen 3 weken 27 weken 15 weken 1.4



Leeftijd bij aanvang behandeling Minimum Maximum Gemiddeld Standaarddeviatie

Aantal maanden in pilot Minimum Maximum Gemiddeld Standaarddeviatie

Duur v.d. afgesloten behandeling Aantal afgesloten behandelingen Minimum Maximum Gemiddeld Standaarddeviatie

5.4.3 Respons Tabel 4.3 geeft een overzicht van de geplande meetmomenten van aanvang tot en met afsluiting van een behandeling. De Tabel laat zien dat bij aanvang van de behandeling er 5 meetinstrumenten zijn gepland (SDQ: in te vullen door Ouders, SDQ Jongeren, EMPO Ouders, EMPO Jongeren en Doelen), dat er ieder halfjaar doelen worden gesteld/geëvalueerd, en dat er ieder jaar én bij afsluiting van de behandeling naast de aanvangsset met 5 meetinstrument ook een C-Toets door de ouders én de jongeren moet worden ingevuld.

52

Bij Residentiële Behandeling gaat het om een klein aantal van 4 jongeren die bovendien de hulp vroegtijdig (niet volgens hulpverleningsplan) hebben beëindigd. De gemiddelde duur van de hulp is daardoor waarschijnlijk niet representatief voor Residentiële Behandeling.

139

Tabel 4.3 Geplande meetmomenten: van aanvang tot en met afsluiting behandeling EMPO EMPO Doelen2 C-Toets SDQ SDQ Ouders Jongeren Ouders Ouders Jongeren

C-Toets Jongeren

1

Bij aanvang

X

X

X

X

½ Jaar na aanvang 1 Jaar na aanvang

X X

X

X

X

X

1½ Jaar na aanvang

X

X

X

X

X

X

Enzovoort Bij afsluiting 1 2

X

X

X

X

X

De EMPO Jongeren wordt alleen afgenomen als de jongere 16 jaar of ouder is bij aanvang van de behandeling. De doelen worden gesteld/geëvalueerd bij jongeren die op, of later dan 01-05-2006 met de behandeling zijn gestart.

Tabel 4.4 geeft een totaaloverzicht van het aantal jongeren waarbij de gevraagde informatie ook daadwerkelijk is verzameld53. Tabel 4.4 Percentage vragenlijsten dat is ingevuld per jongere: Totaal SDQ SDQ EMPO EMPO Ouders Jongeren Ouders Jongeren1 Bij aanvang 75% 79% 61% 48% (n=45) (n=35) (n=10) (n=43) (Ntot=57) (Ntot=57) (Ntot=21) (Ntot=57) ½ Jaar na aanvang

Doelkaarten2 49% (n=21) (Ntot=43)

C-Toets Ouders

C-Toets Jongeren

67% (n=12) (Ntot=18)

1 Jaar na aanvang

29% (n=2) (Ntot=7)

0% (n=0) (Ntot=7)

29% (n=2) (Ntot=7)

0% (n=0) (Ntot=6)

100% (n=2) (Ntot=2)

29% (n=2) (Ntot=7)

14% (n=1) (Ntot=7)

Bij afsluiting

16% (n=4) (Ntot=25)

20% (n=5) (Ntot=25)

12% (n=3) (Ntot=25)

9% (n=1) (Ntot=11)

7% (n=1) (Ntot=15)

20% (n=5) (Ntot=25)

20% (n=5) (Ntot=25)

1

De EMPO Jongeren wordt alleen afgenomen als de jongere 16 jaar of ouder is bij aanvang van de behandeling. De doelen worden gesteld/geëvalueerd bij jongeren die op, of later dan 01-05-2006 met de behandeling zijn gestart. De doelen worden gesteld en geëvalueerd door de jongeren zelf, de ouders én de hulpverleners. In de tabel is voor de doelen wel aangegeven in hoeverre ze zijn gesteld en geëvalueerd, maar niet door wie (jongeren, ouders, hulpverleners) ze zijn geëvalueerd. 2

De respons wordt in Tabel 4.4 steeds uitgedrukt in een percentage. Dit percentage is berekend door het aantal jongeren waarbij een vragenlijst ingevuld is (aangegeven met een kleine ‘n’) te delen door het totale aantal jongeren waarbij een lijst ingevuld had moeten worden (aangegeven met Ntot). Dit laatste totale aantal jongeren verschilt per lijst en meetmoment. Zo wordt de EMPO jongeren alleen afgenomen als de jongere 16 jaar of ouder is bij aanvang van de behandeling en worden alleen doelen gesteld bij jongeren die op, of later dan 1 mei 2006 met de behandeling zijn gestart. Uit Tabel 4.4 blijkt dat de respons minimaal 7% is (bij 1 van de 15 jongeren die de behandeling heeft afgesloten zijn Doelen geëvalueerd) en maximaal 100% (bij de 2 jongeren zijn 1 jaar na aanvang van hun behandeling Doelen geëvalueerd of opnieuw gesteld). De 53

Omdat er géén jongeren zijn die 1½ jaar of langer met onderzoek zijn gevolgd, ontbreken in Tabel 6 deze meetmomenten.

140

respons bij aanvang van de behandeling ligt tussen 48% (EMPO jongeren is bij 10 van de 21 jongeren waarvoor dat moest, ook ingevuld) en 79% (SDQ jongeren is bij 45 van de 57 jongeren ook werkelijk ingevuld). Eén halfjaar na aanvang van de behandeling is bij 67% (12) van de 15 jongeren Doelen gesteld of geëvalueerd. De respons 1 jaar na aanvang van de behandeling ligt tussen 0% (géén van de 7 jongeren heeft een SDQ ingevuld) en 100% (Doelen). De respons voor de jongeren die de behandeling hebben afgesloten ligt tussen 7% (Doelen) en 20% (SDQ jongeren, C-Toets ouders en C-Toets jongeren). Het blijkt dat in vergelijking met Daghulp de respons op de EMPO ouders binnen Residentiële Behandeling relatief laag is (36%) en dat de respons op Doelen binnen Daghulp nihil is. Dit omdat Daghulp niet is gestart met het evalueren van doelen. Om een specifieker beeld te krijgen van de respons is in Figuur 1 t/m 3 een overzicht gegeven van het relatieve aantal vragenlijsten dat is ingevuld per informant (Figuur 1), per meetinstrument (Figuur 2) en per meetmoment (Figuur 3).. Figuur 1 Percentage vragenlijsten dat is ingevuld: per informant

100% 90% 80%

Jongeren; 32%

Ouders ; 52%

Totaal; 42%

40%

Jongeren; 53%

Ouders ; 39%

Totaal; 47%

Jongeren; 44%

50%

Totaal; 45%

60%

Ouders ; 46%

70%

30% 20% 10% 0% Totaal N=447

n=210

Residentiële behandeling n=237

N=225

n=96

n=129

Daghulp N=222

n=114

n=108

Figuur 1 geeft een overzicht van het percentage vragenlijsten dat per informant is ingevuld. Gedurende de onderzoeksperiode hadden er in totaal 447 vragenlijsten (SDQ, EMPO, Doelen of C-Toets) ingevuld moeten worden, waarvan 210 lijsten door de ouders en 237 lijsten door de jongeren zelf. Uiteindelijk is 45% van de lijsten ook werkelijk ingevuld. Het aantal ingevulde lijsten dat door de ouders (46%) of de jongeren (44%) is ingevuld, verschilt nagenoeg niet van elkaar. Binnen Residentiële Behandeling zijn relatief iets meer lijsten (47% van de 225) ingevuld dan binnen Daghulp (42% van de 22 lijsten). Het aantal ouders bij Daghulp dat vragenlijsten invult, is met 52% groter dan dat bij Residentiële Behandeling (39%). Voor de lijsten van de jongeren geldt het omgekeerde. Door de jongeren binnen Residentiële Behandeling zijn relatief meer vragenlijsten ingevuld (53%) dan door de jongeren binnen Daghulp (32%). In Figuur 2 is het percentage ingevulde lijsten per meetinstrument gegeven. De SDQ wordt verhoudingsgewijs het beste ingevuld. Van de 178 SDQ-lijsten die door de ouders/jongeren ingevuld hadden moeten worden is 56% ook werkelijk ingevuld. De EMPO wordt bij 40% van de 127 mogelijke keren ingevuld. De C-Toets waarvan er 64 ingevuld hadden moeten worden (1 jaar na aanvang of bij afsluiting) is in 20% van de gevallen ingevuld. De Doelen hadden op 78 momenten gesteld/geëvalueerd moeten worden. Bij 46%

141

van deze momenten is dat ook gebeurd. Wanneer we kijken naar de afzonderlijke responspercentages voor Residentiële Behandeling en Daghulp dan blijkt dat er (wat) grote(re) verschillen zijn op het gebied van het stellen/evalueren van Doelen (74% voor Residentiële Behandeling en 0% voor Daghulp), het invullen van de SDQ (Residentie: 50%, Daghulp: 61%) en het invullen van het aantal EMPO-lijsten (Residentie: 33%: Daghulp 49%). Figuur 2 Percentage vragenlijsten dat is ingevuld: per meetinstrument 100%

80%

EMPO ; 49% C-Toets; 21% DOELEN ; 0%

20%

Totaal; 42%

30%

C-Toets; 20%

C-Toets; 20%

EMPO ; 33%

SDQ ; 50%

Totaal; 47%

DOELEN ; 46%

40%

EMPO ; 40%

50%

Totaal; 45%

60%

SDQ ; 56%

70%

SDQ ; 61%

DOELEN ; 74%

90%

10% 0% Totaal N=447 n=178

n=127

Residentiële behandeling n=78

n=64

N=225 n=86

n=70

n=49

n=20

Daghulp N=222

n=92

n=57

n=44

n=44

Figuur 3 geeft een overzicht van het percentage lijsten per meetmoment. Van de 447 vragenlijsten die bij aanvang ingevuld hadden moeten worden, is 66% ook werkelijk ingevuld. Het responspercentage ½ jaar na aanvang is met 67% ongeveer even hoog. Eén jaar na aanvang (21%) en bij afsluiting van de behandeling (16%) worden er relatief minder lijsten ook werkelijk ingevuld. De respons bij Residentiële Behandeling is ½ jaar na aanvang (80%) en 1 jaar na aanvang van de behandeling (24%) relatief hoger dan bij Daghulp (in beide gevallen 0%). Daarentegen is bij Daghulp de respons bij aanvang (81%) hoger dan bij Residentiële Behandeling.

142

Figuur 3 Percentage vragenlijsten dat is ingevuld: per meetmoment 100%

Totaal

Residentiële behandeling

Daghulp

90% 80%

81%

80%

66%

67%

70% 60% 56% 50%

40% 30% 24% 21%

20%

16% 16% 15%

10% 0%

0% Aanvang

1/2 jaar

Aantal lijsten Totaal =235 Res.=145 Daghulp=90

Aantal lijsten Totaal =18 Res.=15 Daghulp=3

0% 1 jaar Aantal lijsten Totaal =42 Res.=38 Daghulp=5

Afsluiting Aantal lijsten Totaal =151 Res.=27 Daghulp=124

Conclusies op basis van resultaten: Respons

In deze paragraaf zijn we ingegaan op de respons op de gevraagde informatie. Op basis van de beschreven resultaten trekken we de volgende conclusies54. Voor de totale onderzoekgroep geldt dat bij aanvang de respons op EMPO jongeren en Doelen slecht is. De respons op SDQ ouders, SDQ jongere en EMPO ouders is redelijk. Bij Residentiële Behandeling valt specifiek de lage respons op de EMPO ouders op. Bij Daghulp valt op dat de respons op Doelen nihil is wat de totale respons op doelen omlaag haalt. Voor de totale onderzoeksgroep geldt dat de respons bij de twee tussenmetingen (½ jaar én 1 jaar na aanvang behandeling) slecht is op alle vragenlijsten, m.u.v. de respons op Doelen die ½ jaar na aanvang redelijk, en 1 jaar na aanvang goed is. De respons op de doelen komt geheel voor rekening van Residentiële Behandeling. Box 1. Secundaire responsanalyses Uit secundaire analyses waarin de respons op de vragenlijsten is onderzocht per informant, meetinstrument en meetmoment blijkt dat het type informant (ouder of jongere) in zijn algemeenheid (voor de totale onderzoeksgroep) geen verband houdt met de hoogte van de respons op een vragenlijst. Relatief gezien vullen ouders en jongeren, op het moment dat het volgens het meetsysteem nodig is, ongeveer even vaak een lijst in. Er zijn op dit vlak echter wel afzonderlijke verschillen tussen Residentiële Behandeling en Daghulp. Binnen Residentiële Behandeling worden, op de momenten dat dit nodig is, door jongeren meer vragenlijsten ingevuld dan door ouders. Voor Daghulp geldt het omgekeerde. Er zijn verder indicaties dat het soort meetinstrument en de hoogte van de respons met elkaar verband houden. Een SDQ die moeten worden ingevuld wordt in vergelijking tot de overige lijsten over de gehele onderzoekgroep bekeken, het vaakst ingevuld. Dit ongeacht het meetmoment waarop de lijst moet worden ingevuld en de informant die de lijst moet invullen. De C-Toets wordt relatief het minst vaak ingevuld als dat nodig is. Op dit gebied zijn er ook verschillen tussen Residentiële Behandeling en Daghulp. Het meest in het oogspringende verschil is dat de informatieverzameling via de Doelen binnen Residentiële Behandeling relatief (i.v.t. de andere lijsten) het best verloopt terwijl binnen Daghulp Doelen helemaal niet zijn gebruikt. Ook het meetmoment houdt verband met de hoogte van de respons op een vragenlijst. Bij aanvang worden in zijn algemeenheid, ongeacht het type lijst dat moet worden ingevuld en de informant die de lijst invult, het vaakst lijsten ingevuld als dat nodig is. De respons 1 jaar na aanvang en bij afsluiting ligt vervolgens aanmerkelijk lager.

54

Voor de interpretatie van de responspercentages die in dit hoofdstuk zijn besproken hanteren we de vuistregel die door Veerman & Roosma (2006) voor praktijkonderzoek gegeven worden. Bij een voormeting of eenmalige meting geldt: responspercentage van > 90% = goed: 75%-89%=redelijk: 60%-74%=matig: <60%=slecht. Voor een herhaalde meting geldt: 80%=goed: 65-79%=redelijk: 50-64%=matig: <50%=slecht.

143

5.4.4 Beschrijving van enkele inhoudelijke kenmerken Op basis van de verzamelde gegevens gaan we in deze paragraaf in op enkele inhoudelijke kenmerken van de behandeling. Daarbij richten we ons op een beschrijving van (1) de situatie bij aanvang van de behandeling en dan specifiek op de gedragsproblemen van de jongeren en empowerment van de ouders, (2) de doelen die tijdens de behandelingen zijn gesteld en geëvalueerd en (3) de tevredenheid bij ouders en jongeren bij afsluiting van de behandeling55 (zie Tabel 4.5). Tabel 4.5 Kenmerken die aan bod komen met bijhorende meetinstrumenten en berekende scores Moment

Inhoudelijk kenmerk

Meetinstrument

Weergave

Aanvang behandeling

Gedragsproblemen jongeren

SDQ ouders en SDQ jongere

Deviatiescores

Empowerment ouders

EMPO ouders

Deviatiescores

Tijdens behandeling

Gestelde doelen Evaluatie doelen

Doelen

Frequentieverdeling

Afsluiting behandeling

Tevredenheid ouders

C-Toets ouders

Gemiddelde scores

Tevredenheid jongeren

C-Toets jongeren

Gemiddelde scores

Bij de bespreking van de resultaten maken we gebruik van deviatiescores, frequentieverdelingen en gemiddelde scores die zijn berekend.De gedragsproblemen van de jongeren (SDQ) en de mate van empowerment van de ouders (EMPO) worden weergeven in deviatiescores. Met een deviatiescore kan een uitspraak worden gedaan over de afwijking van een individuele score op de vragenlijst ten opzichte van het gemiddelde van de normpopulatie waarmee wordt vergeleken. Voor de SDQ bestaat de normpopulatie uit een niet-klinische, landelijke groep ouders (SDQ ouders) of jongeren (SDQ ouders). Voor de EMPO bestaat de normpopulatie uit een klinische populatie ouders die binnen een Intensieve vorm van Orthopedagogische Gezinsbehandeling zijn behandeld. De deviatiescore wordt als volgt berekend. (Behaalde score op de vragenlijst – gemiddelde score normgroep) Deviatiescore= Standaardafwijking van het gemiddelde van de normgroep Een deviatiescore van 0 betekent dat de behaalde score op een vragenlijst gelijk is aan – oftewel niet afwijkt van – het gemiddelde van de normpopulatie op de betreffende vragenlijst. Een deviatiescore van +1 wil zeggen dat de score één standaardafwijking boven het gemiddelde van de normpopulatie ligt. Dit houdt per definitie in dat 15% van de normpopulatie hoger scoort (of lager, ingeval van een score van -1). Op deze wijze is voor iedere deviatiescore aan te geven welk percentage van de normpopulatie hoger (of lager) scoort. De bijhorende interpretaties van deviatiescores staan in Tabel 4.6.

55 De reden voor de selectieve presentatie van de resultaten heeft vooral te maken met de lage respons op de andere lijsten/ meetmomenten. Omdat we in dit hoofdstuk wel aan alle vragenlijsten aandacht willen besteden gaan we, ondanks de lage respons, wel in op de tevredenheid bij aflsuiting van de behandeling die met de C-toets is vastgesteld.

144

Tabel 4.6 Interpretaties van deviatiescores Percentielscore

Label1

> 97.5%

Zeer ernstige problemen i.v.t. de normpopulatie

1,65 – 1,96

95.0% - 97.5%

Ernstige problemen i.v.t. de normpopulatie

1.29 – 1.64

90.0% - 95.0%

Aanzienlijke problemen i.v.t. de normpopulatie

0.80 – 1.28

79.0% - 90.0%

Matige problemen i.v.t. de normpopulatie

< 79.0%

Geen problemen i.v.t. de normpopulatie

Deviatiescore > 1.96

< 0.80 1

De normpopulatie voor de SDQ is een niet-klinische landelijke populatie. De normpopulatie voor de EMPO is een klinische populatie ouders binnen een Intensieve vorm van Orthopedagogische Gezinsbehandeling.

De evaluatie van de doelen wordt weergeven in frequentieverdelingen. De doelen zijn door jongeren zelf, hun ouders en de betrokken hulpverleners geëvalueerd. Voor het totale aantal geëvalueerde doelen is berekend bij hoeveel doelen de situatie is verslechterd, onveranderd is gebleven, deels is verbeterd, dan wel het doel is bereikt. De mate van tevredenheid van ouders en jongeren (C-Toets ouders en C-Toets jongeren) wordt weergeven in gemiddelde scores die zijn berekend. Deze gemiddelde score kan liggen tussen ‘1’ en ‘4’. Naarmate de gemiddelde score hoger is, is men meer tevreden. Gedragsproblemen jongeren en empowerment ouders bij aanvang behandeling Tabel 4.7 geeft de gemiddelde deviatiescores voor Totale gedragsproblemen bij aanvang van de behandeling. Het gaat daarbij om zowel het perspectief van ouders als van jongeren zelf. Gemiddeld genomen hebben de 43 jongeren met informatie over de omvang van de gedragsproblemen vanuit ouderperspectief, bij aanvang van de behandeling zeer ernstige gedragsproblemen (deviatiescore van 2.03). Vanuit het perspectief van de jongere zelf zijn er gemiddeld geen gedragsproblemen. Dit verschil tussen het perspectief van ouders en jongeren is zichtbaar voor zowel Residentiële Behandeling als voor Daghulp. Wel is de gedragsproblematiek van de jongeren bij Daghulp vanuit het perspectief van ouders gemiddeld minder groot (1.78: ernstig) dan bij Residentiële behandeling (2.37: zeer ernstig). Tabel 4.7 Totale gedragsproblemen jongeren bij aanvang (SDQ ouders/jongeren: deviatiescores) Totale gedragsproblemen jongeren vanuit perspectief ouders

Totale gedragsproblemen jongeren vanuit perspectief jongeren zelf

N

Gemiddelde Deviatiescore

SD

N

Gemiddelde Deviatiescore

SD


19

2.37

1.23

21

0.66

1.29

Daghulp

24

1.78

1.34

24

0.69

1.11

Totaal

43

2.03

1.32

45

0.67

1.18

SD: Standaarddeviatie

In Tabel 4.8 zijn de resultaten voor de Empowerment van de ouder bij aanvang van de behandeling gegeven, gemeten met de EMPO die door ouders zelf is ingevuld. De EMPO maakt een onderscheid tussen (1) de mate waarin de ouders het gevoel hebben de situatie waarin ze verkeren te beheersen (besef van beheersing) en (2) de mate waarin ze invloed kunnen uitoefenen om de situatie waarin ze verkeren, indien ze dat wensen, te beïnvloeden

145

(actuele beheersing). Het besef van beheersing wordt bij de ouders zowel bekeken vanuit zichzelf als persoon als vanuit hun rol als opvoeder. Tabel 4.8 Empowerment ouders bij aanvang (EMPO ouders: deviatiescores) Besef beheersing Actuele Besef beheersing als beheersing als als persoon persoon opvoeder

Actuele beheersing als opvoeder

N

Gem. Deviatiescore

SD

Gem. Deviatiescore

SD

Gem. Deviatiescore

SD

Gem. Deviatiescore

SD


12

-0.32

0.62

-0.33

0.70

-0.39

0.51

-0.04

0.46

Daghulp

23

-0.09

0.50

-0.15

0.81

-0.13

0.63

0.19

0.57

Totaal

35

-0.17

0.54

-0.22

0.77

-0.22

0.60

0.12

0.54

SD: Standaarddeviatie

Uit Tabel 4.8 blijkt dat de ouders gemiddeld genomen bij aanvang van de behandeling van hun kind, op alle gebieden van empowerment geen problemen hebben (i.v.t. ouders binnen de normpopulatie: ouders binnen een Intensieve vorm Orthopedagogische Gezinsbehandeling). Het gaat daarbij om zowel het besef van beheersing als persoon (deviatiescore -0.17) en als opvoeder (-0.22) als om de actuele beheersing als persoon (-0.22) en opvoeder (0.12). Tussen ouders met jongeren binnen Residentiële Behandeling en Daghulp zijn, in ieder geval wanneer we ons houden aan de interpretatie van deviatiescores uit Tabel 8, geen verschillen. Wel indiceren de gemiddelde deviatiescores dat ouders met jongeren binnen Residentiële Behandeling een iets beter besef van beheersing hebben als persoon én als opvoeder dan ouders met jongeren binnen de Daghulp. Evaluatie van de gestelde doelen tijdens behandeling

In totaal zijn bij 25 jongeren doelen gesteld. Het gaat daarbij uitsluitend om jongeren binnen Residentiële Behandeling. Bij de 25 jongeren zijn samen 241 doelen gesteld (zie Tabel 4.9). Het gemiddelde aantal doelen per jongere is 8.7. We merken op dat hierbij geen rekening is gehouden met de periode dat een jongere wordt behandeld en is onderzocht. Tabel 4.9 Aantal doelen dat is gesteld (Doelen)

Aantal doelen dat is gesteld (aantal jongeren=25) Totaal aantal doelen dat is gesteld Minimum aantal doelen dat is gesteld Maximum aantal doelen dat is gesteld

241 doelen 4 doelen 17 doelen

Gemiddelde aantal gestelde doelen per jongere

8.7 doelen

Standaarddeviatie

3.7

Figuur 4 geeft een beeld van de domeinen waarop de doelen zijn gesteld. Van de 211 doelen die zijn gesteld en waarvoor is aangegeven tot welk domein ze behoren, hebben relatief de meeste doelen (37%: 78 doelen) te maken met het Gezin. Op de domeinen Persoonlijkheid en Lichaam zijn relatief de minste doelen gesteld (7%: 15 doelen). Het relatieve aantal gestelde doelen op het domein Emotie is 15% (31 doelen). Van het totale aantal gestelde doelen behoort 22% (47 doelen) tot het domein Gedrag.

146

Figuur 4 Domeinen van de gestelde doelen (aantal jongeren = 25: aantal doelen: 211) 50% 45% 40%

37%

35% 30% 25%

22%

20% 15% 15% 10%

12% 7%

7%

5% 0% Gedrag (47 doelen)

Omgeving (78 doelen)

Gezin (25 doelen)

Lichaam (15 doelen)

Emotie (31 doelen)

Persoonlijkheid (15 doelen)

Tabel 4.10 en Figuur 5 laten zien hoe de gestelde doelen door de jongeren zelf, door hun ouders en door de betrokken hulpverleners zijn geëvalueerd56. Tabel 4.10 Evaluatie van de gestelde doelen door jongeren zelf, ouders en hulpverleners Evaluatie jongeren zelf

Evaluatie ouders

Evaluatie hulpverleners

Aantal doelen

%

Aantal doelen

%

Aantal doelen

%

Verslechterd

0

0%

1

1%

1

1%

Onveranderd

21

16%

22

25%

23

17%

Deels verbeterd

69

54%

50

57%

71

53%

Doel bereikt

39

30%

15

17%

38

29%

Totaal aantal gestelde doelen

129

88

133

De jongeren hebben in totaal 129 doelen geëvalueerd. Door de ouders zijn 88 doelen geëvalueerd en door de hulpverleners 133. Het relatieve aantal doelen dat volgens de jongeren zelf is bereikt, bedraagt 30% (39 van de 129 doelen). Volgens de ouders is 17% van de doelen bereikt (15 van de 88 doelen) en volgens de hulpverleners 29% (38 van de 133 doelen). Het relatieve aantal doelen dat als ‘deels verbeterd’ wordt geëvalueerd, is 54% voor de jongeren 56

We merken op dat er bij de gepresenteerde resultaten géén rekening is gehouden met het meetmoment waarop de doelen zijn geëvalueerd. Het kan dus zijn dat de doelevaluatie na een halfjaar of één jaar, maar ook dat de evaluatie bij afsluiting van de behandeling heeft plaatsgevonden. Het meetmoment waarop van de doelevaluatie kan van invloed zijn op de wijze van evaluatie. De kans dat een doel bij afsluiting van de behandeling als bereikt wordt beoordeeld kan groter zijn dan wanneer een doel tussentijds als bereikt wordt beoordeeld. Dit omdat het bereiken van doelen reden kunnen zijn om de behandeling af te sluiten. Vanwege de complexiteit van de datastructuur hebben we op dit moment hierop nog geen zicht kunnen krijgen.

147

(69 doelen), 57% voor de ouders (50 doelen) en 53% voor de hulpverleners (71 doelen). Volgens de jongeren is de situatie bij 16% van doelen onveranderd gebleven (21 doelen) en is in geen enkel geval de situatie verslechterd. Volgens de ouders is bij 25% van de gestelde doelen de situatie niet veranderd en is bij 1% (1 doel) de situatie verslechterd. De hulpverleners geven aan dat bij 17% (23) van de gestelde doelen de situatie onveranderd is gebleven en bij 1% (1 doel) de situatie is verslechterd. Wanneer we de informanten met elkaar vergelijken dan blijkt dat ouders in vergelijking tot jongeren en hulpverleners minder vaak vinden dat een doel is bereikt en vaker vinden dat een doel onveranderd is gebleven. Figuur 5 Evaluatie doelen door jongeren, ouders en hulpverleners 100% 90% 80% 70% 57%

60% 54%

53%

50% 40% 30% 30%

29%

25%

20%

16%

17%

17%

10% 0%

1%

1%

0% Verslechterd

Onveranderd Evaluatie jongeren

Deels verbeterd Evaluatie ouders

Doel bereikt

Evaluatie hulpverleners

Tevredenheid ouders en jongeren bij afsluiting behandeling

Tabel 4.11 beschrijft op 5 gebieden de tevredenheid van ouders over de afgesloten behandeling van hun kind57. Omdat bij Daghulp hierover geen informatie bekend is, betreft het hier alleen de tevredenheid van ouders over Residentiële Behandeling. De 4 ouders die hierover hun mening hebben gegeven zijn gemiddeld genomen op alle 5 gebieden tevreden over de geboden behandeling die hun kind heeft gekregen. Relatief het meest tevreden zijn ze achteraf over de algehele kwaliteit van de hulp (gemiddelde score van 3.40). Verhoudingsgewijs zijn ze het minst tevreden over de wijze waarop ze werden geïnformeerd over de voortgang van de hulp (2.90).

57

We merken nogmaals op dat resultaten voor tevredenheid bij afsluiting van de behandeling ondanks de lage respons op de C-Toets, toch weergegeven worden. Dit om alle vragenlijsten die in het onderzoek worden gebruikt aan bod te laten komen. Bij de interpretatie van de resultaten voor tevredenheid, moet wel rekening gehouden worden met deze lage respons.

148

Tabel 4.11 Tevredenheid ouders bij afsluiting (C-Toets ouders: gemiddelde scores)1 Algehele kwaliteit

Contact & Bejegening

Professionaliteit

Informatie & Voortgang

Doel & Resultaat

N

Gem.

SD

Gem.

SD

Gem.

SD

Gem.

SD

Gem.

SD


4

3.40

0.59

3.20

0.54

3.20

0.54

2.90

0.82

3.30

0.42

Daghulp

0

-

-

-

-

-

-

-

-

-

-

Totaal

4

3.40

0.59

3.20

0.54

3.20

0.54

2.90

0.82

3.30

0.42

1

De gemiddelde score kan minimaal ‘1’ en maximaal ‘4’ zijn. Hoe hoger de gemiddelde score, hoe beter de kwaliteit wordt beoordeeld. SD: Standaarddeviatie

Tabel 4.12 beschrijft de tevredenheid van jongeren bij afsluiting van de behandeling. Ook de 5 jongeren die hierover hun mening hebben gegeven zijn gemiddeld genomen tevreden over de geboden hulp. Relatief het meest zijn ze tevreden over het contact met en de bejegening door de hulpverleners (gemiddelde score 3.48). Net als ouders zijn jongeren relatief het minst tevreden over de wijze waarop ze over de voortgang van de hulp werden geïnformeerd (2.87). Tabel 4.12 Tevredenheid jongeren bij afsluiting (C-Toets jongeren: gemiddelde scores)1 Algehele kwaliteit

Contact & Bejegening

N

Gem.

SD


1

3.86

-

Daghulp

4

2.96

Totaal

5

3.14

Gem.

Professionaliteit

Informatie & Voortgang

Doel & Resultaat

SD

Gem.

SD

Gem.

SD

Gem.

SD

4.00

-

4.00

-

4.00

-

3.50

-

0.16

3.35

0.41

3.20

0.28

2.58

0.29

2.92

0.10

0.42

3.48

0.45

3.36

0.43

2.87

0.68

3.03

0.27

1

De gemiddelde score kan minimaal ‘1’ en maximaal ‘4’ zijn. Hoe hoger de gemiddelde score, hoe beter de kwaliteit wordt beoordeeld. SD: Standaarddeviatie

Conclusies op basis van resultaten: Inhoudelijke kenmerken

In deze paragraaf zijn we ingegaan op enkele inhoudelijke kenmerken van de behandeling. De beschreven resultaten leiden tot de volgende conclusies: •

• •

Voor de totale onderzoeksgroep geldt dat vanuit het perspectief van ouders de Totale gedragsproblemen van jongeren bij aanvang van de behandeling gemiddeld zeer ernstig zijn. Binnen Residentiële Behandeling zijn de Totale gedragsproblemen bij aanvang in de ogen van ouders zeer ernstig. Binnen Daghulp worden de gedragsproblemen door de ouders gemiddeld als ernstig gezien. Voor de totale onderzoeksgroep geldt dat in de ogen van jongeren zelf er gemiddeld geen Totale gedragsproblemen bij aanvang van de behandeling zijn. Dit geldt ook voor de twee behandelvormen afzonderlijk. Bij aanvang van de behandeling hebben ouders gemiddeld genomen géén problemen op het gebied van empowerment. Dit geldt zowel voor het besef van beheersing als persoon en opvoeder als voor de actuele beheersing als persoon en opvoeder.

149

•

•

Voor Residentiële Behandeling58 geldt dat de behandeldoelen die worden gesteld zich relatief bevinden vaak op de domeinen Omgeving en Gedrag. Minder vaak worden doelen gesteld op de domeinen Persoonlijkheid, Lichaam, Gezin en Emotie. Bij evaluatie is er bij het merendeel van doelen sprake van een positieve verandering ((deels) bereiken van een doel). Dit volgens zowel jongeren, ouders als betrokken hulpverleners. In vergelijking tot jongeren en hulpverleners evalueren ouders de gestelde doelen wel iets kritischer. Ouders vinden relatief iets vaker dan jongeren of hulpverleners dat een doel onveranderd is en iets minder vaak dat een doel bereikt is. Zowel ouders als jongeren zijn bij afsluiting van de behandeling gemiddeld genomen tevreden over de geboden hulp59. Dit geldt op alle 5 gebieden (Algehele Kwaliteit, Contact & Bejegening, Professionaliteit, Informatie & Voortgang en Doel & Resultaat). Relatief zijn zowel ouders als jongeren minder tevreden over de wijze waarop ze over de voortgang van de behandeling zijn geïnformeerd.

5.5 Conclusies en aanbevelingen 5.5.1 Inleiding In dit hoofdstuk stond het project Effecten in Beeld van Pactum centraal. Doel van dit project is het inzichtelijk maken van de effectiviteit van de behandelingen die binnen Pactum worden geboden en daarmee bij te dragen aan een verdere professionalisering en profilering van het zorgaanbod binnen de organisatie. Het project Effecten in Beeld maakt vanaf halverwege 2006 deel uit van het landelijk project Zicht op Effectiviteit, een project waarin zeven instellingen binnen hun eigen organisatie bezig zijn om de effectiviteit van het zorgaanbod in beeld te brengen en hun ervaringen hiermee onderling delen. Om zicht te krijgen op de effectiviteit van het zorgaanbod is een systeem voor gegevensverzameling ontwikkeld en als eerste geïmplementeerd binnen vier pilotlocaties van Residentiële Behandeling en Daghulp van Pactum. In dit hoofdstuk zijn we ingegaan op de opzet en implementatie van het systeem. Na een korte achtergrondbeschrijving van het project (paragraaf 1) is in paragraaf 2 het plan van aanpak (opzet systeem van gegevensverzameling) beschreven. In paragraaf 3 is vervolgens een beschrijving gegeven van het proces waarbinnen het systeem van gegevensverzameling binnen de pilotlocaties is geïmplementeerd. Inmiddels is gedurende ruim anderhalf jaar met het systeem informatie verzameld over 57 jongeren die binnen Residentiële Behandeling en Daghulp zijn geholpen. Op basis van deze informatie werden in paragraaf 4 enkele resultaten gepresenteerd. Sommige resultaten hadden te maken met de respons op de informatie die met het systeem wordt verzameld. Andere resultaten gaven inzicht in enkele inhoudelijke kenmerken van de behandeling. In deze laatste paragraaf geven we in subparagraaf 5.5.2 een overzicht van de conclusies uit de verschillende hoofdstukken en trekken we een algehele conclusie over de opzet en implementatie van het systeem voor gegevensverzameling. In subparagraaf 5.5.3 gaan we in op de verdere voortgang van het project.

58 59

Bij Daghulp zijn géén doelen gesteld. We merken op dat deze conclusie is gebaseerd op klein aantal respondenten (4 ouders en 5 jongeren).

150

5.5.2 Overzicht conclusies In paragraaf 2 is beschreven hoe Pactum een adequaat systeem van gegevensverzameling ontwikkeld heeft dat op verschillende gebieden informatie kan bieden om de effectiviteit van behandeling binnen Pactum zichtbaar te maken. Daarbij is gekozen voor het verzamelen van gegevens over beloop, doelrealisatie, en cliënttevredenheid. Met het implementeren van vragenlijstengebruik, doelrealisatie en cliënttevredenheidsonderzoek wordt meer structuur gegeven aan de inhoud van de hulpverlening. Daarbij heeft kwaliteitsbewaking en verbetering een vaste plaats binnen het hulpverleningsproces gekregen. In paragraaf 3 is het proces van implementeren aan de orde geweest. Daarbij bleek dat na een tussentijdse evaluatie al meerdere knelpunten konden worden opgelost door gerichte verbeteracties. Na anderhalf jaar blijkt dat het systeem van gegevensverzameling binnen de pilotlocaties van Pactum voldoende wordt gedragen. In paragraaf 4 werden enkele resultaten van de pilot binnen Residentiële Behandeling en Daghulp beschreven. We hebben eerst iets gezegd over de respons op de meetinstrumenten en zijn daarna ingegaan op enkele inhoudelijke kenmerken van de behandeling. De hoogte van de respons geeft een indicatie voor het functioneren van het systeem voor gegevensverzameling dat ontwikkeld en geïmplementeerd is om zicht te krijgen op de effectiviteit van de behandeling. Met de beschrijving van inhoudelijke kenmerken kan een eerste beeld worden gegeven jongeren (en hun ouders) die binnen Residentiële Behandeling en Daghulp behandeld worden. Onderstaand worden conclusies ten aanzien van de inhoudelijke kenmerken van de behandeling en de respons op het systeem van gegevensverzameling opgesomd. Conclusies inhoudelijke kernmerken behandeling

Voor de totale onderzoeksgroep geldt dat vanuit het perspectief van ouders de Totale gedragsproblemen van jongeren bij aanvang van de behandeling gemiddeld zeer ernstig zijn. Binnen Residentiële Behandeling zijn de Totale gedragsproblemen bij aanvang in de ogen van ouders zeer ernstig. Binnen Daghulp worden de gedragsproblemen door de ouders gemiddeld als ernstig gezien. Voor de totale onderzoeksgroep geldt dat in de ogen van jongeren zelf er gemiddeld geen Totale gedragsproblemen bij aanvang van de behandeling zijn. Dit geldt ook voor de twee behandelvormen afzonderlijk. Bij aanvang van de behandeling hebben ouders gemiddeld genomen géén problemen op het gebied van empowerment. Dit geldt zowel voor het besef van beheersing als persoon en opvoeder als voor de actuele beheersing als persoon en opvoeder. Voor Residentiële Behandeling60 geldt dat de behandeldoelen die worden gesteld zich relatief bevinden vaak op de domeinen Omgeving en Gedrag. Minder vaak worden doelen gesteld op de domeinen Persoonlijkheid, Lichaam, Gezin en Emotie. Bij evaluatie is er bij het merendeel van doelen sprake van een positieve verandering (deels) bereiken van een doel). Dit volgens zowel jongeren, ouders als betrokken hulpverleners. In vergelijking tot jongeren en hulpverleners evalueren ouders de gestelde doelen wel iets kritischer. Ouders vinden relatief iets vaker dan jongeren of hulpverleners dat een doel onveranderd is en iets minder vaak dat een doel bereikt is. Zowel ouders als jongeren zijn bij afsluiting van de behandeling gemiddeld genomen tevreden over de geboden hulp61. Dit geldt op alle 5 gebieden (Algehele Kwaliteit, Contact & Bejegening, Professionaliteit, Informatie & Voortgang en Doel & Resultaat). Relatief zijn 60 61

Bij Daghulp zijn géén doelen gesteld. We merken op dat deze conclusie is gebaseerd op klein aantal respondenten (4 ouders en 5 jongeren).

151

zowel ouders als jongeren minder tevreden over de wijze waarop ze over de voortgang van de behandeling zijn geïnformeerd. Conclusies respons op het systeem van gegevensverzameling

•

•

Voor de totale onderzoekgroep geldt dat bij aanvang de respons op EMPO jongeren en Doelen slecht is. De respons op SDQ ouders, SDQ jongere en EMPO ouders is redelijk. Bij Residentiële Behandeling valt specifiek de lage respons op de EMPO ouders op. Bij Daghulp valt op dat de respons op Doelen nihil is wat de totale respons op de doelen omlaag haalt. Voor de totale onderzoeksgroep geldt dat de respons bij de twee tussenmetingen (½ jaar én 1 jaar na aanvang behandeling) slecht is op alle vragenlijsten, m.u.v. de respons op Doelen die ½ jaar na aanvang redelijk, en 1 jaar na aanvang goed is. De respons op Doelen komt geheel voor rekening van Residentiële Behandeling.

Box 5.1 Secundaire responsanalyses Uit secundaire analyses waarin de respons op de vragenlijsten is onderzocht per informant, meetinstrument en meetmoment blijkt dat het type informant (ouder of jongere) in zijn algemeenheid (voor de totale onderzoeksgroep) geen verband houdt met de hoogte van de respons op een vragenlijst. Relatief gezien vullen ouders en jongeren, op het moment dat het volgens het meetsysteem nodig is, ongeveer even vaak een lijst in. Er zijn op dit vlak echter wel afzonderlijke verschillen tussen Residentiële Behandeling en Daghulp. Binnen Residentiële Behandeling worden, op de momenten dat dit nodig is, door jongeren meer vragenlijsten ingevuld dan door ouders. Voor Daghulp geldt het omgekeerde. Er zijn verder indicaties dat het soort meetinstrument en de hoogte van de respons met elkaar verband houden. Een SDQ die moeten worden ingevuld wordt in vergelijking tot de overige lijsten over de gehele onderzoekgroep bekeken, het vaakst ingevuld. Dit ongeacht het meetmoment waarop de lijst moet worden ingevuld en de informant die de lijst moet invullen. De C-Toets wordt relatief het minst vaak ingevuld als dat nodig is. Op dit gebied zijn er ook verschillen tussen Residentiële Behandeling en Daghulp. Het meest in het oogspringende verschil is dat de informatieverzameling via de Doelen binnen Residentiële Behandeling relatief (i.v.t. de andere lijsten) het best verloopt terwijl binnen Daghulp Doelen helemaal niet zijn gebruikt. Ook het meetmoment houdt verband met de hoogte van de respons op een vragenlijst. Bij aanvang worden in zijn algemeenheid, ongeacht het type lijst dat moet worden ingevuld en de informant die de lijst invult, het vaakst lijsten ingevuld als dat nodig is. De respons 1 jaar na aanvang en bij afsluiting ligt vervolgens aanmerkelijk lager.

De algehele conclusie is dat met het systeem voor gegevensverzameling er een adequaat systeem is ontwikkeld dat op verschillende gebieden (gedragsproblemen jongeren, empowerment jongeren en ouders, doelrealisatie tijdens de behandeling en tevredenheid jongeren en ouders) adequate informatie kan bieden om de effectiviteit van behandeling binnen Pactum zichtbaar te maken en de behandeling meer kan structureren. Het systeem wordt binnen de pilotlocaties bovendien voldoende gedragen. Uit de responsanalyse is wel gebleken dat het systeem nog niet optimaal functioneert. Om betrouwbare uitspraken over de effectiviteit van de behandeling te kunnen doen is een hogere respons nodig. Dat de respons nog niet hoog genoeg is, is zeker niet opmerkelijk omdat het hier gaat om een pilot waarin de eerste ervaringen worden opgedaan met onderzoek in de praktijk. Ervaringen die een goede basis moeten vormen voor een verdere inbedding van onderzoek.

152

5.5.3 Verdere voortgang project Om te komen tot een goed functionerend meetsysteem is het belangrijk dat gezocht wordt naar verklaringen voor zaken die in de pilot zijn opgevallen. Zo is in paragraaf 4 gebleken dat de respons bij aanvang op EMPO jongeren voor de totale onderzoeksgroep in vergelijking tot de andere lijsten relatief laag is. Hetzelfde geldt binnen Residentiële Behandeling voor de respons op EMPO ouders. Ook valt op dat Doelen binnen Daghulp niet zijn gebruikt. Om de respons te verhogen is het raadzaam op zoek te gaan naar plausibele verklaringen. Waarom is het bijvoorbeeld binnen Residentiële Behandeling beter gelukt om jongeren een vragenlijst in te laten vullen dan om ouders een lijst in te laten vullen? Waarom is het omgekeerde het geval bij Daghulp? Waarom wordt de SDQ vaker ingevuld dan de andere lijsten? Waarom neemt de respons af gedurende de behandeling? Waarom worden bij Daghulp geen Doelen gebruikt? Mogelijke verklaringen kunnen te maken hebben met (on)duidelijkheden over wie wat wanneer en hoe moet doen, met de kennis en ervaring in het gebruik en de benutting van de meetinstrumenten, met organisatorische zaken, met de mate waarin een meetinstrument binnen de hulp kan worden benut, met de hoeveelheid beschikbare tijd, enzovoort. Een belangrijke verklaring voor de non-respons op Doelen binnen Daghulp is de reorganisatie met als gevolg een timeout in de gegevensverzameling (zie ook paragraaf 5.2.2). Vanwege de reorganisatie en wisseling in personeel is doelrealisatie daar nooit van de grond gekomen. Resultaten aangaande de respons en de inhoudelijke kenmerken van de behandeling zijn met alle medewerkers van Residentiële Behandeling besproken. Naar aanleiding van deze bespreking zijn mogelijke verklaringen naar voren gekomen waarmee de resultaten geïnterpreteerd kunnen worden. Mogelijke verklaringen ten aanzien van de (non)respons: • De respons van jongeren op de Empowermentvragenlijst is laag. Mogelijke verklaring is dat deze vragenlijst jongeren niet of nauwelijks aanspreekt. Ook ouders zijn over de Empowermentvragenlijst minder enthousiast dan de SDQ. De medewerkers vinden de vragenlijst lastig om te interpreteren. • Voor de totale onderzoeksgroep geldt dat de respons bij de twee tussenmetingen (½ jaar én 1 jaar na aanvang behandeling) slecht is op alle vragenlijsten. Medewerkers geven aan dat dit beter kan. Om die reden zijn in een eerder stadium al verbeteracties uitgevoerd (zie paragraaf 5.3.3). Mogelijke verklaringen ten aanzien van inhoudelijke kenmerken van de behandeling: • Voor de totale onderzoeksgroep geldt dat vanuit het perspectief van ouders de Totale gedragsproblemen van jongeren bij aanvang van de behandeling gemiddeld zeer ernstig zijn. In de ogen van jongeren zijn er gemiddeld genomen geen problemen. Dit wordt door medewerkers van de Residentiele behandeling herkend. Bij aanvang van de zorg bagatelliseren veel jongeren de problemen die er zijn. Wat opvalt is dat jongeren in de meeste gevallen wel akkoord gaan met de behandeling en ook gerichte doelen uitzoeken om aan hun situatie te werken. Echter, het zelf rapporteren over je problemen middels een vragenlijst lijkt voor de jongeren moeilijk te zijn. • Bij aanvang van de behandeling hebben ouders gemiddeld genomen géén problemen op het gebied van empowerment. Hiervoor zijn geen gerichte verklaringen te geven. • Voor Residentiële Behandeling62 geldt dat de behandeldoelen die worden gesteld zich relatief bevinden vaak op de domeinen Omgeving en Gedrag. Dit is volgens de medewerkers passend bij de doelgroep en de hulpvorm waarbinnen zij werken 62

Bij Daghulp zijn géén doelen gesteld.

153

•

•

•

Bij evaluatie is er bij het merendeel van doelen sprake van een positieve verandering ((deels) bereiken van een doel). Mogelijke verklaring is dat het veelal tussentijdse evaluaties betreft. In de pilotfase waren doelen die bij aanvang waren gesteld geldend voor de hele termijn van de behandeling. Bij het merendeel van de jongeren uit de onderzoeksgroep is de behandeling nog niet beëindigd. In vergelijking tot jongeren en hulpverleners evalueren ouders de gestelde doelen wel iets kritischer. Volgens medewerkers hebben ouders vaak moeite met ‘loslaten’. De jongere werkt binnen Pactum veelal aan een traject richting zelfstandigheid. Ouders en jongere hebben voor plaatsing van de jongere bij Pactum een moeizame periode achter de rug waarin ouders zich veel zorgen hebben gemaakt. Zowel ouders als jongeren zijn bij afsluiting van de behandeling gemiddeld genomen tevreden over de geboden hulp63. Relatief zijn zowel ouders als jongeren minder tevreden over de wijze waarop ze over de voortgang van de behandeling zijn geïnformeerd. En dit ondanks dat zowel ouders als jongere intensief betrokken worden bij de inhoud van het hulpverleningsplan en de evaluatie ervan. Wanneer ouders dit aangeven in de vragenlijst heeft de leidinggevende een aantal malen contact opgenomen hierover met ouders. Vaak bleken ouders niet te begrijpen dat met de vraag over de voortgang van het hulpverlening, de behandelplan doelen en besprekingen werden bedoeld.

Indien juiste verklaringen voor opvallende zaken zijn gevonden dan kan vervolgens worden gezocht naar gerichte verbeteracties. Dit kan betekenen dat medewerkers moeten worden getraind in het gebruik en de benutting van vragenlijsten, dat protocollen worden bijgesteld, dat nieuwe vragenlijsten worden geselecteerd, dat ouders en jongeren op een specifieke manier worden benaderd, dat het proces van dataverzameling frequent wordt geëvalueerd, enzovoort. De verbeteracties zullen uiteindelijk leiden tot een goed functionerend meetsysteem dat organisatiebreed binnen Pactum kan worden ingezet en waarmee voldoende en relevante informatie wordt verzameld om een betrouwbaar zicht te krijgen op de effectiviteit van de geboden hulp. Op basis van enkele verklaringen die inmiddels voor enkele resultaten zijn gevonden zijn reeds een aantal verbeteracties uitgezet (zie paragraaf 5.3.3). De ervaringen die binnen de pilotlocaties zijn opgedaan worden gebruikt bij de verdere verbreding van het project binnen Pactum. Deze verbreding is inmiddels in gang gezet door overige locaties van de sectoren Daghulp en Residentiële Behandeling. In 2008 wordt binnen de overige twee sectoren van Pactum gestart met ontwikkeling, implementatie, en gegevensverzameling. De bedoeling is dat eind 2008 heel Pactum Effecten in Beeld krijgt. Uiteindelijk doel is dat binnen alle behandelvormen van Pactum met het informatiesysteem zicht kan worden gegeven op de effectiviteit van de behandeling waarmee de kwaliteit van het zorgaanbod kan worden aangetoond (profilering) en, indien nodig verder kan worden verbeterd (professionalisering).

63

We merken op dat deze conclusie is gebaseerd op klein aantal respondenten (4 ouders en 5 jongeren).

154

Bijlage 5.1. Beschrijving verbeterpunten en acties In deze bijlage wordt uitgebreid beschreven welke verbeterpunten naar voren kwamen uit de tussentijdse evaluatie en de periode die daarop volgde, en met name welke acties zijn uitgezet om het project Effecten in Beeld bij Pactum te verstevigen. Achtereenvolgens komen verbeterpunten en acties van de verschillende onderdelen van praktijkgestuurd effectonderzoek aan bod; beloop, doelrealisatie, cliënttevredenheid en wat betreft de randvoorwaarden van onderzoek; protocollen en gegevensverzameling. 1. Beloop

Wat betreft het gebruik van de vragenlijsten om het beloop te onderzoeken (gedragsproblemen bij de jongere middels de SDQ, en de mate van competentiebeleving van ouders en jongere middels de Empowermentvragenlijst) bleek dat de aanvangsrespons goed was, maar de tussentijdse respons echter niet. De aanvangsmetingen waren duidelijk verankerd in de procedure van kennismaking. Maar na een jaar werd het opnieuw uitzetten van vragenlijsten vergeten. Op verzoek van de medewerkers die verantwoordelijk waren voor het versturen en inzamelen van de vragenlijsten hebben de onderzoekers een nieuwe datamonitoringslijst gemaakt. Deze vragenlijst berekende de datums waarop verschillende meetmomenten plaatsvonden. De secretariaatsmedewerker kan zo maandelijks zien aan wie welke lijsten moesten worden toegestuurd. De verwachting is dat deze inzet de tussentijdse respons zal verhogen. Er waren nog onvoldoende casussen waarbij de zorg was beëindigd om een uitspraak te kunnen doen over de eindrespons. Benutting van de vragenlijsten blijft een aandachtspunt. Resultaten van vragenlijsten werden niet of nauwelijks teruggekoppeld aan ouders en jongere. Daarbij is er bij de residentiële afdeling tijdelijk geen gedragswetenschapper geweest die kon ondersteunen bij het interpreteren van de resultaten. Tijdens de workshop doelrealisatie is aandacht besteed aan het op juiste wijze introduceren van vragenlijsten aan cliënten. De procesbewaker heeft hiervoor een instructie geschreven. Daarnaast is de benutting van vragenlijsten beter verankerd in de nieuwe procedure (voorafgaand aan doelen stellen, zie bijlage 2: nieuwe overzicht gegevensverzameling). De vraag is nog of dit voldoende is om benutting binnen het hulpverleningsproces op gang te brengen. Eind 2007 krijgen alle gedragswetenschappers een training om andere medewerkers van Pactum te trainen in het omgaan met vragenlijsten (ondersteuningspakket Zicht op Effectiviteit). Wanneer mensen beter geschoold zijn in de wijze waarop zij vragenlijsten als interventiemiddel kunnen inzetten zal het gebruik wellicht toenemen. Het blijft voor de meeste medewerkers iets nieuws en daarom is het belangrijk om medewerkers te ondersteunen bij het integreren van onderzoek in het hulpverleningsproces. Naast werkbegeleiding en intervisie kan Omgaan met Vragenlijsten een plek krijgen in de introductiecursus voor nieuwe medewerkers. Ten tijde van schrijven van dit rapport vindt de eerste terugkoppeling van de verzamelde gegevens op teamniveau plaats. Wanneer medewerkers zien hoe zij de door hun verzamelde gegevens kunnen benutten op teamniveau, zullen zij het belang van gegevensverzameling meer gaan ervaren en kan de motivatie gaan toenemen. 2. Doelrealisatie

Na een half jaar intensief gewerkt te hebben met standaarddoelen op doelkaarten zijn verworven inzichten en ervaring verwerkt in een revisie van de standaarddoelen. Daarnaast is de instructie aangepast en zijn alle medewerkers getraind. Om de standaarddoelen opnieuw onder de loep te nemen werd een multidisciplinaire werkgroep samengesteld met medewerkers die intensief gewerkt hebben met het bestaande materiaal en medewerkers die nieuw waren met werken met doelrealisatie. Onder begeleiding 155

van de procesbewaker/onderzoeker van het project Effecten in Beeld zijn de nieuwe standaarddoelen voor Pactum ontwikkeld. Het aantal standaarddoelen is teruggebracht van 161 naar 97 middels het samenvoegen van doelen en verwijderen van doelen. Het pakket met doelkaarten is aanzienlijk verminderd en daardoor overzichtelijker geworden. Vervolgens zijn doelen concreter en duidelijker geformuleerd. Bij de methode van doelkaarten zoekt de cliënt zelf zijn/haar doelen uit. Medewerkers hadden de ervaring dat met de oude standaarddoelen zij vaak aan cliënten uit moesten leggen wat een bepaald doel betekende. Er is tevens opnieuw kritisch naar de ordening van doelen gekeken, daarbij is gekozen om de in den lande gebruikelijke KWIS ordening te blijven hanteren. Soms was ondanks de omschrijving van de KWIS domeinen niet helder in welk domein een doel thuishoorde. Daarbij zijn ook doelenboeken en ordeningen van collega-instellingen bestudeerd om tot een uiteindelijke indeling te komen. KWIS is doorspekt met vakjargon. Wanneer domeinen en trefwoorden aan een cliënt worden voorgelegd is voor de cliënt niet altijd helder wat ermee bedoeld wordt. Om die reden is ervoor gekozen om terminologie aan te passen. En omdat in de praktijk observatie/diagnostiek doelen gemist werden is een extra domein toegevoegd: Probleembeschrijving waar doelen aangaande probleemverheldering en perspectief zijn ondergebracht (naar idee van collega-instelling Jeugdformaat Zuid Holland: de doelenboom64). De meeste doelen van de standaarddoelen zijn voor de jongere, een aantal alleen voor ouders, en een aantal voor zowel ouders en jongeren. De standaarddoelen zijn voor jongeren ouder dan 12 jaar. De doelen hebben op verzoek van medewerkers een code gekregen, een (begin)letter van het domein waartoe ze behoren plus een cijfer. Deze code komt ook op de kaart. Omdat sommige domeinen breed zijn (omgeving, gezin), zijn ze gespecificeerd in trefwoorden. Doelkaarten zijn per trefwoord gecategoriseerd middels eenzelfde kleur. Deze lijst met standaarddoelen kan periodiek worden bijgesteld. Daarvoor wordt medewerkers gevraagd om middels ervaringen in de praktijk hun opmerkingen te verzamelen. Daarmee kan een werkgroep periodiek doelen toevoegen, verwijderen of herformuleren. De bedoeling is uiteindelijk dat deze standaarddoelen (binnen Pactum genoemd: behandeldoelen) door de hulpverlener samen met de cliënt praktisch worden uitgewerkt in werkpunten. Deze laatste verdieping werkt gemist in de praktijk. De standaarddoelen zijn nog ‘te breed’. Ondanks dat er vaak een half jaar hard gewerkt was aan het bereiken van de standaarddoelen werden doelen tijdens behandelplanbesprekingen vooral ‘deels bereikt’ gescoord. Hoe aan het doel gewerkt was vonden werknemers moeilijk om weer te geven. Pedagogisch medewerkers zijn de hulpverleners die vooral met de jongere werken (en soms samen met ouders) aan het realiseren van de doelen. Voor het uitwerken van standaarddoelen in werkpunten worden zij allemaal getraind. Daarbij is SMART een belangrijk onderwerp; werkpunten moeten Specifiek, Meetbaar, Realistisch, Acceptabel en Tijdsgebonden zijn om ze goed te kunnen evalueren. Door werkpunten formuleren als extra verdieping van doelrealisatie in te voeren worden de pedagogisch medewerkers grote groep medewerkers, veelal verantwoordelijk voor de directe uitvoering van de hulpverlening, betrokken bij Effecten in Beeld. Bij de nieuwe standaarddoelen hoort ook een nieuwe instructie. In de instructie wordt de procedure beschreven van het gebruik van doelkaarten op verschillende momenten tijdens het zorgproces volgens de methode Samen Beslissen. Doelen stellen heeft een meer duidelijke plaats gekregen in het zorgproces. Allereerst hebben de doelen uit de indicatie van Bureau Jeugdzorg een expliciete plek gekregen in het verhaal, dit is immers het startpunt voor de zorgaanbieder. Deze doelen zijn geformuleerd in eindtermen en gelden voor de duur van de geldigheid van de indicatie. De doelen van Bureau 64

Hofman, R., Reith, W., & Stams, G.J.J.M. (2006) Categorisering van hulpverleningsdoelen in de jeugdzorg: ontwikkeling van een categoriesysteem bij Stichting Jeugdformaat. Universiteit van Amsterdam: scriptie.

156

Jeugdzorg worden overgenomen in de zorgovereenkomst die bij Pactum wordt opgesteld binnen 6 weken na aanmelding. In de zorgovereenkomst worden in het geval van een wachttijd ook afspraken gemaakt over mogelijke inzet van een vorm van overbruggingszorg totdat de geïndiceerde zorg gaat starten. Binnen 6 weken na het starten van de geïndiceerde zorg worden bij Pactum samen met de cliënt (ouders en/of jongeren) de doelen gesteld. De doelen van Bureau Jeugdzorg gelden als uitgangspunt voor het stellen van de doelen bij Pactum. Middels de methode ‘Samen Beslissen’ en de standaarddoelen op kaarten worden doelen uitgekozen waar het komende half jaar aan gewerkt gaat worden. Er worden niet meer dan 5 doelen uitgekozen, de cliënt bepaald waar het komende half jaar de prioriteit ligt. Om het behandelplan overzichtelijker te maken voor cliënt en hulpverlener is een limiet gesteld aan het aantal doelen en de periode waarvoor de doelen gelden. Zoals eerder genoemd worden de standaarddoelen uitgewerkt in SMART geformuleerde werkpunten. In figuur 1 een schematische weergave van drie niveaus van doelen plus voorbeelden.

Indicatiedoelen BJZ (Geldig voor duur van de indicatie)

“Opvoedingsvaardigheden van ouders zijn versterkt.”

Behandeldoelen Pactum (voor de periode van een half jaar/tot aan volgende behandelplanbespreking)

“Ik kan zorgen voor voldoende regels en structuur in mijn gezin.”

SMART geformuleerde werkpunten Pactum (stapsgewijze uitwerking van het behandeldoel)

“Deze week maken wij als ouders samen een lijst met 5 huisregels die wij het meest belangrijk vinden.”

Figuur 1: schema niveaus van doelen Pactum plus voorbeelden

Er worden dus niet direct bij kennismaking met de cliënt doelen gesteld en een behandelplan opgesteld, maar pas enige tijd nadat de cliënt is gestart met de geïndiceerde zorg. Het voordeel is dat er meer ruimte ontstaat voor het proces van doelen stellen. Bij start van de geïndiceerde zorg worden de vragenlijsten geïntroduceerd bij de cliënt. De resultaten worden verwerkt en door de gedragswetenschapper samengevat. Tijdens het doelengesprek worden allereerst de resultaten van de vragenlijsten terugbesproken met de cliënt. Daarbij is een aantal weken na de start van de geïndiceerde zorg al een eerste indruk van de cliënt in de nieuwe situatie van de geïndiceerde zorg opgedaan, en de cliënt heeft zelf nader met de hulpverlener(s) kunnen kennismaken.

157

De indicatiedoelen van Bureau Jeugdzorg, de uitkomsten van de vragenlijsten, en de eerste indrukken van cliënt en hulpverlener binnen de nieuw opgestarte zorg bieden een goede basis voor het stellen van doelen en het vaststellen van een behandelplan voor het eerste half jaar. Als laatste verbeterpunt binnen doelrealisatie zijn de doelenformulieren aangepast. Om beter te kunnen registreren hoe doelen zijn geëvalueerd is een kolom aan de doelen toegevoegd waar hulpverlener kunnen aangeven dat de gestelde doelen zijn afgesloten, blijven staan voor de komende periode, vervallen (wanneer er niet aan gewerkt is omdat het doel niet meer aan de orde was), of een nieuw doel is (voor schematische weergave zie figuur 2).

Doel behaald

Afsluiten

Blijft staan Doel deels behaald

Afsluiten (wordt niet meer aan gewerkt)

Vervalt (nooit aan gewerkt, niet meer actueel) Doel niet behaald

Blijft staan

Afsluiten (wordt niet meer aan gewerkt)

Figuur 2: Doelen bijstellen in schema

Doelrealisatie binnen het pilotproject Pactum is na een eerste proefperiode aangepast middels revisie van de doelen en aanpassing van de instructie. Vervolgens hebben alle medewerkers die intensief te maken hebben met doelrealisatie (ambulant werk en gedragswetenschappers) opnieuw instructie gehad middels een workshop. Deze workshop werd gegeven door twee medewerkers uit de pilot die intensief gewerkt hebben met doelrealisatie en tevens hebben meegewerkt aan verbetering van de standaarddoelen en de instructie. 3. Cliënttevredenheid

Pactum wil cliëntenfeedback volledig koppelen aan het zorgproces. Dit betekent tussentijds (jaarlijks) en bij einde van de zorg de cliënt vragen naar de mate van tevredenheid. Zoals eerder al beschreven is gekozen voor de C-toets. Binnen het project Effecten in Beeld worden cliënten (jongeren en ouders) gevraagd om, naast de vragenlijsten die beloop meten, tevens de 158

C-toets in te vullen tussentijds (jaarlijks) en bij einde van de zorg. Vanaf 1 juli 2007 worden ook cliënten van de overige locaties en hulpvormen van Pactum (die nog niet deelnemen aan Effecten in Beeld) gevraagd om feedback. Bij het beëindigen van de zorg wordt de C-toets meegegeven of verstuurd met het verzoek deze te retourneren. Op deze wijze worden per 1 juli 2007 alle cliënten van Pactum bij einde van de zorg gevraagd om feedback. Pactum is in afwachting van het nog te ontwikkelen cliëntfeedbacksysteem waarbij naast een C-toets (die eigenlijk bedoeld is voor periodieke, collectieve en anonieme afname) ook een exitvragenlijst (specifiek voor bij het beëindigen van de zorg) kan worden ingezet. 4. Protocollen en gegevensverwerking

De procesbewaker heeft tijdens de verschillende fasen van het onderzoek (pilot, evaluatie, verbreding) meerdere methoden uitgeprobeerd om protocollen te maken. Uiteenlopend van het zelf beschrijven tot het de hulpverleners zelf laten maken. Toch bleef de realiteit dat, hoe gedetailleerd het protocol ook was beschreven, men vaak niet wist wie waarvoor verantwoordelijk was. Uiteindelijk heeft de procesbewaker het overzicht van gegevensverzameling in schema gezet met het zorgproces (bijlage 2: overzicht gegevensverzameling). Dit tezamen met een aantal uitgangspunten was de basis voor het protocol waar men dan zelf mee aan de slag kon. Daardoor ontstonden per locatie verschillende checklisten, veelal geïntegreerd in bestaande checklisten die horen bij dossiervorming. Voordeel hiervan is dat het systemen zijn waar mensen gewend zijn om mee te werken. De procedure voor het verwerken van vragenlijsten en doelenformulieren in BergOp is vereenvoudigd en aangepast. Zo zijn bijvoorbeeld de doelen makkelijker te verwerken nu ze allemaal een code hebben gekregen. Daarnaast is het datamonitoringsoverzicht verbeterd. Een van de voordelen van dit vernieuwde administratieve hulpmiddel is dat de verschillende datums van gegevensverzameling doorberekend worden wanneer de startdatum van de geïndiceerde zorg is ingevuld. Op die manier kan secretariaat en hulpverleners zien wanneer welke cliënten weer vragenlijsten toegestuurd moeten krijgen. Daarnaast is de afspraak gemaakt dat wanneer de gegevens van een cliënt worden ingevoerd in Care4, de gegevens meteen in BergOp worden geïmporteerd en op de datamonitoringslijst worden geplaatst. Voorheen deed de secretariaatsmedewerker dit pas wanneer er ingevulde vragenlijsten waren. Wanneer cliënten dan geen vragenlijsten retourneerden kwamen ze ook niet in BergOp, wat het monitoren van de respons bemoeilijkte. Dit datamonitoringsoverzicht wordt nog steeds maandelijks door het secretariaat verstuurd aan de procesbewaker, zodat deze de respons kan monitoren en eventuele knelpunten kan signaleren Alle medewerkers van het secretariaat hebben een training gekregen in het gebruiken van BergOp. Alleen de cliënten die nieuw zijn binnen een hulpvorm behoorden tot de onderzoeksgroep. Dit maakte dat met name bij de hulpvormen waar de doorstroom laag is (bijvoorbeeld residentiële voorzieningen), een medewerker van het secretariaat in de beginfase van het onderzoek maar incidenteel te maken kreeg met het verwerken van gegevens in BergOp. Dit vertraagde het eigen maken van de vaardigheden die getraind waren, waardoor begrijpelijk fouten gemaakt werden bij het invoeren. Dit vraagt veel coaching van de procesbewaker.

159

Zorgproces

Bijlage 5.2 Overzicht gegevensverzameling, doelstelling en uitgangspunten Effecten in Beeld (vanaf mei 2007) Eerste contact

Na eerste contact

Binnen 3 weken na aanmelding

Binnen 6 weken na aanmelding

(Overbruggingszorg)

Effectmeting en doelrealisatie

Ouder(s)

Jongere

Ouder(s) en/of jongere samen met hulpverlener

Contacten ter voorbereiding plaatsing/start geïndiceerde zorg

Gedurende plaatsing

Afsluiting

Doelengesprek

Behandelplanbespreking

Behandelplanbespreking

Binnen 6 weken na start hulpverlening

Half jaar na start ge-indiceerde zorg

Jaar na start hulpverlening

SDQ

SDQ

SDQ

EMP

EMP

EMP

C-toets

C-toets

SDQ

SDQ

SDQ

EMP (16+)

EMP (16+)

EMP (16+)

C-toets

C-toets

Uitkomsten vragenlijsten bespreken

Uitkomsten vragenlijsten bespreken

Doelen waarderen,

Doelen waarderen

Zorgovereenkomst vasstellen en ondertekenen

Uitkomsten vragenlijsten bespreken en

Doelen waarderen,

Doelen stellen

Doelen BJZ

Werkpunten maken

eventueel bijstellen

Behandelplan vaststellen

Werkpunten maken

Doelenformulier invullen


eventueel bijstellen Werkpunten maken

Doelenformulier invullen Verklaring afkortingen: SDQ Strenghts and Difficulties Questionnaire (vragenlijst sterke kanten en moeilijkheden), EMP Vragenlijst Empowerment, C-toets (Cliënttevredenheidsvragenlijst).

160


Doelstelling Effecten in Beeld Pactum wil de effecten van de geboden zorg op een meer systematische wijze vastleggen middels praktijkgestuurd onderzoek. Zo kan beter zicht worden verkregen op wat aan behandeling nodig is en wat werkt. Hierdoor kan de kwaliteit van de zorg verder verbeterd worden en kan de zorg verantwoord worden naar cliënt en subsidiegever. Uiteindelijke doel is dat er een attitude van resultaatgericht meten ontstaat die past binnen de oplossings- en handelingsgerichte hulpverleningsvisie van Pactum, en op basis waarvan sturing van zorgprocessen kan plaatsvinden. Effecten in Beeld is een project i.s.m. Praktikon, een instelling voor onderzoek en ontwikkeling in de jeugdzorg, verbonden aan de Radboud Universiteit Nijmegen.

Uitgangspunten -

De uitkomsten van vragenlijsten zijn in eerste instantie voor de cliënt (ouders en/of jongere) en worden dus met de cliënt besproken op vaste momenten in het zorgproces (bij start, tijdens evaluaties en bij einde). Samen met de cliënt worden doelen gesteld en werkpunten geformuleerd. De doelen worden geëvalueerd op vaste momenten in het zorgproces (bij start, tijdens evaluaties en bij einde), worden gewaardeerd en bijgesteld. Ambulant werkers zijn verantwoordelijk voor het verzamelen van de vragenlijsten en worden daarbij ondersteund door het secretariaat. Gedragswetenschappers zijn samen met de leidinggevende verantwoordelijk voor het opstellen en evalueren van behandelplannen waarin de uitkomsten van vragenlijsten, doelen en werkpunten een plek hebben. Secretarieel medewerkers zijn verantwoordelijk voor een juiste verwerking van de vragenlijsten en doelenformulieren middels het computerprogramma BergOp. Leidinggevenden zijn verantwoordelijk voor het scheppen van de juiste voorwaarden en de aansturing van het personeel. Het project wordt ondersteund door een procesbewaker/onderzoeker die aanspreekpunt is voor medewerkers over de uitvoering van het onderzoek, knelpunten kan signaleren en oplossen, en de inzameling van vragenlijsten zal monitoren.

161

162

Hoofdstuk 6 Resultaatgericht meten bij Parlan Eva Hengst en Dymph Rutten

Inhoudsopgave 6.1 Inleiding 6.1.1 Parlan, specialisten in kinderen jongerenzorg 6.1.2 Deelname Zicht op Effectiviteit 6.2 Plan van aanpak 6.2.1 Uitgangspunten 6.2.2 Praktijkgestuurd effectonderzoek 6.2.3 Opzet en instrumenten 6.2.4 Afnameprocedure 6.3 Proces 6.3.1 Activiteiten 6.3.2 Ervaringen met het werken met vragenlijsten 6.4 Resultaten 6.4.1. Respons 6.4.2 Resultaten CBCL 6.4.3 Resultaten Doelrealisatie 6.4.4 Resultaten C-toets 6.4.5 Resultaten eenzijdige beëindiging 6.5 Conclusies en aanbevelingen 6.5.1 Conclusies 6.5.2 Aanbevelingen

163

164

6.1 Inleiding 6.1.1 Parlan, specialisten in kinderen jongerenzorg Parlan biedt verschillende vormen van zorg en begeleiding aan kinderen en jongeren van 0 tot 18 jaar en hun ouders of pleegouders. In voorkomende gevallen is hulpverlening tot 23 jaar mogelijk. Hoe de zorg eruit ziet, wordt in overleg met onze cliënten afgesproken en sluit aan bij hun krachten, mogelijkheden en eigen inzet. Daarom betrekken wij het gezin en de directe leefomgeving actief bij de hulp. Parlan bestaat uit 32 afdelingen en verleent hulp aan ongeveer 2500 cliënten65. Missie66

Parlan wil zich profileren als een heldere en sociaal maatschappelijke onderneming voor dialooggestuurde zorg aan kinderen en jongeren, ouders/opvoeders met psychosociale problemen door middel van een gevarieerd en een continu vernieuwend aanbod van zorgprogramma’s. Kenmerk is dat de zorg binnen de context van de cliënt zijn sociale omgeving op een professionele wijze vorm wordt gegeven. Bij de ontwikkeling en uitvoering van het zorgaanbod richt Parlan zich op samenwerking met een breed scala aan maatschappelijke organisaties en overheden. Tendensen in de samenleving en jeugdzorg zullen actief meegenomen worden bij de ontwikkelingen van de organisatie. Met open vizier zullen nieuwe vragen en nieuwe methoden tegemoet getreden en actief onderzocht worden. Visie

Als aanbieder van jeugdzorg is Parlan gedurende de benodigde periode uitvoerder van specialistische psychosociale interventies die een normale ontwikkeling van kinderen mogelijk moet maken. Parlan vertaalt deze maatschappelijke verantwoordelijkheid in het inzetten en ontwikkelen van doeltreffende en effectieve zorg aan kind en gezin. Afhankelijk van de problematiek zal al dan niet samenwerking met andere (keten) partners gezocht worden. Dat vraagt om een voortgaande ontwikkeling en gerichtheid op ‘hulp die werkt’ en een voortdurende oriëntatie op vraag en aanbod. De organisatiestructuur wordt zo ingevuld dat deze ondersteunend werkt voor het primaire proces. Onderscheiden wordt een (sub-)regionaal basisaanbod van daghulp en dagen nacht hulp, ambulante zorg, pleegzorg, crisishulp en een residentieel specialistisch aanbod voor het hele werkgebied. De hulpverlening moet duidelijk, controleerbaar en meetbaar zijn om zicht te krijgen op de effectiviteit van de geboden hulp. Het beleid is er op gericht steeds verbetering in zorg en organisatie aan te brengen middels een gecontroleerd kwaliteitsmanagementsysteem. Het primaire proces dient flexibel en vraaggestuurd te worden georganiseerd, hetgeen steeds nieuwe eisen stelt aan huisvesting en algemeen accommodatiebeleid. Van onmisbaar belang zijn hierin de bijdragen van de ondersteunende diensten die voorwaardenscheppend zijn voor het beleid ten aanzien van cliënten, personeel en organisatie.

65 66

Gebaseerd op het jaarverslag van 2006. Het totaal aantal behandelde cliënten was 2289. Missie en Visie afgeleid uit de Kaderbrief 2008 van de Raad van Bestuur.

165

Vanuit de opvatting dat de medewerkers het kapitaal zijn van de organisatie is van belang dat zij hun kwaliteiten van vaardigheid, opleiding en ervaring blijvend ontwikkelen opdat de organisatie zich blijft vernieuwen. Dit draagt bij aan het uitgangspunt; ‘de juiste expertise op de juiste plaats’. Vanuit de maatschappelijke functie en verantwoordelijkheid van Parlan streven wij naar een personeelssamenstelling die min of meer een afspiegeling vormt van de aard van de samenstelling van de samenleving. Ter borging van een goede verbinding tussen het beleidskader en de uitvoering van zorg en bedrijfsvoering ligt onder de organisatie een heldere overleg- en besluitvormingsstructuur. Door de functionele organisatie (vakgebieden) en de regionaal ingerichte organisatie te combineren ontstaan er in de matrix organisatie van Parlan dwarsverbanden welke bijdragen aan een integrale ontwikkeling van beleid. 6.1.2 Deelname Zicht op Effectiviteit Jaarlijks worden er in Nederland zo’n 225.000 kinderen en jeugdigen in instellingen voor jeugdzorg behandeld voor, zoals de Wet op de jeugdzorg dat zo mooi zegt, opgroeien opvoedingsproblemen67. Die behandelingen kunnen allerlei vormen aannemen, van relatief lichte begeleidingsgesprekken tot 24-uursopname in residentiële voorzieningen. Een aantal jaren geleden zijn er door de toenmalige Stichting Registratie JeugdhulpverleningsVoorzieningen (SRJV) zo’n 1500 behandelingen – rijp en groen – geteld68. Dat zijn er heel wat. Vragen die opdoemen zijn natuurlijk hoeveel overlap er tussen al die behandelingen bestaat, of ze allemaal even ver uitgekristalliseerd zijn zodat ze goed beschreven en onderbouwd kunnen worden, en bovenal of ze ook werken. Die laatste vraag is misschien wel de belangrijkste: hoe effectief zijn eigenlijk al die behandelingen die dagelijks aan al die kinderen en jeugdigen worden gegeven? Het antwoord op die vraag is niet eenvoudig te geven. Het hangt er van af wat men onder effectiviteit verstaat. Als we hiervoor een vrij strenge maatstaf nemen en stellen dat een behandeling effectief is als hij bij kinderen en jeugdigen die de behandeling kregen resultaat geeft en bij kinderen en jeugdigen die de behandeling niet kregen, maar wel nodig hadden, geen resultaat geeft, dan zijn er niet zoveel effectieve behandelingen te vinden. Veerman en Van Yperen69 schatten dit aantal op ongeveer 20, dus ruim 1% van de eerder genoemde 1500. Leggen we een minder streng criterium voor en stellen we dat een behandeling effectief is als er aan het eind vergeleken met het begin vooruitgang is geboekt dan zijn er weliswaar bijna vier keer zoveel effectieve behandelingen te vinden, maar zitten we nog maar op zo’n 5% van het totaal aantal van 1500 behandelingen. Dit betekent niet dat de jeugdzorg niet effectief is, het betekent dat we de effectiviteit nog niet goed hebben kunnen laten zien. Dit betekent dat het hoog tijd is voor meer zicht op effectiviteit van behandelingen die in de dagelijkse praktijk van de jeugdzorg worden uitgevoerd. Waarom is dat van belang? Allereerst kan het gewoon niet zo zijn dat een professionele behandelaar geen kennis heeft van de effecten van zijn of haar handelen. Zicht op effectiviteit kan hem of haar helpen te beseffen wat werkt en wat niet, en welke behandelingen het beste passen bij welke

67

De Graaf, M., Schouten, R., & Konijn, C. (2005). De Nederlandse jeugdzorg in cijfers 1998-2002. Utrecht: NIZW. Loeffen, M., Ooms, H., & Wijgergangs, H. (2004). Ordeningsmodel is ‘must’ voor effectieve jeugdzorg. Nederlands Tijdschrift voor Jeugdzorg, 7, 102-113. 69 Veerman, J.W., & Yperen, T.A. van (2006). Wat is praktijkgetuurd effectonderzoek? In T.A. van Yperen & J.W. Veerman (red.), Zicht op effectiviteit. Bronnenboek voor praktijkgestuurd effectonderzoek in de jeugdzorg. Deel I (blz. 7-19). Utrecht/ Nijmegen: NIZW/ Praktikon. 68

166

problemen. We noemen dat het professionaliseringsperspectief70: behandelaars moeten zorgen hun zaakjes intern goed op orde te hebben. In de tweede plaats dienen behandelaars verantwoording af te leggen aan de financiers (het rijk, de provincies en de zorgverzekeraars). Zij willen kwalitatief goede zorg en als het kan in een optimale prijs-kwaliteitverhouding. We noemen dat het profileringsperspectief: behandelaars zijn verplicht naar buiten toe te laten zien dat ze waar voor hun geld leveren. Professionalisering en profileringen zijn ook drijfveren achter het kwaliteitsbeleid in de jeugdzorg. Kwaliteit en effectiviteit liggen dan ook in elkaars verlengde. Een kwalitatief goede behandeling moet de beoogde effecten opleveren. Vanuit dit soort gedachtegangen en overwegingen heeft Parlan zich in 2006 aangesloten bij de landelijke werkgroep Zicht op Effectiviteit, zodat we een bijdrage kunnen leveren aan het denken over en het ontwikkelen van effectief zorgaanbod. We willen alleen nog maar ‘doen wat werkt’. Dit rapport doet verslag van het proces en de uitkomsten. Alvorens deze te presenteren wordt in het volgende hoofdstuk ingegaan op enkele achterliggende principes van het project. Deze dienen als kader voor de presentatie in de hoofdstukken daarna, over de activiteiten die ondernomen zijn, de ervaringen en de resultaten. Tot slot worden er conclusies en aanbevelingen gegeven in het laatste hoofdstuk van het rapport.

6.2 Plan van aanpak 6.2.1 Uitgangspunten Het onderzoeksproject kent een drietal uitgangspunten: • het effectonderzoek dient praktijkgestuurd te zijn, • effecten worden toegeschreven aan zorgmodules of interventies die via een effectladder in opklimmende mate als effectief kunnen worden beoordeeld, • het Model voor Inhoudelijke Management Informatie geeft hiervoor een overkoepelend kader. 6.2.2 Praktijkgestuurd effectonderzoek Praktijkgestuurd effectonderzoek is te definiëren als: ‘onderzoek waarin onderzoekers en behandelingsfunctionarissen gezamenlijk optrekken, met het doel informatie te verzamelen waarmee het effect van het praktisch handelen van een individuele behandelingsfunctionaris, een groep van behandelingsfunctionarissen, een instelling of groep van instellingen nader verhelderd en getoetst wordt. Hierdoor verbetert het werk van de betrokken behandelfunctionarissen of instellingen en dit kan tevens ten opzichte van buitenstaanders gelegitimeerd worden’.71 Het praktijkgestuurde effectonderzoek kent drie principes: 1. Aansluiten bij wat er al aan zorgaanbod (modules, interventies) is ontwikkeld. 2. Inbedding van onderzoeksprocedures en -instrumenten in het aanbod zelf. Deze komen soms bovenop de reeds uitgevoerde behandelingsactiviteiten, maar worden bij voorkeur een onderdeel van. Dit vermindert de last van het onderzoek voor de 70

Veerman, J.W. (1998). Meten en weten in jeugdzorg. Een pleidooi voor bruikbaarheidsonderzoek. Kind en Adolescent, 19, 343-357. 71 Veerman, J.W., & Yperen, T.A. van (2006). Wat is praktijkgestuurd effectonderzoek? In T.A. van Yperen & J.W. Veerman (red.), Zicht op effectiviteit. Bronnenboek voor praktijkgestuurd effectonderzoek in de jeugdzorg. Deel I (blz. 7-19). Utrecht/ Nijmegen: NIZW/ Praktikon.

167

uitvoerend werkers, men heeft er baat bij. Hiermee kan ook de uitvoering verder geprofessionaliseerd worden, uitvoerders krijgen tools in handen. 3. Benutting van onderzoeksresultaten op individueel niveau (bijvoorbeeld in de vorm van profielen) en op een hoger niveau van afdelingen of sectoren (ook tussentijds, bijvoorbeeld per halfjaar). Hiermee gaat het onderzoek leven voor functionarissen op verschillende niveaus, men kan iets met de resultaten. Direct nut op de werkvloer is één van de beste garanties voor een geslaagde implementatie. Op deze wijze kan het meten ven effecten niet alleen antwoord geven op onderzoeksvragen, maar ook onderdeel worden van de systematiek van kwaliteitszorg binnen de instelling en bijdragen aan een continue routinematige monitoring van de kwaliteit van de zorg. Populair gezegd: effectonderzoek begint en eindigt bij jezelf en wordt uitgevoerd door en voor de werkers Model

Het Model voor Inhoudelijke Management Informatie (MIMI) is ontwikkeld om leidraad te hebben om te meten aan het primaire proces. Tevens wil het een kader bieden voor een integratie van uitkomsten van diverse projecten.7273 Figuur 1 toont dit model.

DOELGROEP

HULPVERLENING

RESULTAAT

Problematiek

Modules/bejegening

Behaalde doelen

CBCL NOSI Administratieve data

Modules C-toets Eenzijdige beëindiging

CBCL NOSI Doelrealisatie

Figuur 1. Model voor Inhoudelijke Management Informatie (MIMI)

De basisaanname van het MIMI (ook wel zorgevaluatiemodel genoemd) is dat een effectief zorgaanbod in jeugdzorg in essentie bestaat uit het uitvoeren van bedoelde interventies bij een beoogde doelgroep met het oog op het bereiken van gewenste uitkomsten. De triade doelgroep-interventie-uitkomst vormt de inhoud van het zorgaanbod. De doelgroep is in de regel een specifiek aan te duiden groep kinderen en gezinnen met bepaalde te benoemen problemen. In de regel zal het bij aanmeldingen in de jeugdzorg gaan om kinderen met gedragsproblemen en gebrekkige sociale competenties die niet zelden het gevolg zijn van ondergane risicofactoren in de directe of wijdere omgeving, zonder dat daar beschermende factoren tegenover stonden. De interventies bestaan uit een serie samenhangende, nader te benoemen behandelactiviteiten, soms specifiek en soms globaal. Interventies zullen veelal als zorgmodules geformuleerd zijn. Deze kunnen gestapeld (meerdere modules tegelijkertijd) of geschakeld (modules na elkaar) worden in het kader van 72

Veerman, J.W. (2007). Een zorgevaluatiemodel als kader voor onderzoek in de praktijk van de jeugdzorg. Nijmegen: Praktikon. 73 Dronkers, F. (2005). Hoe weet je dat het werkt? MIMI, Model voor Inhoudelijke Management Informatie, systematisch en eenvoudig te meten in de praktijk. Jaarverslag 2004, Alkmaar: Parlan.

168

de zorgaanspraken Jeugdhulp, Verblijf, of Observatie-diagnostiek. Uitkomsten betreffen in de regel het beloop (afname problematiek, toename competenties), gerealiseerde doelen en klanttevredenheid. De uitkomsten hebben te maken met afname van problemen en toename van competenties op de korte termijn en intrede in ‘normale’ scholings- en werktrajecten op langere termijn. Bejegening, gemeten met de C-toets, slaat op de wijze waarop de cliënt tegemoet wordt getreden: sluit dit voldoende aan bij de vraag van de cliënt, wordt er voldoende betrokkenheid en respect getoond? Ten aanzien van de bejegening wordt verondersteld dat dit naast de specifieke modules als een algemeen werkzame factor van positieve invloed is. Effectladder

Vaak wordt er bij onderzoek naar evidence based behandelingen stilzwijgend vanuit gegaan dat dit de vorm van een randomized controlled trial (RCT) zal hebben, of althans dient te hebben. Hoewel dit type onderzoek het uiteindelijke bewijs (evidence) oplevert voor de effectiviteit van een interventie, is het uitvoeren hiervan in de praktijk van de zorg om praktische en ethische redenen vrijwel onmogelijk. Dit geldt nog sterker als het om een nieuwe of nog niet goed geëxpliciteerde interventie gaat, die als het ware eerst nog moet rijpen of verhelderd moet worden om de test van een RCT te doorstaan. Veerman en Van Yperen74 stellen voor onderzoek dat (nog) niet aan de RCT-eisen voldoet een effectladder te hanteren met oplopende bewijzen voor effectiviteit. Tabel 1 toont deze verschillende graden van effectiviteit in hun onderlinge samenhang en de soorten onderzoek. Tabel 1. Niveaus van effectonderzoek (overgenomen uit Van Yperen & Veerman). Soort effect

Omschrijving

Soorten onderzoek

4. Werkzaam

Als 1 t/m 3, maar nu is er evidentie dat positieve uitkomsten veroorzaakt worden door de interventie en is er zicht op de werkzame ingrediënten Als 1 en 2, maar nu kan empirisch worden aangetoond dat de gestelde doelen zijn bereikt, problemen afgenomen en competenties toegenomen, en cliënten tevreden zijn

• Experimenteel onderzoek (RCT) • Herhaalde case studies (N=1 designs) --------------------------------------------------• Quasi-experimenteel onderzoek • Veranderingstheoretisch onderzoek • Normgerelateerd onderzoek --------------------------------------------------• Vooruitgangsonderzoek • Doelrealisatie-onderzoek • Cliënttevredenheidsonderzoek

Als 1, maar nu is er tevens een acceptabele interventietheorie die duidelijk maakt hoe de problemen van de doelgroep zijn ontstaan en waarom de interventie de beoogde uitkomsten zal bereiken De kernelementen van een interventie (doelgroep, interventie, uitkomsten) en de personele, organisatorische en materiële randvoorwaarden zijn duidelijk en begrijpelijk beschreven

• • •

Meta-analyse Literatuurstudie Kennisontlokkend onderzoek

• • • •

Descriptief onderzoek Observationeel onderzoek Documentanalyse Interviews

3. Doeltreffend

2. Veelbelovend

1. Potentieel

Opgemerkt dient te worden dat er op de eerste twee niveaus nog geen sprake is van empirisch onderzoek, er worden nog geen gegevens verzameld. Dat is op de hogere niveaus wel het geval. De hier getoonde effectladder sluit nauw aan bij de classificatie van de databank 74

Veerman, J.W., & Yperen, T.A. van (2006). Wat is praktijkgetuurd effectonderzoek? In T.A. van Yperen & J.W. Veerman (red.), Zicht op effectiviteit. Bronnenboek voor praktijkgestuurd effectonderzoek in de jeugdzorg. Deel I (blz. 7-19). Utrecht/ Nijmegen: NIZW/ Praktikon.

169

Effectieve Jeugdinterventies (www.jeugdinterventies.nl) en bij die van de Erkenningscommisie Justitiële Gedragsinterventies (www.minjus.nl/erkenningscommissie). Interessant voor onderzoek in de praktijk zijn de opties die net onder het experimenteel onderzoek liggen: herhaalde N=1 studies, quasi-experimenteel onderzoek waarbij een “natuurlijk” fenomeen als wachtlijsten creatief benut kunnen worden (stelling: gaan meten bij een wachtlijstgroep is al een minimale vorm van interventie), en veranderingstheoretisch onderzoek. Dit laatste type onderzoek sluit nauw aan bij de praktijk waar immers veelal vanuit een diagnostisch model wordt gewerkt waarin een meer of minder uitgesproken individuele theorie centraal staat die aangeeft hoe men denkt dat de problemen van dit kind en gezin in elkaar steken (ontstaanstheorie) en hoe de interventie hier iets aan zou kunnen veranderen (behandeltheorie). De behandeling dient dan om te toetsen of de theorie ook klopt, zo wordt ervaringskennis opgebouwd. Het verzamelen van individuele theorieën die ten grondslag liggen aan de behandeling via een bepaalde interventie levert de zorgaanbodtheorie waarover hiervoor werd gesproken. Deze kan getoetst kan worden op groepen behandelde kinderen en dit vormt de kern van het veranderingstheoretisch onderzoek. Populair gezegd: effectmeting begint in de modder van de praktijk en gaat stap voor stap naar meer objectief wetenschappelijke kennis. 6.2.3 Opzet en instrumenten De uitkomsten van de interventies betreffen drie onderdelen, te weten: - Doelrealisatie (Zijn de behandeldoelen gehaald?) - Cliënttevredenheid (Zijn de cliënten tevreden?) - Vermindering van de ernst van de klachten (Zijn de problemen verminderd?). Deze drie deelgebieden zijn tevens de drie belangrijkste landelijke prestatie-indicatoren, zoals die in 2006 door de landelijke werkgroep Prestatie-indicatoren Jeugdzorg zijn vastgesteld. Op het gebeid van doelrealisatie en cliënttevredenheid waren al een aantal nodige stappen gezet binnen Parlan. Vermindering van de ernst van de problemen was nog niet in gang gezet. Op dit gebied is dan ook in het afgelopen jaar (2007) ingestoken. In opdracht van de Raad van Bestuur is Onderzoek & Ontwikkeling van het Expertise Platform verantwoordelijk voor de implementatie van dit project. De functiegroep Onderzoek & Ontwikkeling bestaat uit twee gedragswetenschappers/ beleidsmedewerkers die het voortouw nemen in dit project. Onderzoek & Ontwikkeling probeert zo nauw mogelijk samen te werken met de afdelingen en verzorgt de communicatie naar en met de leidinggevenden en gedragswetenschappers. Alle afdelingen van Parlan nemen in principe deel aan het project Zicht op Effectiviteit en leveren hun bijdrage. Deze bijdragen verschillen echter sterk per hulpverleningsvorm, omdat het MIMI niet op elke afdeling op een zelfde manier toepasbaar is. Onderzoek & Ontwikkeling bespreekt per afdeling de al dan niet toegevoegde waarde van het inzetten van de hieronder genoemde instrumenten. Op grond hiervan komen we tot een besluit over de verdere stapsgewijze voortgang van het meten van de effectiviteit. Ook kan het zijn dat we samen met de afdeling op grond van inhoudelijke argumenten besluiten dat het inzetten van een bepaald instrumenten voor het betreffende aanbod niet zinvol is. Bijvoorbeeld de NOSI bij een crisisgroep en de CBCL bij een Intensieve Zelfstandigheids Training (IZT)75 aanbod. Doelrealisatie en het registreren van de eenzijdige beëindiging is voor iedereen verplicht. 75

Het IZT-aanbod is vergelijkbaar met kamertraining.

170

Om verandering te kunnen vaststellen zijn minimaal twee meetmomenten een vereiste, namelijk aan het begin en het einde van de behandeling. Het streven is om deze meetmomenten standaard te implementeren in de hulpverlening. In de afgelopen maanden hebben meerdere afdelingen de wil en intentie uitgesproken om te starten met nametingen, maar Parlan heeft het realiseren van twee meetmomenten nog niet systematisch geïmplementeerd in de hulpverlening. Bij de invoering van nieuwe hulpverleningsvormen wordt wel getracht om het MIMI volledig te volgen. De belangrijkste instrumenten van praktijkgestuurd effectonderzoek bij Parlan zijn: 1. Doelrealisatie voor de subjectieve bepaling van de mate waarin met de cliënt van te voren afgesproken behandeldoelen gehaald worden. Dit wordt gemeten door middel van een vierpuntsschaal die cliënt en hulpverlener samen in dialoog invullen. Door de mate van doelrealisatie te koppelen aan de daarvoor ingezette modules kunnen we op den duur mogelijk ook inzicht verwerven in de werkzaamheid van de ingezette module. De doelrealisatie wordt door elke afdeling gedaan, in die zin dat elke afdeling de behandeldoelen samen met de cliënt opstelt, evalueert en registreert. Doelrealisatie geeft meer sturing aan de hulpverlening, doordat de hulp meer rond te bereiken doelstellingen wordt geconcretiseerd. Daarnaast zorgt het voor een betere afstemming met cliënten over de in te zetten zorg. Tot slot maakt het niet alleen de resultaten zichtbaar voor de hulpverlener, maar ook voor de cliënt. Totnogtoe was er in het registratiesysteem slechts ruimte voor het registreren van tien ‘willekeurige’ doelen, waarvan we niet wisten waar die voor stonden. Gezien het feit dat we graag meer gedifferentieerde informatie willen hebben over welke doelen wel of niet gehaald worden, zonder dat we overstappen naar een ordeningssysteem, werken we sinds 1 juni 2007 met een nieuwe indeling. Deze indeling betreft doelen op kindniveau, gezinsniveau en op het gebied van school of werk. 2. De C-toets (cliëntentoets) is een vragenlijst die nagaat wat ouders en jongeren vinden van onze hulpverlening. Door middel van stellingen wordt geïnformeerd naar contact en bejegening, professionaliteit, informatie en voortgang en doel en resultaat. Het is een doeltreffend instrument om (naast meningen van ouders en jongeren te verzamelen) cliëntenparticipatie vorm te geven. Het is de bedoeling om net zoals met het stellen van doelen en doelrealisatie de dialoog met de cliënten aan te gaan en hierdoor afstemming tussen hulpverleners en cliënten te bereiken. De samenwerkingsrelatie tussen hulpverlener en cliënt staat hierin centraal. Dit draagt o.a. weer bij aan de algemeen werkzame factoren van de hulpverlening. De toetsing vindt in principe instellingsbreed en anoniem plaats tijdens het hulpverleningsproces. De Ctoets is eind 2006/begin 2007 instellingsbreed afgenomen en in het Centraal Management Overleg (CMO) is besloten dit minimaal één keer in de drie jaar te doen. 3. CBCL (Child Behavior Check List) voor de bepaling van de aard en zwaarte van de problematiek van de doelgroep. Door middel van de combinatie van een vooren nameting kan een evaluatie van de effectiviteit (afname kindproblematiek) plaatsvinden. Op dit moment nemen bijna afdelingen – m.u.v. de IZT’s – de CBCL af bij alle kinderen die worden opgenomen. Bij de crisisgroepen is onlangs in gezamenlijkheid besloten om geen CBCL-afname meer te doen. Bij een aantal afdelingen wordt de Youth Self Report (YSR, bij jongeren van 12 tot 18 jaar) ingezet. 4. NOSI (Nijmeegse Ouderlijke Stress Index) is een meetinstrument waarmee de stressbeleving van ouders in de opvoeding van een kind vastgesteld kan worden. Door middel van vooren nameting kan een evaluatie van effectiviteit (afname ouderlijke stress) plaatsvinden. In 2007 maken een aantal afdelingen een start met de afname van

171

de NOSI, waaronder de ambulante hulpvormen, de MKD’s en Boddaerts, de residentiele behandelgroepen van 3-12 jaar en mogelijk ook de residentiele behandelgroepen vanaf 12 jaar. 5. Tot slot kan naar de mate van eenzijdige beëindiging van de cliënt gekeken worden, omdat dit kan worden beschouwd als het resultaat van een gebrekkige afstemming tussen hulpverleners en cliënten over de hulpverlening. Een gebrek aan afstemming kan een indicator zijn dat er minder vraaggericht wordt gewerkt en er meer aandacht besteed dient te worden aan de algemeen werkzame factoren van de hulp. De mate van eenzijdige beëindiging wordt voor elke afdeling bijgehouden. 6.2.4 Afnameprocedure Alle meetinstrumenten worden op afdelingsniveau gebruikt om gegevens te verzamelen. In de meeste gevallen zorgt de gedragswetenschapper voor afname en verwerking van de vragenlijsten en het evalueren van de doelen in een evaluatiebespreking, maar op sommige afdelingen worden ook de uitvoerend medewerkers hiervoor ingezet. Ten tijde van de start van het project zorgden de registratiemedewerkers op de afdelingen ervoor dat de scores van de doelrealisatie, CBCL en beëindiging in het registratieprogramma werden geregistreerd. Omdat dit programma geen ruimte biedt voor de nametingen en de NOSI, is Parlan per 1 juni 2007 overgestapt op een nieuwe registratiemethode. Verschillende overwegingen heeft Parlan doen besluiten om het BergOp programma de aankomende 1,5 jaar niet aan te schaffen. Kort gezegd was het belangrijkste argument dat de hoge kosten voorlopig niet opwegen tegen het rendement. Gezien het feit dat de registratiemedewerkers bij afsluiting van de hulpverlening een cliëntregistratieformulier invullen, heeft Parlan ervoor gekozen om hier extra velden aan toe te voegen voor de scores op de vragenlijsten en doelrealisatie. De scores worden door Cliënten Informatie Beheer (CIB) geregistreerd en beheerd in een Excelbestand. Onderzoek & Ontwikkeling kan op elk gewenst tijdstip de scores op alle metingen opvragen. Er is sprake van een nauwe en goede samenwerking tussen CIB en Onderzoek & Ontwikkeling in het verkrijgen van de effectiviteitcijfers.

6.3 Proces Na vraaggericht werken staat ‘doen wat werkt’ en resultaatgericht meten aan de hulpverlening hoog op de agenda van Parlan. Een belangrijk doel van dit project was om van het meten van effecten geen geïsoleerde onderzoeksactiviteit te maken, maar om van dit meten een vast onderdeel te maken in het behandelproces. Het welslagen van dit project hangt dan ook voor een groot deel af van de mate waarin dat gelukt is. Hiervoor was het nodig om van begin af aan in te steken op een cultuuromslag bij Parlan, bij alle lagen van de organisatie. Iedereen doet zijn werk zo goed mogelijk, maar om dat steeds beter te kunnen doen is het noodzakelijk dat iedereen aandacht voor effectiviteit heeft. Dan weet men of wat men doet ook werkt en als gevolg hiervan kunnen de medewerkers het hulpverleningsaanbod verbeteren.

172

6.3.1 Activiteiten Om de afspraken, die gemaakt zijn om meer zicht te krijgen op effectiviteit, te behalen zijn de volgende activiteiten ondernomen: Communicatie - mei 2006 aansluiting Zicht op Effectiviteit - in verschillende overlegvormen (beleidsoverleg, R/SMT’s, CMO, GWO) werd toelichting gegeven - referaat over Zicht op Effectiviteit door Onderzoek & Ontwikkeling - servicegericht en vraaggericht schriftelijk en mondeling ingaan op de verschillende vragen van afdelingen - schriftelijke communicatie over de onderwerpen via brieven en mails - regelmatig berichten op intranet en in de nieuwsbrief ‘O0hzitdatzoO’ Betrekken van afdelingen - in 2007 bezocht Onderzoek & Ontwikkeling alle afdelingen om resultaten terug te koppelen, om over benutting van de gegevens te praten en te bespreken hoe dit onderwerp zich op afdelingsniveau verder kan ontwikkelen. Dit heeft veel bijgedragen aan de besproken cultuuromslag. Het onderwerp is op de verschillende afdelingen meer gaan leven, er ontstaat meer interesse en ambitie om verder te gaan met dit onderwerp. C-toets - eind 2006/begin 2007 is de C-toets over heel Parlan afgenomen, Onderzoek & Ontwikkeling deed de coördinatie en verwerking van resultaten. Registratie - om te kunnen starten met de NOSI en nametingen van de CBCL is de registratiemethode aangepast. Modularisering - om alle modules hoger op de effectiviteitsladder te laten staan is het nodig om bij Parlan het moduleboek goed onder de loep te nemen. Een aantal modulebeschrijvingen van modules die al bij Parlan werden uitgevoerd zijn van de databank Effectieve Jeugdinterventies gehaald (www.jeugdinterventies.nl) en er is een begin gemaakt met het samenvoegen van vergelijkbare modules en het herschrijven en aanpassen van bestaande modules. Zo is er een modulebeschrijving voor de ambulante medewerkers gemaakt en worden de pleegzorgmodules momenteel herschreven. Het aanpassen van de modules is wegens de grootte van de klus een meerjarig proces. Overleg met collega-instellingen - Effectiviteitsplatform van het landelijke project Zicht op Effectiviteit. Binnen het platform wisselen een tiental instellingen, waaronder Parlan, informatie met elkaar uit over de implementatie van onderzoek en dataverzameling binnen de instelling. Het platform komt maandelijks bij elkaar onder leiding van Collegio. Dit zijn inspirerende bijeenkomsten. Door onze deelname weten we welke instellingen waar mee bezig zijn, zodat we ook buiten de vergadering om elkaar kunnen benaderen met nog vragen en om ervaringen uit te wisselen.

173

6.3.2 Ervaringen met het werken met vragenlijsten Bij een drietal medewerkers hebben we een kort interview afgenomen met de volgende centrale vraag als uitgangspunt: Parlan heeft besloten meer aandacht te besteden aan het onderwerp “aandacht voor effectiviteit”, wat vind je daarvan? Interviews met medewerkers Jacqueline Koel

Leidinggevende van Samen Anders (behandelgroep waarbij jongeren, in de leeftijd van 12 tot en met 17 jaar vier maanden worden opgenomen en vervolgens drie maanden intensief ambulant behandeld.) “Al vanaf dag één dat ik hier in dienst kwam vond ik het belachelijk dat wij enorm veel geld krijgen van de overheid om zorgaanbod te leveren aan kinderen en jongeren en dat aan het eind van de rit niemand vraagt of het zin gehad heeft.We doen ontzettend veel wat betreft meten, ook al omdat Samen Anders nog een relatief nieuw aanbod is. Doelrealisatie is een meetinstrument wat in grote lijnen inzichten geeft in wat je in je samenwerking met de systemen hebt bereikt ten aanzien van de doelen in het hulpverleningsplan. Met het verlopen van de tijd ‘vergeten’ de ouders soms hoe het was toen ze met de hulpverlening startten. Door de doelrealisatie aan het eind van het traject te doen kun je met elkaar goed stilstaan bij de (hopelijke) vooruitgang. Naast positieve kanten zit er ook een andere kant aan. Feit is dat het beeld een flinke vertekening kan geven. We hebben wel meegemaakt dat op papier de doelen bijna allemaal behaald waren maar dat kort na afloop van de hulp bleek dat er in het gezin van alles en nog wat misliep. CBCL en YSR: vooren nameting. We laten de uitslagen van de voormeting soms terugkomen in de gezinsgesprekken. Met de nameting doen we zelf (nog) niet veel. NOSI: we zijn begonnen met de NOSI vooren nameting. We hebben er hoge verwachtingen van, ook om het in het hulpverleningsproces te gebruiken. C-toets en BESTE : gebruiken we als exit instrument. Dat hebben we vanaf het begin al gedaan. We hebben er heel veel van geleerd en naar aanleiding van de feedback verbeteringen doorgevoerd. We communiceren dit ook terug met de ouders, en zien het als gratis informatie. Zoals wij het gebruiken is het dus niet anoniem. Volgens mij is dat geen probleem. De relatie moet zodanig zijn dat ouders, maar ook jongeren kunnen zeggen wat ze vinden. Als dat niet kan, kun je al vraagtekens zetten bij je hulpverleningsrelatie.” Ans Westeneng

Leidinggevende van de afdeling Jeugdhulp Thuis (de ambulante afdeling die de volgende modules leveren: Families First (FF), Intensieve Ambulante Gezinsbegeleiding (IAG), Gezinsbehandeling, Video Home Training (VHT) en Video Interactie Begeleiding (VIB). “Aandacht voor effectiviteit heeft meerdere kanten. Vanuit de overheid, onze financiers, wordt de vraag naar evidence based programma’s steeds groter. Ik ben daar op zich voorstander van. Maar er zit ook een groot kostenplaatje aan vast en dat realiseert men zich niet altijd. Veel mooie initiatieven ontstaan en ontstonden puur op enthousiasme. Neem het buurtvader project. Geen evidence based programma. Nu dat een tijd draait en de problemen in de buurt niet voldoende worden opgelost begint de kritiek “Werkt het wel etc.” Achteraf zeg je, er had meteen een goed volgsysteem op moeten zitten, nu kunnen ze in feite niets laten zien en je weet niet echt of het werkt. Een gemiste kans dus. Doelrealisatie wordt bij al ons aanbod gedaan. Bij de Intensieve Ambulante Gezinsbegeleiding hebben we nu

174

stelselmatig de C-toets als exit instrument ingevoerd. Dat het niet anoniem is, vind ik geen probleem. Bij het laatste gesprek, sluiten we alles af, de laatste rapportage, doen we ook symbolisch het dossier dicht en dan zeggen we, “we hebben onze hulp afgesloten, maar toch willen we jullie nog vragen deze Cliëntentoets voor ons in te vullen zodat we met jullie opmerkingen kunnen kijken of we ons aanbod en werkwijze verder kunnen verbeteren”. Onze ervaring is dat mensen zich vrij voelen om alles op te schrijven, zeker de jongeren. Met de NOSI zijn we nog niet gestart. Maar we gaan er zeker mee werken en inzetten als vooren nameet instrument. Op dit moment zijn we de NOSI aan het bestuderen en met elkaar aan de praat hoe we die het beste in het hele traject kunnen inzetten. De CBCL gebruiken we ook, niet standaard. De ambulante modules lijken meer baat te hebben bij een vooren nameting met de NOSI. Soms is de CBCL al door Bureau Jeugdzorg afgenomen, dan doen we het als voormeting niet opnieuw. De nameting doen we ook niet standaard, alleen op indicatie. Bij Families First (crisisvariant) wordt de CBCL niet gebruikt. FF wordt vanuit de certificering sowieso al intensief gevolgd.” Nicolette Vach

Gedragswetenschapper bij Antonius (verblijf 24-uurs) voor de observatiegroep de Spetters van 6 t/m 12 jaar en de observatie/behandelgroep de Pinoos van 3 t/m 7 jaar). “Daar ben ik het mee eens!! Het geeft meer inzichten in wat je doet. Het houdt je scherp en kritisch met waar je mee bezig bent. Hoewel men nog niet goed weet hoe je effectiviteit in cijfers kunt vangen, is het streven ernaar wel belangrijk. Op dit moment doe ik een opleiding gedragstherapie en daar komt het onderwerp “evidence based”, weten wat je doet (procedure) en de werking ervan (proces), ruim aan de orde. Eigenlijk kom je het steeds meer en overal tegen. Je kunt er niet meer omheen. Ik ben het er mee eens dat we helder en transparant moeten zijn voor onze cliënten en ook voor onze financiers. Ik ben begonnen met het afnemen van de NOSI bij mijn observatieplaatsingen. Ik vind het een nuttige lijst, de onderwerpen die ernaar voren komen, komen overeen met de onderwerpen die als probleemonderwerpen in de gesprekken met ouders/gezinnen naar voren komen. Ze sluiten erbij aan en ondersteunen ze. Het gaat hier allereerst om gezinsdiagnostiek. Ik ben nog aan het zoeken hoe ik ze het best kan gebruiken. Zelf denk ik dat ik het beste de info kan hebben voor het afstemmingsgesprek. Dan kan ik en de gezinsbehandelaar de informatie meenemen bij het verder uitwerken van de observatievragen.NOSI als nameting is zinvol om te kijken of ouders er na een aantal gesprekken anders (positiever het liefst ) constructiever tegen aan kijken. Ik heb ook enkele kinderen in behandeling. Daarbij heb ik de NOSI nog niet gebruikt. Vooren nameting lijkt me daar zeker zinvol. Wat betreft de CBCL: het belang ervan voor het primaire proces zie ik minder. Het geeft wel informatie, maar het is toch de subjectieve beleving van de ouders. In de NOSI zie ik voor het primaire proces meer mogelijkheden. De doelrealisatie is ook duidelijk gericht op effectiviteit en transparantie waar je met zijn allen (vraaggericht) mee bezig bent. Het houdt het inzichtelijk, ook als het niet zo’n vaart loopt zoals bij onze doelgroep. Het houdt je scherp hoe klein de stappen moeten zijn in het proces.”

175

6.4. Resultaten 6.4.1 Respons De dataverzameling van de CBCL voormetingen is per 1 januari 2005 begonnen. Vanaf dat moment is aan alle cliënten of hun ouders bij wie de hulp van start ging, gevraagd om de CBCL in te vullen. Om het doel van de vragenlijsten te kunnen toelichten en in te kunnen gaan op vragen van cliënten, heeft het de voorkeur om de vragenlijsten bij voorkeur persoonlijk te overhandigen. De ervaring leert dat dit ook de hoogste respons oplevert. Tabel 1. Respons van de CBCL per behandelvorm. Behandelvorm Aantal gestarte behandelingen Daghulp 1,5-7 jaar 111 Daghulp 6-15 jaar 87 Daghulp 12-18 jaar 35 Behandelgroepen residentieel 42 3-12 jaar Behandelgroepen residentieel 63 12-18 jaar Leefgroepen 12-18 jaar 61 Samen Anders 18 Jeugdhulp Thuis excl. FF 243 Crisisaanbod 403 Totaal excl. Crisis76 660

Aantal CBCL’s geregistreerd 55 69 22 18

Respons CBCL %

25

40%

16 11 72 56 344

26% 61% 30% 14% 52%

50% 79% 63% 43%

De doelrealisatie is voor alle cliënten per 1 januari 2006 begonnen. Vanaf dat moment werden bij alle afdelingen in dialoog met cliënten realistische en haalbare einddoelen van de hulp vastgesteld en genoteerd in het hulpverleningsplan. Dit sloot ten tijde van de invoering naadloos aan bij het vraaggericht werken. Sindsdien wordt bij Parlan in dialoog met cliënten bij afsluiting van de hulpverlening geëvalueerd in welke mate de einddoelen zijn gehaald. Dit wordt vastgesteld door de einddoelen te scoren op een vierpuntsschaal, lopend van ‘slechter dan beginniveau, beginniveau, deels gehaald tot gehaald’, waarbij een extra optie is toegevoegd voor een situatie waarin er geen overeenstemming is tussen cliënt en hulpverlener, waardoor geen score toegekend kan worden. De scores worden vastgelegd in het eindverslag en overgenomen in Care4. De mate waarin deze scores daadwerkelijk geregistreerd werden (verder te noemen registratierespons), zijn opgenomen in onderstaande tabel.

76

Om inhoudelijke argumenten is ervoor gekozen om de CBCL niet meer bij de crisisgroepen af te nemen.

176

Tabel 2. Respons van de doelrealisatie per behandelvorm Behandelvorm Aantal afgesloten Aantal keer behandelingen doelrealisatie geregistreerd Daghulp 1,5-7 jaar 83 34 Check mkd alkmaar Daghulp 6-15 jaar 73 43 Daghulp 12-18 jaar 52 23 Behandelgroepen 42 23 residentieel 3-12 jaar Behandelgroepen 58 29 residentieel 12-18 jaar Leefgroepen 12-18 jaar 67 6 Samen Anders 18 14 Jeugdhulp Thuis excl. FF77 146 78 Crisisaanbod 405 29 IZT’s 57 12 Totaal excl. crisis 595 262

Respons doelrealisatie % 41% 59% 44% 49% 50% 21% 78% 53% 7% 21% 44%

Als we de vuistregel hanteren die door Veerman en Roosma78 gegeven wordt op basis van praktijkonderzoek, dan kan een respons van lager dan 60% bij voormeting als slecht worden gekwalificeerd, een respons van 60 – 74% kan worden gekwalificeerd als matig, een respons van 75 – 89% als redelijk en een respons van 90% of hoger als goed. Uitgaand van deze definities kan de respons voor zowel CBCL als doelrealisatie binnen Parlan helaas slecht worden genoemd. Dit is dus zeker een aandachtspunt. Uit de gesprekken met de afdelingen is gebleken dat de CBCL én doelrealisatie wel in bijna alle gevallen wordt afgenomen en geïnterpreteerd, maar dat op een aantal afdelingen de registratie niet voldoende loopt en in de routine is opgenomen, waardoor niet alle gegevens binnenkomen. Op navraag van Onderzoek & Ontwikkeling zijn een aantal gegevens wel aangevuld, waardoor de respons omhoog is gegaan. In november 2006 is voor de eerste keer sinds de invoering van de doelrealisatie de respons opgevraagd. Destijds was de respons 9%. We zitten dus in een stijgende lijn, maar die dient zich voorlopig wel door te zetten om de resultaten eenduidig te kunnen interpreteren. Het opzetten van een goede onderzoeksinfrastructuur79 met een passende onderzoeksopzet en onderzoeksprotocol per afdeling heeft duidelijk de aandacht nodig. Gezien het feit dat de responspercentages per afdeling sterk verschillen dient de procesbewaking per afdeling plaats te vinden (zie hiervoor verder de conclusies en aanbevelingen). Per 1 juni 2007 is Parlan wegens de beperkte registratiemogelijkheden van Care4 overgestapt op een nieuwe registratiemethode. De cijfers die sindsdien verzameld zijn, zijn niet verwerkt in bovenstaande tabel. We hopen natuurlijk dat de respons van de CBCL hierdoor omhoog gaat.

77

De gezinsbehandeling van JHT registreert goed, de systeemconsulenten die voor de regio’s en sector werken registreren niets. 78 Veerman, J.W., & Roosma, D. (2006). Wat komt er allemaal bij kijken? Onderzoekslogistiek in de praktijk van de jeugdzorg. In: T.A. van Yperen & J.W. Veerman (Red.). Zicht op effectiviteit. Bronnenboek voor praktijkgestuurd effectonderzoek in de jeugdzorg. Deel III. Utrecht / Nijmegen: NIZW / Praktikon. 79 Veerman, J. W., & Roosma, D. (2006). Wat komt er allemaal bij kijken? Onderzoekslogistiek in de praktijk van de jeugdzorg. In: T.A. van Yperen & J.W. Veerman (Red.). Zicht op effectiviteit. Bronnenboek voor praktijkgestuurd effectonderzoek in de jeugdzorg. Deel III. Utrecht / Nijmegen: NIZW / Praktikon.

177

6.4.2 Resultaten CBCL Om de uitkomsten op de CBCL te berekenen is gebruik gemaakt van deviatiescores. Deze worden als volgt berekend. Van de CBCL zijn Nederlandse populatienormen beschikbaar. Daardoor is het mogelijk bij iedere cliënt uit te rekenen hoeveel deze score afwijkt van het landelijk gemiddelde binnen de normgroep. Door deze afwijkingsscore te delen door de standaardafwijking van de landelijke scores ontstaat de zgn. normatieve deviatiescore. Wanneer de deviatiescore 0 is, betekent dit dat de behaalde score gelijk is aan – oftewel niets afwijkt van – het landelijk gemiddelde. Een deviatiescore van +1 betekent dat de score één standaardafwijking boven het landelijk gemiddelde ligt. Dit houdt per definitie in dat slechts 15% van de bevolking hoger scoort (of lager in geval van een score van -1). Om de deviatiescores makkelijk te kunnen interpreteren wordt de volgende tabel gebruikt80: Tabel 3. Interpretatie van deviatiescores. Deviatiescore

Percentielscore

Label

Betekenis

> 1,96

> 97,5%

Problematiek verdient behandeling

1,65 - 1,96

95% - 97,5%

Zeer ernstige problemen Ernstige problemen

1,29 - 1,64

90% - 95%

Aanzienlijke problemen

0,80 - 1,28

79% - 90%

Matige problemen

Problematiek verdient aandacht

< 0,80

< 79%

Geen problemen

Geen problemen van betekenis

Het voordeel van het gebruik van deviatiescores is dat de uitkomsten van verschillende vragenlijsten onderling vergelijkbaar zijn. Deviatiescores hebben voor alle vragenlijsten dezelfde betekenis. Wanneer Parlan dus meer gegevens verzameld heeft met de NOSI, kunnen de scores op de CBCL en NOSI met elkaar vergeleken worden. Zo kan de mate van gedragsproblemen (CBCL) vergeleken worden met de mate van gezinsproblemen (NOSI) en kan een uitspraak gedaan worden over waar het zwaartepunt van de problemen ligt. Onderstaande tabellen (4, 5 en 6) geven een overzicht van de zwaarte van de problemen bij de verschillende doelgroepen van Parlan, uitgesplitst voor internaliserende, externaliserende en totaalproblematiek. Tabel 4. Mate van internaliserende problemen per behandelvorm, in percentages cliënten die in een bepaald gebied vallen. Behandelvorm Gem. Geen Matig Aanzienlijk Ernstig Zeer deviatiescore problemen ernstig Daghulp 1,5-7 jaar 1,29 36 4 24 7 29 Daghulp 6-15 jaar 1,31 33 9 19 10 29 Daghulp 12-18 jaar 1,33 36 14 18 18 14 Behandelgroepen 1,78 0 17 17 33 33 residentieel 3-12 jaar Behandelgroepen 1,50 28 4 12 16 40 residentieel 12-18 jaar Leefgroepen 12-18 1,15 38 6 19 13 25 jaar Samen Anders 1,58 27 0 18 9 45 Jeugdhulp Thuis excl. 1,1 33 10 24 17 17 FF

80

Veerman, J. W. (2006). Methoden voor kwantificeren en toetsen van effecten. In: T.A. van Yperen & J.W. Veerman (Red.).

Zicht op effectiviteit. Bronnenboek voor praktijkgestuurd effectonderzoek in de jeugdzorg. Deel III. Utrecht / Nijmegen: NIZW / Praktikon.

178

In onderstaande figuur is te zien welk percentage van de cliënten aanzienlijke problemen of erger heeft, als het gaat om internaliserende problematiek. 90 80 70 60 50 40 30 20 10 0

1,5-7 ulp 6-15 lp 12-18 ieel 3-12 el 12-18 en 12-18 n Anders ulp Thuis h hulp e hu g ep dh ntie ent a Dag D Dag Sam efgro Jeug resid el reside e l L e d n nd Beha Beha Figuur 1. Mate van internaliserende problemen per behandelvorm, in percentages cliënten die in een bepaald gebied vallen.

Tabel 5. Mate van externaliserende problemen per behandelvorm, in percentages cliënten die in een bepaald gebied vallen. Behandelvorm Gem. Geen Matig Aanzienlijk Ernstig Zeer deviatiescore problemen ernstig Daghulp 1,5-7 jaar 1,34 35 7 20 5 33 Daghulp 6-15 jaar 1,48 35 4 14 9 38 Daghulp 12-18 jaar 1,90 18 9 14 14 45 Behandelgroepen 2,08 0 6 22 11 61 residentieel 3-12 jaar Behandelgroepen 2,19 8 4 4 16 68 residentieel 12-18 jaar Leefgroepen 12-18 1,43 38 0 6 25 31 jaar Samen Anders 2,02 9 0 9 18 64 Jeugdhulp Thuis excl. 1,52 25 7 6 21 42 FF

179

In onderstaand figuur is te zien welk percentage van de cliënten aanzienlijke problemen of erger heeft, als het gaat om externaliserende problematiek. 100 90 80 70 60 50 40 30 20 10 0 1,5-7 ulp 6-15 lp 12-18 ieel 3-12 el 12-18 en 12-18 n Anders ulp Thuis h hulp p e hu g dh ntie ent a Dag D groe Dag Sam side esid Jeug r e l r l e Leef e d d n n a Beh Beha Figuur 2. Mate van externaliserende problemen per behandelvorm, in percentages cliënten die in een bepaald gebied vallen.

Tabel 6. Mate van totaal problemen per behandelvorm, in percentages cliënten die in een bepaald gebied vallen. Behandelvorm Gem. Geen Matig Aanzienlijk Ernstig Zeer deviatiescore problemen ernstig Daghulp 1,5-7 jaar 1,33 36 2 16 13 33 Daghulp 6-15 jaar 1,53 25 4 16 16 39 Daghulp 12-18 jaar 1,64 23 9 18 18 32 Behandelgroepen 2,09 6 6 6 0 83 residentieel 3-12 jaar Behandelgroepen 1,99 8 8 4 20 60 residentieel 12-18 jaar Leefgroepen 12-18 1,46 31 0 13 6 50 jaar Samen Anders 1,94 9 9 9 9 64 Jeugdhulp Thuis excl. 1,39 25 8 13 11 43 FF

180

In onderstaand diagram is te zien welk percentage van de cliënten aanzienlijke problemen of erger heeft, als het gaat om totaal problematiek.

90 80 70 60 50 40 30 20 10 0 hulp Da g

1,5-7

hulp Dag

8 s 8 s 18 12 6-15 Thui 12-1 12-1 nder el 3l 12en A hulp hulp epen entie ntiee d m o e g r id a u s g id Dag S f e re J re s Lee ndel ndel Beha Beha

Figuur 3. Mate van totaal problemen per behandelvorm, in percentages cliënten die in een bepaald gebied vallen.

Uit bovenstaande tabellen en diagrammen is af te leiden dat de gedragsproblematiek bij aanvang van de hulpverlening aanzienlijk tot zeer ernstig is. De problematiek lijkt binnen de dagbehandelingsgroepen met de leeftijd toe te nemen. Bij de residentiele behandelgroepen is dit niet het geval. De problematiek van behandelgroepen residentieel 3-12 lijkt hier zwaarder te zijn dan de problematiek behandelgroepen residentieel 12-18 jaar. Daarnaast is het duidelijk te zien dat Samen Anders81 ook een doelgroep in huis heeft met relatief zwaardere gedragsproblemen. Volgens verwachting is de problematiek van de residentiele groepen zwaarder dan van de groepen in de dagbehandeling. De problematiek van Jeugdhulp Thuis ligt er tussen in. De oplettende lezer zal opmerken dat uit de tabellen en diagrammen valt af te leiden dat de gemeten gedragsproblematiek op de leefgroepen en de dagbehandelingsgroepen niet bij alle cliënten even hoog is. Sterker nog, men zou de conclusie kunnen trekken dat bij (ruim) éénderde van deze cliënten geen sprake is van zware gedragsproblemen. Hierbij dient echter de kanttekening geplaatst te worden dat we nu slechts conclusies over de doelgroep kunnen trekken op basis van de CBCL en dat dit een relatief eenzijdig beeld geeft. Het feit dat deze doelgroep wel geïndiceerd is voor de betreffende hulpverleningsvorm wil nog niet zeggen dat deze indicatie volstrekt afhankelijk is van de aanwezige kindproblematiek die door ouders wordt aangegeven. Mogelijkerwijs kunnen de gezinsproblemen bij deze groep cliënten meer op de voorgrond staan, die het noodzakelijk maken om deze kinderen op te nemen. Een meting met de NOSI kan inzicht geven in deze kwestie, door aan te tonen wat de mate van ouderlijke stress en belasting is. Doordat we echter nog niet de beschikking hebben over 81

Samen Anders is een behandelgroep waarbij de jongeren (12-17) 4 maanden worden opgenomen en aansluitend 3 maanden ambulante hulp krijgen.

181

NOSI-resultaten, kunnen we hierover geen uitspraken doen. Dit discussiepunt pleit voor een combinatie van een afname van de CBCL én NOSI, zodat we een vollediger beeld krijgen van de problemen van de doelgroep die bij aanvang in de hulpverlening aanwezig zijn. 6.4.3 Resultaten Doelrealisatie Om de resultaten op de doelrealisatie te berekenen is per afdeling het percentage berekend waarin de afdeling de doelen haalt, zoals die in het begin van een behandeling gesteld zijn. De percentages in onderstaande tabel geven dus aan hoeveel van het totaal aantal gestelde doelen de betreffende score kregen toegekend. Alle percentages zijn berekend op basis van de geregistreerde doelrealisatie van 1 januari 2006 t/m 31 mei 2007. Tabel 7. Mate waarin gestelde einddoelen behaald zijn, per behandelvorm. Behandelvorm Slechter BeginDeels Gehaald Onv. dan niveau gehaald Overeenbegin stemming Daghulp 1,5-7 jaar 0% 4% 25% 70% 0% Daghulp 6-15 jaar 0% 8% 36% 55% 2% Daghulp 12-18 jaar 2% 17% 31% 46% 4% Behandelgroepen 0% 10% 43% 43% 0,2% residentieel 3-12 jaar Behandelgroepen 4% 33% 32% 31% 0% residentieel 12-18 jaar Leefgroepen 12-18 13% 20% 40% 22% 0,2% jaar Samen Anders 4% 22% 36% 38% 0% Jeugdhulp Thuis excl. 1% 22% 43% 31% 2% FF Crisisaanbod (alleen FF 15% 12% 47% 26% 0% heeft geregistreerd)

In onderstaand figuur valt te zien hoeveel doelen deels gehaald of helemaal gehaald worden per afdeling. 100 90 80 70 60 50 40 30 20 10 0

) s s 8 8 3-12 6-15 12-18 1,5-7 Thui risis (FF nder 12-1 12-1 hulp Daghulp aghulp ndel res del res efgroep amen A gdhulp C g a D D S Le Jeu Beha Behan Figuur 4. Mate waarin gestelde einddoelen behaald zijn, per behandelvorm.

182

Hieruit valt af te leiden dat veel afdelingen de gestelde doelen deels of helemaal halen, maar dat er onderling toch sterke verschillen zijn. De daghulp groepen tot 15 jaar (MKD’s en Boddaert’s) scoren erg sterk op de doelrealisatie, evenals Antonius (behandel residentieel 312). De behandelgroepen die zich richten op de leeftijdsgroep van 12-18 (Klaas Groen, leefgroepen) halen het minst de doelen. Sterker, in 38% van de gevallen worden de doelen bij deze afdelingen niet gehaald. Samen Anders vormt voor deze leeftijdsgroep een positieve uitzondering, zij hebben positieve scores bij 74% van de gestelde doelen. Een mogelijke verklaring voor de behaalde resultaten is niet direct uit bovenstaande resultaten af te leiden. Mogelijkerwijs zijn de problemen bij de 12-18 jarigen zwaarder en weerbarstiger is dan bij de jongere doelgroep, waardoor minder doelen worden gehaald. Een andere denkbare situatie is dat de einddoelen voor deze doelgroep te ambitieus worden gesteld, en deze daardoor minder realistisch en haalbaar zijn. De hypothese over de zwaarte van de problemen wordt echter niet geheel ondersteund door de resultaten op de CBCL, waaruit bleek dat de residentiele behandelgroepen voor 3-12 jarigen ook gekenmerkt wordt door zeer ernstige kindproblematiek. Wellicht speelt de gezinsproblematiek bij de oudere leeftijdsgroep een grotere rol, wat een grote invloed kan uitoefenen op de behandelbaarheid van de jongere en het gezin. Het gegeven dat er op de ene afdeling meer einddoelen worden gehaald dan op de andere afdeling kan eenduidiger geïnterpreteerd worden als we de beschikking hebben over vooren nametingen. Dit geeft immers een combinatie van het subjectief beleefde resultaat door cliënten en hulpverleners, met een objectieve (gestandaardiseerde) maat voor het effect. Deze combinatie zal een beter en vollediger inzicht geven in de algehele effectiviteit van de verschillende afdelingen. 6.4.4 Resultaten C-toets De Cliëntentoets (C-toets) is eind 2006, begin 2007 bij heel Parlan afgenomen. In totaal zijn er 558 82 vragenlijsten verstuurd, waarvan 254 vragenlijsten zijn teruggekomen , dit betekent dus een respons van 46%! De respons was bij een vorige afname in 2003 19%, dus op het gebied van de respons is hierin een goede vooruitgang geboekt. Alle afdelingen kregen de resultaten van de C-toets op afdelingsniveau teruggekoppeld, zodat zij aan de slag konden met cliëntenparticipatie en verbeteracties. De gemiddelde resultaten van Parlan zijn vanzelfsprekend ook berekend: Ouders en jongeren (v.a. 12 jaar) hebben allen een rapportcijfer voor Parlan gegeven. Het rapportcijfer kan beschouwd worden als een globale indicatie voor de algemene tevredenheid. Ouders geven een 8,0 als rapportcijfer, jongeren zijn iets kritischer: zij geven een 7,5. Wat opvalt is dat ouders van kinderen (8,4) tevredener zijn dan ouders van jongeren (7,4). In vergelijking met 2003 zijn deze cijfers een stuk hoger, ook een mooi resultaat. Naast het resultaat dat de rapportcijfers verschillen voor ouders en jongeren hebben we ook gekeken naar de uitgesplitste rapportcijfers per zorgvorm. Hierin is onderscheid gemaakt in ambulant, semi-residentieel en residentieel, zie hiervoor onderstaande tabel. Tabel 8. Gemiddelde rapportcijfers uitgesplitst per zorgvorm. Zorgvorm Rapportcijfer Rapportcijfer Rapportcijfer ouders ouders van ouders van kinderen jongeren Ambulant 8,04 8,17 7,92 Semi-residentieel 8,47 8,54 8,20 Residentieel 7,07 7,77 6,87

82

Rapportcijfer jongeren 8,73 8,00 7,20

Dit is exclusief de vragenlijsten die voor Jeugdhulp Thuis verzameld werden, omdat dit de berekening van de respons lastig maakte.

183

Hieruit valt af te leiden dat de semi-residentiële zorgvorm als meest positief beoordeeld wordt, gevolgd door de ambulante en daarna de residentiële zorgvorm. Een mogelijke verklaring zou kunnen zijn dat cliënten in de residentiele zorgvorm al langer in de hulpverlening zitten en daardoor ontevredener raken. Dit bleek echter niet het geval, er was geen samenhang tussen het aantal jaren hulpverlening en tevredenheid. Een andere verklaring zou kunnen zijn dat de problematiek zwaarder en weerbarstiger is bij de residentiële zorgvorm. Deze hypothese sluit wel aan bij het lagere rapportcijfer dat ouders van jongeren geven en met het feit dat er minder doelen in de doelrealisatie worden gehaald bij de residentiële behandelgroepen voor jongeren van 12-18 jaar. Als we kijken naar waar Parlan goed op scoort en op welke vragen er minder wordt gescoord geven ouders aan dat ze het meest tevreden zijn over dat de medewerkers vriendelijk zijn, dat cliënten zich serieus genomen voelen, dat cliënten zich inzetten om de hulp tot een succes te maken en dat cliënten weten wat het doel van de hulp is. Ook jongeren zeggen zich serieus genomen te voelen, dat medewerkers vriendelijk zijn en dat hun hulpverlener hen helpt met hun problemen. Ouders zeggen minder goed te weten hoe ze een klacht moeten indienen en dat ze niet direct geholpen werden toen dat nodig was. Jongeren geven aan minder tevreden te zijn over de telefonische bereikbaarheid, dat ze niet direct geholpen werden toen dat nodig was, dat ze minder goed weten hoe ze een klacht moeten indienen en dat ze niet altijd de inhoud van hun hulpverleningsplan kennen. Dit zijn dus punten waaraan gedacht kan worden bij mogelijke verbeteracties. Concluderend kan gesteld worden dat ouders en jongeren de hulpverlening positiever beoordelen dan een paar jaar geleden en dat de tevredenheid van ouders en jongeren over het algemeen redelijk tot goed is. 6.4.5 Resultaten eenzijdige beëindiging Per hulpvorm is bekeken in hoeveel procent van de gevallen de hulpverlening eenzijdig beëindigd werd door de cliënt, zie hiervoor tabel 9. Tabel 9. Mate van eenzijdige beëindiging, uitgesplitst per zorgvorm. Behandelvorm Eenzijdige beëindiging door cliënt % Daghulp 1,5-7 jaar 2% Daghulp 6-15 jaar 7% Daghulp 12-18 jaar83 2% Behandelgroepen residentieel 3-12 jaar 0% Behandelgroepen residentieel 12-18 jaar 22% Leefgroepen 12-18 jaar 3% Samen Anders 6% Jeugdhulp Thuis excl. FF84 10% Crisisaanbod 9% IZT’s 14% Totaal 8%

Wat blijkt uit deze tabel is dat de percentages sterk verschillen per afdeling. Waar de semiresidentiële afdelingen relatief gezien een laag percentage van eenzijdige beëindigingen hebben, geldt dit niet voor de behandelgroepen residentieel voor 12-18 jarigen, de IZT’s en 83

In dit geval alleen Daghulp Klaas Groen De gezinsbehandeling van JHT registreert goed, de systeemconsulenten die voor de regio’s en sector werken registreren niets.

84

184

Jeugdhulp Thuis. Hier zijn de percentages van beëindigingen door de cliënt relatief hoog en zorgelijk te noemen. Bij deze afdelingen is nader onderzoek naar deze eenzijdig beëindigde cliënten vereist om deze cijfers eenduidig te interpreteren, om conclusies te kunnen trekken en om verbeteracties in te zetten. Dit kan zich richten op de aansluiting van de doelgroep op het aanbod, en op de mate waarin de categorie eenzijdige beëindiging goed wordt geïnterpreteerd door de gedragswetenschappers die dit ‘scoren’. Het onderzoek hiernaar is goed te verantwoorden in combinatie met de relatief zware doelgroepen van bepaalde afdelingen, de behaalde resultaten op de doelrealisatie en de hoge percentages eenzijdige beëindiging.

6.5 Conclusies en aanbevelingen 6.5.1 Conclusies Parlan heeft zich inmiddels 1,5 jaar geleden aangesloten bij de landelijke werkgroep Zicht op Effectiviteit. Sindsdien is effectiviteit een belangrijk onderwerp binnen Parlan geworden. Dit project heeft eraan bijgedragen dat het onderwerp niet alleen een intern onderwerp is waarvan het belang steeds meer wordt ingezien, maar ook dat Parlan zich hiermee aansluit bij landelijke ontwikkelingen met betrekking tot de prestatie-indicatoren van de jeugdzorg. Deze prestatie-indicatoren – die door het IPO, de MO-groep, het NJI (voorheen NIZW) en het voormalig ministerie van Justitie en VWS zijn opgesteld – beantwoordt aan de algemeen gevoelde noodzaak om de resultaten van de jeugdzorg systematisch in kaart te brengen. In het rapport over de prestatie-indicatoren85 worden twee kerndoelen genoemd waarin Parlan als zorgaanbieder een belangrijke rol speelt. Van ons als zorgaanbieder wordt immers verwacht dat we medeverantwoordelijk zijn voor ‘de mate waarin de hulpvragen van cliënten zijn beantwoord’ (kerndoel 1). De bijbehorende prestatie-indicatoren voor dit kerndoel zijn de mate van doelrealisatie, cliënttevredenheid en mate van reguliere beëindiging van de hulp. Daarnaast geldt het tweede kerndoel waarin ‘de autonomie van cliënten versterkt is’, waarvoor we moeten kunnen aangeven in hoeverre de ernst van de problematiek is verminderd. Het volledige systeem dient per 1 januari 2009 in de gehele jeugdsector ingevoerd te worden, zodat voorkomen kan worden dat elke instelling op zijn eigen manier zijn prestaties rapporteert. Parlan is door deelname aan het effectiviteitsonderzoek al ten dele voorbereid op en klaar voor de invoering van deze vier prestatie-indicatoren. Voor het willen weten wat werkt, welke resultaten er geboekt worden en wat we doen om deze te verbeteren was echter een flinke cultuuromslag nodig binnen Parlan. Systematisch meten aan de hulpverlening dient ‘normaal’ te worden gevonden, waarvoor alle lagen van de organisatie zich verantwoordelijk voor moeten voelen. Pas dan levert elke afdeling zijn bijdrage. Het implementeren van een goed onderzoeksklimaat en -protocol per afdeling vergt aandacht en tijd, en we zijn ons ervan bewust geworden dat dit een meerjarig proces is. Het belangrijkste uitgangspunt is dat het evalueren van de behandeling een geïntegreerd onderdeel van het primaire proces moet zijn. Hierdoor maakt het onderzoek deel uit van het hulpverleningsproces en zijn de metingen bovendien ondersteunend voor dit hulpverleningsproces, in het contact met cliënten. De inzet is dus dat de uitkomsten op de effectmetingen dus zowel op individueel niveau (in contacten met cliënten, bij het opstellen 85 Bonke, P., Schouten, J., Nota, P., Deijkers, E. Gransjean, M., Van Zorge, Y., Klijn, T., Posthumus, H., & Van Yperen, T. (2006). Prestatie Indicatoren Jeugdzorg. Naar een gezamenlijke integrale visie en implementatie. Een gezamenlijke uitgave van het Interprovinciaal Overleg (IPO), het Ministerie van Volksgezondheid, Welzijn en Sport, het Ministerie van Justitie, de MOgroep en het NIZW-Jeugd.

185

van behandelplannen, bij evaluatiebesprekingen) als op afdelings- en organisatieniveau benut worden (om succesvolle en minder succesvolle behandelingen te evalueren en bij te sturen). Met behulp van de uitkomsten kunnen vragen beantwoord worden als: • Wat zijn de kenmerken van onze doelgroep? • Zijn de cliënten tevreden over de behandeling? • Worden de gestelde doelen bereikt? Welke wel, welke niet? • Verminderen de klachten? Wat doen we met resterende problemen? • Zijn er verschillen tussen afdelingen met dezelfde methodiek? • Waar zijn we goed in, waarin minder? • Kunnen we bepaalde onderdelen van de methodiek verbeteren? Momenteel kunnen we constateren dat Parlan nog niet ver genoeg is om op al deze vragen antwoord te kunnen geven. Aangezien we vooralsnog alleen de beschikking hebben over voormetingen van de CBCL, kunnen we helaas nog geen uitspraken doen over of de problemen daadwerkelijk zijn verminderd. Eigenlijk kunnen we nu slechts iets zeggen over de doelgroep die we in huis hebben, en alleen gericht op de kindproblematiek. Gezien het feit dat we hulp aan zowel kind als gezin bieden, is het allicht interessant en belangrijk voor de afstemming van de hulpverlening om te weten wat voor gezinsproblematiek we in huis hebben. Hiervoor zijn een aantal afdelingen in 2007 gestart met afname van de NOSI. Om te kunnen stellen of kind- en gezinsproblemen verminderen is een voor- én nameting van CBCL en NOSI vereist. In 2007 hebben een aantal afdelingen de intentie uitgesproken om hiermee te starten, maar de systematische invoering van twee meetmomenten dient een volgende stap te zijn. Afgezien van de afname in kind- en gezinsproblemen kunnen we wel conclusies trekken over de aard en zwaarte van de doelgroep, cliënttevredenheid en de mate waarin gestelde einddoelen bereikt worden. Hierbij dient een goede differentiatie tussen de verschillende hulpverleningsvormen in acht te worden genomen, gezien de grote onderlinge verschillen die de afdelingen en hulpvormen laten zien. Uit de resultaten op de CBCL-metingen is af te leiden dat de gedragsproblematiek van al onze cliënten bij aanvang van de hulpverlening aanzienlijk tot zeer ernstig is. De problematiek lijkt binnen de dagbehandelingsgroepen met de leeftijd toe te nemen. Volgens verwachting is de problematiek van de residentiële groepen het zwaarst, wat ondersteuning biedt voor de specialistische zorg die deze doelgroep nodig heeft. Als alle eindrapportages van de deelnemende instellingen aan het landelijke project klaar zijn, worden er ‘tabellenboeken’ gemaakt, waarin onze doelgroepen vergeleken kunnen worden met andere organisaties en landelijke trends. Dit zal ook vragen vanuit de afdelingen kunnen beantwoorden, die gesteld worden vanuit vermoedens over hun ‘relatief zware doelgroep’. Uit de afname van de C-toets kan worden opgemaakt dat de tevredenheid van jongeren en ouders redelijk tot goed te noemen is. Gezien het feit dat dit een positieve indicatie geeft voor de algemeen werkzame factoren van de hulp, is deze goede bejegening van groot belang en vormt dit een streven om deze resultaten per afdeling voort te zetten dan wel te verbeteren. De relatief hoge respons op afdelingsniveau geeft bij een volgende afname gelegenheid om de resultaten te vergelijken, zodat te zien is in hoeverre de verbeteracties tot veranderingen in de tevredenheid hebben geleid. De C-toets geeft concrete aandachtspunten aan per afdelingen. Uit onze gesprekken is gebleken dat veel afdelingen hun verbeteracties hebben ingezet. Een kanttekening die hierbij geplaatst dient te worden, is dat deze verbeteracties veelal werden ingezet zonder cliëntenparticipatie verder vorm te geven.

186

Uit de resultaten op de doelrealisatie valt af te leiden dat veel afdelingen de gestelde einddoelen in de hulpverlening deels of helemaal halen, maar dat er onderling sterke verschillen zijn. De daghulp groepen tot 15 jaar (MKD’s en Boddaert’s) scoren erg sterk op de doelrealisatie, evenals de residentiele behandelgroepen voor 3-12 jarigen. De hulpverleningsvorm die zich richt op de leeftijdsgroep van 12-18 halen minder doelen. Samen Anders vormt voor deze leeftijdsgroep een positieve uitzondering, zij laten goede scores zien op de doelrealisatie. Het feit dat de residentiële behandelgroepen voor 12-18 jarigen minder doelen haalt, een zeer ernstige doelgroep in huis heeft en er sprake is van een relatief hoge en zorgelijke eenzijdige beëindiging, vraagt om aandacht. Dergelijke resultaten geven aanleiding om nader te kijken naar de oorzaken. Hierbij is een scala aan onderzoeks- en verbetermogelijkheden denkbaar. Er kan onder andere gekeken worden naar de aansluiting van de doelgroep op het hulpverleningsaanbod of naar de specifieke oorzaken die op cliëntniveau hebben geleid tot het gerealiseerde verloop. Dit kan leiden tot concrete verbeteracties en dat is precies wat een organisatie aan praktijkonderzoek heeft. 6.5.2 Aanbevelingen Op grond van hoe het proces verlopen is willen we graag de volgende aanbevelingen doen. 1. Ons eerste voorstel is om het resultaatgericht meten binnen Parlan voort te zetten, niet alleen om ons intern te verbeteren, maar ook om te blijven aansluiten bij de landelijke ontwikkelingen. Dit onderwerp is voor alle denkbare groepen belangrijk – cliënt, medewerker, afdeling, management, directie, overheid en de wetenschap – en daarom is het van belang om ons te blijven richten en inzetten op ‘doen wat werkt’. Het project heeft tot dusver aangetoond dat het meten van effecten van de behandeling tijdens het primaire proces levensvatbaar is. We hebben de indruk dat het draagvlak binnen de organisatie om systematisch gegevens te verzamelen en te registreren die helpend zijn in het hulpverleningsproces steeds groter wordt. In 2008 willen we dit proces verder versterken door: Het maken van een planning door Onderzoek & Ontwikkeling, waarin tussenstappen en subdoelen worden omschreven die op de langere termijn leiden tot het hoofddoel. Het onderwerp effectiviteit in alle lagen van de organisatie regelmatig op de agenda te zetten. We merken dat we nu nog veel moeten investeren om het onderwerp in alle lagen van de organisatie warm te houden. Het risico is dat wanneer alleen Onderzoek & Ontwikkeling zich bezig houdt met het resultaatgericht meten, dit niet of onvoldoende gaat leven bij de afdelingen en (uitvoerend) medewerkers van Parlan en men zich te weinig verantwoordelijk voelt voor de effectiviteit. We willen op korte termijn onderzoeken hoe zowel op de afdelingen als op regio- en sectorniveau mensen zich verantwoordelijk kunnen voelen voor de onderzoeksactiviteiten. Hierbij is het duidelijk afspreken van taken en verantwoordelijkheden belangrijk. Jaarlijks in de maanden maart/april (‘effectiviteitsmaand’) per afdeling – of vraaggericht per regio/sector – bijeenkomsten te plannen waarin de resultaten van het jaar daarvoor centraal staan. Hierin kan systematisch gereflecteerd worden op de door hun behaalde resultaten, waarin onderwerpen als benutting en voortgang van het resultaatgericht meten besproken worden. Verder dient ook regelmatig managementinformatie over de effectiviteitscijfers aan het Centraal Management Overleg verstrekt te worden. In 2008 een aanvullend trainingsprogramma voor de uitvoerend medewerkers te implementeren, waarin het ‘werken met vragenlijsten’ en hoe ze dit kunnen gebruiken in contacten met cliënten aan bod komt. Hierover zullen we in gesprek gaan met Jeugdzorg Drenthe en mogelijk gebruik maken van een ondersteuningspakket van het

187

Effectiviteitsplatform. Dit trainingsprogramma draagt bij aan het professionaliseren van de medewerkers en de draagvlakvergroting, zoals dat hiervoor reeds is benoemd. Het maakt medewerkers bewust van het feit dat zij werken in een professionele organisatie, waarin hun bijdrage belangrijk gevonden wordt. 2. Onze tweede aanbeveling is om ons op het gebied van de procesbewaking in de registratie en het realiseren van nametingen momenteel te verbeteren, waarbij iedereen betrokken wordt. De cultuuromslag voor het neerzetten van een onderzoeksklimaat dat ondersteunend is voor het primaire proces is binnen Parlan ingezet, maar dient een punt van aandacht te blijven. Wat blijkt uit bovenstaande resultaten is dat we een goede weg zijn ingeslagen – de respons en resultaten gaan steeds verder omhoog – maar dat wat we nu doen uitgebreid dient te worden. Kortom, we zijn nog niet op het punt gekomen waar we willen zijn, namelijk weten of aannemelijk maken dat we effectieve hulp verlenen. In 2008 willen we dit proces verder versterken door: Minimaal – waar mogelijk – twee meetmomenten te realiseren, aan het begin en aan het eind van de behandeling. Hiermee is het mogelijk om zowel op individueel niveau aan te geven hoe groot het effect is, als op afdelings- en organisatieniveau (door middel van het berekenen van effectgroottes). Een helder en passend onderzoeksprotocol per afdeling met duidelijke afspraken (wie doet wat en wanneer) is nodig om vooren nametingen te laten slagen, zodat de metingen niet afhankelijk zijn van praktische bezwaren. Follow-up onderzoek kan een stap daarna zijn, maar is voorlopig nog niet aan de orde. Procesbewaking als middel in te zetten om de registratie en realisatie van nametingen beter te organiseren. Het dient een centrale rol te krijgen binnen Parlan om de respons omhoog te krijgen. Ons voorstel is om de procesbewaking niet bij Onderzoek & Ontwikkeling neer te leggen, maar bij de regioassistenten. Hier zullen we binnenkort een afspraak voor maken. 3. Onze derde aanbeveling is om de volgende onderdelen van het resultaatgericht meten te handhaven, omdat ze hun nut bewezen hebben, dan wel onlangs ingezet zijn: Parlan blijft deelnemen aan de landelijke werkgroep Zicht op Effectiviteit en zal alle bijeenkomsten van het Effectiviteitsplatform bijwonen. Uit ervaring is gebleken dat dit bijzonder inspirerende bijeenkomsten zijn, waarin ervaringen en adviezen uitgewisseld worden. Daarnaast geven deze bijeenkomsten aanleiding om nadere contacten te leggen met een andere instelling, zodat van elkaars ervaring geleerd kan worden. De registratie ligt in handen van CIB door middel van het bijhouden van het Excel bestand. De C-toets wordt minimaal eenmaal per drie jaar afgenomen, om cliëntenparticipatie en verbeteracties in te zetten (cliëntenparticipatie dient wel uitgebreid te worden bij een volgende afname). Dit besluit dient opnieuw overwogen te worden als er sprake is van het invoeren van een exit-vragenlijst om tevredenheid na afsluiting van de hulpverlening te meten. Het streven was om deze vragenlijst voor 1 januari 2008 ontwikkeld te hebben, maar de definitieve termijn is vooralsnog onduidelijk. Er wordt nauw samengewerkt met de afdelingen door middel van gesprekken inclusief terugkoppeling van de gegevens op afdelingsniveau, omdat we merken dat de benodigde cultuuromslag aan de tafel plaatsvindt. Op het moment dat afdelingen hún resultaten terugkrijgen en zij actief bij het proces betrokken worden, werkt dit erg enthousiasmerend.De CBCL en NOSI worden als basisinstrumenten gebruikt. Wel dient per afdeling gekeken te worden welke vragenlijsten een aanvulling zijn in het hulpverleningsproces. In het huidige registratiesysteem wordt de mogelijkheid geboden om ook de YSR (de jongerenversie van de CBCL) te registreren. Dit is met name voor afdelingen met een oudere doelgroep een pluspunt. Afhankelijk van de ontwikkeling op het gebied van de instrumenten blijven we open

188

staan voor het inzetten van de Strengths en Difficulties Questionnaire (SDQ) in plaats van de CBCL. De doelrealisatie wordt op een zelfde manier ingezet zoals dat op dit moment het geval is. De afdelingen ervaren het als helpend in het hulpverleningsproces en we krijgen terug dat dit bij alle cliënten gedaan wordt. 4. Naast het resultaatgericht meten het aanbod hoger op de effectiviteitladder te zetten door het herschrijven en onderbouwen van modules. Dit is een grote klus, waarvoor Onderzoek & Ontwikkeling nauw samenwerkt met de afdelingen. We hopen dat deze rapportage inzicht heeft gegeven in de stand van zaken van het effectiviteitsonderzoek binnen Parlan. Onderzoek & Ontwikkeling is in ieder geval enthousiast en geïnspireerd geraakt om hiermee verder te gaan en om het voortouw te blijven nemen. Het liefst delen we dit enthousiasme met alle afdelingen, het management en de directie binnen Parlan. Met een gezamenlijk doel voor ogen verwachten we dat iedereen zijn bijdrage voor dit interessante onderwerp wil en kan leveren.

189

190

Hoofdstuk 7 Aantoonbare kwaliteit bij De Waarden Gert Kroes, Ton Meeuwsen en Jan Willem Veerman

Inhoudsopgave 7.1 Inleiding 7.2 Projectopzet 7.2.1 Uitgangspunten 7.2.2 Keuze van tinstrumenten 7.3 Implementatieproces en ervaringen 7.3.1 Het implementatieproces 7.3.2 Ervaringen met het werken met vragenlijsten 7.4 Resultaten aanvangsmetingen 7.4.1 Respons 7.4.2 Berekening van de scores 7.4.3 Problematiek bij aanvang van de behandeling 7.5 Conclusies en aanbevelingen 7.5.1 Samenvatting 7.5.2 Aanbevelingen 7.5.3 Tot slot Bijlage 7.1 Bijlage 7.2 Bijlage 7.3 Dit project werd mede mogelijk gemaakt dankzij de financiële steun van de Stichting tot Dienstverlening aan De Waarden

191

192

7.1 Inleiding Jaarlijks worden er in Nederland zo’n 225.000 kinderen en jeugdigen in instellingen voor jeugdzorg behandeld voor, zoals de Wet op de jeugdzorg dat zo mooi zegt, opgroeien opvoedingsproblemen86. Die behandelingen kunnen allerlei vormen aannemen, van relatief lichte begeleidingsgesprekken tot 24-uursopname in residentiële voorzieningen. Een aantal jaren geleden zijn er door de toenmalige Stichting Registratie JeugdhulpverleningsVoorzieningen (SRJV) zo’n 1500 behandelingen – rijp en groen – geteld87. Dat zijn er heel wat. Vragen die opdoemen zijn natuurlijk hoeveel overlap er tussen al die behandelingen bestaat, of ze allemaal even ver uitgekristalliseerd zijn zodat ze goed beschreven en onderbouwd kunnen worden, en bovenal of ze ook werken. Die laatste vraag is misschien wel de belangrijkste: hoe effectief zijn eigenlijk al die behandelingen die dagelijks aan al die kinderen en jeugdigen worden gegeven? Het antwoord op die vraag is niet eenvoudig te geven. Het hangt er van af wat men onder effectiviteit verstaat. Als we hiervoor een vrij strenge maatstaf nemen en stellen dat een behandeling effectief is als hij bij kinderen en jeugdigen die de behandeling kregen resultaat geeft en bij kinderen en jeugdigen die de behandeling niet kregen, maar wel nodig hadden, geen resultaat geeft, dan zijn er niet zoveel effectieve behandelingen te vinden. Veerman en Van Yperen88 schatten dit aantal op ongeveer 20, dus ruim 1% van de eerder genoemde 1500, Leggen we een minder streng criterium aan en stellen we dat een behandeling effectief is als er aan het eind vergeleken met het begin vooruitgang is geboekt dan zijn er weliswaar bijna vier keer zoveel effectieve behandelingen te vinden, maar zitten we nog maar op zo’n 5% van het totaal aantal van 1500 behandelingen. Dit betekent per se niet dat de jeugdzorg niet effectief is, het betekent dat we de effectiviteit nog niet goed hebben kunnen laten zien. Dit betekent dat het hoog tijd is voor meer zicht op effectiviteit van behandelingen die in de dagelijkse praktijk van de jeugdzorg worden uitgevoerd. Waarom is dat van belang? Allereerst kan het gewoon niet zo zijn dat een professionele behandelaar geen kennis heeft van de effecten van zijn of haar handelen. Zicht op effectiviteit kan hem of haar helpen te beseffen wat werkt en wat niet, en welke behandelingen het beste passen bij welke problemen. We noemen dat het professionaliseringsperspectief89: behandelaars moeten zorgen hun zaakjes intern goed op orde te hebben. In de tweede plaats dienen behandelaars verantwoording af te leggen aan de financiers (het rijk, de provincies en de zorgverzekeraars). Zij willen kwalitatief goede zorg en als het kan in een optimale prijs-kwaliteitverhouding. We noemen dat het profileringsperspectief: behandelaars zijn verplicht naar buiten toe te laten zien dat ze waar voor hun geld leveren. Professionalisering en profileringen zijn ook drijfveren achter het kwaliteitsbeleid in de jeugdzorg. Kwaliteit en effectiviteit liggen dan ook in elkaars verlengde. Een kwalitatief goede behandeling moet de beoogde effecten opleveren. Vanuit dit soort gedachtegangen en overwegingen is in 2005 bij De Waarden het onderzoeksproject Aantoonbare kwaliteit van start gegaan. Het doel hiervan was te komen ‘…tot een samenhangend instrumentarium voor het vaststellen van de resultaten van de zorg zoals die door cliënten ervaren worden. Dit instrumentarium dient aan te sluiten op de Balanced Score Card, de verschillende instrumenten zijn dan te zien als maatstaven die een 86

De Graaf, M., Schouten, R., & Konijn, C. (2005). De Nederlandse jeugdzorg in cijfers 1998-2002. Utrecht: NIZW. Loeffen, M., Ooms, H., & Wijgergangs, H. (2004). Ordeningsmodel is ‘must’ voor effectieve jeugdzorg. Nederlands Tijdschrift voor Jeugdzorg, 7, 102-113. 88 Veerman, J.W., & Yperen, T.A. van (2006). Wat is praktijkgetuurd effectonderzoek? In T.A. van Yperen & J.W. Veerman (red.), Zicht op effectiviteit. Bronnenboek voor praktijkgestuurd effectonderzoek in de jeugdzorg. Deel I (blz. 7-19). Utrecht/ Nijmegen: NIZW/ Praktikon. 89 Veerman, J.W. (1998). Meten en weten in jeugdzorg. Een pleidooi voor bruikbaarheidsonderzoek. Kind en Adolescent, 19, 343-357. 87

193

succesbepalende factor in het resultaatgebied ‘Cliënten’ nader definiëren. Tevens dient dit instrumentarium ingebed te zijn in de praktijk van de zorg, dat wil zeggen: gegevens moeten door hulpverleners verzameld en gebruikt kunnen worden. Een en ander dient ondersteund te worden door een geautomatiseerd registratiesysteem. Het uiteindelijke doel is dat er bij de Waarden een cultuur van meten en weten ontstaat waarbinnen het zicht krijgen op resultaten een centrale plaats inneemt, op basis waarvan vervolgens sturing van zorgprocessen kan plaatsvinden’.90 In het kader van Aantoonbare kwaliteit is in september 2006 aangesloten bij het landelijke project Zicht op Effectiviteit. Het doel van dit project was bij een zestal instellingen voor jeugdzorg en/of hulpverleningsprogramma’s waar meerdere instellingen in participeerden (zoals Hulp aan Huis) meer zicht op effectiviteit van de praktijk van de jeugdzorg te krijgen. In een eerste fase ging het om het versterken van reeds langer lopend onderzoek, in een tweede fase lag het accent op verdere verspreiding van het gedachtegoed en de ontwikkelde producten. In deze fase konden weer andere jeugdzorginstellingen aanhaken bij het project. De Waarden was een van de zeven instellingen die hiervoor in aanmerking kwamen. Met name de uitwisseling van kennis en ervaringen met andere instellingen gaf Aantoonbare kwaliteit de nodige impulsen. De eerste fase van ‘Aantoonbare kwaliteit’ is in mei 2007 afgerond. Dit rapport doet verslag van het proces en de uitkomsten. Alvorens deze te presenteren wordt in het volgende hoofdstuk ingegaan op enkele achterliggende principes van het project. Deze dienen als kader voor de presentatie in de hoofdstukken daarna en vormen tevens de achtergrond van de conclusies en aanbevelingen die in laatste hoofdstuk van het rapport gegeven worden. Eerder verscheen er van het project een tussentijdse rapportage.91 Het implementatieproject is mogelijk gemaakt dankzij de financiële steun van de Stichting tot Dienstverlening aan De Waarden.

7.2 Projectopzet 7.2.1 Uitgangspunten Het onderzoeksproject kent een drietal uitgangspunten: • Het effectonderzoek dient praktijkgestuurd te zijn, • Effecten worden toegeschreven aan zorgmodules of interventies die via een effectladder in opklimmende mate als effectief kunnen worden beoordeeld, • Het zorgevaluatiemodel geeft hiervoor een overkoepelend kader.

90

Zie het projectplan Aantoonbare kwaliteit. Richtinggevend kader voor effectmeting in de praktijk van de Waarden (2005). Nijmegen: Praktikon/ De Waarden. 91 Meeuwsen, T. & Kroes, G. (2007). Tussentijds verslag project “Aantoonbare kwaliteit”. Intern rapport. Nijmegen: De Waarden/Praktikon.

194

Praktijkgestuurd effectonderzoek

Praktijkgestuurd effectonderzoek is te definiëren als: ‘onderzoek waarin onderzoekers en behandelingsfunctionarissen gezamenlijk optrekken, met het doel informatie te verzamelen waarmee het effect van het praktisch handelen van een individuele behandelingsfunctionaris, een groep van behandelingsfunctionarissen, een instelling of groep van instellingen nader verhelderd en getoetst wordt, waardoor vervolgens het werk van de betrokken behandelfunctionarissen of instellingen verbetert en tevens ten opzichte van buitenstaanders gelegitimeerd kan worden’92. Het praktijkgestuurde effectonderzoek kent drie principes: • Aansluiten bij wat er al aan zorgaanbod (modules, interventies) is ontwikkeld. Hiermee wordt voorkomen dat er ‘over hoofden heen’ onderzocht gaan worden. • Inbedding van onderzoeksprocedures en -instrumenten in het aanbod zelf. Deze komen niet bovenop de reeds uitgevoerde behandelingsactiviteiten, maar worden er een onderdeel van. Dit vermindert de last van het onderzoek voor de uitvoerend werkers en hiermee kan ook de uitvoering verder geprofessionaliseerd worden. • Benutting van onderzoeksresultaten op individueel niveau (bijvoorbeeld in de vorm van profielen) en op geaggregeerd niveau van afdelingen of sectoren (ook tussentijds, bijvoorbeeld per kwartaal of halfjaar). Hiermee gaat het onderzoek leven voor functionarissen op verschillende niveaus, men kan iets met de resultaten. Op deze wijze kan het meten ven effecten niet alleen antwoord geven op onderzoeksvragen, maar ook onderdeel worden van de systematiek van kwaliteitszorg binnen de instelling en bijdragen aan een continue routinematige monitoring van de kwaliteit van de zorg. Populair gezegd: effectonderzoek begint en eindigt bij jezelf. Zorgevaluatiemodel

Het zorgevaluatiemodel is ontwikkeld om leidraad te hebben voor praktijkgestuurd effectonderzoek, tevens wil het een kader bieden voor een integratie van uitkomsten van diverse projecten93. Figuur 1 toont dit model. Figuur 1. Zorgevaluatiemodel

De basisassumptie van het zorgevaluatiemodel is dat een effectief zorgaanbod in jeugdzorg en onderwijs in essentie bestaat uit het uitvoeren van bedoelde interventies bij een beoogde 92

Veerman, J.W., & Yperen, T.A. van (2006). Wat is praktijkgestuurd effectonderzoek? In T.A. van Yperen & J.W. Veerman (red.), Zicht op effectiviteit. Bronnenboek voor praktijkgestuurd effectonderzoek in de jeugdzorg. Deel I (blz. 7-19). Utrecht/ Nijmegen: NIZW/ Praktikon. 93 Veerman, J.W. (2007). Een zorgevaluatiemodel als kader voor onderzoek in de praktijk van de jeugdzorg. Nijmegen: Praktikon.

195

doelgroep met het oog op het bereiken van gewenste uitkomsten. De triade doelgroepinterventie-uitkomst vormt de inhoud van het zorgaanbod. De doelgroep is in de regel een specifiek aan te duiden groep kinderen en gezinnen met bepaalde te benoemen problemen. In de regel zal het bij aanmeldingen in de jeugdzorg gaan om kinderen met gedragsproblemen en gebrekkige sociale competenties die niet zelden het gevolg zijn van ondergane risicofactoren in de directe of wijdere omgeving, zonder dat daar beschermende factoren tegenover stonden. De interventies bestaan uit een serie samenhangende, nader te benoemen behandelactiviteiten, soms specifiek (bijvoorbeeld: technieken voor het omgaan met boosheid) soms globaal (bijvoorbeeld: een oudercursus). Interventies zullen veelal als zorgmodules geformuleerd zijn. Deze kunnen gestapeld (meerdere modules tegelijkertijd) of geschakeld (modules na elkaar) worden in het kader van de zorgaanspraken Jeugdhulp, Verblijf, of Observatiediagnostiek. Uitkomsten betreffen in de regel het beloop (afname problematiek, toename competenties), gerealiseerde doelen en klanttevredenheid. De uitkomsten hebben te maken met afname van problemen en toename van competenties op de korte termijn en intrede in ‘normale’ scholings- en werktrajecten op langere termijn. Deze inhoud kan geplaatst worden in een context van bejegening en een context van organisatorische, personele en materiële randvoorwaarden. Bejegening slaat op de wijze waarop de cliënt tegemoet wordt getreden: sluit dit voldoende aan bij de vraag van de cliënt, wordt er voldoende betrokkenheid en respect getoond? Organisatorische randvoorwaarden gaan over personeel dat de interventie uitvoert (o.a. competenties, scholing), het materieel dat daarvoor nodig is (o.a. specifieke hulpmiddelen, gebouwen, financiën) en de communicatie tussen alle relevante partijen (o.a. wijze van overleg met externe partners, intern overleg). Niet weergegeven in de figuur, maar wel belangrijk is de zorgaanbodtheorie (in het Engels: program theory). Deze vormt als een soort ‘onderlegger’ als het ware de lijm tussen de verschillende onderdelen van het zorgevaluatiemodel. Wat betreft de inhoud geeft deze theorie aan hoe de problemen bij de beoogde doelgroep zijn te verklaren (ontstaanstheorie) en waarom de bedoelde interventies bij de beoogde doelgroep tot de gewenste uitkomsten zullen leiden (behandeltheorie). Daarnaast liggen aan de gewenste wijze van bejegening en de te realiseren organisatorische voorwaarden ook theorieën ten grondslag, als zijn die meestal niet zo uitgesproken. Ten aanzien van de bejegening wordt bijvoorbeeld verondersteld dat dit naast de specifieke interventies als een algemeen werkzame factor van invloed zijn. Ten aanzien van organisatorische voorwaarden wordt bijvoorbeeld bij het scholen van medewerkers in oplossingsgerichte strategieën verondersteld dat deze scholing zich in het handelen van medewerkers zal manifesteren en zo het functioneren van cliënten in gunstige zin zal beïnvloeden. De zorgaanbodtheorie kan zowel op praktijkervaringen gestoeld zijn als op sociaal-wetenschappelijke theorieën (waar het de inhoud betreft) en organisatietheorieën (waar het de context betreft). Idealiter komt de zorgaanbodtheorie uit beide bronnen: praktijk en wetenschap. Populair gezegd: effectmeting brengt in kaart wat er in de hoofden en in de boeken staat en zet die dingen in een logisch verband. Effectladder

Vaak wordt er bij onderzoek naar evidence based behandelingen stilzwijgend vanuit gegaan dat dit de vorm van een randomized controlled trial (RCT) zal hebben, of althans dient te hebben. Hoewel dit type onderzoek het uiteindelijke bewijs (evidence) oplevert voor de effectiviteit van een interventie, is het uitvoeren hiervan in de praktijk van de zorg om praktische en ethische redenen niet altijd mogelijk. Dit geldt nog sterker als het om een nieuwe of nog niet goed geëxpliciteerde interventie gaat, die als het ware eerst nog moet rijpen of verhelderd moet worden om de test van een RCT te doorstaan. Veerman en Van 196

Yperen94 stellen voor onderzoek dat (nog) niet aan de RCT-eisen voldoet een effectladder te hanteren met oplopende bewijzen voor effectiviteit. Tabel 1 toont deze verschillende graden van effectiviteit in hun onderlinge samenhang en de soorten onderzoek. Tabel 1. Niveaus van effectonderzoek (overgenomen uit Van Yperen & Veerman95). Soort effect

Omschrijving

Soorten onderzoek

4. Werkzaam

Als 1 t/m 3, maar nu is er evidentie dat positieve uitkomsten veroorzaakt worden door de interventie en is er zicht op de werkzame ingrediënten Als 1 en 2, maar nu kan empirisch worden aangetoond dat de gestelde doelen zijn bereikt, problemen afgenomen en competenties toegenomen, en cliënten tevreden zijn

• Experimenteel onderzoek (RCT) • Herhaalde case studies (N=1 designs) --------------------------------------------------• Quasi-experimenteel onderzoek • Veranderingstheoretisch onderzoek • Normgerelateerd onderzoek --------------------------------------------------• Vooruitgangsonderzoek • Doelrealisatie-onderzoek • Cliënttevredenheidsonderzoek

Als 1, maar nu is er tevens een acceptabele interventietheorie die duidelijk maakt hoe de problemen van de doelgroep zijn ontstaan waarom de interventie de beoogde uitkomsten zal bereiken De kernelementen van een interventie (doelgroep, interventie, uitkomsten) en de personele, organisatorische en materiële randvoorwaarden zijn duidelijk en begrijpelijk beschreven

• • •

Meta-analyse Literatuurstudie Kennisontlokkend onderzoek

• • • •

Descriptief onderzoek Observationeel onderzoek Documentanalyse Interviews

3. Doeltreffend

2. Veelbelovend

1. Potentieel

Opgemerkt dient te worden dat er op de eerste twee niveaus nog geen sprake is van empirisch onderzoek, er worden nog geen gegevens verzameld. Dat is op de hogere niveaus wel het geval. De hier getoonde effectladder sluit nauw aan bij de classificatie van de databank Effectieve Jeugdinterventies (www.jeugdinterventies.nl) en bij die van de Erkenningscommisie Justitiële Gedragsinterventies (www.minjus.nl/erkenningscommissie). Interessant voor onderzoek in de praktijk zijn de opties die net onder het experimenteel onderzoek liggen: herhaalde N=1 studies, quasi-experimenteel onderzoek waarbij een “natuurlijk” fenomeen als wachtlijsten creatief benut kunnen worden (stelling: gaan meten bij een wachtlijstgroep is al een minimale vorm van interventie), en veranderingstheoretisch onderzoek. Dit laatste type onderzoek sluit nauw aan bij de praktijk waar immers veelal vanuit een diagnostisch model wordt gewerkt waarin een meer of minder uitgesproken individuele theorie centraal staat die aangeeft hoe men denkt dat de problemen van dit kind en gezin in elkaar steken (ontstaanstheorie) en hoe de interventie hier iets aan zou kunnen veranderen (behandeltheorie). De behandeling dient dan om te toetsen of de theorie ook klopt, zo wordt ervaringskennis opgebouwd. Het aggregeren van individuele theorieën die ten grondslag liggen aan de behandeling via een bepaalde interventie levert de zorgaanbodtheorie waarover hiervoor werd gesproken. Deze kan getoetst kan worden op groepen behandelde kinderen en dit vormt de kern van het veranderingstheoretisch onderzoek. Populair gezegd: effectmeting begint in de modder van de praktijk en gaat stap voor stap naar meer objectief wetenschappelijke kennis. 94

Veerman, J.W., & Yperen, T.A. van (2006). Wat is praktijkgsetuurd effectonderzoek? In T.A. van Yperen & J.W. Veerman (red.), Zicht op effectiviteit. Bronnenboek voor praktijkgestuurd effectonderzoek in de jeugdzorg. Deel I (blz. 7-19). Utrecht/ Nijmegen: NIZW/ Praktikon. 95 Idem.

197

Conclusie

Via praktijkgestuurd effectonderzoek krijgt het systeem van effectmetingen een natuurlijke plaats in het zorgproces, benutting van gegevens op uitvoerings- en managementniveau nemen hierbij een centrale plaats in. Het zorgevaluatiemodel wijst op het belang van het koppelen van effecten aan interventies/zorgmodules, die in hiervoor helder beschreven en klinisch-wetenschappelijk onderbouwd dienen te worden. Hiermee zijn in termen van het kwaliteitsbeleid de ‘juiste dingen’ geformuleerd. Empirische gegevens over de correcte uitvoering van de interventies/zorgmodules en de behaalde effecten kunnen vervolgens het effectbewijs steeds sterker maken. Dit geeft aanwijzingen dat de juiste dingen juist worden gedaan. De effectladder geeft hierbij een route aan.

7.2.2 Keuze van instrumenten Het project Aantoonbare kwaliteit heeft tot doel de kwaliteit van de zorg bij de Waarden aan te tonen. Het meten van de uitkomsten van de verschillende behandelingen of interventies is een belangrijk onderdeel van die kwaliteit. Door de uitkomsten van de interventies in beeld te brengen wordt een belangrijke stap gezet op de effectladder, die uiteindelijk moet leiden tot het aantonen van de effectiviteit van de verrichte interventies. De uitkomsten van de interventies betreffen in het algemeen drie onderdelen, te weten: • Doelrealisatie (Zijn de behandeldoelen gehaald?) • Cliënttevredenheid (Zijn de cliënten tevreden?) • Beloop (Zijn de problemen verminderd en/of de competenties vergroot?). Deze drie deelgebieden zijn tevens de drie belangrijkste landelijke prestatie-indicatoren, zoals die in 2006 door de landelijke werkgroep Prestatie-indicatoren Jeugdzorg zijn vastgesteld. Het in beeld brengen van de uitkomsten op het gebied van doelrealisatie, cliënttevredenheid en beloop bij De Waarden vormde dan ook de inzet voor het project Aantoonbare kwaliteit. Bij de Waarden waren bij aanvang van het project – in 2005 – al de nodige stappen gezet op het gebied van (het meten van) doelrealisatie en cliënttevredenheid. Voor het stellen en waarderen van behandeldoelen was al eerder een systematiek ontwikkeld met behulp van standaarddoelen en voor het registreren van deze standaardbehandeldoelen is een softwarepakket ontworpen en geïmplementeerd. Het meten van cliënttevredenheid vindt jaarlijks plaats bij alle afdelingen van De Waarden met behulp van de C-toets.96 Het meten van het beloop was echter nog niet in gang gezet, althans niet systematisch. Daarom is de afgelopen twee jaar het accent gelegd op het meten van het beloop met behulp van gestandaardiseerde instrumenten. Om het beloop te meten is een keuze gemaakt uit een aantal gestandaardiseerde instrumenten. Deze instrumenten dienen zo goed mogelijk te zijn afgestemd op de aard van de klachten bij de doelgroep. Bij verschillende doelgroepen (en de bijbehorende interventies of modules) kunnen dus verschillende instrumenten worden gekozen. Tegelijkertijd was het streven om instrumenten te gebruiken die zo breed mogelijk kunnen worden ingezet bij verschillende doelgroepen en interventies.

96

Kroes, G. (2005). Ruwe data C-toets 2005 De Waarden. Nijmegen: Praktikon.

198

Om tot een keuze voor instrumenten te komen is daarom eerst vastgesteld wat de belangrijkste doelgroepen binnen de Waarden zijn, en welke behandelvormen (interventies, modules) zich op die doelgroepen richten. Bij aanvang van het project is gekozen voor een globale indeling in behandelvormen. Vervolgens zijn de belangrijkste behandeldoelen bij deze behandelvormen in kaart gebracht (verder interventiedoelen genoemd, ter onderscheiding van individuele behandeldoelen van cliënten). De interventiedoelen zijn tijdens de gezamenlijke bijeenkomst in november 2005 door de medewerkers geformuleerd (maximaal 5 per behandelvorm). Verder hebben de medewerkers bij elke behandelvorm normen gesteld door aan te geven hoeveel procent van de cliënten een specifiek interventiedoel moet hebben gehaald om van een succesvolle behandeling te kunnen spreken. Bij de behandelvormen tezamen is een groot aantal interventiedoelen gesteld, die onderverdeeld kunnen worden in doelen voor het kind en doelen voor het gezin (zie Bijlage 2). De meest geformuleerde doelen voor het kind zijn: 1. Het gedrag van het kind is gereguleerd

(bij 75 % van de behandelvormen);

2. De sociale vaardigheden zijn verbeterd

(bij 58 %);

3. Het kind is tevreden met zichzelf

(bij 33 %);

4. De spelvaardigheden zijn verbeterd

(bij 25 %).

De meest geformuleerde doelen voor het gezin zijn: 1. Ouders beschikken over voldoende opvoedingsvaardigheden

(bij 75 %);

2. De draagkracht/draaglast verhouding is in evenwicht

(bij 25 %).

De laatste stap was de keuze van instrumenten om het behalen van de geformuleerde interventiedoelen zo goed mogelijk meten. Voor het meten van het behalen van de doelen op kindniveau is gekozen voor de Child Behavior Checklist97 (CBCL), de Competentiebelevingsschaal voor kinderen98 (CBSK, bij kinderen van 8 tot 12 jaar, Veerman, 1997), de Competentiebelevingsschaal voor adolescenten99 (CBSA, bij jongeren van 12 tot 18 jaar, Treffers, 2002), en de Youth Self Report (YSR, bij jongeren van 12 tot 18 jaar). Op het niveau van de ouders en gezin wordt gebruik gemaakt van de Nijmeegse Ouderlijke Stress Index100 (NOSI) en de Empowerment vragenlijst101 (EMPO). Om verandering te kunnen vaststellen wordt er op minimaal twee momenten gemeten, namelijk aan het begin en het einde van de behandeling. Het streven is om deze momenten te zijner tijd uit te breiden met een tussentijdse meting en een follow-up meting om zodoende ook zicht te krijgen op het beloop tijdens en na de behandeling.

97

Verhulst, F.C., Ende, J. van der, & Koot, H.M. (1996). Handleiding voor de CBCL/4-18. Rotterdam: Erasmus Universiteit/ Sophia Kinderziekenhuis, Afdeling Kinder- en Jeugdpsychiatrie. Veerman, J.W., Straathof, M.A.E., Treffers, Ph.D.A., Bergh, B. Van den, & Brink, L.T. ten (1997). Handleiding Competentiebelevingsschaal voor Kinderen (CBSK). Lisse: Swets & Zeitlinger. 99 Treffers, Ph.D.A., Goedhart, A.W., Veerman, J.W., Bergh, B. Van den, Ackaert, l., & De Rycke, L. (2002). Handleiding Competentiebelevingsschaal voor Adolescenten (CBSA). Lisse: Swets & Zeitlinger 100 Brock, A.J.L.L. de, Vermulst, A.A., Gerris, J.R.M., & Abidin, R.R. (1992). NOSI. Nijmeegse Ouderlijke Stress Index. Handleiding experimentele versie. Lisse: Swets & Zeitlinger. 101 Damen, H., and Veerman, J.W. (2005). Vragenlijst Empowerment (EMPO). Experimentele versie. Nijmegen: Praktikon. 98

199

7.3 Implementatieproces en ervaringen 7.3.1 Het implementatieproces Het project liep van november 2005 tot mei 2007. In november 2005 is de aftrap gegeven op een gezamenlijke informatiebijeenkomst met de afdelingshoofden en gedragswetenschappers van de Waarden. Daarna zijn twee klankbordgroepen geformeerd, voor de locaties Nijmegen en Tiel, bestaande uit de afdelingshoofden teamleiders, vertegenwoordigers van de gedragswetenschappers, de procesbewaker en de projectleider bij Praktikon. De klankbordgroepen dachten mee bij de samenstelling en implementatie van het instrumentarium en voorzagen de stuurgroep van informatie. De klankbordgroepen kwamen eens per twee maanden bij elkaar. Praktikon leverde een bijdrage aan de opzet en uitvoering van het project en zorgt o.a. voor analyse en rapportage van de gegevens. De regie van het project lag bij een stuurgroep, bestaande uit de directeur/bestuurder, de adjunct directeur zorg, de bijzonder hoogleraar Speciale Kinder- en Jeugdzorg, de procesbewaker van het project bij de Waarden, en de projectleider bij Praktikon. Alle afdelingen van de Waarden namen deel aan het project; in de loop van 2006 haakte ook de PI-school aan bij het project. Een belangrijk doel van het project Aantoonbare kwaliteit was om van het meten van effecten geen geïsoleerde onderzoeksactiviteit te maken, maar om van dit meten een vast onderdeel te maken in het behandelproces. Dit is een van de uitgangspunten van praktijkgestuurd effectonderzoek. Het welslagen van dit project hangt dan ook voor een groot deel af van de mate waarin dat gelukt is. Daarom is van het begin af aan veel aandacht besteed aan het samen optrekken van onderzoekers en praktijkmedewerkers, het samenwerken aan de uitvoering van het meetproces, en het direct benutten van de uitkomsten in de dagelijkse praktijk. Daarnaast is het van belang dat De Waarden op het gebied van effectmeting zoveel mogelijk aansluit bij landelijke ontwikkelingen op dit terrein. Om dit alles te verwezenlijken zijn in de afgelopen twee jaar o.a. de volgende activiteiten ondernomen: 1. Informeren: Mei 2005: eerste notitie van de directie aan medewerkers over het project “Aantoonbare Kwaliteit”; Regelmatig verschijnt er een nieuwsbulletin op het intranet; December 2006: tussentijds verslag; Juli 2007: eindverslag. 2. Er bij betrekken: Tijdens een plenaire bijeenkomst wordt het project door de directie en de medewerker van Praktikon toegelicht aan de medewerkers; Op afdelingsniveau worden door de medewerkers interventiedoelen en normen vastgesteld die als indicator kunnen gelden voor het bereiken van de gewenste behandeldoelen; Op beide locaties bestaat een klankbordgroep, bestaande uit staf- en lijnfunctionarissen. De klankbordgroepen komen ongeveer één keer in de twee maanden bij elkaar. 3. Organiseren van trainingen: Om de uitkomsten en individuele profielen van de vragenlijsten terug te kunnen koppelen naar de cliënt, is kennis van het werken met de betreffende vragenlijsten nodig. Tijdens het project is daar aandacht aan besteed middels een tweetal bijeenkomsten met ouderbegeleiders (in Tiel en in Nijmegen) waar het gebruik van de NOSI werd besproken. Inmiddels is in het kader van het landelijk platform Zicht op Effectiviteit een trainingspakket ontwikkeld voor het leren werken met verschillende vragenlijsten, dat in de vorm van een “train-de-trainer” cursus wordt aangeboden aan de deelnemende instellingen. Om de continuïteit te waarborgen

200

van het gebruik en de benutting van vragenlijsten in het directe contact met de cliënt, is deze training inmiddels aan een aantal medewerkers van De Waarden gegeven. 4. Overleggen met collega-instellingen: Effectiviteitsplatform van het landelijk project Zicht op Effectiviteit. Binnen het platform wisselen een twintigtal instellingen, waaronder de Waarden, informatie uit over de implementatie van onderzoek en dataverzameling binnen de instelling. Inmiddels zijn ruim 1000 vragenlijsten verzameld en nam bijna 80% van de cliënten deel aan de effectmeting, zodat geconstateerd kan worden dat het project voldoet aan het gestelde doel: het bewerken van een cultuuromslag waarbinnen “meten” een gebruikelijke en gewenste activiteit wordt binnen de organisatie. Dit vormt de basis om te komen tot een verdere benutting van de uitkomsten in het primaire proces, tot de beantwoording van de onderzoeksvragen (en het ontwikkelen van nieuwe), en tot het leveren van onderbouwde managementinformatie. 7.3.2 Ervaringen met het werken met vragenlijsten Voor veel medewerkers betekende het afnemen van gestandaardiseerde vragenlijsten bij het begin van de behandeling, en het bespreken van de uitkomsten daarvan met de cliënten, een nieuw element in de behandeling. Door sommigen werd dit als een welkome aanvulling gezien, maar anderen stonden er zeker in het begin nogal sceptisch tegenover. Invullen van vragenlijsten werd nogal eens gezien als (te) belastend voor cliënten, het zou een goede opbouw van het contact met cliënten in de weg staan, en weinig extra informatie opleveren. Toch blijkt in de praktijk van effectonderzoek steeds weer, dat de motivatie en medewerking van de behandelaars de sleutel vormt tot het succes van effectmeting. Als het gebruik van instrumenten om de aard en ernst van de problemen aan begin en eind van de behandeling te meten eenmaal is ingebed in de behandeling, kunnen behandelaars en cliënten daar ook tijdens de behandeling hun voordeel mee doen. Maar als behandelaars daartoe niet gemotiveerd zijn, dan is de kans groot dat ook de cliënten minder gemotiveerd raken, dat de respons daalt, en dat effectmeting veel minder oplevert.102. Daarom is het zeer de moeite waard om de ervaringen te horen van de behandelaars zelf, die het afgelopen jaar met de nieuwe werkwijze geconfronteerd werden. Vrij willekeurig hebben we een aantal medewerkers uitgenodigd om hun ervaringen met het gebruik van vragenlijsten in het contact met de cliënten in de afgelopen periode te beschrijven. Met dank aan hun bereidheid om daarover te vertellen geven we hier hun ervaringen weer. Interviews met medewerkers Trees Peters, ouderbegeleider bij de Waarden

Trees is ouderbegeleider van afdeling ambulante en (semi-)residentiele behandeling van kinderen in de leeftijd van 6 t/m 12 jaar. Dataverzameling hoort gewoon bij een professionele organisatie. In het begin keek ik er erg tegenop. Voor mij stonden al die vragenlijsten een goed contact met ouders in de weg. Om vertrouwen te kweken moet je niet met ingewikkelde en best confronterende vragenlijsten komen. Contact opbouwen en langzaam toegroeien naar een vertrouwensrelatie waarin precaire zaken aan de orde kunnen komen, dat was wat ik dacht.

102

De Beurs, E., & Zitman, F.G. (2007). Routine Outcome Monitoring. Het meten van therapie-effect in de klinische praktijk met

webbased software. MGv, 62, 13-28.

201

Maar ik ontdek nu dat de vragenlijsten juist een uitstekend hulpmiddel zijn om eigenlijk heel snel, in ieder geval veel sneller dan voorheen, tot de kern van de zaak te komen. Je bouwt dus in relatief korte tijd een werkrelatie op waarbij de NOSI aangeeft waar voor ouders de meeste stress zit. Op zo’n moment is het zaak om met ouders hierbij uitvoerig stil te staan. Niet door te problematiseren maar juist door ouders bewust te maken van hun competenties: “Hoe is het jullie gelukt om met deze problemen om te gaan?” Ik zelf vind het prettig als beide ouders de NOSI hebben ingevuld. Op die manier geraken ouders ook meer met elkaar in gesprek. Ik ben ervan overtuigd dat begeleiding nu ook korter duurt simpelweg omdat je sneller to the point komt. Veel weerstand tegen het invullen van vragenlijsten zie ik overigens niet. Wel is het nodig dat ouders goed geïnformeerd worden over het hoe en waarom. Bij voldoende uitleg ebt de weerstand meestal vrij snel weg. Punt van aandacht vind ik trouwens nog wel dat ouders expliciet toestemming moeten geven voor het invullen van vragenlijsten. Dat zou bijvoorbeeld aan het begin van de behandeling kunnen. Interview Maaike Huijsman, behandelcoördinator Afdeling 1, jonge kinderen

Maaike is behandelcoördinator van de afdeling Dagbehandeling jonge kinderen, 0 tot 7 jaar. Vanaf het begin was ik erg enthousiast over het project “Aantoonbare kwaliteit” en ik kan alleen maar zeggen dat we in de loop van de tijd alleen maar enthousiaster zijn geworden. Ik was enthousiast eigenlijk om twee redenen. Op de eerste plaats vind ik het een prima idee om stelselmatig allerlei gegevens bij te houden vooral als het de behandeling van cliënten ten goede komt. We bieden behandelingen aan, investeren in behandelingen dus dan is het ook logisch dat je nagaat of je aanbod effect heeft. En ik vind het ook wel interessant en goed om te doen om zo objectief mogelijk behandelvormen met elkaar te vergelijken. Maar we zijn eigenlijk het meest enthousiast over de invloed van de NOSI en CBCL op de relatie met ouders. Wat we zien is dat we heel snel en gemakkelijk met ouders in gesprek komen niet alleen over wat is er met het kind aan de hand maar vooral hoe kijken wij en hoe kijken jullie naar het kind. Toch iets van diagnostiek! Het gaat niet zozeer om de gesignaleerde problemen als wel wat ligt er achter, hoe komt het. Vooral dat gesprek is erg belangrijk. Bij de ene ouder gaat het gemakkelijker dan met de ander, en dan wacht je gewoon even. Over het algemeen is onze ervaring dat je heel snel met ouders in gesprek komt. Maar ook ouders onderling raken met elkaar in gesprek. Juist om die reden vinden wij het belangrijk dat beide ouders zowel de NOSI als de CBCL invullen. Welbeschouwd zijn we nog niet zo lang bezig, goed een jaar maar we zien nu al dat het project winst oplevert in het contact met ouders. En dit is pas het begin. Als we ervaringen met elkaar, en dan bedoel ik ook met andere instellingen, uitwisselen dan kan dat alleen maar leiden tot een verbetering van de hulpverlening, zowel organisatorisch als methodisch. Interview Annette Sanders, werkbegeleider Hulp aan Huis Tiel

Annet is teamleider van de afdeling Hulp aan Huis, team 12+. Zij begeleidt ambulant medewerkers die in gezinnen werken waarin problemen zijn tussen ouders en pubers. In het begin was ik erg sceptisch. Het gehele plaatje rond Aantoonbare kwaliteit zag ik als een extra belasting niet alleen voor ouders maar ook voor de medewerker. Ben daarin van houding veranderd op het moment dat vragenlijsten niet meer opgestuurd werden maar dat medewerkers zelf met ouders aan de slag gingen met de vragenlijsten. Het levert namelijk een schat aan informatie op die we goed kunnen gebruiken in de relatie met de cliënten. Het verschil met vroeger is dat ouders nu zélf de analyse maken van waar de pijnpunten liggen. Het is directer. Vroeger maakte je als medewerker op grond van het dossier en de kennismaking een soort sterkte-zwakte analyse. Het was meer jouw ding, nu is het meer van ouders zelf! Als medewerker kun je nu dus ook beter aansluiten bij wat de cliënt aangeeft. Waar liggen de pijnpunten? Hoe zijn ze er mee omgegaan? Door deze directe manier kun je 202

ouders ook laten inzien dat ze er hun voordeel mee kunnen doen! Ik hoor wel van medewerkers en van ouders dat zij het invullen van de vragenlijsten veel werk vinden, ook wel confronterend soms. Ouders zijn geneigd om dan enkel de negatieve kanten er uit te halen. Het positieve zit hem met name daarin dat de medewerker de sterke kanten naar voren kan halen die door ouders zelf ingevuld zijn, maar die zij door alle problemen over het hoofd lijken te zien. Naar de toekomst toe moeten we kijken wat we nog meer met de data kunnen. Ik denk bijvoorbeeld aan het intensiveren van de werkrelatie om de hulpduur te verkorten. Maar het is ook een goed instrument om binnen de werkbegeleiding de richting van het methodisch handelen vast te stellen, want hoe kijk jij als medewerker naar de scores en wat betekent dat voor je handelen! Interview met Toos Adams en Anja Janssen, medewerkers Combitraining “Minder Boos en Opstandig”

Toos en Anja leiden al een viertal jaren de Combitraining. De combitraining is een gecombineerde training voor zowel ouders als voor kinderen. De training duurt ongeveer acht maanden. Het invullen van de vragenlijsten is een vast onderdeel geworden van de Combitraining. Wij zijn allebei eigenlijk best te spreken over de gedragsvragenlijsten. Wij merken dat ouders door het invullen van de lijsten anders naar het gedrag van kinderen gaan kijken. Het is niet alleen maar lastig of druk gedrag wat de ouders ervaren maar door de lijsten lijkt het wel of zij meer bewust worden van waar gedrag nog meer uit bestaat. De vragenlijsten roepen echt vragen op bij ouders waardoor zij meer genuanceerd naar de ontwikkeling van hun kind gaan kijken. In de toekomst willen wij graag meer met de vragenlijsten gaan doen. Zo merken wij regelmatig dat ouders tijdens de training een ander beeld van hun kind schetsen dan je op grond van de ingevulde vragenlijsten zou verwachten. Tijdens individuele contacten blijkt dan vaak dat ouders in de groep of toch te bang zijn of de ernst van het probleem ontkennen, bagatelliseren of gewoon sociaal wenselijk antwoorden. In het individuele contact, met de vragenlijsten als leidraad, komt de nuance, soms ook tot verrassing van de ouders zelf, sterker naar voren. Deze terugkoppeling geeft voor ons duidelijk een meerwaarde aan de training maar het gebeurt nu nog te weinig, simpelweg omdat het niet in de opzet van de combitraining zit en ingepast zal moeten worden. Conclusie

Uit het voorgaande blijkt wel, dat aanvankelijke scepsis over het gebruik van gestandaardiseerde instrumenten bij behandelaars kan omslaan in enthousiasme, als maar eenmaal een drempel in het contact met de cliënt is overwonnen. Ervaring leert namelijk ook, dat het gebruik van vragenlijsten in het primaire proces een belangrijke factor kan zijn in het bevorderen van de werkrelatie met cliënten, kan helpen bij het focussen van de behandeling op kerndoelen en het benutten van aanwezige competenties kan stimuleren. Daardoor kan het hulpverleningsproces in veel gevallen worden versneld. Ter vergelijking een citaat over de invoering van het gebruik van gestandaardiseerde instrumenten bij Hulp aan Huis Groningen103: “Verrassenderwijs bleken de vragenlijsten, nog afgezien van hun diagnostische betekenis, ook een buitengewoon effectief communicatiemiddel. Door de uitkomsten met ouders te bespreken, voelen zij zich erkend in hun problemen en beperkingen en wordt ook zichtbaar dat niet alles een probleem is. Het formuleren van krachten en aandachtspunten uit de profielen van de vragenlijsten deed zijn intrede en dit werd weer benut bij het stellen van doelen of het onderbouwen daarvan.” 103 Kerkstra, G. (2006). Scholing voor professionele omgang met onderzoeksinstrumenten. In T.A. van Yperen & J.W. Veerman (red.), Zicht op effectiviteit. Bronnenboek voor praktijkgestuurd effectonderzoek in de jeugdzorg. Deel II (blz. 49-57). Utrecht/Nijmegen: NIZW/Praktikon.

203

7.4 Resultaten aanvangsmetingen 7.4.1 Respons De dataverzameling is gestart op 1 juni 2006. Vanaf dat moment is aan alle cliënten (of hun ouders) bij wie geïndiceerde hulp van start ging, gevraagd om aan de beginmeting mee te doen. Na verloop van tijd, maar in elk geval aan het eind van de behandeling, werden cliënten opnieuw benaderd voor het invullen van vragenlijsten. De vragenlijsten zijn in de meeste gevallen aan (de ouders van) cliënten overhandigd, en in sommige gevallen per post verstuurd. Om het doel van de vragenlijsten te kunnen toelichten en in te kunnen gaan op vragen van cliënten, is ervoor gekozen om de vragenlijsten bij voorkeur persoonlijk te overhandigen. Wanneer de lijsten niet binnen twee weken geretourneerd waren, werden ouders telefonisch benaderd en gevraagd om de lijsten alsnog in te vullen. Tussen juni 2006 en mei 2007 zijn in totaal 312 cliënten gestart met geïndiceerde hulp. Zij ontvingen bij aanvang een set vragenlijsten, die varieerde al naar gelang de betreffende behandelvorm. De respons is het aantal cliënten dat minstens één van de vragenlijsten bij aanvang heeft ingevuld, gedeeld door het aantal gestarte behandelingen (zie Tabel 2). Tabel 2. Respons bij aanvang; periode 1-4-3006 tot en met 1-5-2007. Gestarte Behandelvorm behandelingen Vragenlijsten retour Respons % Hulp aan Huis 129 100 78 % Residentie

29

24

83 %

Dagbehandeling 0-6

33

27

82%

Dagbehandeling 6-12

28

22

79%

Deeltijdbehandeling

41

31

76%

TCK

7

6

86%

Be Kits/Begeleid wonen

2

1

50%

Boog

12

7

58%

Therapie

12

11

92%

KOKOS

19

19

100%

Totaal

312

248

79%

Als we de vuistregel hanteren die door Veerman en Roosma104 gegeven worden op basis van praktijkonderzoek, dan kan een respons van 60 – 74% bij voormeting worden gekwalificeerd als matig, en een respons van 75 – 89% als redelijk. De respons, berekend over de hele periode van het implementatieproject, is dus redelijk te noemen. Dit cijfer is echter wat geflatteerd, omdat het niet gaat om het beantwoorden van de complete set vragenlijsten, maar over het beantwoorden van minimaal één vragenlijst. Daar staat tegenover dat deze responscijfers betrekking hebben op hele traject van implementatie, dus inclusief de aanvangsperiode waarin de logistiek nog herhaaldelijk is 104

Veerman, J.W., & Roosma, D. (2006). Wat komt er allemaal bij kijken? Onderzoekslogistiek in de praktijk van de jeugdzorg. In: T.A. van Yperen & J.W. Veerman (Red.). Zicht op effectiviteit. Bronnenboek voor praktijkgestuurd effectonderzoek in de jeugdzorg. Deel III. Utrecht / Nijmegen: NIZW / Praktikon.

204

bijgesteld en waarin verschillende procedures nog moesten worden aangescherpt en verduidelijkt. Deze plussen en minnen in aanmerking genomen, komen we globaal tot een responscijfer bij de Waarden dat vergelijkbaar is met de responscijfers uit 2006 van een aantal modules van Jeugdzorg Drenthe, te weten 81% voor Families First (FF) en eveneens 81% voor Intensieve Orthopedagogische Gezinsbehandeling (IOG). Deze modules hebben al een lange traditie op het gebied van effectmeting105.; Jeugdzorg Drenthe is één de best practices van het project Zicht op Effectiviteit106, waaraan ook de Waarden sinds 2006 deelneemt. Zoals gezegd gelden de cijfers voor de totale respons niet voor de vragenlijsten afzonderlijk. In sommige gevallen is ofwel alleen de NOSI ingevuld, ofwel alleen de CBCL. Bij de weergave van de uitkomsten per onderdeel (opvoedingsstress, respectievelijk gedragsproblemen) zullen de responscijfers per vragenlijst worden weergegeven. Voor de overige vragenlijsten die in het onderzoek gebruikt zijn geldt dat deze slechts bij een deel van de cliënten is afgenomen. De keuze voor afname van deze lijsten is namelijk deels afhankelijk van de leeftijd van de cliënten (CBSK, CBSK, YSR), en deels van de keuze op basis van de interventiedoelen (Empowerment). Voor deze vragenlijsten worden geen afzonderlijke responscijfers gegeven. Bij het berekenen van de respons bleek de datum van aanvang van de zorg niet altijd eenduidig vast te liggen. Vooral in Tiel blijkt er vaak enige tijd te verlopen tussen het moment dat een cliënt voor geïndiceerde zorg is aangemeld en het moment dat deze daadwerkelijk van start gaat. Indien de geïndiceerde zorg niet direct voorhanden is, volgt een kennismakingsgesprek waarna een overbruggingsperiode intreedt. Om het meetmoment voor afname van de vragenlijsten zo goed mogelijk te koppelen aan de daadwerkelijk verleende hulp, hebben we ervoor gekozen om de vragenlijsten pas aan de cliënten uit te delen op het moment dat de geïndiceerde zorg daadwerkelijk van start gaat. Tijdens de overbruggingsperiode vindt dus geen meting plaats. Een ander aandachtspunt bij het afnemen van de vragenlijsten is het feit, dat er in bepaalde gevallen door de casemanager voor gekozen wordt om een cliënt niet aan de meting te laten deelnemen. Dit kan het geval zijn bij verwachte taalproblemen, bij gezinnen met ernstige sociale problemen, of wanneer meerdere kinderen uit eenzelfde gezin zijn aangemeld. Aan deze cliënten worden dus geen vragenlijsten meegegeven, maar ze tellen mee bij het berekenen van de respons, als cliënten bij wie de behandeling gestart is. Omdat de criteria om te bepalen of een cliënt al dan niet in aanmerking komt voor de effectmetingen niet in alle gevallen even scherp zijn, is het zaak om deze uitzonderingen zoveel mogelijk te beperken en te zoeken naar mogelijkheden om deze cliënten toch in staat te stellen om aan de metingen deel te nemen.

7.4.2 Berekening van de scores Om de uitkomsten te berekenen is gebruik gemaakt van deviatiescores. Deze worden als volgt berekend. In het onderzoek is gebruik gemaakt van een gestandaardiseerde en genormeerde vragenlijsten, zoals de CBCL, de NOSI en de CBSA/K. Van al deze vragenlijsten zijn Nederlandse populatienormen beschikbaar. Daardoor is het mogelijk bij iedere individuele score uit te rekenen, hoeveel deze score afwijkt van het landelijk gemiddelde binnen de normgroep voor de betreffende vragenlijst (deviatie = afwijking). Door deze afwijkingsscore

105

De Meyer, R.E., & Veerman, J.W. (2006). Resultaten Hulp aan Huis Drenthe. Tabellenboek 2005. Nijmegen: Praktikon. Van Yperen, T.A. & Veerman, J.W. (red.). (2006). Zicht op effectiviteit. Bronnenboek voor praktijkgestuurd effectonderzoek in de jeugdzorg. Deel I, II, en III. Utrecht/ Nijmegen: NIZW/ Praktikon.

106

205

te delen door de standaardafwijking van de landelijke scores ontstaat de zgn. normatieve deviatiescore, oftewel deviatiescore. In formule:

Deviatiescore = (Behaalde score – Landelijk gemiddelde score) Standaardafwijking van landelijk gemiddelde

Een deviatiescore van 0 betekent dat de behaalde score op een vragenlijst gelijk is aan – oftewel niets afwijkt van - het landelijk gemiddelde voor de betreffende vragenlijst. Een deviatiescore van +1 betekent dat een score één standaardafwijking boven het landelijk gemiddelde ligt. Dit houdt per definitie in dat slechts 15% van de bevolking hoger scoort (of lager, in geval van een score van -1). Zo is voor elke deviatiescore aan te geven welk percentage van de bevolking hoger (of laag) scoort. Deze percentages van de bevolking met de bijbehorende interpretaties van deviatiescores staan in tabel 3. Tabel 3. Interpretatie van deviatiescores. Deviatiescore Percentielscore > 1,96

> 97,5%

1,65 - 1,96

95% - 97,5%

1,29 - 1,64

90% - 95%

0,80 - 1,28

79% - 90%

Label Zeer ernstige problemen Ernstige problemen Aanzienlijke problemen Matige problemen

< 0,80

< 79%

Geen problemen

Betekenis Problematiek verdient behandeling Problematiek verdient aandacht Geen problemen van betekenis

Het grote voordeel van het gebruik van deviatiescores is dat de uitkomsten van verschillende vragenlijsten onderling vergelijkbaar zijn. Zo wijst een deviatiescore van 1,30 op de CBCL op aanzienlijke (gedrags)problemen, waarbij slechts 10% van de normale bevolking een gelijke of hogere score heeft, en hetzelfde geldt voor de NOSI. Ter vergelijking: deviatiescores van 1,30 of hoger vallen in de klinische range van de CBCL en komen overeen een T-score ≥ 63. Als vuistregel kan gelden dat deviatiescores groter dan 1 wijzen op matige problematiek en scores groter dan 2 op zeer ernstige problematiek.

7.4.3 Problematiek bij aanvang van de behandeling Gedragsproblemen

De gedrags- en emotionele problemen van de jongeren, beoordeeld door de ouders, zijn gemeten met behulp van de CBCL voor 6-18 jarigen en de CBCL voor 1½-5 jarigen. Tot nu toe zijn vrijwel alleen nog maar gegevens van aanvangsmetingen binnen. In tabel 3 zijn de gemiddelde deviatiescores op de schaal Totale gedragsproblemen van de CBCL (beide leeftijdsversies) bij aanvang van de behandeling weergegeven, opgesplitst per afdeling en behandelvorm. Opnieuw geven we ter vergelijking de scores weer, uit 2005, van de eerste meting bij de behandelvormen Families First en Orthopedagogische Gezinsbehandeling van Jeugdzorg Drenthe.

206

Tabel 4. Deviatiescores Totale gedragsproblemen (CBCL) per afdeling en behandelvorm. Behandelvorm

Afd. 1

Afd. 3

N

Gem.

33

2,40

Dagbehand. 0-5

12

2,53

Dagbehand. 6-12

1

2,87

Deeltijdbehandeling

3

4,23

Hulp aan Huis Residentie

N

Afd. 4 Gem.

N

Afd. 5 Gem.

N

Gem.

N

Gem.

17

2,47

31

2,69

7

3,63

10

2,25

5

1,89

1

-,66

2

4,31

12

3,42

3

2,98

2

5,06

Afd. 6

10

3,08

8

3,45

11

1,51

12

2,78

TCK KOKOS

19

2,80

Therapie

8

FF Drenthe

50

3,63

IOG Drenthe

81

2,43

1,60

Zoals blijkt uit de tabel zijn de scores over het algemeen hoog en wijzen deze op ernstige tot zeer ernstige gedragsproblemen. De gemiddelde deviatiescore over de hele groep bij aanvang (N = 207) is 2,62 met een standaardafwijking van 1,82. De CBCL is door 66% van de ouders bij aanvang ingevuld. De gemiddelde deviatiescores wijzen op ernstige gedragsproblemen en deze zijn ongeveer vergelijkbaar met de gemiddelde score van IOG-gezinnen uit Drenthe. Opvoedingsstress

Opvoedingsstress is gemeten met de NOSI. In Tabel 5 staan de gemiddelde deviatiescores op de schaal Totale opvoedingsstress, per afdeling en behandelvorm. Zoals uit de tabel blijkt is er bij alle behandelvormen sprake van een minstens aanzienlijke opvoedingsstress bij aanvang van de behandeling. Tabel 5. Deviatiescores Opvoedingsstress (NOSI) per behandelvorm en afdeling. Behandelvorm Hulp aan Huis

Afd. 1

Afd. 3

N

Gem.

41

2,09

Residentie

Afd. 4

N

Gem.

12

2,06

N

Afd. 5

Afd. 6

Gem.

N

Gem.

N

Gem.

1

1,73

17

1,87

33

2,49

4

2,58

7

1,68

4

2,29

Dagbehand. 0-5

17

2,22

9

2,39

Dagbehand. 6-12

1

4,00

11

2,61

8

2,14

Deeltijdbehandeling

3

2,55

21

1,52

14

1,39

TCK KOKOS Therapie

1

10

2,53

5

-0,16

-0,26

BOOG FF Drenthe

51

2,91

IOG Drenthe

79

2,05

8

1,27

De gemiddelde deviatiescore over de hele groep bij aanvang (N = 227) is 2,04 met een standaardafwijking van 1,42. De NOSI is door 73% van de ouders bij aanvang ingevuld. De gemiddelde deviatiescores wijzen op ernstige opvoedingsproblemen en zijn nagenoeg gelijk aan de gemiddelde score voor de opvoedingsstress van de IOG-gezinnen in Drenthe.

207


In Figuur 2 zijn de gedragsproblemen en de opvoedingsstress bij dezelfde cliënten naast elkaar gezet, voor alle afdelingen tezamen (N = 178, een respons van 57% van het aantal gestarte behandelingen). Voor de meeste modules geldt dat de gedragsproblematiek en de opvoedingsstress bij het begin van de behandeling ernstig is; de deviatiescores liggen rond een gemiddelde van 2, met uitschieters naar 3. Dat betekent dat landelijk gezien slechts 2% (of minder) van de normale bevolking zulke ernstige problemen vertoont. De module Boog vormt de uitzondering die de regel bevestigt: bij deze behandelvorm is de problematiek van cliënten vrijwel nihil (oftewel gelijk aan die van ‘normale’ kinderen).

5 4 3 2 1 0 -1

R

H

aH es id en tie D ag 06 D ag 612 D ee lti jd TC Th K er ap K ie O K O S Bo og

Deviatiescores

Figuur 2. Gedragsproblemen en Opvoedingsstress tezamen (N = 178)

Gedragsproblemen

Opvoedingsproblemen

Bij een vergelijking van de gedragsproblemen en de opvoedingsstress per module is verder nog opvallend dat de gedragsproblemen bij kinderen in de residentie en dagbehandeling voor 6-12 jarigen ongeveer even groot zijn; ook de opvoedingsstress bij de ouders is voor beide behandelvormen ongeveer even hoog, bij de dagbehandeling zelfs nog iets hoger dan bij de residentie. Dit suggereert dat de indicatie voor residentiële behandeling blijkbaar niet samenhangt met een grotere mate van opvoedingsstress bij ouders van residentieel behandelde kinderen. Empowerment

De Vragenlijst Empowerment maakt een onderscheid tussen (1) de mate waarin cliënten het gevoel hebben de situatie waarin ze verkeren te beheersen (besef van beheersing) en (2) de mate waarin ze invloed kunnen uitoefenen om de situatie waarin ze verkeren daadwerkelijk, en indien ze dat wensen, te beïnvloeden (actuele beheersing). Het besef van beheersing en de actuele beheersing wordt zowel bekeken vanuit de cliënt als persoon als vanuit de cliënt als opvoeder.

208

Van de Empowerment vragenlijst zijn nog geen normgegevens voorhanden van Nederlandse ouders uit de algemene bevolking. Wel zijn er gegevens bekend van een ‘klinische’ normgroep, verzameld bij een vijftigtal ouders die deelnamen aan een Intensieve Orthopedagogische Gezinsbehandeling. De deviatiescores zijn berekend op basis van de gemiddelden van deze klinische groep. Een deviatiescore van 0 betekent dat een ouder bij De Waarden precies dezelfde score heeft als het gemiddelde van de ouders in de IOG-normgroep. Tabel 6. Deviatiescores schalen Empowerment vragenlijst bij Hulp aan Huis, Afdeling 6 (N = 33). Besef Besef Feitelijke Feitelijke Behandelvorm/ N beheersing als beheersing als beheersing als beheersing als afdeling persoon opvoeder persoon opvoeder Hulp aan Huis – Afd. 5

14

0,41

0,33

0,44

0,01

Hulp aan Huis – Afd. 6

29

0,51

0,68

0,65

0,30

Net als bij de scoring van de CBCL en NOSI geldt: hoe hoger de deviatiescore, des te meer problemen in dit geval: des te geringer het gevoel van beheersing. Als een deviatiescore op de Empowerment vragenlijst groter is dan 0, betekent dat dus: deze ouder heeft minder besef van beheersing van zijn/haar situatie dan de gemiddelde ouder in de IOG-normgroep. De Empowerment vragenlijst is slechts bij een beperkt aantal behandelvormen binnen Afdeling 5 en 6 afgenomen; exacte responscijfers daarvoor zijn nog niet voorhanden. Zoals uit Tabel 6 blijkt, scoren de ouders die bij Hulp aan Huis in behandeling zijn over het algemeen hoger dan de ouders in de IOG-normgroep, wat wijst op meer problemen. De enige uitzondering hierop vormt de feitelijke beheersing als opvoeder bij gezinnen uit afdeling 5. Zelfbeleving jongeren

Om de mening van de jongeren zelf te horen over hun gedragsproblemen en gevoel van eigenwaarde, zijn de Youth Self Report en de Competentie Belevingsschaal voor Adolescenten (CBSA) afgenomen. Deze beide vragenlijst kunnen door jongeren vanaf 12 jaar worden ingevuld. Bij jongere kinderen, van 8 tot 12 jaar, is alleen de Competentie Belevingsschaal voor Kinderen (CBSK) afgenomen. De deviatiescores zijn berekend op basis van de landelijke normgroepen in de algemene bevolking. Hoge scores op de YSR wijzen op gedragsproblemen: scores groter dan 0,80 duiden op matige problemen, scores groter dan 1,28 op aanzienlijke problemen. Om de vergelijking met de andere vragenlijsten gemakkelijker te maken zijn de deviatiescores op de CBSA/CBSK omgecodeerd: hoge score betekenen een negatieve of problematische zelfbeleving, lage scores een positieve zelfbeleving. Zoals uit de tabel blijkt, zien de jongeren van De Waarden bij zichzelf betrekkelijk weinig gedragsproblemen. Ook wat de competentiebeleving betreft zijn er geen al te grote afwijkingen van het landelijk gemiddelde; met andere woorden, de jongeren van de Waarden beschikken over een normaal gevoel van eigenwaarde, volgens henzelf.

209

Tabel 7. Deviatiescores Gedragsproblemen (YSR; N = 23) en Gevoel van eigenwaarde jongeren (CBSK/CBSA; N = 30) per behandelvorm; Afdeling 5 en 6. Behandelvorm

Gedragsproblemen N

Gem.

Hulp aan Huis

15

0,39

Residentie

5

Dagbehandeling 6-12

-

Eigenwaarde N

Gem.

6

0,49

0,52

5

0,13

-

4

0,00

Deeltijdbehandeling

-

-

12

0,39

TCK

4

0,89

3

-0,57

De relatief lage scores voor gedragsproblemen, beoordeeld door de jongeren zelf, zijn niet uitzonderlijk. Het is een terugkerend gegeven bij zelf-rapportage van gedragsproblemen, dat ─ bij gebruik van verschillende soorten vragenlijsten, zoals gestructureerde interviews, de SDQ, of de YSR ─ jongeren met gedrags- of emotionele problemen over het algemeen laag scoren. Dat wil niet zeggen dat deze vragenlijsten onbetrouwbaar zijn; integendeel, juist het consistent vinden van lage scores voor gedragsproblemen bij jongeren, met verschillende instrumenten, wijst er op dat jongeren deze lijsten steeds op dezelfde manier invullen. Echter, blijkbaar kunnen of willen de jongeren zelf dit soort problematiek bij zichzelf moeilijk onderkennen, terwijl anderen wel problemen signaleren. In het algemeen wordt er namelijk slechts een geringe overeenstemming gevonden tussen de scores van ouders en leerkrachten enerzijds en de jongeren zelf anderzijds, bij gebruik van instrumenten die parallelle versies kennen voor ouders, leerkrachten en jongeren.107 108

7.5 Conclusies en aanbevelingen 7.5.1 Samenvatting Het project Aantoonbare kwaliteit is eind 2005 gestart met als doelstellingen (zie Hoofdstuk 1) dat: • In mei 2007 een samenhangend instrumentarium voor het vaststellen van de resultaten van de zorg gïmplementeerd zal zijn; • Dit instrumentarium moet aansluiten op de Balanced Score Card, waarbij de verschillende instrumenten de succesbepalende factor in het resultaatgebied ‘Cliënten’ nader definiëren; • Dit instrumentarium ingebed dient te zijn in de praktijk van de zorg, dat wil zeggen: gegevens moeten door hulpverleners verzameld en gebruikt kunnen worden; • Een en ander ondersteund dient te worden door een geautomatiseerd registratiesysteem. Het uiteindelijke doel is dat er bij de Waarden een cultuur van meten en weten ontstaat waarbinnen het zicht krijgen op resultaten een centrale plaats inneemt, op basis waarvan vervolgens sturing van zorgprocessen kan plaatsvinden. 107

Kroes, G. (2006). The perception of child problem behavior. The role of informant personality and context. Nijmegen: Praktikon.

108

Van Widenfelt, B.M., Goedhart, A.W., Treffers, P.D.A., & Goodman, R. (2003). Dutch version of the Strengths and Difficulties Questionnaire (SDQ). European Child & Adolescent Psychiatry, 12, 281-289.

210

In Hoofdstuk 2 is aangegeven dat om de deze doelstellingen en het uiteindelijke doel te bereiken er op drie deelgebieden gemeten wordt, te weten cliënttevredenheid, doelrealisatie en het beloop van de klachten. Voor het meten van het beloop zijn in overleg tussen behandelaars en onderzoekers verschillende meetinstrumenten gekozen, namelijk: CBCL, NOSI, EMPO, CBSK/A en YSR. Tevens werd besloten voor het meten van cliënttevredenheid aan te sluiten bij de door de Waarden al gekozen C-toets en voor het meten van doelrealisatie het bij de Waarden gehanteerde systeem van doelrealisatie. Met behulp van de uitkomsten van de metingen met deze instrumenten kunnen vragen beantwoord worden als: • Wat zijn de kenmerken van onze doelgroep? • Zijn de cliënten tevreden over de behandeling? • Worden de gestelde doelen bereikt? Welke wel, welke niet? • Verminderen de klachten? Verbeteren de competenties? Wat doen we met resterende problemen? • Zijn er verschillen tussen afdelingen met dezelfde methodiek? • Waar zijn we goed in, waarin minder? • Kunnen we bepaalde onderdelen van de methodiek verbeteren? In het perspectief van de doelstellingen is er op ingezet de uitkomsten van deze meetinstrumenten op individueel uitvoeringsniveau te benutten in contacten met cliënten, bij het opstellen van behandelplannen, en om succesvolle en minder succesvolle behandelingen te evalueren. Tevens zouden de uitkomsten op team- en organisatieniveau benut gaan worden om inzicht te geven in de aard van de klachten en het beloop gedurende de behandeling bij verschillende afdelingen of modules, en op diverse meetmomenten. Tegelijkertijd wordt een database opgebouwd die aanvullend en verdiepend onderzoek naar werkzame factoren van verschillende behandelvormen in de toekomst mogelijk maakt. Er is de afgelopen twee jaar het nodige gedaan om de doelstellingen te kunnen verwezenlijken. Om te beginnen is er een stuurgroep in het leven geroepen om het project aan te sturen, en twee klankbordgroepen om het project te begeleiden en te voeden met informatie uit de dagelijkse praktijk. Er is een procesbewaker, die de uitvoering van het project coördineert en bewaakt. Er zijn globale interventiedoelen per behandelvorm gedefinieerd en er is een keuze gemaakt voor de meetinstrumenten om vermindering van de ernst van de klachten, en daarmee het bereiken van deze doelen bij de verschillende behandelvormen, te meten. Inmiddels zijn door cliënten ruim 1000 vragenlijsten ingevuld. Er zijn bijeenkomsten geweest om het gebruik van vragenlijsten voor ouders te implementeren en ook is er een logistiek systeem opgezet om vragenlijsten te verspreiden en in te voeren. Het implementatieproject is nu afgerond. Wat is wel en wat is nog niet bereikt? Het hoofdaccent heeft gelegen op het implementeren van het meten van het beloop met gestandaardiseerde instrumenten. Daarvan mogen we constateren dat dit voor een groot deel is bereikt: • De deelname van cliënten bij aanvang van de behandeling (79%) is redelijk tot goed te noemen; • Uit de resultaten van de metingen bij aanvang blijkt dat de gebruikte instrumenten een gedifferentieerd beeld geven van de ernst van de klachten en van de competenties bij zowel jongeren als ouders; • Inmiddels is De Waarden opgenomen in het landelijk project Zicht op Effectiviteit van het Ministerie van VWS. Binnen dat project is een Effectiviteitsplatform actief, waar de implementatie van effectonderzoek centraal staat en waar gegevens van

211

verschillende instellingen worden uitgewisseld. Door gebruik te maken van dezelfde instrumenten is een directe vergelijking mogelijk van de uitkomsten bij de Waarden met de resultaten bij gelijksoortige zorgmodules van andere instellingen. De eerste uitkomsten laten zien dat de ernst van de problemen bij de doelgroep van de Waarden qua niveau behoorlijk overeen komt met de gegevens van vergelijkbare zorgmodules bij (bijvoorbeeld) Jeugdzorg Drenthe. Een aantal onderdelen van het meten van de uitkomsten van de behandelingen is nog niet, of nog niet voldoende gerealiseerd: • De overall respons bij de aanvangsmeting is weliswaar redelijk tot goed, maar varieert nogal per afdeling (50 tot 100%). Bovendien is het percentage cliënten waarbij beide instrumenten van de basisset (NOSI en CBCL, die bij alle cliënten worden afgenomen) is ingevuld relatief gering (57%), vergeleken met de responscijfers voor deze instrumenten afzonderlijk (73% NOSI, 66% CBCL); • Van de cliënten bij wie het onderzoek gedurende het implementatieproject gestart is, zijn er nog maar weinigen bij wie de behandeling inmiddels is afgesloten; daardoor is het aantal eindmetingen op dit moment nog zeer gering en kunnen we niets zinnigs zeggen over de respons bij de eindmeting en over het beloop, • Ook kan nog geen antwoord worden gegeven op de vraag of de gestelde interventiedoelen zijn bereikt; het nog niet mogelijk geweest om het al dan niet behalen van individuele behandeldoelen − geregistreerd via het softwareprogramma Bever − te koppelen aan het beloop − gemeten met behulp van gestandaardiseerde vragenlijsten en geregistreerd in BergOp. • Er zijn nog geen gegevens over de cliënttevredenheid aan het eind van de behandeling • Tenslotte moet ook de systematiek van het opnemen van één of meer indicatoren in de Balanced Score Card nog ontwikkeld worden. Als we resumerend een antwoord proberen te geven op de vraag wat wel en niet bereikt is, dan moeten we in de eerste plaats constateren dat de doelstellingen van het project ambitieus waren. Strikt genomen is nog slechts een klein deel van de voorgenomen implementatiedoelen volledig bereikt, namelijk het in gang zetten van voormetingen. We kunnen echter ook constateren dat dit een zeer belangrijk onderdeel van het implementatieproces was. Het werk dat hiervoor verricht moest worden en de medewerking van behandelaars die hiervoor verkregen is, legt zo’n stevig fundament dat het relatief gemakkelijk is de overige onderdelen van de implementatie te realiseren, ze vormen als het ware het logische vervolg. Het werken aan de implementatie van de voormetingen heeft de beoogde cultuur van meten en weten in gang gezet, nog niet overal en nog niet voor de volle 100%, maar wel als algemeen geaccepteerd principe. Behandelaars zijn nieuwsgierig geworden naar de effecten van hun werk en willen zich inzetten de vragen die hieruit voortvloeien van antwoorden te voorzien. Hiermee is de uiteindelijke doelstelling voor een belangrijk deel bereikt. Om het meten van effectiviteit voort te zetten en de nog ontbrekende elementen daarin te ontwikkelen, komen we tot een aantal aanbevelingen die in de volgende paragraaf worden uitgewerkt. 7.5.2 Aanbevelingen Het project Aantoonbare Kwaliteit heeft aangetoond dat het meten van effecten van de behandeling tijdens het primaire proces levensvatbaar is. Er bestaat inmiddels binnen de gehele organisatie voldoende draagvlak om systematisch gegevens te verzamelen en te 212

registreren. Onze eerste aanbeveling is dan ook om dit proces voort te zetten en zo mogelijk nog te versterken. Om het proces voort te zetten wordt aanbevolen om de volgende elementen te handhaven, omdat ze hun nut bewezen hebben: • Er is een procesbewaker die zorg draagt voor de continuïteit van het proces; • Er is secretariële ondersteuning voor beide locaties (Tiel en Nijmegen) afzonderlijk; • De huidige instrumenten worden gehandhaafd; • BergOp wordt gebruikt als dataregistratiesysteem; • De verwerking van de data wordt uitbesteed aan Praktikon. Om het proces op korte termijn te versterken doen we de volgende aanbevelingen: • De afname van de C-toets wordt gekoppeld aan de eindmetingen en de data worden ingevoerd in BergOp; • Hetzelfde geldt voor de evaluatie de mate van doelrealisatie, hiertoe zullen gegevens vanuit Bever benut moeten worden, idealiter via een import in BergOp, mogelijk tijdelijk door ze handmatig uit Bever te halen; • Van belang is om na te gaan waarom de NOSI (73% respons) meer wordt teruggestuurd dan de CBCL (66% respons); • Nagegaan moet worden of en hoe de respons per afdeling nog verhoogd kan worden, door de factoren op te sporen die tot een lagere dan wel hogere respons geleid hebben; • Het aantal meetmomenten wordt gereduceerd tot drie: bij het begin van de behandeling, het einde van de behandeling, en zes maanden na het einde van de behandeling (follow-up); • Aanleveren van effectmetingen per instrument op individueel niveau voor het primaire proces, hierdoor neemt de benutting toe; • Per locatie zijn minimaal 10 medewerkers voldoende getraind in het omgaan met de gedragsvragenlijsten in het contact met ouders; • Met directie en management wordt overlegd welke kengetallen sturing voor het beleid kunnen geven en hoe die het beste gepresenteerd kunnen worden en ingepast kunneen worden in de Balanced Score Card (BSC); • De klankbordgroepen worden opgeheven. In het BAG (Beleids Advies Groep) zal door de interne onderzoeker regelmatig verslag worden uitgebracht over de voortgang van de effectmetingen; • De stuurgroep wordt gehandhaafd. Deze komt een maal per kwartaal bij elkaar. In juli 2008 kan er dan een volgende rapportage plaatsvinden met gegevens over het beloop, doelrealisatie en cliënttevredenheid. Anbevelingen voor de langere termijn zijn: • Follow-up: vergelijking van follow-up gegevens met de begin- en eindmeting; • Koppelen van uitkomsten aan interventies binnen de afdelingen. • Zicht krijgen op werkzame factoren. Daarnaast zal het project Aantoonbare kwaliteit een verdieping krijgen via het promotieproject Aantoonbare Effectiviteit. Hiermee wil dat de Waarden nog sterker focussen op het thema effectiviteit. Dit project zal in september 2007 van start gaan en voornamelijk plaatsvinden bij afdelingen die residentiële behandeling bieden. Binnen dit project zullen de meeste aanbevelingen voor de korte en lange termijn gerealiseerd kunnen worden. Het is zaak de werkzaamheden binnen de twee projecten goed op elkaar af te stemmen. Het is

213

voortstelbaar dat binnen het project Aantoonbare Effectiviteit ontwikkelde en uitgeprobeerde instrumenten en procedures binnen Aantoonbare Kwaliteit “waardenbreed” geïmplementeerd kunnen worden. 7.5.3 Tot slot Er is in het nu afgeronde project voldoende draagvlak gecreëerd om succesvol door te kunnen gaan op de ingeslagen weg. Binnen de Waarden is de beoogde cultuuromslag in gang gezet en deze zal zich alleen nog maar verder uitbreiden. Dit sluit niet toevallig aan bij de huidige ontwikkelingen in de Nederlandse jeugdzorg waarbij het zicht krijgen op de uitvoering en resultaten van het werk een belangrijke rol speelt. Hiermee kan naar binnen toe bekeken worden hoe de zorg het beste ingericht kan worden, kan naar buiten toe verantwoording worden afgelegd en kan verder onderzoek naar nog sterkere bewijzen van effectiviteit plaatsvinden. De jeugdzorg kan zich hiermee verder professionaliseren en profileren. Het uiteindelijk doel van dit alles is dat behandelaars en onderzoekers in een gezamenlijke inspanning een effectieve jeugdzorg creëren waarin kinderen en hun gezinnen optimaal geholpen kunnen worden. Dat het altijd nog beter kan behoeft geen belemmering te zijn het vandaag zo goed mogelijk te doen. Zicht op effectiviteit kan hierbij helpen.

214

Bijlage 7.1 Gegevensverzameling Informant

Baseline

3 maanden

9 maanden

18 maanden

Afsluiting

Ouders

CBCL NOSI (Empowerment)

CBCL


CBCL


Doelen stellen

Doelen evalueren C-toets C-toets

Jongere

YSR (CBSK/A)

YSR

YSR (CBSK/A)

YSR

Doelen stellen

Doelen evalueren C-toets

Leerkracht

Behandelaar

Doelen stellen

YSR (CBSK/A)

TRF

TRF

CBCL

CBCL

C-toets

CBCL

CBCL Doelen evalueren

215

Bijlage 7.2 Interventiedoelen voor Aantoonbare kwaliteit Afdeling

Norm: % gehaald

Behandelvorm

Interventiedoel

MKD

1. 2. 3. 4. 5.

Beeld kind is voldoende in kaart gebracht Kind ontwikkelt zich naar vermogen Gedrag kind is voldoende gereguleerd Opvoedingsvaardigheden ouders voldoende Draagkracht/draaglast in evenwicht

75 75 75 75 75

1

Deeltijddagbehandeling

1. 2. 3. 4. 5.

Het beeld van het kind is voldoende in kaart Het gedrag is voldoende gereguleerd Het kind heeft voldoende sociale vaardigheden Het kind heeft voldoende spelvaardigheden Opvoedingsvaardigheden ouders zijn voldoende

75 75 75 75 75

3

BOOG e.a.

1. Gedragsproblemen zijn verminderd 2. Sociale vaardigheden zijn verbeterd

80 80

3/4

Residentie

1. 2. 3. 4.

90 80 80 80

4

Deeltijd

1. Sociale vaardigheden zijn verbeterd 2. Gedragsregulatie is verbeterd 3. Emotionele ontwikkeling is verbeterd

70 70 70

Deeltijd

1. 2. 3. 4. 5.

Gedragsverandering van kind is voldoende Ouders kunnen met problematiek omgaan Kind heeft voldoende sociale vaardigheden Kind heeft voldoende spelvaardigheden Ouders zijn voldoende in staat kind op te voeden

65 70 70 70 70

1. 2. 3. 4. 5. 1. 2. 3. 4.

Ouders zijn voldoende in staat kind op te voeden Gedragsverandering van kind is voldoende Draagkracht en draaglast ouders zijn in evenwicht Kind heeft voldoende sociale vaardigheden Kind heeft voldoende spelvaardigheden Ouders zijn voldoende in staat kind op te voeden Draagkracht-draaglast meer in evenwicht Gedragsproblemen van kind zijn verminderd Ouders kunnen met problematiek omgaan

70 65 60 70 70 50 60 70 65

Hulp aan Huis

1. 2. 3. 4.

Gezinscommunicatie naar tevredenheid verbeterd Door cliënt gestelde doelen zijn bereikt Opvoedingscompetenties zijn voldoende Zelftevredenheid voldoende

80 90 80 70

6

Behandelgroep

1. 2. 3. 4. 5.

Toename sociale vaardigheden Toename emotionele vaardigheden Zelftevredenheid voldoende Herstel van gezinsrelaties Probleemgedrag is verminderd

75 75 70 75 70

6

TCK

1. Zelfredzaamheid voldoende 2. Sociaal netwerk voldoende 3. Zelftevredenheid voldoende

80 65 70

Be Kits

1. 2. 3. 3.

80 70 75 70

1

5

5

Dagbehandeling

5

MKD

6

6

Kind kan terug naar huis Internaliserende problematiek zijn verminderd Externaliserende problematiek zijn verminderd Sociaal gedrag is verbeterd

Kan zelf dag structureren Maatschappelijk geaccepteerd sociaal netwerk Financiëel zelfredzaam Zelftevredenheid voldoende

216

Bijlage 7.3 Stappenplan locatie Tiel, Hulp aan Huis Fase

Actie

Aanmelding

-

Checken van aanmeldingsgegevens (checklist) Bericht van acceptatie samen met brief over gegevensverzameling Gegevens jeugdige invoeren in Care4 Gegevens jeugdige importeren vanuit Care4 in BergOp Inzamelen van bij BJZ ingevulde vragenlijsten (CBCL, NOSI, Empowerment en , indien van toepassing, YSR) Ingezamelde vragenlijsten invoeren in BergOP

Plaatsingscommissie + Secretariaat

-

Uitdelen CBCL, NOSI , Empowerment en, indien van toepassing YSR, om thuis in te vullen (indien niet bij aanmelding aanwezig of indien ouder dan drie maanden: zie checklist)

BC

-

inzamelen uitgedeelde vragenlijsten, eventueel rappel binnen 2 weken

Secretariaat

-

Vragenlijsten invoeren in BergOp Rapporten printen Vragenlijsten opbergen in dossier Geprinte rapporten opsturen naar Bc

Secretariaat

-

Resultaten verwerken in een verslag

Bc

versturen van vragenlijsten (CBCL, NOSI, Empowerment en, indien van toepassing, YSR) met verzoek deze te retourneren voor bepaalde datum inzamelen ingevulde vragenlijsten, eventueel rappel binnen 2 weken vragenlijsten invoeren in BergOp rapporten uitprinten vragenlijsten opbergen in dossier rapporten opsturen naar BC

Secretariaat

versturen van vragenlijsten (CBCL, NOSI, Empowerment en, indien van toepassing, YSR) met verzoek deze te retourneren voor bepaalde datum inzamelen ingevulde vragenlijsten, eventueel rappel binnen 2 weken vragenlijsten invoeren in BergOp rapporten uitprinten vragenlijsten opbergen in dossier rapporten opsturen naar BC

Secretariaat

-

Startgesprek

Wie doet dit

(Baseline, eerste meetmoment)

Secretariaat

Start geïndiceerde hulp 3 maanden: evaluatie zorgcontract

-

(Tweede meetmoment)

-

1 maand vóór einde behandeling (Derde meetmoment)

-

-

Einde geïndiceerde hulpverlening Follow-up 6 maanden na beëindiging van geïndiceerde zorg

-

versturen van CBCL met verzoek deze te retourneren voor bepaalde datum CBCL invoeren in BergOp

217

Secretariaat

Zicht op Effectiviteit

Recommend Documents