Samenwerkingsverband Effec eve Jeugdzorg Nederland
UITKOMSTENMONITORING
IN DE JEUGDZORG MEER DAN ALLEEN MAAR METEN
Deze brochure werd in opdracht van de Inspec e Jeugdzorg samengesteld door het Samenwerkingsverband Effec eve Jeugdzorg Nederland (SEJN), auteurs: prof. dr. J.W. Veerman, prof. dr. T.A. van Yperen, M. Wilschut MSc. © 2013 SEJN, Utrecht 2
INLEIDING Het meten van uitkomsten van behandelingen in de jeugdzorg1 is op zich niet nieuw, wel hee het de laatste jaren een grote vlucht genomen. Waren het voorheen vooral onderzoekers die hier belangstelling voor toonden, vandaag de dag zijn ook hulpverleners, bestuurders, beleidsmakers, financiers en toezichthouders meer dan alleen geïnteresseerd in uitkomsten. Ze willen ze ook benu en, het werk kan er beter van worden en het werk kan er ook beter door verantwoord worden. Dat maakt het meten van uitkomsten uiterst relevant. In deze brochure wordt een overzicht gegeven van de stand van zaken omtrent het meten van uitkomsten in de jeugdzorg. Eerst wordt ingegaan op wat het meten van uitkomsten is en hoe het eruit ziet, daarna wordt ingegaan welke doelen het kan dienen. Vervolgens komen wetenschappelijke en maatschappelijke achtergronden aan de orde alsook de organisa e van het meten in de prak jk. Tenslo e wordt ingegaan op een aantal vaak gestelde vragen over uitkomstenmonitoring. WAT IS HET? Het meten van uitkomsten vindt onder veel verschillende noemers plaats, een kleine bloemlezing: rou ne outcome monitoring of rou ne outcome measuring (beide afgekort met ROM), periodieke uitkomstme ngen, herhaalde me ngen, uitkomstenmonitoring, uitkomstenmanagement, resultaatgericht meten, pa ëntgericht onderzoek, prak jkgestuurd effectonderzoek. De gemeenschappelijke kern van wat er onder al deze benamingen valt is: •
het systema sch volgen van
•
het verloop van problemen of competen es, de realisa e van hulpverleningsdoelen, tevredenheid van cliënten, risicovolle omstandigheden, uitval uit de zorg,
•
bij cliënten die jeugdzorg ontvangen
1 We concentreren ons hier op de jeugdzorg (instellingen voor Jeugd & Opvoedhulp, jeugd-GGZ, zorg voor licht verstandelijke gehandicapten en jus ële jeugdzorg), maar uitkomstenmonitoring vindt ook in andere sectoren plaats, zoals de GGZ voor volwassenen.
1
•
door het periodiek, als onderdeel van de behandeling, afnemen van gestandaardiseerde mee nstrumenten
•
en het benu en van de uitkomsten van deze instrumenten voor interne behandelplanning en evalua e in primair proces en beleid en voor externe verantwoording naar derden (o.a. financiers).
Wij kiezen in dit document voor de term uitkomstenmonitoring of kortweg monitoring. De zojuist gegeven omschrijving verwoordt de visie dat uitkomstenmonitoring niet iets is wat in een kamertje achteraf gebeurt en af en toe leidt tot een rapportage met heel veel gegevens, maar deel is van het dagelijkse werk en daar zuinig en gebruiksgericht wordt ingezet. HOE ZIET HET ERUIT? Centraal bij uitkomstenmonitoring staat het invullen van één of meer gestandaardiseerde mee nstrumenten over het func oneren van door jeugdzorginstellingen behandelde cliënten. Deze instrumenten worden minimaal aan het begin en einde van de behandeling afgenomen en bij voorkeur ook enige keren tussen jds. Op die manier wordt zicht gekregen op: •
het verloop van problemen (blijven die stabiel, nemen ze af?) of competen es (nemen die toe?)
•
de realisa e van de behandeldoelen (worden die niet, deels of geheel behaald?)
•
de mate van tevredenheid (voldoet die aan een afgesproken norm en blij die op peil?)
•
het verkeren in risicovolle omstandigheden (neemt dit af?)
•
of de cliënten blijven deelnemen aan het hulpverleningsproces (vindt er een reguliere beëindiging plaats, haken ze voor jdig af?)
In Figuur 1 wordt een voorbeeld van een uitkomstenmonitoring van het beloop van problemen via een voor- en name ng gegeven met een fic eve vragenlijst
2
die vier soorten problemen meet: Angst (A), Depressie (D), Hyperac viteit (H) en Gedragsproblemen (G). In de figuur is te zien dat de scores voor Angst en Gedragsproblemen bij aanvang het hoogst zijn en de score voor Hyperac viteit het laagst. Bij de name ng is deze laatste score nog vrij hoog, de scores op de andere gebieden zijn rela ef meer afgenomen. In Figuur 2 wordt een voorbeeld gegeven van een fic eve uitkomstenmonitoring met zes maandelijkse me ngen met de totaalscore van de vragenlijst, deze gee een indica e over de ernst van de totale problema ek. Te zien valt dat de problemen in de eerste drie maanden sterk afnemen en daarna vrij stabiel blijven. Figuur 1
Figuur 2
Beide figuren zijn als een voorbeeld te zien van monitoring op twee verschillende niveaus: •
Ze vormen een illustra e van hoe op individueel niveau de voortgang van een behandeling is te volgen.
•
Ze zijn ook te lezen als twee plaatjes die de gemiddelde scores van een behandelde groep laten zien; dit kan een groep cliënten van een instelling zijn, of van een afdeling of team binnen een instelling.
De figuren maken ook duidelijk dat monitoring betekent dat er keuzes gemaakt moeten worden: kijkt men naar alleen onderdelen van het profiel, het gehele
3
profiel met alle schaalscores of alleen naar een totaalscore? Wat zegt de hoogte van de scores over de ernst van de problemen bij het begin van de behandeling en het einde? Ook de vraag naar de mate van verandering dringt zich op, wanneer is die betekenisvol? We komen op deze en andere keuzes nog terug bij de ‘veelgestelde vragen’ aan het eind. WAAROM NODIG? Uitkomstenmonitoring dient drie doelen. In de eerste plaats kan de kwaliteit en effec viteit van de behandeling ermee vergroot worden. Door na iedere behandeling systema sch de opgetreden verandering vast te leggen krijgen individuele hulpverleners een beeld van bij wie wel en bij wie geen vooruitgang wordt geboekt. Verdere doordenking van patronen die opvallen kan leiden tot verbetering van de behandeling. Zo kan het bijvoorbeeld gaan opvallen dat een behandeling bij jeugdigen van een bepaalde lee ijd niet aanslaat, of dat er bij jeugdigen met een bepaald soort problema ek weinig vorderingen worden gemaakt. Dit zou tot een hypothese kunnen leiden dat de aanpak op bepaalde onderdelen herzien moet worden om die cliëntengroepen beter te bedienen. Deze hypothese zou op nieuwe uitkomstdata getoetst kunnen worden. Als de uitkomstme ngen ook nog tussen jds plaatsvinden, kan een individuele aanpak op basis van de uitslagen al jdens de behandeling bijgestuurd worden. Het planma g werken wordt hiermee vergroot. In de tweede plaats kan uitkomstenmonitoring helpen behandeling beter te verantwoorden tegenover beleidsmakers, financiers en de samenleving. Hiervoor kunnen bijvoorbeeld afspraken gemaakt worden over de mate van vooruitgang die moet worden geboekt, of de mate van problema ek aan het eind van de behandeling. Dit levert een indicator op, die bij elke individuele behandeling toegepast kan worden: voldoet deze behandeling wel of niet aan de indicator? Om na te gaan of een individuele hulpverlener, een team, een afdeling of instelling aan die indicator voldoet kan men een norm stellen voor het aantal jeugdigen van wie de score aan de indicator moet voldoen, bijvoorbeeld 80% van de behandelde
4
jeugdigen is substan eel vooruitgegaan, of 60% hee aan het einde van de behandeling geen problemen meer. Dit wordt ook wel benchmarking genoemd. Hier speelt weer de vraag waar de grens precies ligt, we komen daar nog op terug. In de derde plaats helpt uitkomstenmonitoring de jeugdzorg beter onderzoekbaar te maken. Als meerdere (alle) jeugdzorginstellingen jaarlijks de uitkomstme ngen van de door hen behandelde jeugdigen en hun gezinnen naar een gezamenlijke database sturen gaat het al snel om enduizenden uitkomstme ngen. Dit biedt wetenschappelijk onderzoekers een uitgelezen kans om patronen te ontdekken, dezelfde soort patronen die een individuele hulpverlener zou kunnen ontdekken bij zijn of haar ‘eigen’ cliënten, de schaal en de diversiteit zijn nu alleen veel groter. Dit betekent dat het verzamelbestand veel representa ever is en sta s sche analyses met een grotere kans van slagen kunnen worden verricht. De resultaten van dit onderzoek geven een verdere uitbouw aan de kennis over wat werkt in de jeugdzorg en komen weer de uitvoeringsprak jk en het beleid ten goede. DE KRACHT VAN MONITORING Het zal duidelijk zijn dat in het nastreven van de genoemde doelen de kracht van uitkomstenmonitoring ligt. Meer specifiek ligt die kracht in het gebruik van uitkomsten in de kwaliteitssystema ek. Uitkomsten moeten worden benut. Zonder dit blij uitkomstenmonitoring een ‘leeg’ en bureaucra sch meetsysteem. Benu ng brengt het tot leven. Benu ng maakt gegevens tot betekenisvolle informa e. Dit betekent dat daar moet goed over nagedacht moet worden bij de inrich ng van uitkomstmonitoring. Wat willen we weten, hoe willen we dat meten en op welke momenten willen we welke uitkomsten teruggekoppeld krijgen en op welke manier. Het doel is met uitkomstmonitoring het handelen te richten en te verantwoorden. Dit zal allereerst op individueel niveau van de hulpverlener en de cliënt plaatsvinden, in het zogeheten primaire proces. Daartoe moet het zich echter niet beperken, dan ontstaat het gevaar dat het een ‘speeltje voor hulpverleners’ wordt, hoe goed dit speeltje hen ook helpt. Benu ng op managementniveau is belangrijk omdat uitkomsten dan sturingsinforma e
5
worden en direc e en management belang gaan hechten aan een goed werkend systeem van monitoring, wat de inbedding in de werkprocessen weer ten goede komt. Een goed werkend systeem zorgt ook voor voldoende representa eve groepen en maakt ook benu ng door de wetenschap relevant, uitkomsten worden dan generaliseerbare kennis over wat werkt in de jeugdzorg. Die kennis dient weer om de prak jk verder te verbeteren. Het benadrukken van benu ng posi oneert uitkomstenmonitoring in het hart van de zorg. Figuur 3 visualiseert de verschillende niveaus van benu ng en koppelt ze aan drie cycli: de hulpverleningscyclus, de kwaliteitscyclus en de empirische cyclus. Het in elkaar grijpen van deze drie cycli zorgt ervoor dat op de werkvloer verzamelde prac ce-based evidence hulpverleners en instellingen kan helpen tot evidence-based prac ce te komen, waarin kennis over uitkomsten in samenhang met wensen en voorkeuren van cliënten en hulpverleners, behulpzaam is om voor elke cliënt de beste interven e te kiezen. Figuur 3
WAAROM ZOU HET KUNNEN WERKEN? DE THEORIE Uitkomstenmonitoring hee in Nederland een impuls gekregen vanuit de zogeheten Hulp aan Huisprojecten die in de jaren negen g van de vorige eeuw
6
en het begin van deze eeuw van start gingen. In deze projecten werd intensieve ambulante gezinsbegeleiding geboden in de thuissitua e. Bekende behandelingen binnen deze projecten waren Families First (FF), Intensieve Orthopedagogische Gezinsbegeleiding (IOG) en Intensief Psychiatrische Gezinsbegeleiding (IPG). Het afnemen van vragenlijsten voor het doen van voor- en name ngen was een essen eel onderdeel van de methodiek, met name het bespreken van de uitkomsten van de me ngen werd door de samenwerkende ontwikkelaars en onderzoekers gezien als een belangrijke werkzame factor.2 Die overtuiging vond enkele jaren later ondersteuning in Amerikaans onderzoek naar therapeu sche diagnos ek3 en het eveneens Amerikaanse onderzoek naar cliën eedback 4. Bij therapeu sche diagnos ek staat de opva ng centraal dat hulpverleners en cliënten in een zo gelijkwaardig en open mogelijke rela e samen vaststellen wat de problemen zijn en wat eraan gedaan kan worden. Het bespreken van test- en vragenlijstenuitslagen vormt hier een essen eel onderdeel van, het zet cliënten aan tot reflec e en ac eve par cipa e in de behandelplanning. Cliën eedback gaat uit van de opva ng dat behandelen zonder feedback over het verloop is als geblinddoekt schieten op een doel.5 Regelma ge feedback door middel van door cliënten ingevulde vragenlijsten moet dienen als aanzet voor bijsturing van de kwaliteit van het aanbod.
2
Zie Roosma, D., & Tönjes, H. (2008). Organisa e prak jkgestuurd effectonderzoek bij Hulp aan Huis. In T.A. van Yperen & J.W. Veerman (Red.), Zicht op effec viteit. Handboek voor prak jkgestuurd effectonderzoek in de jeugdzorg (blz. 169-184). Del : Eburon. Zie ook Veerman, J.W. (1999). Wat hee de prak jk er aan? Specifiek en nonspecifiek nut van onderzoek in de jeugdzorg. In E.J. Knorth & M. Smit (Red.), Planma g handelen in de jeugdhulpverlening (pp. 407-415). Leuven/ Apeldoorn: Garant.
3
Vooral bekend geworden door het werk van Stephen Finn, zie Finn, S.E. (2007). In our clients’ shoes. Theory and technique of therapeu c assessment. New York: Psychology Press. Zie ook de latere metaanalyse van Poston, J.M., & Hanson, W.E. (2010). Meta-Analysis of Psychological Assessment as a Therapeu c Interven on. Psychological Assessment, 22, 3-12. 4
Hier is met name het werk van Michael Lambert van belang, zie bijvoorbeeld Lambert, M.J. (2010). ‘Yes it is me for clinicians to rou nely monitor treatment outcome.’ In B.L. Duncan, S.D. Miller, B.E. Wampold, & M.A. Hubble (Eds.), The heart and soul of change, Delivering what works in therapy (2nd edi on). (pp. 239-266). Washington, DC: American Psychological Associa on. 5
Een uitspraak van Sapyta, J., Riemer, M., & Bickman, L. (2005). Feedback to clinicians: Theory, research, and prac ce. Journal of Clinical Psychology, 61, 145-153.
7
Ten aanzien van de cliëntenfeedback zijn twee vormen te onderscheiden. De eerste vorm gaat uit van het genereren van feedback op individueel niveau gedurende het verloop van de behandeling. De bedoeling hiervan is dat de feedback helpt te signaleren of de behandeling op koers ligt en indien nodig zorgt voor jdige bijsturing. Deze feedback kan het beste verzorgd worden door een internetprogramma waarmee vragenlijsten gescoord en profielen gemaakt kunnen worden en waarbij zo mogelijk ook een vergelijking met normen kan plaatsvinden.6 Onderzoek hee laten zien dat feedback aan hulpverleners en aan hulpverleners en cliënten een guns ge uitwerking op het verloop hee , met name bij cliënten die het risico lopen op een minder guns ge ontwikkeling. Als een hulpverlener bovendien bij elke me ng ook nog via het internet voorgeprogrammeerde informa e kan opvragen, op grond waarvan hij de behandeling bij kan sturen, de zogeheten clinical support tools, verbeteren er nog meer cliënten. Figuur 4, gemaakt op basis van de resultaten van onderzoek van Michael Lambert en zijn collega’s, brengt dit in beeld.7 Zonder feedback (ZFB) gaat 22% van de cliënten er substan eel op vooruit, met alleen feedback aan Figuur 4
Feedbackcondi es
6
In instellingen voor jeugd- en opvoedhulp wordt BergOp regelma g gebruikt, zie www.bergop.info.
7
Cijfers ontleend aan Shimokawa, K., Lambert, M.J., & Smart, D.W. (2010). Enhancing Treatment Outcome of Pa ents at Risk of Treatment Failure: Meta-Analy c and Mega-Analy c Review of a Psychotherapy Quality Assurance System. Journal of Consul ng and Clinical Psychology, 78, 298–311.
8
hulpverleners (FBB) gaat 38% vooruit, met feedback aan hulpverleners en cliënten (FBBC) gaat 45% vooruit en met feedback en clinical support tools (FBCST) s jgt het percentage cliënten dat substan eel verbetert naar 53%. De conclusie kan zijn dat uitkomstenmonitoring op zich een bewezen effec eve interven e is, zij het dat dit vooral bij de behandeling van volwassenen is onderzocht en voor de jeugdzorg nog verder aangetoond moet worden. De tweede vorm van cliëntenfeedback gaat uit van het op team-, afdelings- of instellingsniveau benu en van uitkomsten van afgesloten behandelingen. De cijfers fungeren daarbij als stof tot reflec e op de kwaliteit van het aanbod en zijn verbonden in een kwaliteitscyclus, ook wel een meet- en verbeterbeweging genoemd. Deze moet leiden tot steeds betere resultaten. Het voorbeeld in Figuur 5 laat zien wat we bedoelen. Het voorbeeld is ontleend aan een onderzoek naar uitkomsten van de zogeheten Intensieve Orthopedagogische Gezinsondersteuning (IOG)8, een interven e in de thuissitua e bij mul probleemgezinnen waar het risico bestaat dat het kind uit huis moet worden geplaatst. Jarenlang is gemonitord wat de problema ek bij aanvang en afslui ng van de hulp is. De cijfers werden teruggekoppeld naar de behandelteams met een aantal kernvragen rondom benu ng: Herkennen we de cijfers? Kunnen we ze verklaren? Zijn ze te verbeteren? Welke ac es moeten dan ondernomen worden? De figuur laat de effectgroo es zien (zie ook de toelich ng onder de tabel). Aanvankelijk waren de effecten niet groot. Jaarlijkse besprekingen van de uitkomsten in het team maakten de betrokkenen ervan bewust dat belangrijke behandelprincipes mogelijk niet consequent werden toegepast. Men keek vervolgens waarom niet, en ruimde daarop de barrières uit de weg, zodat het beter ging. Ook het werken met vragenlijsten kreeg steeds meer een plek in de werkprocessen, bijvoorbeeld om samen met de cliënt doelen te stellen en die te evalueren. Al doende hee het team over de jaren heen de behandeling steeds aangepast op basis van reflec e
8 Het onderzoek naar dit type behandeling is eerder reeds genoemd. De figuur is overgenomen uit: Leijsen, M. (2008). Onderzoeksgegevens als sturingsinforma e voor hulpverleners en teams. In T.A. van Yperen & J.W. Veerman (Red.), Zicht op effec viteit. Handboek voor prak jkgestuurd effectonderzoek in de jeugdzorg (blz. 195-205). Del : Eburon.
9
over de uitkomsten en de resultaten meer dan kunnen verdubbelen. Monitoring, in dit geval van de mate van afname van problema ek, is hierbij een belangrijk leermiddel geweest als onderdeel van een gemeenschappelijke ambi e om de zorg te verbeteren. Figuur 5
Toelichting Effectgroottes: < 0,20: verwaarloosbaar 0,50 – 0,80: middelgroot effect
0,20 – 0,50: klein effect > 0.80: groot effect
De twee vormen van monitoring die we hier hebben besproken, het gebruik bij individuele cliënten en het gebruik op groepsniveau, sluiten elkaar niet uit. Integendeel, ze kunnen elkaar goed aanvullen. Gegevens uit de monitoring jdens het behandelproces zijn niet alleen naar de dienstdoende hulpverlener terug te koppelen. Cijfers over meerdere behandeltrajecten en doelgroepen zijn als reflec estof aan te bieden aan teams. Dit maakt monitoring tot een belangrijk instrument om op verschillende niveaus een meet- en verbeterbeweging op gang te brengen. Pas hierbij op voor fixa e op cijfers, het gaat om de vraag of ambi es worden gerealiseerd.9 9 Zie Yperen, T. van (2012). Verbetering telt, werken met presta e-indicatoren in de zorg voor jeugd. Utrecht: Nederlands Jeugdins tuut.
10
HOE WORDT HET GEORGANISEERD? DE PRAKTIJK Het organiseren van uitkomstenmonitoring in de prak jk van de jeugdzorg is niet een kwes e van ‘even doen’. Aandacht voor implementa e is vereist. Het invoeren van een meetsysteem voor monitoring is te vergelijken met het invoeren van een nieuwe interven e. Dat betekent dat de fasen en factoren die in het algemeen bij implementa e onderscheiden worden ook hier van toepassing zijn.10 Hulpverleners die ermee gaan werken moeten goed op de hoogte zijn van wat het is (verspreidingsfase), bereid zijn ermee te werken (adop efase) en er ook daadwerkelijk mee aan de slag gaan (invoeringsfase); daarna moet ervoor gezorgd worden dat uitkomstenmonitoring verankerd is in de organisa e en deel uitmaakt van de werkprocessen (borgingsfase). In een door het Samenwerkingsverband Effec eve Jeugdzorg (SEJN) georganiseerde focusgroep11 over zaken die instellingen voor jeugdzorg moeten weten bij het opze en van uitkomstenmonitoring kwamen de volgende sugges es naar voren:12 •
De wens om met uitkomstenmonitoring te beginnen moet bij de organisa es zelf liggen, zij zijn eigenaar, de monitoring moet niet van buitenaf opgelegd worden (hoewel dit wel als prikkel kan dienen).
•
Het ‘waarom’ moet duidelijk zijn, dit moet te maken hebben met het beter maken van het werk (professionaliseren) en het werk beter naar buiten toe kunnen verkopen (profileren).
•
Direc e en management moeten er volledig achter staan en de consequen es hiervan overzien, indien dit niet het geval is kan er erns g getwijfeld worden
10
Dit geldt ook voor het implementeren van interven es, zie bijvoorbeeld Stals, K. (2012). De cirkel is rond. Onderzoek naar succesvolle implementa e van interven es in de jeugdzorg. Disserta e Universiteit Utrecht
11 Aan deze focusgroep namen vertegenwoordigers van jeugdzorginstellingen en onderzoekers deel die op dat moment bezig waren met het opze en van uitkomstenmonitoring, zie Veerman, J.W., Wilschut, M., Ooms, H. & Roosma, D. (2010). Zicht op effec viteit van jeugdzorg vereist onderzoeksbereidheid en onderzoeksrijpheid van instellingen. De ontwikkeling van een ondersteuningspakket voor het opze en van een instellingsbrede effectmonitoring. Utrecht: SEJN. 12
Dit geldt ook voor het implementeren van interven es, zie bijvoorbeeld Stals, K. (2012). De cirkel is rond. Onderzoek naar succesvolle implementa e van interven es in de jeugdzorg. Disserta e Universiteit Utrecht
11
aan het nut van het invoeren ervan. •
Medewerkers dienen zoveel mogelijk betrokken te worden bij meedenken over opzet en uitvoering van de monitoring.
•
Er dient bereidheid te zijn om beslissingen te nemen op basis van de uitkomsten, zelfs als dat zou betekenen dat bepaalde interven es uit het aanbod gehaald moeten worden.
•
Er moet besef zijn dat uitkomstenmonitoring onderdeel wordt van de werkprocessen en een cultuuromslag teweeg brengt.
•
Er dienen gedeelde beelden te zijn over wat uitkomstenmonitoring moet opleveren.
Een centraal thema in deze sugges es is het samengaan van bo om-up processen (vanaf de werkvloer) en top-down processen (vanuit de bestuurskamer) en het met elkaar in dialoog zijn over visie, werkwijze en inhoud. Wetenschappers kunnen hierbij ondersteuning bieden. De eerder genoemde focusgroep kwam ook met een aantal ps: •
Stel voor de invoering een brede projectgroep samen (van secretariaat tot management, met inhouds- en lijnfunc onarissen).
•
Betrek direc e en management ac ef bij inhoud en proces.
•
Benadruk het ‘samen op weg’ gaan.
•
Maak heldere omschrijvingen van taken en verantwoordelijkheden.
•
Bevorder een goede communica e op basis van een communica eplan.
•
Stel een speciale aandachtsfunc onaris aan, met voldoende mandaat en een posi eve uitstraling, hij of zij ‘moet erin geloven’.
•
Richt een helpdesk in.
•
Informeer cliënten.
•
Zorg dat de infrastructuur (onder andere secretariaat, ICT) op orde is.
•
Gebruik expliciete criteria om het proces te volgen en te monitoren.
•
Bed onderzoeksinforma e op verschillende niveaus (teams, afdelingen, gehele instelling) in de beleidscyclus in.
12
Latere ervaringen van bij het SEJN aangesloten instellingen voor jeugd- en opvoedhulp en onderzoeksorganisa es in de jeugdzorg onderschrijven het belang van deze sugges es en ps. Het SEJN hee een specifiek op het implementeren van uitkomstenmonitoring gerichte checklist samengesteld waarin 25 kenmerken worden genoemd die een deel van de sugges es en ps omva en.13 VEELGESTELDE VRAGEN De afgelopen jaren is er in verschillende instellingen voor jeugdzorg een begin gemaakt met uitkomstenmonitoring. Prak jkfunc onarissen zijn, vaak in samenwerking met onderzoekers, systemen voor uitkomstenmonitoring aan het opze en. Onderstaand wordt een aantal veel voorkomende vragen beantwoord die hierbij regelma g gesteld worden. Wat meten we? Bij uitkomstenmonitoring worden vanzelfsprekend uitkomsten gemeten. Het gaat om uitkomsten van een interven e of meerdere interven es. Het is zaak om bij het kiezen van mee nstrumenten zo dicht mogelijk bij de theorie en prak jk van de interven e te blijven. Bij een interven e voor omgaan met agressie kan natuurlijk de mate van agressief gedrag gemeten worden. Maar als het doel is copingvaardigheden te vergroten ligt het meten hiervan ook voor de hand. Dit raakt aan het gezegde ‘wetenschap is weddenschap’14 : zet het mee nstrument in waarmee je de weddenschap dat deze interven e tot de gewenste uitkomst leidt ook echt kan winnen. Systemen voor uitkomstenmonitoring kennen vandaag de dag nog weinig specifieke instrumenten. Men handelt vaak nog vanuit het principe van one size fits all. Hier ligt een mogelijk verbeterpunt. Een goede strategie kan zijn om één vragenlijst voor alle cliënten te gebruiken, bijvoorbeeld
13
Deze Checklist Best Research Prac ce Criteria is te downloaden van de SEJN-website www.sejn.nl Een opva ng van de psycholoog Hofstee, zie Hofstee, W.B.K. (1980). De empirische discussie. Theorie van het sociaal-wetenschappelijk onderzoek. Amsterdam/ Meppel: Boom. 14
13
om probleemgedrag bij jeugdigen vast te stellen, en vervolgens per interven e een specifieke bij de doelen van de interven e passende vragenlijst te gebruiken. Wie vult een mee nstrument in? Een mee nstrument, bijvoorbeeld een vragenlijst over de gedragsproblema ek van de jeugdige of het func oneren van het gezin, kan door verschillende personen ingevuld worden. Bij aanmelding voor jeugdzorg zullen meestal de ouders de eersten zijn die gevraagd worden een mee nstrument in te vullen, maar ook een leerkracht of de jeugdige zelf kan gevraagd worden dit te doen. Als de behandeling eenmaal op gang is kunnen ook hulpverleners, bijvoorbeeld groepsleiders, een instrument invullen. Het is inmiddels bekend dat al deze bij een jeugdige en zijn behandeling betrokken personen een instrument niet op dezelfde manier invullen,15 het maakt dus uit wie een instrument invult. Onderzoek hee laten zien dat personen die eenzelfde rela e met een kind hebben (bijvoorbeeld de beide ouders) een goede overeenkomst hebben bij het invullen van een instrument, maar dat deze overeenkomst belangrijk daalt als het om anderen gaat (bijvoorbeeld een ouder en een leerkracht of een jeugdige en zijn ouders). Dit betekent niet dat het betreffende instrument onbetrouwbaar is, maar dat rekening gehouden moet worden met verschillende gezichtspunten. Een jeugdige gedraagt zich thuis nu eenmaal anders dan op school, of zal zelf andere problemen ervaren dan zijn ouders of leerkracht bij hem observeren. Een prak sche implica e hiervan is een instrument als het kan door verschillende personen in te laten vullen en mogelijke discrepan es te bespreken. Specifiek of instellingsbreed? Instellingen willen vaak een brede monitoring waaraan al hun cliënten kunnen meedoen. Het doel is dan niet het monitoren van een specifieke interven e,
15 Zie Achenbach, T.M., McConaughy, S.H. & Howell, C.T. (1987). Child/adolescent behavioral and emo onal problems: Implica ons of cross-informant correla ons for situa onal specificity. Psychological Bulle n, 101, 213-222; en ook Kroes, G. (2006). The percep on of child problem behavior. The role of informant personality and context. Disserta e Radboud Universiteit, Nijmegen.
14
maar van een ‘behandelpakket’ van tegelijker jd of opeenvolgend in de jd aangeboden interven es. Soms wordt dit een zorgprogramma genoemd, soms een zorgtraject, soms een zorgpad. Me ngen kunnen dan helpen beslissingen te nemen over de volgende stappen in een traject, of het afronden van de hulp. Hiervoor zijn dan wel tussen jdse me ngen nodig, het liefst na afronding van een specifieke interven e binnen een traject. Een aggrega e van de uitkomsten van de specifieke interven es binnen een traject gee dan zicht op instellingsbrede uitkomsten. Dit is een ontwikkeling die op dit moment in een aantal instellingen gaande is en waar nog geen vaststaande richtlijnen en procedures voor zijn. Hoe vaak meten? Uitkomsten kunnen in principe vastgesteld worden door twee keer te meten: bij aanvang en bij afslui ng van een behandeling. Een voordeel hiervan is dat het meten niet al teveel jd en energie kost en het op deze ‘natuurlijke’ momenten rela ef gemakkelijk is in te passen in de werkprocessen. Nu moet men zich op dit moment van dit laatste geen al grote voorstelling maken, de meeste instellingen die met uitkomstenmonitoring werken hebben grote moeite om bij meer dan 50% van de cliënten een voor- en een name ng te verrichten, vaak is de respons lager. De implementa e van het meten wordt veelal onderschat. Meerdere keren meten, wekelijks of maandelijks, kost meer jd en overleg, maar levert tussen jdse me ngen op waarmee pieken en dalen in het verloop zichtbaar worden, die meteen ook informa e bieden om de behandeling bij te sturen (op individueel niveau of op teamniveau). Het meeste eerder besproken onderzoek naar het effect van meten hee betrekking op meerdere me ngen jdens een behandeling, en bespreking van de uitkomsten met de cliënt. Het lijkt echter vooralsnog niet haalbaar regelma ge tussen jdse me ngen in de prak jk van de jeugdzorg te implementeren die een voldoende respons opleveren, dit zal hooguit in het kader van specifieke onderzoeksprojecten te realiseren zijn. Het zou al mooi zijn als de komende jaren in alle instellingen voor jeugdzorg een systeem van vooren name ngen wordt ingevoerd, dat zowel op cliëntniveau als op geaggregeerd
15
niveau sturings- en verantwoordingsinforma e oplevert . Schaalscores of totaalscores? Veel vragenlijsten kennen zowel schaal- of factorscores, die specifieke aspecten van het func oneren van kind of gezin meten, en een totaalscore die een algehele indruk gee over de mate of ernst van de problema ek. De veelgebruikte Child Behavior Checklist (CBCL) is hier een goed voorbeeld van. Wat is nu van belang voor uitkomstenmonitoring? Aan de orde is hier de gedetailleerdheid van de informa e. Gangbaar is de opva ng dat voor gebruik in het primair proces detailinforma e gewenst is, dus schaalscores het liefst uiteengezet in een profiel. Maar naarmate men verder weg komt van de prak jk, bijvoorbeeld bij interne kwaliteitszorg of verantwoording naar financiers, zal geaggregeerde informa e meer voldoen, dus totaalscores. Voor wetenschappelijk onderzoek kunnen zowel schaalscores (voor het toetsen van specifieke hypothesen) als totaalscores (voor epidemiologisch onderzoek) van belang zijn. De vraag is echter of deze opva ng stand houdt als we resultaten van de zorg zo trefzeker mogelijk in beeld willen brengen. Totaalscores van een instrument beva en gegevens over onderwerpen die in de behandeling geen aandacht hebben gekregen. Dat kan afvlakking van de gemeten effecten tot gevolg hebben. Bijvoorbeeld, bij een behandeling van een jeugdige met agressieproblema ek zal het effect op de subschaal die dit specifiek meet groot kunnen zijn, terwijl dat effect in de totaalscore ‘gedempt’ wordt omdat er ook (geringe) veranderingen op allerlei andere schalen worden meegewogen. Om die reden kijkt men bijvoorbeeld in de jeugd-ggz niet alleen naar probleemafname, maar ook naar het algemene func oneren of kwaliteit van leven van de jeugdige. In de jeugden opvoedhulp meet men om die reden zowel het func oneren van de jeugdige als het func oneren van de opvoedingsomgeving van de jeugdige. De beste benadering zou zijn om alleen die probleemgebieden in de me ng mee te nemen waarop het doel van de behandeling betrekking hee , daar hee men immers op ingezet, naast het algemene func oneren van de jeugdige en de kwaliteit van de
16
omgeving. Dit laatste vergemakkelijkt de vergelijking van de uitkomsten van teams of afdelingen binnen instellingen of van instellingen onderling. Wat is de rol van normen? Normen bij vragenlijsten geven een indruk hoe specifieke groepen scoren en bieden de mogelijkheid de scores van een individuele cliënt of een groep cliënten daartegen af te ze en. Vaak is dan ook aangegeven wanneer die afwijking zo sterk wordt dat er sprake is van een probleem waarvoor hulp gezocht moet worden. Het meest bekend zijn de normen voor het IQ, een waarde van 100 staat voor het gemiddelde van de ‘Nederlandse bevolking’, aangepast voor de lee ijd. Bij de CBCL staat een waarde van 50 ook voor het gemiddelde van de bevolking, uitgesplitst naar jongens of meisjes van een bepaalde lee ijd, bijvoorbeeld jongens van 12-18 jaar. De vraag hoe groot een afwijking moet zijn om tot de conclusie te komen dat er sprake is van een probleem, waar ligt de grens? In de handleiding van een mee nstrument wordt deze grens meestal wel aangegeven. Vaak wordt hiervoor een score van één standaardafwijking (SD) onder of boven het gemiddelde aangehouden. Een IQ van 85 of lager zou dan kunnen wijzen op problemen in het cogni ef func oneren (SD=15), een CBCL-score van 60 of hoger zou wijzen op problemen in het sociaal-emo oneel func oneren (SD=10). Wanneer is een gemeten verandering groot genoeg? Deze vraag ligt in het verlengde van de voorgaande. De kwes e is hier hoe groot een verandering op een mee nstrument moet zijn om bij een individuele cliënt te besluiten dat deze ook ‘echt’ is, dus betekenisvol. Hierbij zijn twee aandachtspunten van belang. De eerste is dat iedereen zal inzien dat enkele punten verschil tussen een voor- en name ng mogelijk slechts de ‘ruis’ van het meten weergee . Deze ruis hee te maken met de marges van onbetrouwbaarheid die ieder mee nstrument kent. Een ‘echte’, betekenisvolle verandering zal boven deze marges uit moeten komen en aldus een zichtbaar signaal in de ruis van de me ngen zijn. Een maat als de
17
reliable change index is op deze gedachtegang gebaseerd.16 Deze maat wordt ook in toenemende mate gebruikt om veranderingen bij individuele cliënten op het spoor te komen. De betrouwbaarheid van het instrument is hiervoor een belangrijk gegeven, deze wordt al jd in de handleiding vermeld. Hieruit zijn dan de marges van onbetrouwbaarheid af te leiden, op basis waarvan de genoemde index te berekenen is. Bij de totaalscore van de CBCL is de grens voor betrouwbare vooruitgang bij een onbetrouwbaarheidsmarge van 10% zeven punten. Wie tussen twee me ngen zeven of meer punten vooruitgaat is betrouwbaar veranderd. Het tweede aandachtspunt betre de vraag of met de betrouwbare verandering de jeugdige of de opvoeders ook ‘uit de gevarenzone’ zijn, met andere woorden, dat het func oneren op een normaal of aanvaardbaar niveau terecht is gekomen. Veel onderzoek in de jeugdzorg laat zien dat de verandering in de problema ek weliswaar groot (en betrouwbaar) kan zijn, maar dat aan het einde van de behandeling de problema ek nie emin bij een groot aantal jeugdigen nog ver buiten het ‘normale’ niveau ligt. Dat betekent dat er na jeugdzorg vaak nog veel aandacht nodig is om ervoor te zorgen dat de afname van de problemen verder doorzet en om te voorkomen dat de cliënten terugvallen naar de oude (nog erns ger) situa e. Wat is benchmarking? Bij benchmarking worden de gegevens van een groep cliënten (van een instelling of afdeling binnen een instelling) vergeleken met een van tevoren afgesproken norm. Men zou bijvoorbeeld kunnen afspreken dat minstens 80% van de door een instelling behandelde jeugdigen betrouwbaar vooruit moet zijn gegaan op een vragenlijst als de CBCL en dat 60% van hen ook uit de gevarenzone moet zijn (binnen het normale niveau van func oneren terecht is gekomen). Per instelling kan berekend worden hoeveel van de in dat jaar behandelde jeugdigen deze 16
Zie Jacobson, N.S., & Truax, P. (1991). Clinical significance. A sta s cal approach to defining meaningful change in psychotherapy research. Journal of Consul ng and Clinical Psychology, 59, 12-19. Zie ook Veerman, J.W. (2008). Methoden voor het kwan ficeren en toetsen van effecten. In T.A. van Yperen & J.W. Veerman (Red.), Zicht op effec viteit. Handboek voor prak jkgestuurd effectonderzoek in de jeugdzorg (blz. 307-329). Del : Eburon.
18
score halen. Het daaruit voortvloeiende percentage kan afgezet worden tegen de gemiddelde score van alle instellingen, de best presterende instelling, of een gezamenlijk vastgestelde norm. Belangrijk is dan wel dat daarna gekeken (en besproken) wordt hoe eventuele verschillen tussen instellingen te verklaren zijn. Daarmee blij men niet hangen in een ‘afrekensystema ek’, maar opent men de deur naar kwaliteitsverbetering in een lerende organisa e. Is benchmarking wel ‘eerlijk’? Het vergelijken van uitkomsten van een instelling ten opzichte van een norm zou wel eens niet ‘eerlijk’ kunnen zijn als bekend is dat de mogelijkheden tot verandering bij bepaalde cliëntengroepen groter is dan bij andere groepen. Dit zou bijvoorbeeld het geval kunnen zijn bij problemen met een gene sche component, zoals ASS en ADHD. Dit probleem wordt wel de casemix genoemd. Het zonder meer op één hoop gooien van cases met verschillende problemen is dan inderdaad niet ‘eerlijk’. Via sta s sche technieken kan rekening gehouden worden met deze casemix. In ons land is in het zogeheten ‘Project nulme ng’ geëxperimenteerd met deze technieken.17 De sta s sche procedures liggen klaar. Nu de toepassing nog. Overigens dient de casemix wel een punt van aandacht te blijven, we komen hier verderop nog op terug bij de rol van de financiers. Wat zijn presta e-indicatoren? In de zorg voor jeugd is de populariteit van het werken met presta e-indicatoren gegroeid. Een presta e-indicator is een meetlat om de kwaliteit van de zorg- of dienstverlening op een aspect zichtbaar te maken. Voorbeeld van een indicator is: ‘Het aantal cliënten dat aangee tevreden te zijn met de hulp’. Een van de basisprincipes is dat een indicator al jd deel uitmaakt van een werkwijze. In de eerste plaats moet daarbij helder zijn welk doel men wil bereiken, of welke missie men wil volbrengen. Om de missie en doelen te realiseren zijn er
17
Geurts, E., Lekkerkerker, L., Van Yperen, T., & Veerman, J.W. (2010). Over verandering gesproken. Op weg naar meer zicht op effec viteit van de jeugdzorgprak jk. Utrecht: SEJN/ Nederlands Jeugdins tuut.
19
succesbepalende factoren in het spel, factoren die goed op orde moeten zijn wil men de doelen of de missie kunnen realiseren. Een presta e-indicator gee aan in welke mate de missie of een doel gerealiseerd wordt, of in welke mate een succesbepalende factor op orde is. Een norm bepaalt wanneer de indicator een ´voldoende´scoort (bijvoorbeeld: de norm is dat 80% van de cliënten op een tevredenheidsthermometer ´zeer tevreden´ moet scoren). Essen eel is verder dat de presta e-indicator iemand of iets in de organisa e moet aanspreken op de verantwoordelijkheid en de bevoegdheid om sturing te geven aan te realiseren verbeteringen. Immers, als slechts 40% van de cliënten tevreden blijkt te zijn is, dan moet er wat veranderen. Voor die verandering worden er als het goed is verbeterac es in gang gezet.18 Zijn geconstateerde veranderingen te zien als effecten? Posi eve resultaten van uitkomstenmonitoring kunnen op zich niet bewijzen dat een behandeling effec ef is. Hiervoor is vergelijking met een uitkomstenmonitoring van een niet of anderszins behandelde controlegroep nodig. Het liefst zou de toewijzing van cliënten aan de groepen dan ook nog willekeurig moeten gebeuren. Dan is er sprake van een randomized controlled trial (RCT). Deze is echter om prak sche, ethische en methodologische redenen in de prak jk van de zorg moeilijk uit te voeren. Een goed lopende uitkomstenmonitoring kan een RCT niet vervangen, maar kan wel indica es voor effec viteit geven. Met deze indica es is een behandeling dan niet ‘bewezen effec ef’ te noemen, maar wel ‘doeltreffend’.19
18
Zie Yperen, T. van (2012). Verbetering telt, werken met presta e-indicatoren in de zorg voor jeugd. Utrecht: Nederlands Jeugdins tuut.
19 Zie Veerman, J.W., & Yperen, T.A. van (2008). Wat is prak jkgestuurd effectonderzoek? In T.A. van Yperen & J.W. Veerman (Red.), Zicht op effec viteit. Handboek voor prak jkgestuurd effectonderzoek in de jeugdzorg (blz. 17-34). Del : Eburon. Hierover vindt echter nog wel discussie plaats, zie bijvoorbeeld: Stams, G.J. (2011). Het recht van de zwakste: Forensische jeugdzorg in orthopedagogisch perspec ef. Orthopedagogiek: Onderzoek en Prak jk, 50, 243-257. Van Yperen, T.A., & Veerman, J.W. (2011). Bij bouwwerk komt een ladder van pas. Een reac e op de ora e van Geert Jan Stams. Orthopedagogiek: Onderzoek en Prak jk, 50, 259-267.
20
Mogen financiers meekijken? Zowel bij de jeugd-GGZ en bij de instellingen voor jeugd- en opvoedhulp zijn ook de financiers (zorgverzekeraars, overheid) geïnteresseerd in uitkomstenmonitoring. Op termijn hoopt men hier een sturingsmiddel voor financiering in te vinden. Zo ver is het nog niet en hier is ook nog veel discussie over gaande, hier speelt ondermeer de eerder al genoemde casemix20. Het is daarom begrijpelijk dat jeugdzorginstellingen er huiverig voor zijnde financier mee te laten kijken naar hun uitkomsten. Deze vrees is terecht als dit niet gebeurt in een context van samenwerking met het doel de beste zorg voor de cliënt te bieden. Het gevaar van een dubbele boekhouding is dan niet denkbeeldig. Toch kunnen er pas werkelijk stappen gezet worden als alle par jen, beleidsmakers, financiers, vertegenwoordigers van jeugdzorginstellingen en onderzoekers een speelruimte kunnen creëren waarin overleg en wederzijds begrip centraal staan en waarin men van elkaar kan leren. De vuistregel kan zijn dat monitoring van uitkomsten waarborgt dat alle par jen op een veilige manier ervaring op kunnen doen met het omgaan met deze speelruimte. Belangrijk principe is daarom dat de financiers in eerste instan e niet verder moeten gaan dan het kijken naar en het vergelijken van de mate waarin zorgaanbieders erin slagen een uitkomstenmonitor te implementeren en te benu en voor de verbetering van de kwaliteit van de eigen organisa e. Pas later, als iedereen het werken met de monitor beter in de vingers hee en benchmarking op een verantwoorde manier is vormgegeven, komt inhoudelijke vergelijking van de resultaten in zicht.
20
Zie bijvoorbeeld Van Os, J., et al. (2012). ROM: gedragsnorm of dwangmaatregel? Overwegingen bij het themanummer over rou ne outcome monitoring. Tijdschri voor Psychiatrie, 54, 245-253.
21
VERDER LEZEN Verschillende websites bieden informa e over uitkomstenmonitoring, een kleine selec e: •
h p://www.sejn.nl is de website van het Samenwerkingsverband Effec eve Jeugdzorg Nederland (SEJN) waarin vier onderzoeksorganisa es en meer dan 30 jeugdzorginstellingen gezamenlijk optrekken om uitkomstenmonitoring in prak jk te brengen21; ook de site van het Nederlands Jeugdins tuut, waar de website van het SEJN onderdeel van is, gee veel informa e over onderzoek in de prak jk, werken met presta e-indicatoren, e.d., zie www.nji.nl.
•
De site h p://www.ggznederland.nl/beleid-in-de-ggz/beleidsthemas/ kwaliteit-van-zorg/rou ne-outcome-measurement-rom_.html gee achtergonden van de opzet van rou ne outcome monitoring in de GGZ (inclusief de jeugd-GGZ). De site van de S ch ng Benchmark GGZ gee hierover nog meer informa e, zie h p://www.sbggz.nl.
•
h p://www.romckap.org gee informa e over rou ne outcome monitoring in de kinder- en adolescenten psychiatrie.
•
Op h p://jeugdzorgplus.jeugdzorgnederland.nl/nl/monitor wordt informa e gegeven over de monitor van de jeugdzorgplus instellingen in Nederland.
•
De site h p://www.insideout.nl is van de Academische Werkplaats Jeugd Nijmegen, waar het monitoren van de zorg en de uitkomsten deel van uitmaakt; op deze site zijn ook filmpjes te zien waarin het werken met vragenlijsten getoond wordt.
•
Op h p://www. jdschri voorpsychiatrie.nl/issues/450 staat het themanummer over rou ne outcome monitoring van het Tijdschri voor Psychiatrie van voorjaar 2012.
•
Op h p://www.jeugdkennis.nl/jgk/Ar kelen-Jeugdkennis/Zevenagendapunten-voor-een-effec evere-jeugdzorg-in- jden-van-transi e wordt uitkomstenmonitoring geplaatst in andere recente en toekoms ge ontwikkelingen in de jeugdzorg.
21
Het handboek Zicht op Effec viteit vormt hierbij een belangrijke achtergrond. Zie Van Yperen, T.A., & Veerman, J.W. (Red.). Zicht op effec viteit. Handboek voor prak jkgestuurd effectonderzoek in de jeugdzorg. Del : Eburon.
22
23
Het Samenwerkingsverband Effec eve Jeugdzorg Nederland (afgekort SEJN) is een groep van jeugdzorginstellingen en ondersteuningsorganisa es die een samenhangende meeten verbeterbeweging in de jeugdsector wil realiseren. Kernthema’s daarin zijn het werken met presta e-indicatoren, het benu en van resultaatgegevens en de implementa e van effec eve methoden. Zie voor meer informa e www.sejn.nl. 24
