De cirkel is rond. OnDerzOek naar succesvolle implementatie van interventies in De JeUGDzOrG SAMENVATTING. karlijn stals

De cirkel is ronD OnDerzOek nAAr sUccesvOlle iMpleMenTATie vAn inTervenTies in De JeUGDzOrG SAMENVATTING kArliJn sTAls

INHOUD

1 2 3 4 5

IN HET KORT, aanleiding en antwoord op de hoofdvraag

2

BESTAANDE KENNIS, overzicht van theorie over implementatie

4

IMPLEMENTATIE METEN, operationalisatie van een implementatieproces

8

NIEUWE KENNIS, empirisch onderzoek naar implementatie

12

HOE VERDER, aanbevelingen en slot

19

1. IN HET KORT

Bij Jeugdformaat, de organisatie voor jeugd- en opvoedhulp in de regio Haaglanden, rees de vraag: Hoe implementeren we een nieuwe methodiek op een goede manier? In samenwerking met de Universiteit Utrecht en de Universiteit van Amsterdam is in 2007 een onderzoeksproject gestart. Het project moest bijdragen aan een antwoord op de vraag van Jeugdformaat. Meer in het algemeen moest het onderzoek leiden tot kennis over wat belemmerende en bevorderende factoren zijn bij succesvolle implementatie van methodieken, hier aangeduid als interventies, in de jeugdzorg. In 2012 is het project afgerond met een academisch proefschrift, dat in juni 2012 verdedigd zal worden. In deze uitgave is een samenvatting van het proefschrift opgenomen. Onderzoek bij Jeugdformaat Jeugdformaat heeft onderzoek hoog in het vaandel staan. De organisatie loopt in de landelijke ontwikkelingen voorop als het gaat om het monitoren van de resultaten van het hulpaanbod. De organisatie verzamelt bij alle jeugdigen en hun ouders informatie aan het begin en einde van de hulp, zodat duidelijk wordt wat het resultaat is van de hulp. Naast het meten van resultaten van de hulp wil Jeugdformaat meer zicht op de uitvoering van de hulp.

Cliënt

Interventie

Resultaten Cliënt

Jeugdige en ouders komen bij Jeugdformaat voor hulp.

Cliënt krijgt hulp van een hulpverlener, aan de hand van een interventie.

Aan het einde van de hulp is duidelijk welk resultaat er is bereikt.

2

Interventies De uitvoering van de hulp ligt in handen van hulpverleners bij Jeugdformaat. Hulpverleners worden daarbij ondersteund door interventies, dit zijn doelgerichte aanpakken – ook wel methodieken genoemd – die gericht zijn op het bevorderen van de ontwikkeling van jeugdigen. In een interventie staat omschreven welke aanpak werkt om een bepaald doel te behalen en de interventie omvat concrete aanwijzingen voor het handelen van hulpverleners. Bij sommige hulpvormen kiest de organisatie ervoor om met bestaande, effectief gebleken methodieken te werken, daarnaast ontwikkelt en beschrijft Jeugdformaat zelf ook interventies. Jeugdformaat wil dat hulpverleners deze interventies daadwerkelijk gebruiken in hun hulp aan jeugdigen en gezinnen. Dit houdt in dat de interventies geïmplementeerd moeten worden. Implementeren Implementeren van interventies blijkt in de praktijk van de jeugdzorg een lastig vraagstuk. In een standaard implementatietraject in de jeugdzorg krijgen betrokken hulpverleners meestal een training om bekend te raken met een nieuwe interventie en zij krijgen over het algemeen een beschrijving in de vorm van een handleiding. Na verloop van tijd blijkt dat er veel verschil is in de uitvoering: hulpverleners voeren sommige onderdelen niet meer uit of voegen willekeurig nieuwe onderdelen toe. Dit implementatievraagstuk is relevant voor de gehele jeugdzorgsector. Zó implementeer je interventies op een goede manier Uit het onderzoek komen vijf concrete aanbevelingen voor het implementeren van interventies in de jeugdzorg: 1. Zorg dat duidelijk is waarom een interventie geïmplementeerd gaat worden: voor wie is de interventie bedoeld en welke resultaten worden beoogd voor die doelgroep? 2. Zorg dat de te implementeren interventie ‘een goed product’ is. De interventie moet (in potentie) effectief zijn voor de jeugdigen die hulp krijgen en in de dagelijkse praktijk goed hanteerbaar voor de hulpverleners die er mee gaan werken. 3. Voer een determinantenanalyse uit, zodat duidelijk is welke belemmerende en bevorderende factoren mogelijk van invloed zijn op het implementatieproces. 4. Selecteer een implementatiestrategie en –activiteiten die passen bij de interventie, bij de beoogde resultaten en bij de determinanten die op het proces van invloed zijn. Het is belangrijk om aandacht te besteden aan de voortdurende ondersteuning en begeleiding van professionals gedurende alle fasen van het implementatieproces. 5. Monitor de implementatie in enge en brede zin en benut de gegevens om een goede borging van de uitvoering en de uitkomsten van de interventie mogelijk te maken.

3

2. BESTAANDE KENNIS

De eerste stap in het onderzoek was het vormen van theorie over implementatie in de jeugdzorg. Dit is gedaan aan de hand van twee deelstudies, een analyse van wetenschappelijke literatuur en een serie interviews met ervaringsdeskundigen uit de praktijk van de jeugdzorg. Dit heeft een definitie van implementatie voor de jeugdzorg opgeleverd, een theoretisch model en een overzicht van bestaande kennis uit de literatuur en de praktijk.

Implementatie is ‘Een procesmatige en planmatige invoering van een interventie met als doel dat de interventie duurzaam wordt uitgevoerd zoals bedoeld èn dat de beoogde uitkomsten behaald worden. Met andere woorden, een interventie wordt programma-integer uitgevoerd èn dat leidt tot de bedoelde verbetering bij de jeugdigen; bovendien zijn deze uitvoering en uitkomsten blijvend.’

Implementatie in de jeugdzorg – in enge en brede zin Bij implementatie in de jeugdzorg is het belangrijk om onderscheid te maken in implementatie in enge zin en implementatie in brede zin. In enge zin is een interventie succesvol geïmplementeerd als deze wordt uitgevoerd zoals bedoeld. Dit betekent dat de uitvoerder van de interventie zich houdt aan de belangrijkste principes van de aanpak. In brede zin is een interventie succesvol geïmplementeerd als daarnaast de beoogde resultaten bij cliënten behaald worden. Dit betekent bijvoorbeeld dat gedragsproblemen bij jeugdigen verminderen of dat opvoedingsvaardigheden van ouders groter zijn geworden.

4

Ordening van bestaande kennis in een theoretisch model De beschikbare kennis over implementatie is samen te vatten aan de hand van drie kernbegrippen: fasering, determinanten en strategieën. Uit de wetenschappelijke literatuur blijkt dat een implementatieproces meestal gefaseerd verloopt. Gedurende dat verloop zijn verschillende belemmerende en bevorderende factoren van invloed op het proces. De factoren zijn in te delen in clusters van determinanten met betrekking tot de interventie, de professionals, de organisatie en de context. De juiste strategie kan de werking van determinanten op het proces gunstig beïnvloeden. De voornaamste bevinding die uit de literatuur naar voren komt is dat het cruciaal is om de implementatie goed voor te bereiden en een systematische aanpak te hanteren. Het is daarom raadzaam om de determinanten in kaart te brengen met behulp van een determinantenanalyse. Daarbij geldt dat interventies het beste geïmplementeerd kunnen worden met specifieke activiteiten, die zijn aangepast op aanwezige determinanten en met aandacht voor de verschillende fasen van het proces. Op basis van de literatuur is in dit proefschrift de kennis over implementatie in een theoretisch model vertaald.

Interventie Wat wordt geïmplementeerd - methode - protocol - richtlijn - training - programma - aanpassing

Implementatie Hoe verloopt de fasering?

Wat zijn de determinanten?

- verspreiding - adoptie - invoering - borging

- vernieuwing - doelgroep - organisatie - context

Welke strategie wordt ingezet? Een strategie is de gerichte inzet van activiteiten, passend bij de fasering en de determinanten.

Uitkomst Is de implementatie succesvol? - in enige zin - in brede zin Is de implementatie duurzaam?

ACT

PLAN

ACT

PLAN

ACT

PLAN

STUDY

DO

STUDY

DO

STUDY

DO

Plannen, monitoren, evalueren, bijstellen In het theoretisch model staat het belang van een procesmatige – plan-do-studyact – aanpak weergegeven: door de uitvoering en de resultaten te monitoren wordt duidelijk wat al goed gaat en op welke onderdelen de interventie nog niet goed uitgevoerd wordt of waar resultaten voor cliënten nog tegenvallen. Met zo’n aanpak is de kans op succesvolle implementatie groter. De vraag blijft of de ‘fit’ die op deze manier gemaakt wordt ook werkelijk de goede is. Gebruik in de praktijk en degelijk onderzoek daarnaar zal moeten uitwijzen of dit inderdaad de goede manier is.

5

Fasen We onderscheiden vier fasen in het implementatieproces: verspreiding, adoptie, invoering en borging. Beroepskrachten die met een interventie gaan werken, moeten achtereenvolgens kennis nemen van de interventie (verspreidingsfase), bereid zijn ermee te gaan werken (adoptiefase), en er daadwerkelijk mee gaan werken (invoeringsfase). Vervolgens moet de uitvoering en het onderhoud van de interventie verankerd worden in de organisatie (borgingsfase). De fasering maakt duidelijk dat implementatie niet vanzelf gaat. Wanneer een beroepskracht kennis neemt van een nieuwe interventie, betekent dat niet automatisch dat hij die ook adopteert. Zonder nadrukkelijke inspanning is het zelfs onwaarschijnlijk dat alle implementatiefasen doorlopen worden en dat de interventie uiteindelijk behouden blijft in een organisatie. Allerlei factoren beïnvloeden namelijk het verloop van het implementatieproces. Soms in positieve zin, bijvoorbeeld wanneer een enthousiasteling een bepaalde interventie bij collega’s aanprijst. Vaak ook in negatieve zin, als het proces stagneert doordat niet alle randvoorwaarden voor een goede uitvoering van de interventie zijn vervuld. Voor een succesvolle implementatie is het noodzakelijk om rekening te houden met dit soort factoren van het implementatieproces, de determinanten.

Determinanten In de wetenschappelijke literatuur worden de determinanten die bepalend zijn voor het implementatieproces doorgaans ingedeeld in vier clusters: vernieuwing, doelgroep, organisatie en context. 1. Vernieuwing – Determinanten van de vernieuwing hebben te maken met de te implementeren interventie. Belangrijk is bijvoorbeeld of het werken volgens de interventie een voordeel oplevert voor de beroepskracht. De interventie moet handelingsgericht en concreet zijn. Het moet mogelijk zijn om de interventie op kleine schaal te proberen. Als de interventie ruimte laat voor aanpassing, is de kans groter dan deze snel geïmplementeerd wordt. 2. Doelgroep – Determinanten van de doelgroep hebben betrekking op de doelgroep van het implementatieproces, dus de beroepskrachten. Ze moeten beschikken over voldoende kennis, motivatie en vaardigheden om met de interventie te gaan werken. 3. Organisatie – Determinanten van de organisatie zijn de kenmerken van de instelling die de interventie implementeert. Een voorbeeld daarvan is dat de organisatie voldoet aan randvoorwaarden, zoals voldoende personeel en genoeg tijd voor een goede uitvoering van de interventie. 4. Context – Tot slot zijn er determinanten van de bredere sociaal-politieke context. Maatschappelijke belangen kunnen het implementeren van een interventie beïnvloeden. Ook de kinderen en gezinnen die hulp krijgen, zijn onderdeel van de context van de interventie. Wanneer zij niet geloven dat die hen kan helpen, is het voor de beroepskracht moeilijk om de interventie uit te voeren. Een analyse van de determinanten, voorafgaand aan het implementatieproces, creëert de mogelijkheid om strategieën te kiezen die de positieve factoren versterken of de negatieve ontkrachten.

6

Implementatiestrategieën Een implementatiestrategie omvat een concrete activiteit of een combinatie van activiteiten die een organisatie kan inzetten om de invloed van determinanten te sturen en zo de implementatie te bevorderen. Het kan bijvoorbeeld gaan om een trainingsmiddag, maar ook om een combinatie van trainingen, groepsbijeenkomsten en schriftelijke informatie. Jeugdzorginstellingen gebruiken vaak activiteiten als trainingen, workshops en intervisiebijeenkomsten om het implementatieproces te stimuleren. De afgelopen decennia is er veel onderzoek gedaan naar de werking van implementatiestrategieën. Uit dat onderzoek blijkt dat er geen pasklaar ‘recept’ bestaat. Er zijn geen strategieën die altijd succesvol zijn.

Inzicht in de praktijk van implementeren in de jeugdzorg In de praktijk worden dagelijks jeugdzorginterventies geïmplementeerd. Uit interviews met ervaringsdeskundigen uit de praktijk van de jeugdzorg blijkt dat zij het belang onderschrijven van een gefaseerde implementatie en ze herkennen dat er diverse factoren van invloed zijn op het proces. Er worden allerlei activiteiten ingezet om het implementatieproces te bespoedigen. In de praktijk gaat dan ook al veel goed. Er is in elk geval bij de onderzochte interventies aandacht voor het ontwikkelen van bruikbare materialen en voor het promoten van de interventies, in de meeste gevallen ook voor training en coaching van medewerkers en voor uitwisseling tussen gebruikers. De ondersteuning van medewerkers is in een aantal gevallen stevig verankerd, met name voor de eerste invoeringsperiode. Echter, het uitvoeren van een determinantenanalyse en vervolgens de inzet van een passende implementatiestrategie wordt doorgaans niet zo gestructureerd ingezet als in de literatuur wordt aanbevolen. Het lijkt alsof er in de praktijk onbewust en weinig systematisch gebruik gemaakt wordt van een veelheid aan implementatieactiviteiten. Daarnaast worden implementaties nauwelijks gemonitord. Daarmee is het niet goed mogelijk om te achterhalen waarom een bepaalde aanpak werkt. Dit maakt het moeilijk om succesvolle implementatieprocessen te herhalen bij andere interventies.

Implementatie in brede zin: levert dit de gewenste resultaten op?

7

3. IMPLEMENTATIE METEN

De tweede stap in het onderzoek was het meetbaar maken van een implementatieproces in de jeugdzorg. Dit is gedaan aan de hand van een implementatiecasus bij Jeugdformaat: acht teams van ambulant hulpverleners moesten gaan werken met een vernieuwde Methodiek Ambulante Hulp. Op basis van deze casus is bedacht welke gegevens verzameld moeten worden om het implementatieproces te kunnen onderzoeken. Vervolgens zijn geschikte instrumenten geselecteerd en op psychometrische kwaliteiten onderzocht. Deze studie heeft de implementatiemonitor opgeleverd, een schematische weergave van het te meten implementatieproces. De monitor is uitgewerkt voor de casus bij Jeugdformaat, maar is breder te gebruiken in andere studies naar implementatieprocessen in de jeugdzorg. Implementatie meten: twee processen verenigen Voor onderzoek naar implementatie van interventies in de jeugdzorg moeten twee veranderingsprocessen verenigd worden. Ten eerste het primaire hulpverleningsproces voor de cliënt en ten tweede het implementatieproces voor hulpverleners.

Cliënt

Interventie

Resultaten Cliënt

Jeugdige en ouders komen bij Jeugdformaat voor hulp.

Cliënt krijgt hulp van een hulpverlener, aan de hand van een interventie.

Aan het einde van de hulp is duidelijk welk resultaat er is bereikt.

8

Hulpverlener

Implementatie

Uitvoering interventie

Hulpverlener werkt bij Jeugdformaat.

Hulpverlener wordt ondersteund bij uitvoeren interventie.

Hulpverlener voert de interventie uit, al dan niet zoals bedoeld.

Samengevoegd geeft het schema het volgende weer: om de gewenste resultaten (C) te behalen, moet een interventie (B) uitgevoerd worden bij een groep cliënten (A). Dit wordt bereikt door die interventie goed te implementeren (E) bij een groep hulpverleners (D). Dit geheel noemen we de implementatiemonitor. Om onderzoek te kunnen doen naar implementatie is per onderdeel bedacht welke variabelen er gemeten moeten worden. Voor de studie bij Jeugdformaat staat de monitor later in deze samenvatting uitgewerkt (blz 14).

A Kenmerken cliënten

B Uitvoering interventie

D Kenmerken hulpverleners

E Kenmerken implementatie

B Resultaten voor cliënt

De implementatiemonitor De implementatiemonitor is een schematische weergave van onderdelen die van belang zijn in een implementatieproces van een bepaalde interventie bij een specifieke instelling in de jeugdzorg. De monitor is ondersteunend bij het operationaliseren van het implementatieproces: aan de hand van deze monitor is het mogelijk om een onderzoek te ontwerpen, gegevens te verzamelen en analyses uit te voeren op het gebied van implementatie in de jeugdzorg. In het proefschrift staan instrumenten beschreven die geschikt zijn om implementatie en daarmee samenhangende factoren te meten. Er is specifieke aandacht besteed aan de Vragenlijst Kerncomponenten en de Decision Determinants Questionnaire. Dit blijken geschikte instrumenten om kenmerken van professionals – veranderingsbereidheid en competenties – te meten.

9

Vragenlijst Kerncomponenten meet competenties van hulpverleners De Vragenlijst Kerncomponenten is ontwikkeld om de competenties van ambulant hulpverleners inzichtelijk en bespreekbaar te maken. De vragenlijst wordt ingevuld door hulpverleners zelf en door hun leidinggevende en gedragswetenschapper, waarna vervolgens een gesprek plaatsvindt over de competenties. De vragenlijst bestaat uit elf onderdelen, die verband houden met elf kerncomponenten van de methodiek. Bij elk onderdeel wordt de respondent gevraagd aan te geven hoe goed de hulpverlener is in het uitvoeren van deze kerncomponent èn op vijf concrete vaardigheden aan te geven of dit een sterk of zwak punt is. Onderzoek naar de vragenlijst die is ingevuld door verschillende informanten over 43 ambulant hulpverleners wijst ten eerste uit dat de totaalschaal – competenties van de hulpverlener – intern consistent is. Ten tweede blijkt dat de concrete vaardigheden goede voorspellers zijn voor de competentie van de bijbehorende kerncomponent. Ten derde heeft het invullen door verschillende informanten een meerwaarde, omdat zij anders tegen verschillende kerncomponenten aankijken. De onderzoeksgroep was beperkt en specifiek, verder onderzoek in een grotere en meer heterogene populatie zal moeten uitwijzen of het instrument breder inzetbaar is. Voor de afdeling Ambulante Hulp bij Jeugdformaat is de Vragenlijst Kerncomponenten een betrouwbaar en valide instrument voor het meten van de competenties van hulpverleners. Voor andere afdelingen of organisaties is het een veelbelovend instrument.

Het lukt me in het algemeen

Informatie verzamelen

niet goed

Het lukt me in het algemeen

zeer goed

om genoeg en goede informatie te verzamelen

om genoeg en goede informatie te verzamelen Geef met een kruisje in de hokjes aan of onderstaande punten meer een sterk punt of meer een zwak punt van jou zijn. observeren van het gezin informatie uit gesprekken halen standaardlijsten afnemen

kruisje aan deze kant betekent dat het meer een zwak punt is

contact met betrokkenen hebben (in)competenties in kaart brengen

10

kruisje aan deze kant betekent dat het meer een sterk punt is

DDQ meet veranderingsbereidheid Voor deze studie is psychometrisch onderzoek uitgevoerd naar de Decision Determinants Questionnaire (DDQ), waarmee de veranderingsbereidheid van medewerkers in een organisatie te meten is. De vragenlijst bestaat uit acht subschalen waarbij ingegaan wordt op: • benodigde hulpbronnen • aansluiting bij waarden • inzicht in de vernieuwing • omstandigheden • timing • noodzaak tot verandering • openlijke weerstanden • opbrengsten van de verandering. Aan de hand van onderzoek bij Jeugdformaat en Bureaus Jeugdzorg (n=182) kan worden vastgesteld dat de DDQ een betrouwbaar en valide instrument is dat gebruikt kan worden voor kwantitatief onderzoek naar de bereidheid om te veranderen. Het proefschrift biedt aanwijzingen voor het verbeteren van een aantal schalen uit de vragenlijst.

Implementeren van interventies blijkt in de praktijk van de jeugdzorg een lastig vraagstuk.

11

4. NIEUWE KENNIS

De derde stap in het onderzoek was het vergaren van nieuwe kennis over implementatie in de jeugdzorg, door empirisch onderzoek uit te voeren in de dagelijkse praktijk. De belangrijkste studie van het onderzoek is uitgevoerd bij Jeugdformaat, het volgt de implementatie van de Methodiek Ambulante Hulp bij acht teams. Daarnaast is eenzelfde manier van meten en analyseren toegepast bij een tweede casus: de implementatie van de Deltamethode Gezinsvoogdij bij Bureaus Jeugdzorg. Beide studies hebben een uitgebreid overzicht opgeleverd van het verloop van implementatieprocessen in de jeugdzorg. Bovendien zijn gerichte hypothesen over het implementatieproces getoetst, dit levert nieuwe kennis op over implementatieprocessen in de jeugdzorg. Onderzoek in de praktijk op verschillende niveaus Aan het onderzoek naar de implementatie van de Methodiek Ambulante Hulp bij Jeugdformaat hebben in totaal acht jeugdhulpteams deelgenomen. In de figuur is te zien dat er op verschillende niveaus onderzoek is gedaan: per team zijn een leidinggevende, gedragswetenschappers, ambulant hulpverleners en cliënten betrokken. In totaal zijn met behulp van interviews en vragenlijsten gegevens verzameld over 253 cliënten, 55 hulpverleners, 19 gedragswetenschappers en 9 leidinggevenden.

12

Jeugdhulpteam

hulpverlener

hulpverlener

cliënt cliënt cliënt cliënt cliënt

cliënt cliënt cliënt cliënt cliënt

hulpverlener cliënt cliënt cliënt cliënt cliënt

hulpverlener

hulpverlener cliënt cliënt cliënt cliënt cliënt

gedragswetenschapper

cliënt cliënt cliënt cliënt cliënt cliënt cliënt cliënt cliënt cliënt

hulpverlener cliënt cliënt cliënt cliënt cliënt

leidinggevende

hulpverlener

gedragswetenschapper

Methodiek Ambulante Hulp bij Jeugdformaat Jeugdformaat biedt jeugd- en opvoedhulp aan circa 5.000 cliënten per jaar in de regio Haaglanden. Een deel van deze cliënten krijgt na indicatie van Bureau Jeugdzorg hulp via de Methodiek Ambulante Hulp. De ambulant hulpverlener geeft de cliënt in de eigen omgeving – bij voorkeur thuis – ondersteuning bij het opvoeden en opgroeien en begeleidt zowel de ouders als de jeugdige. De doelgroep voor deze interventie bestaat uit jeugdigen van 0 tot 18 jaar en hun gezin, waarbij het evenwicht in het gezinssysteem is verstoord. Het kan daarbij gaan om gedragsproblemen of ontwikkelingsproblemen van de jeugdige, opvoedingsproblemen van de ouders of om combinaties daarvan. De hulpverlener oefent vaardigheden met het gezin en besteedt aandacht aan de communicatie tussen gezinsleden, de dagelijkse routine, de ontwikkeling van het kind en de opvoedingsvaardigheden van de ouders. Het streven is dat het gezin na afloop van de hulp minder problemen heeft en competenter is om op eigen kracht of met hulp van het eigen sociale netwerk met problemen om te gaan. Ambulant hulpverleners zijn professionals met doorgaans een sociaal agogische opleiding in het hoger beroepsonderwijs. Jeugdformaat biedt een basistraining aan beginnende ambulant hulpverleners en aanvullende trainingen aan ervaren hulpverleners. Gedurende de uitvoer van hulp aan gezinnen worden hulpverleners ondersteund door een leidinggevende, door gedragswetenschappers en door collega’s van het Jeugdhulpteam waar zij deel van uitmaken. De Methodiek Ambulante Hulp is een interventie die binnen Jeugdformaat is ontwikkeld. Enerzijds op basis van theoretische inzichten over wat werkt bij ambulante hulpverlening aan jeugdigen en gezinnen met opvoed- en opgroeiproblematiek, anderzijds op basis van praktijkervaringen van medewerkers. In 2006 is een eerste versie van de methodiek beschreven, in 2008 is een vernieuwde versie van de Methodiek Ambulante Hulp door Jeugdformaat geïmplementeerd bij acht teams.

13

Verloop implementatieproces Methodiek Ambulante Hulp bij Jeugdformaat Door het implementatieproces bij Jeugdformaat te monitoren, is inzicht verkregen in het verloop van de implementatie, in de uitvoering van de interventie, de resultaten voor cliënten en kenmerken van de betrokken cliënten en hulpverleners. Dit geeft op een unieke manier zicht op een implementatieproces in de jeugdzorg. Het schema laat zien welke gegevens verzameld zijn om het implementatieproces te onderzoeken. A Kenmerken cliënten sekse leeftijd gezinssamenstelling culturele achtergrond problemen volgens: - jeugdige - ouder - hulpverlener competentie van ouder type hulpvraag

D Kenmerken hulpverlener sekse leeftijd ervaring jeugdzorg ervaring ambulante hulp opleiding veranderingsbereidheid competenties

B Uitvoering interventie ‘zachte maat’: uitvoering kerncomponenten ‘harde maat’: hulp voldoet aan indicatoren methodiekbeschrijving

C Resultaten voor cliënt doelrealisatie probleemafname volgens: - jeugdige - ouder - hulpverlener competentietoename cliënttevredenheid

E Kenmerken implementatie training feedback leidinggevende feedback gedragswetenschapper resultatenbesprekingen

Kenmerken van de implementatie Het plan was om de Methodiek Ambulant te implementeren aan de hand van drie implementatieactiviteiten: - op maat trainen van hulpverleners - feedback geven aan hulpverleners gedurende de uitvoering van de hulp - bespreken van resultaten in teamverband Uit het onderzoek blijkt dat de implementatie gedeeltelijk is uitgevoerd zoals gepland, omdat de resultatenbesprekingen niet zijn uitgevoerd en een aantal ongeplande activiteiten heeft plaatsgevonden in de verschillende teams.

14

Uitvoering van de interventie De uitvoering van de interventie is gemeten aan de hand van twee maten: een zacht en een hardere maat. De ‘zachte maat’ laat zien in hoeverre hulpverleners belangrijke principes uit de Methodiek Ambulante Hulp hebben uitgevoerd, zoals het werken met het netwerk van het gezin en gesprekstechnieken toepassen. De ‘harde maat’ laat zien in hoeverre de hulp is uitgevoerd volgens afspraak, zoals het aantal contacten, de duur van de hulp. De uitvoering van de interventie blijkt uit het onderzoek gemiddeld zoals staat beschreven in de interventie; de spreiding rond dat gemiddelde is echter groot. Dit geeft aan dat de uitvoering van de hulp in de verschillende hulpverleningstrajecten divers is. Dit onderzoek heeft inzicht gegeven in aspecten van de hulp die al heel goed uitgevoerd worden – zoals gesprekstechnieken toepassen en een werkrelatie aangaan. Daarnaast werpt het zijn licht op aspecten die minder goed uitgevoerd worden, zoals het netwerk van het gezin betrekken en werken aan verandering gedurende de hulp. Resultaten van de hulp Jeugdformaat meet bij alle cliënten resultaten van de hulp aan de hand van een aantal indicatoren: - doelrealisatie: de mate waarin doelen van jeugdigen en ouders behaald zijn - probleemafname: de mate waarin problemen van jeugdigen zijn verminderd tijdens de hulp - competentietoename: de mate waarin competenties van ouders zijn vergroot tijdens de hulp - cliënttevredenheid: de mate waarin jeugdigen en ouders tevreden zijn over de hulp. Uit het onderzoek blijkt dat de resultaten die behaald zijn bij de groep cliënten die de Methodiek Ambulante Hulp hebben gekregen, vergelijkbaar zijn met de resultaten die bij alle cliënten van Jeugdformaat worden behaald: niet beter, niet slechter. Kenmerken van de cliënt en hulpverlener Naast gegevens over de implementatie, de uitvoering van de hulp en de resultaten voor cliënten zijn er ook gegevens verzameld over de cliënten en de hulpverleners. De verwachting was dat deze van invloed kunnen zijn op het implementatieproces. In de figuur is te zien dat bij cliënten onder andere gegevens zijn verzameld over sekse, leeftijd, problematiek en hulpvraag. Bij hulpverleners zijn gegevens verzameld over sekse, leeftijd, ervaring, competenties en veranderingsbereidheid. Uit het onderzoek blijkt dat de problematiek van jeugdigen, de competenties van ouders en de werkervaring van hulpverleners samenhangen met resultaten van de hulp. Verder blijkt dat de werkervaring, competenties en veranderingsbereidheid van hulpverleners samenhangen met de uitvoering van de hulp.

15

Hypothesen en conclusies implementatieproces bij Jeugdformaat De verzamelde gegevens over het implementatieproces bij Jeugdformaat maken het mogelijk om verbanden te onderzoeken tussen de verschillende onderdelen van het implementatieproces. De studie bij Jeugdformaat werd gestuurd door drie onderzoeksvragen met bijbehorende hypothesen. Hier staan deze uitgewerkt, met de belangrijkste conclusies daarbij weergegeven.

A Kenmerken cliënten

D Kenmerken hulpverleners

B Uitvoering interventie

1

2

3

C Resultaten voor cliënt

E Kenmerken implementatie

Onderzoeksvraag 1. In hoeverre wordt variatie in de resultaten van de hulp (C) voorspeld door variatie in de uitvoering van de interventie (B) en door welke factoren (kenmerken cliënt (A), kenmerken hulpverleners (D)) wordt dit verband beïnvloed? Hypothese I. Een integere uitvoering van de interventie hangt samen met betere resultaten voor cliënten. Conclusie: De hypothese dat de uitvoering van de interventie bijdraagt aan positieve resultaten voor de cliënt kan gedeeltelijk worden aangenomen. De uitvoering van de interventie is niet gerelateerd aan probleemafname gerapporteerd door jeugdigen en ouders en aan cliënttevredenheid. De uitvoering van de interventie is wel gerelateerd aan doelrealisatie, probleemafname gerapporteerd door hulpverleners en aan de toename van competenties bij ouders.

16

Onderzoeksvraag 2. Welke factoren zijn van invloed op succesvolle implementatie in enge zin? a Is er een verband tussen kenmerken van de implementatie (E) en uitvoering van de interventie (B)? b Wordt dit verband beïnvloed door kenmerken van de cliënt (A) en kenmerken van de hulpverlener (D)? Hypothese II. Er is directe, positieve samenhang tussen de inzet van implementatieactiviteiten en het integer uitvoeren van de interventie. Conclusie: De hypothese dat er een positieve samenhang tussen implementatieactiviteiten en positievere resultaten bij de cliënt nemen we gedeeltelijk aan. De feedback door begeleiders is gerelateerd aan de uitvoering van de interventie. Over de andere aspecten van de implementatie, de trainingen en resultatenbesprekingen, kunnen we dit niet concluderen. De resultatenbesprekingen hebben niet plaats gevonden. Er is geen verband gevonden tussen de trainingen en de uitvoer van de hulp.

Onderzoeksvraag 3. Welke factoren zijn van invloed op succesvolle implementatie in brede zin? a Is er een verband tussen de kenmerken van de implementatie (E) en de resultaten van de hulp (C)? b Wordt dit verband beïnvloed door kenmerken van de cliënt (A) en kenmerken van de hulpverlener (D)? Hypothese III. Er is een positieve samenhang tussen de inzet van implementatieactiviteiten en betere resultaten bij cliënten. Conclusie: Er is in deze studie geen relatie gevonden tussen de implementatieactiviteiten en de realisatie van doelen, de afname van problemen, de toename van competenties en de cliënttevredenheid. Hiermee is de derde onderzoeksvraag beantwoord en de derde hypothese verworpen: de kwaliteit van de implementatie is niet direct van invloed op de resultaten voor cliënten. Indirect lijkt de implementatie, via de uitvoer van de hulp, wel gerelateerd aan de resultaten voor cliënten.

17

Implementatie van Deltamethode Gezinsvoogdij bij Bureaus Jeugdzorg Er is onderzoek gedaan naar de implementatie van de Deltamethode Gezinsvoogdij bij Bureaus Jeugdzorg in Nederland. In deze studie is gebruik gemaakt van de implementatiemonitor om het implementatieproces van de methodiek bij Bureaus Jeugdzorg overzichtelijk weer te geven en te onderzoeken.

A Kenmerken cliënten

D Kenmerken hulpverleners

B Uitvoering interventie

E Kenmerken implementatie

C Resultaten voor cliënt

relatie is eerder onderwerp van studie geweest relatie is in huidig onderzoek onderwerp van studie

Aan de hand van secundaire analyses, op gegevens die in eerder onderzoek zijn verzameld, is onderzocht welke factoren van invloed zijn op een integere uitvoering van de Deltamethode Gezinsvoogdij. Daarbij is het van belang dat de gezinsvoogd de vaardigheden engageren en positioneren toepast, dat de hulp gericht is op ontwikkeling van de jeugdige en op opvoedingstaken en dat de veiligheid van de jeugdige centraal staat. Met gegevens van 224 cliënten en 60 gezinsvoogden, verzameld via dossieranalyse, vragenlijsten en interviews, is onderzocht in hoeverre de implementatie van de Deltamethode heeft bijgedragen aan het integer uitvoeren van de methode. Verder is bekeken welk aandeel cliënten en gezinsvoogden hebben in de uitvoering van de Deltamethode. In deze studie werden slechts zwakke verbanden gevonden tussen kenmerken van de implementatie en de uitvoering van de Deltamethode Gezinsvoogdij. Uit het onderzoek blijkt dat gezinsvoogden die de implementatie positiever hebben ervaren, bepaalde aspecten van de methodiek beter uitvoeren: het Plan van Aanpak is vaker volgens de Deltamethode opgesteld, de ontwikkelingstaken zijn vaker concreet vertaald in de doelen en de hulpverlener geeft aan vaker te engageren. Verder blijkt dat over het algemeen vooral cliëntfactoren gerelateerd zijn aan het uitvoeren van de methode. Een hulpverlenerfactor die van belang is, is de hoeveelheid werkervaring met de Deltamethode.

18

5. HOE VERDER

In het voorgaande staat beschreven wat het onderzoek naar succesvolle implementatie van interventies in de jeugdzorg heeft opgeleverd. Ten eerste is er zicht op bestaande theorieën over implementatie, ten tweede zijn implementatieprocessen in de jeugdzorg meetbaar gemaakt en ten derde is nieuwe kennis ontsloten. Dit leidt tot algemene aanbevelingen over implementatie in de jeugdzorg. Doordat het onderzoek grotendeels binnen Jeugdformaat heeft plaatsgevonden, zijn er ook specifieke aanbevelingen voor Jeugdformaat. Gedurende het onderzoek heeft Jeugdformaat al uitkomsten benut. Deel ervaringen met implementeren in de jeugdzorg Dagelijks worden er nieuwe interventies geïmplementeerd, maar over het algemeen worden ervaringen hiermee nauwelijks gedeeld in de jeugdzorg. In de praktijk van de jeugdzorg kan meer uitgewisseld worden over hoe interventies op een goede manier geïmplementeerd worden, bijvoorbeeld door publicaties in vaktijdschriften over implementatietrajecten of door uitwisseling over effectieve implementatieprocessen tijdens congressen en platformbijeenkomsten. Verder kan de praktijk bijdragen aan kennis over implementatie door medewerking te verlenen aan onderzoek. Onderzoek implementatie van interventies in de praktijk De effectiviteit van een implementatiestrategie is afhankelijk van allerlei factoren in de setting waar het implementatieproces plaats vindt. We pleiten er voor om implementatie zo veel mogelijk in een natuurlijke setting, de praktijk van de jeugdzorg, te onderzoeken. Daarbij zou de vraag centraal moeten staan Wat Werkt Wanneer bij Wie en Waarom?

19

Besteed aandacht aan borging Een belangrijke aanbeveling voor de praktijk is om implementatie van interventies in de jeugdzorg planmatig en procesmatig aan te pakken. Dit betekent nadrukkelijk niet dat van elke verandering, aanpassing of vernieuwing een groot project gemaakt moet worden, want dat zou de praktijk enorm verstarren. Het betekent wel dat men goed vooruit moet kijken: wat moet er precies geïmplementeerd worden in enge en brede zin. Gedurende het implementatieproces is het belangrijk om te monitoren en geregeld terug te kijken, te reflecteren. Door de uitvoering en de resultaten bij cliënten te monitoren is het gedurende het implementatieproces mogelijk om bij te sturen, waardoor de kans van slagen uiteindelijk veel groter wordt. Niemand is gebaat bij een implementatieproces dat te snel en ondoordacht wordt gestart. Dit kost van alle betrokkenen veel tijd, energie en geld en zorgt voor onvrede bij professionals, cliënten en uiteindelijk ook bij de organisatie, omdat de beoogde resultaten niet worden behaald. Vasthouden en borgen zijn minstens zo belangrijk als vernieuwen en invoeren. Bekijk de uitvoering en uitkomsten van een interventie altijd samen In effectstudies zou altijd de uitvoering van de interventie meegenomen moeten worden als variabele. Als niet duidelijk is in hoeverre de interventie daadwerkelijk uitgevoerd is, is het onmogelijk om goede uitspraken te doen over de effectiviteit van die interventie. In de praktijk zou het meten van resultaten van de hulp bij voorkeur hand in hand moeten gaan met procesevaluatie, om zicht te krijgen op wat nu precies heeft bijgedragen aan de resultaten. Pas de juiste interventie toe bij de juiste cliënt Het uiteindelijke doel van elke handeling van professionals in de jeugdzorg zou moeten zijn dat cliënten optimaal profiteren van de hulp. Er is in de afgelopen decennia veel kennis vergaard over wat werkt bij allerlei soorten problematiek. Goede interventies bestaan uit een goede match tussen problematiek en interventie. Uit het onderzoek bij Jeugdformaat bleek dat de Methodiek Ambulante Hulp bij een zeer diverse doelgroep van cliënten wordt ingezet. Bij een deel van de cliënten zorgt dit voor goede resultaten, bij een deel ook niet. Waarschijnlijk kan bij lichte problematiek een lichtere variant van de methodiek volstaan. Bij cliënten met specifieke of ernstige problematiek zou de methodiek juist aangevuld moeten worden met meer specifieke interventies waarvan bekend is dat het werkt, zoals gedragstherapie voor ernstige gedragsproblemen.

20

Begeleid professionals bij een goede uitvoering van de hulp Voor de praktijk van de jeugdzorg is het raadzaam om structureel te investeren in supervisie, intervisie of coaching van de hulpverleners die de interventies uitvoeren. De hulpverlener is als professional een cruciale schakel is in het uitvoeren van de hulp. Een hulpverlener moet in staat zijn om algemene en specifieke werkzame factoren in te zetten om verandering bij jeugdigen en gezinnen te bereiken. Dit vraagt kennis over effectieve hulp van professionals, maar ook vaardigheid in het uitvoeren van die interventies en begeleiding gedurende de uitvoering. Training en supervisie van professionals moet niet alleen gericht zijn op het sec toepassen van een interventie of het uitvoeren van een protocol. Een professionele hulpverlener kan werkzame principes op verschillende manieren toepassen onder verschillende omstandigheden of bij verschillende cliënten.

Tot besluit Jeugdformaat heeft ruimte geboden voor onderzoek dat bijdraagt aan de wetenschap en de praktijk. Het project heeft laten zien dat implementeren in de dagelijkse praktijk van de jeugdzorg weerbarstig is. Dat heeft kritische aanbevelingen opgeleverd waarvan jeugdzorgorganisaties èn onderzoekers kunnen leren. De kracht van samen optrekken door wetenschap en praktijk is dat deelresultaten direct benut kunnen worden. Jeugdformaat heeft gedurende de looptijd van het onderzoek al aanbevelingen ter harte genomen. Er is bijvoorbeeld meer aandacht gekomen voor procesevaluatie in aanvulling op het meten van resultaten van de hulp en er is gebruik gemaakt van de inzichten over competenties van hulpverleners voor het inrichten van een nieuw opleidingsbeleid binnen Jeugdformaat. Voor implementatie èn voor onderzoek naar implementatie geldt: het is een samenspel van vooruitzien, doen en terugblikken; pas dan is de cirkel rond.

Implementeren is een samenspel van vooruitzien, doen en terugblikken; pas dan is de cirkel rond.

21

LITERATUUR VERANTWOORDING In deze samenvatting is omwille van de leesbaarheid gekozen om referenties niet in de tekst te verwerken. In het proefschrift staat in de lopende tekst wel aangegeven welke bronnen zijn geraadpleegd en is een uitgebreide literatuurlijst opgenomen. Onderstaande literatuur is een selectie van die uitgebreide lijst. De selectie is benut voor de tekst in deze samenvatting. Bero, L. A., Grilli, R., Grimshaw, J. M., Harvey, E., Ox-

Rogers, E. M. (1995). Diffusion of innovations (4th

man, A. D., & Thomson, M. A. (1998). Closing the

ed.). New York: The Free Press.

gap between research and practice: An overview of systematic reviews of interventions to promote the implementation of research findings. British Medical Journal, 317, 465-468.

Stals, K., Yperen, T. van, Reith, W. & Stams, G. (2008). Effectieve en duurzame implementatie in de jeugdzorg.  Een literatuurrapportage over belemmerende en bevorderende factoren op imple-

Bijl, B. & Bogaart, P.H.M. van den (1992). Het me-

mentatie van interventies in de jeugdzorg. Utrecht:

ten van de bereidheid tot verandering. Betrouw-

Universiteit Utrecht.

baarheid en validiteit van de Nederlandstalige versie van de DDQ. Pedagogisch Tijdschrift, 17, 26-41.

Stals, K., Yperen, T. van, Reith, W. & Stams, G. (2009). Jeugdzorg kan nog veel leren over imple-

Fleuren, M. A. H., Wiefferink, C. H., & Paulussen,

menteren. Gebruik van kennis over implementatie

T. G. W. M. (2004). Determinants of innovation

vergroot de kans op succes. Jeugd en Co Kennis, 4,

within health care organizations: Literature review

19-28.

and Delphi study. International Journal for Quality in Health Care, 16, 107-123.

Stals, K., Yperen, T.A. van, Reith, W.J.M., & Stams, G.J.J.M. (2010) Planmatig implementeren leidt tot

Fleuren, M.A.H., Wilde, E.J. de, Paulussen,

effectievere interventies in de praktijk. Tijdschrift

T.G.W.M., Stals, K. & Mikolajczak, J. (2009) Condi-

voor Orthopedagogiek, 49, 43-55.

ties voor effectieve invoering van jeugdinterventies: een kennissynthese. Tijdschrift voor Gezondheidswetenschappen, 6, 245-247.

Stams, G.J.J.M., Top-Van der Eem, M., Limburg, S., Van Vugt, E., & Van der Laan, P.H. (2010). Implementatie en doelmatigheid van de Deltamethode

Goorden, O., Vogelvang, B., Oomen, D., Ootes, A.,

Gezinsvoogdij: Onderzoek naar de invloed van de

Reith, W., Voogd, M., Vermeiden, B., & Vugt, M.

Deltamethode Gezinsvoogdij op het verloop op de

van (2008). Methodiek Ambulante Hulp. Rijswijk:

ondertoezichtstelling.Amsterdam: UVA, SCO-Kohn-

Jeugdformaat.

stamm instituut.

Grol, R. & Wensing, M. (2006) Implementatie: Ef-

Yperen, T. van & Bakker, K. (2008) Ontwikkeling en

fectieve verbetering van de patiëntenzorg. Maars-

borging jeugdinterventies. Utrecht: Nederlands

sen: Elsevier gezondheidszorg.

Jeugdinstituut.

Mikolajczak, J., Stals, K., Fleuren, M.A.H., Wilde E.J. de, Paulussen, T.G.W.M. (2009) Kennissynthese van condities voor effectieve invoering van jeugdinterventies. Leiden: TNO Kwaliteit van Leven / Utrecht: NJi.

PROMOTIEONDERZOEK, COMMISSIE, CONTACTINFO Dit is een samenvatting van een promotieonderzoek dat van 2007 tot 2012 is uitgevoerd door Karlijn Stals in opdracht van Jeugdformaat. De Universiteit Utrecht en de Universiteit van Amsterdam waren samenwerkingspartners in het onderzoek. Op 29 juni 2012 om 14.30 uur verdedigt Karlijn Stals het proefschrift tijdens een openbare verdediging van de Universiteit Utrecht in het Academiegebouw, Domplein 29 te Utrecht. Begeleidingscommissie: Promotoren: Co-promotoren:

prof. dr. T.A. van Yperen (Universiteit Utrecht) prof. dr. G.J.J.M. Stams (Universiteit van Amsterdam) dr. W.J.M. Reith (Haagse Hogeschool) dr. E. Wortel (Jeugdformaat).

Dit onderzoek was niet mogelijk geweest zonder de hulp van velen. In het bijzonder is dank verschuldigd aan de Raad van Bestuur van Jeugdformaat voor het initiëren en financieren van het onderzoek. Voor de dataverzameling heeft het onderzoek voor een groot deel gesteund op ambulant hulpverleners, gedragswetenschappers en leidinggevenden bij Jeugdformaat, waarvoor grote dank. De Universiteit Utrecht en de Universiteit van Amsterdam hebben meegewerkt aan een onderzoek dat zich grotendeels afspeelde in de dynamische context van de praktijk van de jeugdzorg. Zij hebben hierbij steeds zorg gedragen voor de wetenschappelijke kwaliteit van het onderzoek. Voor vragen, verdere informatie over het onderzoek of een exemplaar van het proefschrift kunt u contact opnemen met Karlijn Stals ([email protected]).

De cirkel is rond Samenvatting van onderzoek naar succesvolle implementatie van interventies in de jeugdzorg Publiekssamenvatting van academisch proefschrift. Dit onderzoek is mogelijk gemaakt door Stichting Jeugdformaat.

Omslag: Ipskampdrukkers B.V., Matthijs Ariëns Drukwerk: Ipskampdrukkers B.V. © 2012 Karlijn Stals Alle rechten voorbehouden. Niets van deze uitgave mag worden verveelvoudigd of worden opgeslagen in enige vorm of op enige wijze, zonder voorafgaande schriftelijke toestemming van de auteur.

Dit boekje bevat een samenvatting van een onderzoeksproject van Jeugdformaat, in samenwerking met de Universiteit Utrecht en de Universiteit van Amsterdam. Het doel van dit project was om zicht te krijgen op factoren die van invloed zijn op succesvolle implementatie van interventies in de jeugdzorg. Ten eerste is literatuurstudie verricht en dat heeft een definitie van implementatie in de jeugdzorg opgeleverd, een theoretisch model en een overzicht van de beschikbare literatuur. Ten tweede zijn theoretische principes geoperationaliseerd, meetbaar gemaakt, voor onderzoek in de praktijk. Daarbij is gebruik gemaakt van de implementatiemonitor, een schematische weergave van het te meten implementatieproces. Ten derde is empirisch onderzoek uitgevoerd naar de implementatie van twee interventies: de Methodiek Ambulante Hulp bij Jeugdformaat en de Deltamethode Gezinsvoogdij bij Bureaus Jeugdzorg. Dit onderzoek heeft nieuwe kennis over implementatie van interventies in de jeugdzorg opgeleverd en aanbevelingen voor verder onderzoek en de praktijk.