Meer zicht op effectiviteit van jeugdzorg

Meer zicht op effectiviteit van jeugdzorg Eindverslag van het project ‘Zicht op Effectiviteit’

Practice-Based

Evidence- Based

Evidence

Practice

©2008 Nederlands Jeugdinstituut, Utrecht/ Praktikon, Nijmegen Niets uit deze uitgave mag worden vermenigvuldigd en/of openbaar gemaakt door middel van druk, fotokopie, microfilm of op enige andere wijze zonder voorafgaande schriftelijke toestemming. Tekst en redactie Jan Willem Veerman (Praktikon) en Tom van Yperen (Nederlands Jeugdinstituut) Vormgeving omslag Studio Hermkens Projectgroep Deze uitgave is een product van het project ´Zicht op effectiviteit´, uitgevoerd door een projectgroep, bestaand uit: prof. dr. Jan Willem Veerman (Praktikon, projectleider en penvoerder) prof. dr. Tom van Yperen (Nederlands Jeugdinstituut, projectleider) dr. Bas Bijl (PI Research) Herma Ooms M.C.M. (Collegio) drs. Dries Roosma (Jeugdzorg Drenthe). Financier Het project ‘Zicht op effectiviteit’ is in de periode 2005-2007 uitgevoerd met subsidie van het ministerie van VWS / ministerie voor Jeugd en Gezin. Bestellen De uitgave is te bestellen bij Praktikon, Postbus 9104, 6500 HE Nijmegen; [email protected]. Tevens is de publicatie te downloaden via www.sejn.nl waar tevens meer informatie over het project Zicht op Effectiviteit te vinden is, alsook over het vervolg hiervan, het Samenwerkingsverband Effectieve Jeugdzorg Nederland (SEJN).

Inhoud Samenvatting ............................................................................................................................ 5 1. Inleiding................................................................................................................................. 7 1.1 Probleemstelling ........................................................................................................ 7 1.2 Doelstelling................................................................................................................ 8 2. Projectopzet ........................................................................................................................ 10 2.1 Projectgroep............................................................................................................. 10 2.2 Verstevigingsproject ................................................................................................ 10 2.3 Verbredingsproject .................................................................................................. 12 3. Projectopbrengsten ............................................................................................................ 13 3.1 Handboek voor praktijkgestuurd effectonderzoek................................................... 13 3.2 Ondersteuningspakketten......................................................................................... 14 3.3 Doorontwikkeling meetinstrumenten ...................................................................... 16 3.4 Gebruik van software............................................................................................... 16 3.5 Ervaringen deelnemers Verbredingsproject ............................................................ 17 3.6 Effectiviteitsplatform............................................................................................... 18 4. Conclusies en aanbevelingen ............................................................................................. 20 4.1 Wisselwerking ‘evidence-based practice’ en ‘practice-based evidence’................. 20 4.2 Resultaten ................................................................................................................ 20 4.3 Lessen ...................................................................................................................... 21 4.4 Conclusies en blik op de toekomst .......................................................................... 25 Noten........................................................................................................................................ 27 Bijlage 1. Inhoud Handboek Zicht op Effectiviteit ............................................................. 29 Bijlage 2. Criteria en scoringslijst best research practice .................................................. 31 Bijlage 3. Overzicht uitgebrachte producten ....................................................................... 33

3

4

Samenvatting Het project Zicht op Effectiviteit is met financiële steun van het ministerie van VWS en Jeugd en Gezin van 2005 tot en met 2007 in een aantal organisaties voor jeugdzorg uitgevoerd. Het uitgangspunt van dit project was dat effectiviteit zichtbaar moet worden op de plaats van ontstaan, namelijk op de werkvloer van de zorg, in de interactie tussen hulpverleners en cliënten. En tevens dat dit zicht op de effectiviteit vanaf die plaats zijn weg vindt ‘hogerop’, naar het management en de bestuurders van organisaties, naar regionale en provinciale beleidsorganen, naar het landelijk beleid en naar de wetenschappelijke tijdschriften. Dit resulteert in wat ook wel praktijkgestuurd effectonderzoek wordt genoemd. Hierbij dienen praktijk, beleid en wetenschap geen gescheiden werelden te zijn, maar elkaar te faciliteren, ieder vanuit het eigen belang en interessegebied. Deelprojecten

Het project bestond uit twee deelprojecten. Het eerste deelproject had tot doel reeds lopend effectonderzoek op een zestal locaties te versterken en de ervaringen, naast achtergronden en praktische handreikingen vast te leggen in een Handboek voor praktijkgestuurd effectonderzoek. De zes locaties vertegenwoordigden direct of indirect (via intersectorale samenwerkingsverbanden) negentien organisaties voor jeugdzorg, inclusief de jeugd-ggz en de zorg voor licht verstandelijk gehandicapten. Op grond van hun reeds opgedane ervaringen met praktijkgestuurd effectonderzoek werden zij gezien als de best practices voor dit type onderzoek. In dit eerste deelproject werd geprobeerd deze praktijken nog verder te verbeteren. Hun ervaringen vinden hun weerslag in deel II van het genoemde handboek. Het tweede deelproject had tot doel nieuwe organisaties in te laten stromen. In die organisaties zou praktijkgestuurd effectonderzoek opgezet gaan worden, waarbij vanuit het project ruim een jaar begeleiding geboden werd. Zeven jeugdzorgorganisaties namen hieraan deel, ook weer uit verschillende sectoren, nu ook de justitiële jeugdzorg en de zorg voor licht verstandelijk gehandicapten. In deze organisaties werden effectmetingen opgezet en vanuit het project begeleid. Hiermee werd de basis van het project verbreed tot 26 organisaties. In de bundel ‘Zicht op Effectiviteit. Een kijkje in de keuken van zeven organisaties voor jeugdzorg’ doen de organisaties verslag van dit proces. Platform en ondersteuningspakketten

Aandachtsfunctionarissen uit de organisaties van beide deelprojecten kwamen regelmatig bijeen in een Effectiviteitsplatform om ervaringen uit te wissen en nieuwe ontwikkelingen te bespreken. Deze besprekingen gaven aanleiding tot het ontwikkelen van een aantal ondersteuningspakketten: workshops voor medewerkers van organisaties waarin de voor effectmeting relevante randvoorwaarden aan de orde komen. Zo zijn er workshops voor het omgaan met vragenlijsten, het opzetten van de logistiek voor de gegevensverzameling en het benutten van uitkomsten voor het beleid. Tevens is in het kader van het project bestaande software ten behoeve van de effectmeting geïmplementeerd.

5

Conclusies

De belangrijkste conclusies van het project zijn: 1. In dertien jeugdzorgorganisaties vindt het beoogde praktijkgestuurd onderzoek plaats. Tellen we de organisaties die samenwerken in de intersectorale Hulp aan Huisprogramma’s apart mee dan kunnen we stellen dat 27 organisaties in de jeugdzorg (inclusief de GGZ en de Justitiële- en LVG-sectoren) met minstens één van hun interventies (modules) bij het project betrokken zijn. 2. De organisaties in het Verstevigingsproject hebben een ontwikkeling doorgemaakt die het bewustzijn en de noodzaak van het verzamelen van effectgegevens in het primaire proces, alsook de procedures om dit te bewerkstellingen, verstevigd heeft. 3. De organisaties in het Verbredingsproject zijn gemotiveerd om diezelfde ontwikkeling door te gaan maken. Dat doen zij na de beëindiging van dit project voor het leeuwendeel op eigen kracht. 4. Het besef dat effectiviteit zichtbaar moet worden op de werkvloer en van daaruit ‘hogerop’ naar beleid en wetenschap moet gaan wordt breed gedragen, evenals het besef dat dit een zaak van velen is en een zaak van lange adem. 5. De beide ‘motoren’ van het project, de Projectgroep en het Effectiviteitsplatform functioneerden naar verwachting en hebben de beoogde producten opgeleverd. 6. In de periode na het project zullen de volgende acties opgepakt moeten worden, willen de in het project opgedane kennis en ervaringen verder benut en verder uitgebouwd worden: – Ondersteuning van nieuw-startende organisaties; – Verbreding naar het monitoren van effectiviteit via prestatie-indicatoren; – Verbinding met onderwijs en professionalisering; – Verbinding met wetenschapsbeleid. Het gedachtegoed van Zicht op Effectiviteit wordt voortgezet in het Samenwerkingsverband Effectieve Jeugdzorg Nederland (SEJN). De hoop is dat dit samenwerkingsverband een rol van vervullen bij de hier genoemde acties.

6

1. Inleiding

1.1 Probleemstelling Het hoeft nauwelijks meer betoog dat effectiviteit hoog op de agenda in de jeugdzorg staat. Zowel op de werkvloer en bij het management van instellingen als bij lokale, provinciale en landelijke overheden is het besef gegroeid dat zicht op effectiviteit een belangrijke vereiste is om de zorg intern verder te ontwikkelen en extern beter te verantwoorden. Er is inmiddels uit wetenschappelijk onderzoek veel kennis over ‘wat werkt’ beschikbaar gekomen. Maar hierbij doemt een probleem op. De uitgevoerde studies gaan vaak over sterk geprotocolleerde interventies, bij probleemgroepen met een duidelijk afgebakend probleem, en over speciaal getrainde uitvoerders. Dit is niet representatief voor de praktijk. Het gevolg hiervan is dat is er nog maar weinig bekend is over de resultaten van de jeugdzorg in de dagelijkse praktijk. Dit is echter wel de praktijk waar jaarlijks zo’n 225 duizend jongeren en hun ouders mee te maken krijgen, en die jaarlijks zo’n anderhalf miljard euro aan overheidssubsidie ontvangt.1 Uitspraken over de kwaliteit van dit werk (zowel in positieve als in negatieve zin) zijn niet te staven als cijfers ontbreken. Dat schaadt de jeugdzorg in toenemende mate. Politici en financiers stellen dat zij het maatschappelijk moeilijk kunnen verantwoorden dat er steeds meer geld naar de sector gaat, zonder dat er voldoende zicht is op de effectiviteit van het aanbod. Uitvoerend werkers voelen zich in toenemende mate ongemakkelijk omdat zij moeten werken met interventies waarvan de effectiviteit nog niet is aangetoond. Zicht op effectiviteit heeft in de jeugdzorg terecht een hoge prioriteit gekregen. Ondanks deze noodzaak moet geconstateerd moet worden dat men in de jeugdzorg wel vaak van goede wil is inzicht in effectiviteit te verschaffen, maar dat het aan instrumenten en ondersteuning ontbreekt om die goede wil om te zetten in heldere cijfers. Er zijn verschillende trajecten uitgevoerd of nog gaande om deze situatie te verbeteren, waaronder: • veldexperimenten op het terrein van doelrealisatie, ketenkwaliteit en benchmarking in het programma Kwaliteitszorg in de jeugdzorg II; • de landelijke kwaliteitstoetsing van Families First; • de ontwikkeling en implementatie van informatiesystemen als het IJ en Care4; • de ontwikkeling en implementatie van prestatie-indicatoren in de jeugdzorg; • de Databank Effectieve Jeugdinterventies van het Nederlands Jeugdinstituut; • diverse wetenschappelijke onderzoeken en praktijkstudies naar de effectiviteit van het aanbod in uiteenlopende instellingen of van specifieke interventies als Hulp aan Huis (HaH), Multi-system Therapy (MST), Functional Family Therapy (FFT) en Parent Management Training Oregon (PMTO). De samenhang tussen deze trajecten is echter gebrekkig en teveel aan het vrije spel der krachten onderhevig. Noodzakelijk is dat belangrijke onderdelen uit deze trajecten expliciet met elkaar worden verbonden.

7

Wat opvalt aan de meeste van de genoemde trajecten is de top-down gedachte. Dat is op zich ook niet onlogisch. Beleidsorganen hebben voor hun sturing van zorgprocessen behoefte aan bepaalde gegevens en proberen in beleidsonderzoek via overleg met vertegenwoordigende zorgorganen te komen tot nadere afspraken over de levering van deze gegevens. Via directies van zorginstellingen komt de vraag om deze levering bij de praktijk binnen, directies delegeren de vraag weer naar hun managers en deze trachten hun uitvoerend functionarissen in het primaire proces (zowel zorgverleners als hun secretariële ondersteuners) de benodigde registraties te laten verrichten. Deze laatsten leveren zo goed en zo kwaad als dat gaat gegevens aan en via de geschetste lijn gaan de gegevens ‘terug naar boven’. Dezelfde manier van doen is te herkennen in veel wetenschappelijk onderzoek, zij het dat het hier niet gaat om sturing van zorgprocessen, maar om wetenschappelijke theorievorming. In beide gevallen zien degenen die de gegevens leveren, de uitvoerend functionarissen, weinig tot niets terug. Gegevens komen gewoonlijk in abstracte en sterk gecondenseerde vorm in beleidsrapporten en wetenschappelijke publicaties terecht, waarin meestal in algemene bewoordingen conclusies over effectiviteit worden getrokken. Zowel bij beleidsonderzoek als wetenschappelijk onderzoek wordt de manier van gegevens verzamelen, analyseren en rapporteren gedicteerd door de manier van denken en doen die in beleid en wetenschap leidend zijn. Dat maakt evaluatie van jeugdzorg vanuit deze twee perspectieven methodegestuurd. Het zicht op de effectiviteit in de dagelijkse praktijk wordt echter onvoldoende helder. Bovendien hebben de resultaten onvoldoende weerslag op de kwaliteitsverbetering van de praktijk, omdat de praktijkwerkers het onderzoek niet als hun eigendom beschouwen. Evaluatie van de effecten van de jeugdzorg dient daarom mede praktijkgestuurd te zijn, door en voor de werkvloer, en dient van daaruit bottom-up ‘naar boven’ te gaan. Daarmee zal de relevantie van de evaluatie toenemen. Dat geldt zeker, als vanuit het praktijkgestuurde onderzoek tevens een verbinding tot stand wordt gebracht met wetenschappelijke en beleidsvraagstukken. Hiermee ontstaat een wisselwerking tussen top-down en bottom-up benaderingen.

1.2 Doelstelling Het algemene doel van het project ‘Zicht op effectiviteit’ was in een aantal instellingen van jeugdzorg reeds in gang gezet praktijkgestuurd effectonderzoek verder te ontwikkelen dan wel in nieuwe instellingen praktijkgestuurd effectonderzoek op te zetten, teneinde meer zicht te krijgen op de effecten van jeugdzorg in de praktijk. Onder praktijkgestuurd effectonderzoek wordt verstaan2: onderzoek waarin onderzoekers en behandelingsfunctionarissen gezamenlijk optrekken, met het doel informatie te verzamelen waarmee het effect van het praktisch handelen van een individuele behandelingsfunctionaris, een groep van behandelingsfunctionarissen, een instelling of groep van instellingen nader verhelderd en getoetst wordt, waardoor vervolgens het werk van de betrokken behandelfunctionarissen of instellingen verbetert en tevens ten opzichte van buitenstaanders gelegitimeerd kan worden. Deze definitie geeft praktijkgestuurd effectonderzoek de volgende kenmerken:

8

1. Aansluiting. Onderzoek naar het effect van interventies moet aansluiten bij het ontwikkelingsniveau van die interventies. Het ontwikkelingsniveau wordt gegeven door de mate waarin de te onderzoeken interventie een te onderscheiden ‘ding’ is: in hoeverre is deze te omschrijven, te onderbouwen en over te dragen? Zo heeft het bijvoorbeeld geen zin experimenteel onderzoek te doen bij interventies die wat dit betreft nog niet voldoende gerijpt zijn. 2. Inbedding. Onderzoek naar het effect van interventies dient procedureel ingebed te zijn in de uitvoering van de interventie, dient er niet nog eens ‘bij’ te komen, maar hoort ‘deel uit te maken van’. Dat betekent dat het gebruik van onderzoeksinstrumenten geïntegreerd is in het hulpverlenend handelen en dat deze instrumenten ook de ‘taal van de interventie’ spreken, dat wil zeggen operationaliseringen zijn van concepten die op de werkvloer worden gehanteerd. Daarmee krijgen ze zeggingskracht. 3. Benutting. Onderzoek naar het effect van interventies dient niet in de bureaulade te blijven liggen, maar de verzamelde gegevens moeten benut worden. Deze benutting begint in het primaire proces, bij individuele diagnostiek en behandelingsplanning en evaluatie van de voortgang. Van daaruit kunnen gegevens naar hogere niveaus geaggregeerd worden, bijvoorbeeld om zicht te krijgen op de effectiviteit van een interventie, van een team, een unit, een instelling, provinciale en landelijke koepels of sectoren. Onderzoek wordt dan opgenomen in een cyclus gericht op praktijkverbetering. Deze drie kenmerken kunnen gezien worden als de ‘werkzame principes’ van praktijkgestuurd effectonderzoek. Het onderzoek levert kennis op waar uitvoerders en bestuurders wat aan hebben en waar men ook plezier aan kan beleven. Het is ook onderzoek dat, eenmaal in gang gezet, niet meer ophoudt. Het verzamelen van gegevens over effectiviteit maakt onderdeel uit van het hulpverlenend handelen, hoort bij een best practice, en maakt deel uit van het kwaliteitsbeleid van een instelling. Regelmatig wordt er feedback gegeven over het effect: treden gewenste veranderingen op, bereiken we onze doelen, zijn onze cliënten tevreden? Gegevens over individuele behandelingen worden geaggregeerd voor feedback op team- of instellingsniveau, of groepen van instellingen in een regio of provincie. Op basis hiervan kan het werk bijgestuurd en verantwoord worden. Leren en legitimeren is aan de orde van de dag. Slimme software is hierbij behulpzaam, waarbij de mogelijkheden van het internet niet onbenut worden gelaten. Met behulp hiervan kijken instellingen desgewenst ook in elkaars keuken en nemen zij een voorbeeld aan de best functionerende praktijk (de zogeheten benchmarking). Bovendien krijgen overheden op het door hun gewenste aggregatieniveau kengetallen aangereikt.

9

2. Projectopzet Om de genoemde doelstelling te bereiken zijn twee deelprojecten uitgevoerd. Het eerste project, het Verstevigingsproject, was gericht op het verstevigen van de bestaande basis van praktijkgestuurd effectonderzoek bij instellingen die reeds me dit type onderzoek bezig waren. Het tweede project, het Verbredingsproject, was erop gericht vanuit deze solide basis meer instellingen bij dit type onderzoek te betrekken, om zo het draagvlak te verbreden. Middels deze twee projecten kon met gebruikmaking van reeds aanwezige krachten met relatief weinig inspanning en middelen een ‘effectgolf’ in beweging gezet worden die het gevraagde zicht op effectiviteit zou kunnen gaan bieden. Een projectgroep bestaande uit de initiatiefnemers gaf sturing aan het gehele project.

2.1 Projectgroep Het project is aangestuurd door een projectgroep die met de projectleiders tevens het initiatief voor het opzetten van het project nam. Deze groep bestond bij aanvang uit: • dr. B. Bijl (Programmaleider Onderzoek PI Research); • mevr. drs. M. Janssen (Stafmedewerker kwaliteitszorg Hoenderloogroep); • mevr. H. Ooms, M.C.M., (senior-adviseur/manager bij Collegio, kennispraktijk voor de jeugdzorg); • drs. A.H. Roosma (Projectleider Kwaliteit en Onderzoek van Jeugdzorg Drenthe en Bureau Jeugdzorg Drenthe); • prof. dr. T.A. van Yperen (Bijzonder hoogleraar Onderzoek en Ontwikkeling effectiviteit jeugdzorg Universiteit Utrecht en senior medewerker bij het NIZW Jeugd – later het NJi – en projectleider van het project); • prof. dr. J.W. Veerman (Bijzonder hoogleraar Speciale Kinder- en Jeugdzorg Radboud Universiteit Nijmegen en Hoofd Praktikon, projectleider en penvoerder van het project). Mevr. Janssen kwam zomer 2005 tijdens haar vakantie door een noodlottig ongeval om het leven. De Projectgroep besloot haar niet te doen opvolgen. Eén van haar uitspraken is als motto voor het gehele project gekozen: Het gaat niet alleen over het meten van effecten, maar ook over het effect van meten.

2.2 Verstevigingsproject Eerste doel van dit deelproject was het samenstellen van een Handboek ‘Zicht op effectiviteit’. Hierin zouden de principes van praktijkgestuurd effectonderzoek en voorbeelden van dit

10

soort onderzoek beschreven worden, alsook instrumenten en andere tools voor het uitvoeren van dit onderzoek moeten worden aangedragen. Een dergelijk handboek is uniek, de voorhanden zijnde literatuur biedt dit nog niet. De inschatting was dat de bundeling van expertise in de projectgroep het mogelijk maakte deze taak ook succesvol uit te voeren. Het tweede doel van dit deelproject was zes organisaties de mogelijkheid te bieden het effectonderzoek dat zij reeds vanuit dit perspectief hadden opgezet verder te verstevigen. Ze zouden daarbij ondersteuning ontvangen van de projectgroep om knelpunten bij de opzet en uitvoering weg te werken. Daarvoor werd een Effectiviteitsplatform opgericht waarin vertegenwoordigers van de organisaties elkaar suggesties konden bieden om met onderzoekers en ontwikkelaars het praktijkgestuurde onderzoek verder uit te bouwen. Langs deze weg zouden deze organisaties aan het einde van de eerste fase, medio 2006, te beschouwen zijn als ‘modellocaties’ voor praktijkgestuurd effectonderzoek. Zij zouden kunnen helpen dit onderzoek in de eigen instelling te implementeren. De organisaties waren: • Hulp aan Huis Groningen (Base Groep Groningen/ GGZ Groningen); • Hulp aan Huis Drenthe (Jeugdzorg Drenthe, Accare en Dreei); • Programma Psychiatrisch Gezinsgerichte Behandeling Noord Nederland (GGZ Drenthe); • Hulp aan Huis Overijssel (Adhesie, Accare divisie Drenthe/Overijssel, Karakter, Mediant, RIAGGz IJsselland, RIBW Twente, Commujon LSG, Jarabee, Pactum, Trias jeugdhulp, De Eik, De Reeve en de Twentse Zorgcentra); • De Hoenderloogroep, Hoenderloo; • Klinische Gezinsbehandeling De Bellenbergh, Zeist (onderdeel van Altrecht). Hoewel er over zes organisaties wordt gesproken, waren er indirect twintig organisaties op het terrein van de jeugdzorg (inclusief GGZ en LVG-sector) bij het onderzoek betrokken. Dit had te maken met de intersectorale samenwerkingsrelaties die de Hulp aan Huisprogramma’s kenmerken. In dit project zagen we een Hulp aan Huisprogramma echter als één organisatie. De genoemde organisaties waren geselecteerd omdat zij via wetenschappelijk onderzoek reeds indicaties voor effecten op tafel probeerden te leggen. Zonder het zo te noemen voerden zij reeds praktijkgestuurd effectonderzoek uit. Bij de Hulp aan Huisprogramma’s in Groningen, Drenthe en Overijssel werden al enige jaren voor- en nametingen verricht met vragenlijsten voor probleemgedrag en opvoedingsbelasting3. Hieruit kwam naar voren dat de hulp in het algemeen effectief is, maar ook dat effecten tussen modules en binnen modules over verschillende jaren kunnen verschillen. Dit leidde tot levendige discussies en suggesties voor verbeteracties, waarvan het effect weer bekeken werd in analyses van nieuwe gegevens. Datzelfde gold voor de beide organisaties voor klinische gezinsbehandeling. Bij de Hoenderloogroep, een instelling voor behandeling van jongeren met ernstige gedragsproblemen, was een paar jaar daarvoor een follow-up onderzoek in gang gezet dat continu zicht moest geven op het wel en wee van jongeren na hun vertrek. Door hier van meet af aan zoveel mogelijk medewerkers bij te betrekken was er een draagvlak ontstaan om, ook op de werkvloer van de leefgroepen, een breed effectonderzoek onderzoek op te zetten. Doelevaluatie, cliëntfeedback en het volgen van veranderingen door herhaald afnemen van vragenlijsten gingen van het onderzoek in de Hoendeloogroep deel uitmaken.

11

2.3 Verbredingsproject Het verder implementeren van praktijkgestuurd effectonderzoek was het doel van het tweede deelproject. Hierin zou overdracht van de ervaringen moeten plaatsvinden naar minimaal vier andere organisaties. Dit project startte in de loop van 2006 en liep door tot eind 2007. Na een selectieprocedure die uitgebreid staat beschreven in het tussentijds verslag van het project4, gingen de volgende organisaties deelnemen aan het Verbredingsproject: • Triversum, Kinder- en Jeugdpsychiatrie, Alkmaar; • ’s Heerenloo Kwadrant, Zorg voor licht verstandelijk gehandicapten, Ermelo; • OG Heldringstichting, Justitiële Jeugdinrichting, Zetten; • Tender, Jeugdhulplverlening, Breda; • Parlan, Jeugdhulpverlening, Alkmaar; • Pactum, Jeugdhulpverlening, Arnhem; • De Waarden, Jeugdhulpverlening, Nijmegen. Deze organisaties kregen tijdelijk extra ondersteuning bij de implementatie van het onderzoek. De eerste vier genoemde instelling ontvingen het zogeheten brede ondersteuningspakket. Hierbij werd ondersteuning geboden bij het opzetten van het onderzoek en het verzamelen, analyseren en rapporteren van de eerste gegevens. Deze ondersteuning werd geboden door medewerkers van PI Research en Praktikon (respectievelijk mevr. drs. M.C. van der Veldt en mevr. dr. C. van Dam) en gecoördineerd door de leidinggevenden van de genoemde instituten die deel uitmaakten van de projectgroep (dr. B. Bijl en prof. dr. J.W. Veerman) in afstemming met één van de senior-adviseurs van Collegio (mevr. H. Ooms, M.C.M., tevens lid van de projectgroep), die de procesbewaking en voortgangsbespreking voor haar rekening nam. Hierbij speelden thema’s als organisatie-ontwikkeling en implementatie van onderzoek een belangrijke rol. De laatste drie genoemde organisaties ontvingen het zogeheten smalle ondersteuningspakket. Hierbij konden zij hun aandachtsfunctionaris afvaardigen naar het Effectiviteitsplatform en konden zij een beroep doen op een op locatie te geven workshop van één van de inmiddels ontwikkelde ondersteuningspakketten of konden zij in hun organisatie een check-up naar het proces en resultaat van bestaande onderzoekspraktijken laten uitvoeren. De ondersteuningspakketten komen in het volgende hoofdstuk nog aan de orde. De krachten en mogelijkheden van de lokale situatie stuurden het proces van implementatie. Het principe van ‘professionele empowerment’ was hier leidend. De eerste versie van het Handboek (toen het ‘Bronnenboek’ genoemd) diende als inspiratiebron en kon op grond van deze lokale ervaringen weer verder worden aangepast. Per 1 september 2006 kende het project dertien jeugdzorgorganisaties die direct deelnamen (zes Hulp aan Huisorganisaties plus de zeven nieuw deelnemende organisaties) en nog eens veertien organisaties die indirect deelnamen (alle bij de Hulp aan Huisprogramma’s betrokken organisaties). Bij elkaar ging het om 27 organisaties waarin op één of meerdere afdelingen praktijkgestuurd effectonderzoek werd uitgevoerd.

12

3. Projectopbrengsten Het project Zicht op Effectiviteit ging 1 januari 2005 van start. De eerste periode liep tot 31 augustus 2006 en stond geheel in het teken van het eerste deelproject (de ‘versteviging’). De opbrengsten worden beschreven aan de hand van de vijf deelactiviteiten van het eerste deelproject, genoemd op blz. 8-9 van de projectaanvraag5, te weten: het samenstellen van het Handboek praktijkgestuurd effectonderzoek (paragraaf 3.1), het aanscherpen van de onderzoekslogistiek en het uitwerken van gebruiksmogelijkheden van effectgegevens onder het kopje ‘ondersteuningspakketten’ (paragraaf 3.2), het verder ontwikkelen van het onderzoeksinstrumentarium (3.3) en ervaringen met het gebruik van software (3.4). Na augustus 2006 kwam het accent te liggen op de instroom en ondersteuning van nieuwe jeugdzorgorganisaties (het Verbredingsproject). De projectopbrengsten hiervan worden beschreven in paragraaf 3.5. Tenslotte wordt in 3.6 aandacht besteed aan een niet die omvang voorziene, maar uiterst belangrijk gebleken projectopbrengst, het Effectiviteitsplatform.

3.1 Handboek voor praktijkgestuurd effectonderzoek De Projectgroep wilde haar gezamenlijke expertise zijn neerslag laten vinden in een Handboek voor praktijkgestuurd effectonderzoek. Een dergelijk boek bestond nog niet, terwijl het een noodzakelijke voorwaarde is om praktijkgestuurd effectonderzoek in de praktijk van de zorg breed ingang te doen vinden. Het schrijven en redigeren van dit boek was derhalve een belangrijke activiteit van het eerste deelproject. Het handboek is na afloop van het project gepubliceerd6. Met dit boek wil de Projectgroep handreikingen en achtergronden bieden voor het zichtbaar maken van de effectiviteit van de jeugdzorg op een voor hulpverleners, managers, beleidsmakers en onderzoekers relevante, interessante en praktisch werkbare manier. Vanuit het praktijkgestuurde perspectief is de praktijk van de zorg de plaats waar de zoektocht naar effecten begint en eindigt. Wetenschappelijk onderzoek is de weg om die zoektocht vorm te geven. Het handboek geeft een inleiding in praktijkgestuurd effectonderzoek. Het is geen spoorboekje of dwingend kader. Het is een bron van ideeën, werkwijzen, instrumenten en voorbeelden die te gebruiken zijn. Het maakt deel uit van een stroom van activiteiten die vanuit verschillende perspectieven in gang zijn gezet, maar toch een gemeenschappelijk doel kennen, namelijk de kwaliteit van de jeugdzorg op een hoger plan te brengen teneinde jeugdigen en hun gezinnen met opgroei- en opvoedingsproblemen de best mogelijk kansen op herstel te bieden. Het gaat bij deze stroom activiteiten om door landelijke en provinciale overheden ingezet beleid, door overkoepelende organisaties uitgedragen visies, kwaliteitstrajecten binnen organisaties, verdere professionalisering van beroepsgroepen, landelijke en regionale onderzoeksprogrammering ten aanzien van de zorg, opleiding van praktijkonderzoekers, methodiekontwikkelaars en kwaliteitsfunctionarissen, en de opbouw van databanken met gegevens over veelbelovende en effectieve

13

interventies. De doelgroep van het handboek wordt gevormd door methodiekontwikkelaars, kwaliteitsfunctionarissen en praktijkonderzoekers. In het boek komen veel technische zaken aan bod. Deze worden zo uitgelegd, dat ze voor praktijkfunctionarissen goed te volgen en toe te passen zijn. Het boek wil een gereedschapskist voor hen zijn, met informatie die ze zonder al te veel moeite kunnen toepassen. Via literatuurtips wordt men voor verdere informatie op het goede spoor gezet. Begin 2006 verscheen op internet het eerste deel van het handboek als ‘nulversie’ in een gezamenlijk uitgave van het NIZW en Praktikon. Hierin werden de uitgangspunten van praktijkonderzoek in een vijftal hoofdstukken toegelicht en geïllustreerd. In december 2006 verschenen de nulversies van deel II (voorbeelden) en deel III (handvatten). Deze nulversies waren bedoeld om letterlijk als bronnenboek in te zetten in het Verbredingsproject. Ze gaven de deelnemers informatie over alle aspecten van praktijkgestuurd effectonderzoek. Ook zijn de nulversies in cursussen van de Universiteit Utrecht en Nijmegen ingezet. De Projectgroep gebruikte de reacties van lezers teneinde de uiteindelijke versie te verbeteren. In mei 2008 is de definitieve versie van het Handboek verschenen. Het boek is bestemd voor kwaliteitsfunctionarissen, methodiekontwikkelaars, onderzoekers en adviseurs in de jeugdzorg en voor studenten en docenten in het onderwijs. Het werk – totaal 368 pagina’s omvattend – is voor een relatief lage prijs uitgegeven bij Eburon. De opbrengsten worden gebruikt om herdrukken te financieren. Daarnaast is met de uitgever afgesproken dat – met het oog op maximale verspreiding van kennis – afzonderlijke hoofdstukken gratis via internet te downloaden zijn. Bijlage 1 geeft een overzicht van de inhoud van het boek.

3.2 Ondersteuningspakketten Hoe ziet praktijkgestuurd effectonderzoek in een organisatie voor jeugdzorg er idealiter uit? Wat zijn de criteria voor deze best research practice? Beantwoording van deze vragen was nodig om daarna ondersteuningspakketten te kunnen ontwikkelen die bij het implementeren van praktijkgestuurd effectonderzoek in een jeugdzorgorganisatie zouden kunnen helpen. De ontwikkeling van kwaliteitscriteria voor praktijkgestuurd effectonderzoek vond plaats op basis van de ervaringen die de zes praktijken reeds met dit onderzoek hadden opgedaan, alsook op basis van ervaringen van onderzoekers van Praktikon die in deze praktijken de uitvoering van het onderzoek ondersteunden. In gezamenlijk overleg en na enige malen uitproberen werden door het Effectiviteitsplatform en de projectgroep twintig best research practice criteria voor praktijkgestuurd effectonderzoek geformuleerd. De twintig criteria vallen in drie rubrieken die de drie domeinen representeren die in praktijkgestuurd onderzoek optimaal dienen samen te werken: A. primair proces (bijvoorbeeld: individuele uitkomsten worden besproken met cliënten); B. beleid (bijvoorbeeld: financiering van de onderzoeksactiviteiten is structureel verankerd in het instellingsbudget en/of in de kostprijs van de interventie); C. wetenschap (bijvoorbeeld: er worden gestandaardiseerde en valide instrumenten gebruikt).

14

Bijlage 2 toont de complete lijst. Locaties die aan al deze criteria voldoen vormen modellocaties voor praktijkgestuurd effectonderzoek. De vraag is natuurlijk: moet een organisatie aan al deze criteria voldoen om zich als best research practice te kwalificeren? Tentatief wordt een grens van tachtig procent aangehouden. Als aan de kwaliteitscriteria voor praktijkgestuurd effectonderzoek voldaan wordt heeft dit type onderzoek optimaal gestalte gekregen in een instelling. Dit betekent voor de meeste organisaties een proces van leren, implementeren en ontwikkelen. Om dit proces op cruciale onderdelen te ondersteunen is door de leden van het Effectiviteitsplatform, weer met ondersteuning van de projectgroep en ook van medewerkers van de organisaties van projectgroepleden, een aantal ondersteuningspakketten ontwikkeld. Deze zijn gebaseerd op ervaringen met praktijkgestuurd effectonderzoek. Een pakket bestaat uit een workshop of training rond een bepaald thema. Het doel van de pakketten is dat enerzijds de praktijkinstellingen van elkaar leren. Anderzijds is het de bedoeling om via instructie kennis en ervaring door te geven op basis van ervaringen met eerder gestarte instellingen. De pakketten kunnen door instellingen worden afgenomen die bezig zijn met het opzetten en uitvoeren van praktijkgestuurd onderzoek, alsook door andere belangstellenden worden afgenomen. Onderstaand worden de pakketten en thema’s kort getypeerd. • Beschrijven en onderbouwen van interventies. Dit pakket is bestemd voor kwaliteitsfunctionarissen, stafcoördinatoren of gedragswetenschappers die verantwoordelijk zijn voor het beschrijven en onderbouwen van interventies. In drie dagdelen wordt toegewerkt naar een beschrijving en onderbouwing van een interventie die voldoet aan de voorwaarden van de Databank Effectieve Jeugdinterventies. • Doelrealisatie. Het pakket is voor medewerkers met een wetenschappelijke opleiding die ervaring hebben met doelen stellen en gemotiveerd zijn om als trainer mensen binnen hun instelling op te leiden. In drie dagdelen wordt stilgestaan bij het formuleren, beoordelen en evalueren van doelen middels gebruik van eigen casuïstiek. • Werken met vragenlijsten. Dit ondersteuningspakket is bestemd voor ervaren hulpverleners en gedragswetenschappers die als trainer mensen binnen hun instelling willen opleiden. In twee á drie dagdelen leert de deelnemer vragenlijsten (zoals CBCL, NOSI, SDQ) te benutten bij het stellen en evalueren van hulpverleningsdoelen. • Bewaking van de onderzoekslogistiek. Dit pakket is erop gericht om in twee á drie dagdelen praktijkfunctionarissen die verantwoordelijk zijn voor de onderzoekslogistiek te leren een onderzoeksprotocol vast te stellen of efficiënter te maken, de respons te monitoren en zo nodig hier verbeteracties op in te zetten. • Benutting van onderzoeksgegevens. Dit is een interactieve workshop waarin het middenkader – binnen drie dagdelen – op een leerzame manier gemotiveerd en geïnspireerd wordt om onderzoeksgegevens op mesoniveau te benutten. Op het einde van de workshop heeft de deelnemer een analyse van een effectrapportage gemaakt en weet hij of zij de gegevens op individueel-, team- of organisatieniveau te gebruiken. De ondersteuningspakketten zijn elk ondergebracht bij een van de deelnemende organisaties in de projectgroep Zicht op Effectiviteit. Bij een vraag naar ondersteuning verwijzen de organisaties naar de betreffende aanbieder van het ondersteuningspakket.

15

3.3 Doorontwikkeling meetinstrumenten In de door het eerste deelproject omspannen periode is door Praktikon (één van de wetenschappelijke ondersteuningsorganisaties van het project) gewerkt aan het afronden van de voorlopige experimentele versies van een drietal vragenlijsten. Deze vragenlijsten beogen een aanvulling te zijn op bestaande instrumenten die veelal probleemgericht zijn, namelijk op het onderkennen van problemen. De drie nieuwe vragenlijsten zijn competentiegericht, de vragen zijn veelal positief geformuleerd. Twee lijsten vragen naar competenties van ouders, één naar competenties van hulpverleners. Met de Vragenlijst Gezinsfunctioneren – Ouderversie (VGFO) wordt geïnventariseerd hoe het gezin van een aangemelde jeugdige functioneert op een aantal relevante gezinstaken, te weten Basiszorg, Sociale contacten, Opvoedingsvaardigheden, Jeugdbeleving, Veiligheid in het gezin, Individueel functioneren, Partnerrelatie7. Met de Empowermentvragenlijst (EMPO) wordt nagegaan in welke mate ouders het gevoel hebben de situatie waarin ze verkeren te beheersen (besef van beheersing) en in welke mate ze invloed kunnen uitoefenen om de situatie waarin ze verkeren daadwerkelijk te beïnvloeden (actuele beheersing)8. Het besef van beheersing en de actuele beheersing wordt zowel bekeken vanuit de ouder als persoon als vanuit de ouder als opvoeder. Een derde vragenlijst is gericht op het vaststellen van competenties van hulpverleners die met de bejegening van cliënten te maken hebben (B-toets)9. Hiermee kan (achteraf) worden nagegaan of hulpverleners in het hulpverleningsproces een aantal gedrags- en houdingsaspecten ten uitvoer hebben gebracht die uit onderzoek blijken samen te hangen met een juiste bejegening. Deze aspecten zijn onder de volgende meer algemene categorieën onder te brengen: Duidelijkheid, Betrokkenheid, Gelijkwaardigheid, Betrouwbaarheid, Aansluiting, Respect, Goed contact, Positieve feedback. Van alle vragenlijsten is een voorlopige experimentele handleiding beschikbaar. De lijsten zijn vrij te kopiëren en te gebruiken. Alle drie de vragenlijsten zullen in lopend of toekomstig onderzoek verder op hun waarde onderzocht worden10.

3.4 Gebruik van software Voor het uitvoeren van praktijkgestuurd effectonderzoek is het essentieel om (1) uitslagen van vragenlijsten snel terug te koppelen naar hulpverleners, zodat zij de gegevens kunnen benutten in hun diagnostiek, en behandelplanning en –evaluatie, (2) te kunnen monitoren van welke cliënt op welke moment welke vragenlijst is ingevuld, zodat tijdig mogelijke lacunes in de dataverzameling gesignaleerd en verholpen kunnen worden en (3) een database op te bouwen waarin alle gegevens van meerdere vragenlijsten en meerdere meetmomenten aan een cliënt zijn gekoppeld. Tot nog toe worden deze functies veelal gescheiden uitgevoerd. Vaak hebben vragenlijsten eigen software om scores te berekenen en profielen te printen, moeten onderzoekers de gegevens uit deze pakketten in hun statistisch pakket te zien te importeren en bestaan er weer aparte programma’s om de instroom te monitoren. Het onder auspiciën van Praktikon ontwikkelde softwarepakket BergOp 2.0 brengt deze functies bij elkaar. Dit pakket was bij aanvang van het project al aanwezig bij alle zes de deelnemers aan het Verstevigings16

project. In het kader van het project is het pakket geïnstalleerd bij nieuwe deelnemers aan het Verbredingsproject en zijn hiervoor trainingen gegeven. Ervaringen met BergOp 2.0 en feedback van gebruikers zijn benut om BergOp 3.0, een webbased internetapplicatie, te ontwikkelen. De kosten van deze ontwikkeling vielen buiten het project.

3.5 Ervaringen deelnemers Verbredingsproject Het Verbredingsproject had tot doel nieuwe instellingen in te laten stromen waarin praktijkgestuurd effectonderzoek opgezet zou gaan worden en waarbij vanuit het project ruim een jaar begeleiding geboden werd. Zoals in het vorige hoofdstuk is aangegeven, namen zeven jeugdzorginstellingen hieraan deel. Het ging om vier instellingen voor jeugdhulpverlening (De Waarden, Pactum, Parlan en Tender), één instelling voor geestelijke gezondheidszorg voor jeugdigen (Triversum), één instelling voor de zorg aan licht verstandelijk gehandicapte jeugdigen (Kwadrant) en één instelling voor justitiële zorg (OG Heldringstichting). In deze instellingen werden effectmetingen opgezet en vanuit het project begeleid door Collegio, en PI Research of Praktikon. Aandachtsfunctionarissen uit de instellingen van beide deelprojecten kwamen regelmatig bijeen in een tweede Effectiviteitsplatform om ervaringen uit te wisselen en nieuwe ontwikkelingen te bespreken. In sommige van deze instellingen sloot de deelname aan het project aan bij reeds in de instelling in gang gezette projecten over effectmeting, voor andere instellingen was het een eerste kennismaking. In de bundel ‘Zicht op Effectiviteit. Een kijkje in de keuken van zeven instellingen voor jeugdzorg’ doen de instellingen verslag van dit proces. Dit is eveneens één van de producten van het project11. De zeven hoofdstukken in de bundel zijn geschreven door medewerkers van de instellingen, vaak in samenwerking met de ondersteuners vanuit het project. In de meeste van de hoofdstukken is plaats ingeruimd voor ervaringen en bijna ‘live’-verslagen van medewerkers. De hoofdstukken geven een kijkje in de keuken waar de effectmetingen worden bereid en geproefd. De meeste gerechten staan nog op het vuur, ze zijn nog niet helemaal klaar om opgediend te worden. Dat maakt deze bundel juist zo interessant. Soms treft de lezer er recepten aan: welke vragenlijsten worden gebruikt, hoe worden gegevens berekend en geanalyseerd? Soms ziet de lezer de pannen overkoken, wat verlies aan gegevens oplevert (de beruchte nonrespons). Soms ook blijkt er toch alvast een gerecht opgediend te kunnen worden in de vorm van een informatieve uitkomst, samengevat in een tabel of een figuur. De belangrijkste opbrengsten van het Verbredingsproject zijn als volgt te typeren: • Zeven instellingen hebben een veelbelovende start gemaakt met het in beeld brengen van de resultaten van de zorg. Dit heeft geresulteerd in concrete producten als een rapport, afspraken en werkroutines voor het in beeld brengen van resultaten en inbedding van instrumenten om de resultaten meer geobjectiveerd in beeld te brengen. • De deelnemers constateren dat er veel aandacht nodig is voor inbedding van de afname van vragenlijsten en het in beeld brengen van resultaten in het primaire proces. Verdere professionalisering en ondersteuning van medewerkers op dit vlak, de noodzaak van

17

een goede logistiek en het in dienst hebben van een onderzoeker of aandachtsfunctionaris om alles goed te laten verlopen is nadrukkelijk op de agenda gekomen. • Het werk is nog niet ‘af’, maar de instellingen gaan door met het verder ontwikkelen van wat in gang is gezet. Bij de deelnemers zijn daar in randvoorwaardelijke zin maatregelen voor genomen (bijvoorbeeld, er is budget voor vrijgemaakt, er is een aandachtsfunctionaris voor aangesteld, er wordt gewerkt aan structurele inbedding van onderzoek in de organisatie). In deze zin zijn de instellingen weer goede voorbeelden voor andere organisaties die aan het begin staan van het monitoren op resultaten. Belangrijkste conclusie hieruit is dat het Verbredingstraject erin is geslaagd een zevental instellingen van een impuls te voorzien die heeft geleid tot concrete producten, maar dat daarnaast de instellingen het monitoren van effecten hebben ‘geïnternaliseerd’. Ze zijn daarbij niet meer of in veel mindere mate afhankelijk van externe projecten – zoals Zicht op Effectiviteit – maar hebben het op eigen kracht verder opgepakt. De verwachting is dan ook dat deze locaties zich snel verder zullen ontwikkelen. In het slothoofdstuk van dit rapport gaan we in op de lessen die we bij dit proces hebben geleerd. Hier stellen we alvast dat duidelijk is dat de beroemde uitspraak van Edison dat uitvinden voor 1% inspiratie is en voor 99% transpiratie ook hier van toepassing is. Het is mooi om geïnspireerd aan het meten te slaan. Maar dan? De transpiratie zit vooral in het meekrijgen van een organisatie. Effectmeting is – zeker in het begin – eerder organisatieontwikkeling dan onderzoek. Effectmeting is daarbij een zaak van velen, van uitvoerders tot bestuurders. Hoe krijg je die allemaal op hetzelfde spoor? Maar eenmaal gewonnen voor de zaak blijken die velen enthousiast te kunnen worden. Daarbij wordt ook duidelijk dat degenen om wie het uiteindelijk gaat – jeugdigen en hun ouders – er duidelijk baat bij kunnen hebben.

3.6 Effectiviteitsplatform In het Effectiviteitsplatform (EPF) hebben vertegenwoordigers zitting van de aan het project deelnemende organisaties. Het betreft hier leidinggevenden die uit de aard van hun functie het effectonderzoek in de eigen instelling coördineren. Het EPF wil een platform bieden voor het uitwisselen van ervaringen en het ontwikkelen van nieuwe kennis en inzichten met betrekking tot het uitvoeren van praktijkgestuurd effectonderzoek. Het oogmerk is hiermee het is het bij de achterban (in de organisaties) lopende onderzoek te verstevigen. Het EPF bestond aanvankelijk uit de leden van de zes organisaties van het Verbredingsproject. Eind augustus 2006 kende het EPF de volgende leden: • mevr. drs. G. Kerkstra (Hulp aan Huis Groningen), per 1-4-2006 opgevolgd door mevr. drs. W. ten Brink; • mevr. drs. M. Leijsen (Hulp aan Huis Drenthe); • dhr. drs. H. Tönjes (Hulp aan Huis Overijssel); • dhr. drs. P. Hoolsema (Programma Psychiatrisch Gezinsgerichte Behandeling Noord Nederland);

18

• mevr. dr. C. van Dam (Hoenderloogroep), per 1-9-2006 opgevolgd door mevr. dr. I. Tamrouti-Makking; • dhr. H. Gritter (de Bellenbergh). In de loop van het project zijn ook de vertegenwoordigers van nieuwe organisaties gaan deelnemen aan het EPF, het betrof de volgende personen: • mevr. drs. M. van Aggelen (OG Heldringstichting, Justitiële Jeugdinrichting, Zetten); • mevr. drs. I. Bastiaanssen (Pactum, jeugdhulpverlening, Arnhem); • drs. G. Bierens, drs. H. Wijgergangs (Kwadrant, Zorg voor licht verstandelijk gehandicapten, Ermelo), opgevolgd door mevr. drs. A. Bos; • drs. F. Dronkers (Parlan, jeugdhulpverlening, Alkmaar), opgevolgd door mevr. drs. E. Hengst en mevr. drs. D. Rutten; • drs. T. Meeuwsen (De Waarden, jeugdhulpverlening, Nijmegen); • drs. S.A.J.M. van den Langenberg (Triversum, Kinder- en Jeugdpsychiatrie, Alkmaar); • drs. G. Verdaasdonk (Tender, jeugdhulpverlening, Breda), opgevolgd door mevr. drs. M. van Brandenburg en mevr. drs. E. Strijbos. Het EPF werd geleid door mevr. H. Ooms, M.C.M. (Collegio, lid van de Projectgroep). Drs. S. van Loon (Collegio) voerde het secretariaat. Bijeenkomsten rondom een inhoudelijk thema, voor organisaties die al een behoorlijke ervaring hadden met implementatie van praktijkgestuurd effectonderzoek, werden ondersteund door dr. G. Kroes (onderzoeker Praktikon) en dr. B. Bijl (PI Research, lid van de projectgroep). Mevr. drs. M.C. van der Veldt (PI Research) en mevr. dr. C. van Dam (Praktikon) ondersteunden bijeenkomsten met beginnersvraagstukken. De EPF-bijeenkomsten zelf kenden een thematisch karakter of een werkgroepkarakter. Tijdens een themabijeenkomst werd een specifiek thema voorbereid door een onderzoeker en samen met de praktijk verkend. De werkgroepbijeenkomsten stonden meer in het teken van het uitwisselen van ervaringen en het geven van tips aan elkaar. Ook deze werden bijgewoond door twee onderzoekers.Bevindingen uit het Effectiviteitsplatform werden gedeeld in de projectgroep en vormden leidraad voor ontwikkelingen. Op deze wijze was er een levendige verbinding tussen praktijk en onderzoek. Twee maal werd er een gezamenlijke bijeenkomst georganiseerd van het Effectiviteitsplatform en de Projectgroep Zicht op Effectiviteit. Dit stond dan in het teken van een terugblik en een vooruitblik. Op 29 mei 2008 is in het kader van het project Zicht op Effectiviteit een laatste gezamenlijke bijeenkomst georganiseerd. Hiervoor zijn alle betrokkenen van de afgelopen drie jaar uitgenodigd. De producten van het project Zicht op Effectiviteit zijn aangeboden aan mevr. drs. G. Tielen, directeur Jeugdzorg van VWS, als opdrachtgever van het project. Tevens zijn visies op het project gedeeld vanuit de invalshoeken praktijk, wetenschap en beleid. Middels discussie met gebruikmaking van een forum is een blik op de gewenste toekomst geworpen, als input voor verdere ontwikkelingen.

19

4. Conclusies en aanbevelingen 4.1 Wisselwerking ‘evidence-based practice’ en ‘practice-based evidence’ Hulpverleners zijn als het goed is altijd bezig met de effectvraag. Zij stellen met cliënten de problemen en hulpvragen vast, formuleren doelen, voeren hulp uit en houden geregeld een evaluatie. Het punt is alleen dat die evaluaties vaak op beperkte schaal plaatsvinden, niet structureel zijn en doorgaans kwalitatief van aard zijn. Door in dat proces technieken en instrumenten uit het wetenschappelijke onderzoek in te bouwen is de zeggingskracht van die evaluaties flink te versterken, zowel ten behoeve van de interne ontwikkeling van hun zorgaanbod als voor de externe verantwoording van dit aanbod bij lokale, provinciale en landelijke overheden en bij zorgverzekeraars. Het levert bottom-up, vanuit de praktijk, informatie over welke interventie bij welke doelgroep werkt. Anders gezegd, via een specifieke vorm van effectonderzoek is practice-based evidence te verzamelen. Dat levert weer een bijdrage aan de ontwikkeling van de gewenste evidence-based practice. Dit was het leidende thema van het project ‘Zich op Effectiviteit’, gevisualiseerd in het logo dat op de titelpagina van dit rapport staat. Van het werken met dit leidende thema wordt in dit eindrapport verslag gedaan.

4.2 Resultaten Met deze visie zijn we als projectgroep begonnen aan het project. Dit heeft geleid tot een aantal resultaten waar de projectgroep en de deelnemers uit de praktijk vierkant achter kunnen staan: • Handboek. Er is een Handboek praktijkgestuurd effectonderzoek uitgegeven, waarin veel kennis en ervaring die in afgelopen jaren is samengebracht is gebundeld. Een deel van deze ervaring is tot stand gekomen via de consolidatie van initiatieven die al voor de start van het project in zes organisaties (twintig als de uitvoerende instellingen worden meegerekend) zijn genomen. Die consolidatie gebeurde in een deelproject van Zicht op Effectiviteit, het zogeheten Verstevigingsproject. Het handboek is tegen lage prijs bij uitgeverij Eburon uitgebracht. Afzonderlijke hoofdstukken zijn gratis via internet te downloaden. • Ondersteuningspakketten. Een vijftal ontwikkelde workshops/trainingen bieden een antwoord-op-maat op veelvoorkomende ondersteuningsvragen bij instellingen die met de monitoring van effecten aan de slag zijn. Voor de verwijzing naar en de inzet van de pakketten zijn tussen de betrokken ondersteuningsorganisaties afspraken gemaakt. • Instrumenten. Drie instrumenten zijn verder ontwikkeld, om de competenties van ouders, de empowerment van opvoeders en de competenties van hulpverleners goed in beeld te brengen. De lijsten zijn vrij te kopiëren en te gebruiken. • Software. Instellingen zijn ondersteund bij de ingebruikname van een passend computerprogramma om gegevens van afgenomen vragenlijsten op te slaan en te verwerken. 20

• Nieuwe deelnemers. Zeven nieuwe instellingen zijn ondersteund bij het opzetten van praktijkgestuurd onderzoek. Deze instellingen zetten bij de beëindiging van de ondersteuning de ontwikkeling zelfstandig voort. • Effectiviteitsplatform. Er is een landelijk forum in werking getreden waarin instellingen hun ervaringen en vragen omtrent de monitoring van effectiviteit uitwisselen. De instellingen hebben voorgenomen om dit forum ook na het einde van het project in stand te houden.

4.3 Lessen De ervaringen hebben de juistheid bevestigd van het idee dat het op gang brengen van een wisselwerking tussen practice-based evidence en evidence-based practice productief is. Maar ook hebben we een aantal nieuwe lessen geleerd. De belangrijkste hiervan zijn de volgende.

Belang van de effectladder

De bewezen effectiviteit (het evidence-based zijn) van een interventie is geen alles-of-niets zaak; het aantonen daarvan is ook geen zaak van één soort onderzoek Er zijn er verschillende niveaus van bewezen effectiviteit te onderscheiden, met verschillende onderzoeksopzetten om de effectiviteit aan te tonen, van kwantitatief tot kwalitatief, van experimenteel tot quasiexperimenteel. Om dit inzichtelijk te maken wordt in het Handboek voor praktijkgestuurd effectonderzoek een effectladder gepresenteerd. Onderstaande figuur toont deze ladder12:

4. Werkzaam Practice-Based

3. Doeltreffend

Evidence- Based

Evidence

2. Veelbelovend

Practice

1. Potentieel

Een interventie is ‘potentieel effectief’ als de inhoud en de condities helder zijn omschreven. Als er ook een theoretische onderbouwing voor de interventie is deze ‘veelbelovend’ te noemen. Onderzoek op deze eerste twee niveaus van de effectladder zal vaak beschrijvend van aard zijn. Het derde en vierde niveau zijn bedoeld om aan te tonen het interventie is gerealiseerd zoals bedoeld. Is dit het geval dan is de interventie ‘doeltreffend’ te noemen. Is ook nog aangetoond dat de interventie daadwerkelijk de oorzaak is van het bereiken van deze uitkomsten, dan is deze ‘werkzaam’ en staan we boven aan de effectladder. In de loop van het project is duidelijk geworden hoezeer dit model instellingen motiveert deel te nemen in praktijkgestuurd onderzoek. Werken aan effectiviteit impliceert niet alleen het deelnemen aan geavanceerd wetenschappelijk onderzoek. De niveaus markeren

21

voor hen op een overzichtelijke manier de route die zij moeten volgen. Zij zien voor zichzelf daarin duidelijk een haalbare rol weggelegd: ze moeten stappen ondernemen om helderheid te bieden over de interventies en om deze te onderbouwen met inzichten en gegevens uit de praktijk. Instellingen kunnen zelf bepalen hoe ver ze in dit opzicht willen gaan en in welk tempo. Dat blijkt een belangrijke sleutel te zijn tot bereidheid het proces te starten.

Een zaak van velen

Praktijkgestuurd effectonderzoek is een zaak waar velen zich eigenaar van moeten voelen. Tot voor kort ging daarbij vooral de aandacht uit naar de praktijkwerker en de onderzoeker. Het project heeft geleerd dat de manager/beleidsmaker een belangrijke ‘derde partij’ is. In het eerder genoemde Handboek is hier een hoofdstuk aan gewijd en zijn de kwaliteitscycli die bij de drie partijen aan de orde zijn weergegeven als drie processen die door praktijkgestuurd effectonderzoek gevoed worden (zie onderstaande figuur).

Wetenschap (de empirische cyclus)

PracticeBased Evidence

Beleid (PDSAcyclus)

EvidenceBased Practice

Praktijk (hulpverleningscyclus)

Allereerst gaat het om de werkers op de werkvloer. Daar moeten de effecten aangetoond worden en moeten de aangetoonde resultaten worden benut in de hulpverleningscyclus. Van daaruit gaan de practice-based-resultaten ‘naar boven’ en dienen ze over interventies, teams, afdelingen of de gehele organisatie geaggregeerd en benut te worden voor het voeren van kwaliteitsbeleid. Anders gezegd, onderzoeksresultaten komen terecht in de beleidscyclus, de plan-do-study-act-cyclus, en helpen de zorg verder te verbeteren en beter te verantwoorden. Op de verdere weg naar boven dienen onderzoeksgegevens ook opgenomen te worden in de empirische cyclus van de wetenschap. Nadere analyses kunnen onvermoede verbanden laten zien over de vijf W’s: Wat Werkt, Wanneer, voor Wie en Waarom13. Het aardige is dat hier-

22

mee ook de weg ‘naar beneden’ weer wordt ingezet, wetenschappelijke, evidence-basedkennis kan weer benut worden in de beleidscyclus en de hulpverleningscyclus. Praktijkgestuurd effectonderzoek zet een heen-en-weer gaande beweging in gang tussen praktijk, beleid en wetenschap. Onze ervaring is dat de hier geschetste verbinding tussen de praktijk- beleidsen wetenschappelijke cyclus breed wordt ondersteund.

Meer organisatie-ontwikkeling dan onderzoek

Omdat het opzetten en implementeren van praktijkgestuurd effectonderzoek in een zorginstelling een zaak van velen is, is er van uitvoeringsniveau tot beleidsniveau ook een groot aantal mensen bij betrokken. Praktijkgestuurd effectonderzoek is zeker in het begin eerder organisatieontwikkeling dan onderzoek. Belangrijk is dat werkers op verschillende niveaus resultaatgericht leren denken en handelen in termen van kwaliteitscycli die gevoed moeten worden met gegevens die op de werkvloer worden verzameld. Dat betekent onder meer dat scholing en coaching bij de implementatie belangrijk zijn en dat er op de verschillende niveaus (hulpverlener, teams, afdeling, directie) sprake is van parallelle processen en verschillende snelheden. Dit dient door directie en management onderkend te worden. Praktijkgestuurd onderzoek moet door hen gepositioneerd worden als een instrument voor het succesvol laten functioneren van een lerende organisatie. Als zodanig moet het proces van invoering van praktijkgestuurd onderzoek door hen worden aangestuurd, eventueel met behulp van externe deskundigen. Het zal duidelijk zijn dat – gezien deze verwevenheid van processen - het implementeren van prakijkgestuurd effectonderzoek ook een zaak van lange adem is.

Niet alleen resultaten, ook proces

Niet alleen de resultaten van praktijkgestuurd effectonderzoek zijn van belang, maar ook het proces zelf. Organisaties die vragenlijsten en doelevaluaties op een vanzelfsprekende manier in de dialoog met cliënten inzetten en de uitkomsten met die cliënten bespreken brengen tegelijkertijd een structuur en systematiek aan in het werk die cliënten helpt meer en beter zicht te krijgen op het eigen functioneren, wat daarin moet veranderen en of dit ook daadwerkelijk ook verandert. De structuur en systematiek kunnen cliënten het gevoel geven aan het juiste adres te zijn. Het uitvoeren van praktijkgestuurd effectonderzoek is daarmee op zich een werkzame factor geworden. Het steunt en motiveert cliënten op de vaak moeilijke weg goed om te leren gaan met de opgroei- en opvoedingsproblemen die reden voor aanmelding bij een instelling voor jeugdzorg waren.

Inbedding in de randvoorwaarden

Ons project heeft laten zien dat monitoring van effecten feitelijk geen onderzoeksproject is, maar instrument van een lerende organisatie. Dit instrument vereist dat het is ingebed in de reguliere werkwijze van de organisatie. In die zin moet het ook zijn ingebed in de randvoorwaarden om de organisatie te laten functioneren:

23

• organisatorisch verdient het een plaats in de logistiek van de gegevensstroom en de daaraan gekoppelde bedrijfsprocessen en activiteiten; • in personeel opzicht moet het onder meer zijn beslag krijgen in aandachtsfunctionarissen die de taak hebben de gegevensstroom op gang te houden en te bewaken dat deze functioneel blijft in de verschillende cycli (primair proces, beleidscyclus en empirische cyclus); • financieel moet in afspraken tussen instelling en financier verankerd zijn waar het geld vandaan komt om praktijkgestuurd onderzoek, ontwikkeling en kwaliteitsmonitoring met succes van de grond te krijgen en draaiende te houden.

Verbreding naar het werken met prestatie-indicatoren

In het project stond praktijkgestuurd onderzoek centraal. Gaandeweg is duidelijk geworden dat het project sterk te verbinden is met een nieuwe ontwikkeling die in de jeugdzorg op de agenda is gekomen: het via prestatie-indicatoren monitoren van de resultaten van de zorg. Landelijk is de afspraak dat in de periode 2008-2010 het werken met prestatie-indicatoren zal worden ingevoerd. Het gaat daarbij onder meer om het verzamelen van gegevens over cliënttevredenheid, doelrealisatie en afname van de problematiek. De werkwijze die in het project Zicht op Effectiviteit is opgebouwd, is zonder meer in te zetten om de invoering het werken met prestatie-indicatoren tot een succes te brengen. Praktijkgestuurd onderzoek wordt daarmee verbreedt tot monitoring van resultaten van de jeugdzorg. De lessen die we daarbij kunnen inbrengen zijn: • De gegevensverzameling moet zijn ingebed in de hulpverleningscyclus, de beleidscyclus en de wetenschappelijke cyclus op een manier die door de betrokkenen als nuttig wordt ervaren. Dit voorkomt dat prestatie-indicatoren als een nieuwe bureaucratische belasting gaan gelden. • Wil er sprake zijn van een voldoende respons (i.e. de gegevens over de prestatieindicatoren worden over alle of bijna alle cliënten aangeleverd) dan is het van belang dat er – naast inbedding in de verschillende cycli – veel aandacht is voor organisatorische, personele en financiële kanten aan het proces van gegevensverzameling en gegevensbenutting. • Werd voorheen onderzoek vooral gezien als ‘het ding’ van de wetenschapper, het risico is dat prestatie-indicatoren worden gezien als ‘het ding’ van de beleidsmaker. Ons project heeft duidelijk gemaakt dat succes wordt bepaald door het feit dat de hele organisatie ervoor gáát. Dit betekent dat men – van secretaresse, via hulpverlener tot directeur – het nut van de operatie kent en uitdraagt en het eigen aandeel in het welslagen oppakt. Zoals we hiervoor als aangeven: praktijkgestuurd onderzoek is een zaak van velen. Dat geldt ook voor werken met prestatie-indicatoren.

24

4.4 Conclusies en blik op de toekomst

Conclusies

Concluderend kan over ‘Zicht op Effectiviteit’ het volgende gezegd worden: 1. In 13 organisaties voor jeugdzorg vindt momenteel het beoogde praktijkgestuurd onderzoek plaats. Tellen we de organisaties die samenwerken in de intersectorale Hulp aan Huisprogramma’s apart mee dan kunnen we stellen dat 27 organisaties in de jeugdzorg (inclusief de GGZ en de Justitiële- en LVG-sectoren) met minstens één van hun interventies (modules) bij het project betrokken zijn. 2. De organisaties in het Verstevigingsproject hebben een ontwikkeling doorgemaakt die ze weliswaar nog niet helemaal tot de beoogde modellocaties maakt, maar die het bewustzijn en de noodzaak van het verzamelen van effectgegevens in het primaire proces, alsook de procedures om dit te bewerkstellingen, verstevigd heeft. 3. De organisaties in het Verbredingsproject zijn gemotiveerd om diezelfde ontwikkeling door te gaan maken. Dat doen zij na de beëindiging van dit project voor het leeuwendeel op eigen kracht. 4. Het besef dat effectiviteit zichtbaar moet worden op de werkvloer en van daaruit ‘hogerop’ naar beleid en wetenschap moet gaan wordt breed gedragen, evenals het besef dat dit een zaak van velen is en een zaak van lange adem. 5. De beide ‘motoren’ van het project, de Projectgroep en het Effectiviteitsplatform functioneerden naar verwachting hebben de beoogde producten opgeleverd. In de projectgroep werd deskundigheid van verschillende ondersteuningsorganisaties gedeeld (in plaats van dat men elkaar hierop beconcurreerde). In het platform werd die deskundigheid uitgewisseld met praktijkervaringen en tegelijkertijd door die uitwisseling verder ontwikkeld.

Blik op de toekomst

In de periode na het project zullen de volgende acties opgepakt moeten worden, willen de in het project opgedane kennis en ervaringen verder benut en verder uitgebouwd worden: • Ondersteuning van nieuw-startende organisaties. Hiervoor is het Samenwerkingsverband Effectieve Jeugdzorg Nederland / SEJN in oprichting, een combinatie van ondersteuningsorganisaties in de sector (zie www.sejn.nl). • Verbreding naar het monitoren van effectiviteit. In samenwerking met de brancheorganisatie in de jeugdzorg zal gewerkt moeten worden aan een integratie van activiteiten op het terrein van praktijkgestuurd onderzoek en de implementatie van prestatieindicatoren. De hoop is dat het SEJN hierin een zinvolle functie kan vervullen. • Verbinding met onderwijs en professionalisering. Via HBO- en wetenschappelijke opleidingen zullen aankomend werkers in de sector (hulpverleners, onderzoekers, beleidsmakers) geschoold moeten worden in de principes en de concrete werkwijze van het monitoren van effectiviteit middels praktijkstuurd onderzoek / het werken met

25

prestatie-indicatoren. Tevens zal er bezien moeten worden welke rol beroepsverenigingen kunnen spelen in het stellen van eisen aan opleidingen. Deze eisen kunnen erop gericht zijn de basiskwalificaties van beroepsbeoefenaren aan te scherpen op het terrein van monitoring van de resultaten van het eigen handelen en deelname aan de verdere ontwikkeling van het vak via participatie in praktijkonderzoek / het werken met prestatie-indicatoren. • Verbinding met wetenschapsbeleid. De verbinding van praktijkgestuurd onderzoek met het wetenschapsbeleid en de financiering van wetenschappelijk onderzoek via NWO en ZonMw verdient versterking. In de wetenschap gaat het leeuwendeel van de belangstelling en het budget uit naar onderzoek dat aantoont of een interventie ‘werkzaam’ is te noemen (i.e., het hoogste niveau van de eerder genoemde effectladder). In de praktijk moet er echter nog veel gedaan worden om interventies überhaupt op het niveau van potentieel, veelbelovend of doeltreffend te krijgen. Als het kwalificeren van interventies op die laatstgenoemde niveaus wordt gezien als een belangrijke voorwaarde om het hoogste niveau te bereiken, dan dient daar in het wetenschapsbeleid ook veel meer aandacht en ruimte voor te komen. Dat zou er in hoge mate toe kunnen bijdragen dat praktijk, beleid en wetenschap op een zeer productieve manier worden verbonden. Onze ervaring is dat de praktijk daar grote behoefte aan heeft.

26

Noten

1

De Graaf, M., Schouten, R., & Konijn, C. (2005). De Nederlandse jeugdzorg in cijfers 1998-2002. Utrecht: NIZW. 2 Het betreft hier een aanpassing en uitbreiding van een definitie van praktijkgestuurd onderzoek in het algemeen door Jo Hermanns. Zie: Hermanns, J.M.A. (1993). Tussen praktische theorieën en theoretische praktijken. In S.M.J. van Hekken, N.W. Slot, J. Stolk & J.W. Veerman (Red.). Pedologie tussen wetenschap en praktijk (pp. 19-30). Utrecht: De Tijdstroom, p. 27. 3 Zie o.a. Brink, T. ten, Kerkstra, G., Roosma, D & Veerman, J.W. (2001)(red.). Het onderzoek IAG. Assen: Uitgeverij Hulp aan Huis; Veerman, J.W, De Meyer, R.E. & Roosma, A.R. (2007). Effectonderzoek aan huis. Opzet en uitkomsten van het onderzoek van de Hulp aan Huisprogramma’s in Noord- en OostNederland. Tijdschrift voor Orthopedagogiek, 46, 155-168. 4 Zie Meer zicht of effectiviteit van jeugdzorg. Tussentijds verslag van het project ‘Zicht op Effectiviteit’. (2006) Utrecht/ Nijmegen: NJi/ Praktikon. 5 Zicht op effectiviteit van jeugdzorg. Een projectaanvraag voor een praktijkgestuurd aanpak, 22 september 2004. 6 Yperen, T.A. van & Veerman, J.W. (Red.). (2008). Zicht op effectiviteit. Handboek voor praktijkgestuurd effectonderzoek. Delft: Eburon. 7 Janssen, J., & Veerman, J.W. (2006). Vragenlijst Gezinsfunctioneren – Ouderversie. Voorlopige Handleiding. Nijmegen: Praktikon. 8 Damen, H, & Veerman (2005). Vragenlijst Empowerment: Achtergronden. Nijmegen: Praktikon. 9 Van Erve, N., Poiesz, M., & Veerman, J.W. (2006). Bejegening in de jeugdzorg. Voorlopige handleiding Btoets. Nijmegen: Praktikon. 10 De vragenlijsten zijn te bestellen via www.praktikon.nl, ook informatie over BergOp 3.0 is daar te verkrijgen. 11 Veerman, J.W. & Ooms, H. (2008). Zicht op effectiviteit. Een kijkje in de keuken van zeven instellingen voor jeugdzorg. Utrecht/ Nijmegen: NJi/ Praktikon. 12 Deze is opgenomen in Hoofstuk 1 van het genoemde handboek en later ook gepubliceerd in: Veerman, J.W. & Van Yperen, T.A. (2007). Degrees of freedom and degrees of certainty. A developmental model for the establishment of evidence-based youth care. Evaluation and Program Planning, 30, 212-221. 13 Orobio de Castro, B. (2008). Woede, wraak en leedvermaak. Op zoek naar drijvende krachten achter de ontwikkeling van gedragsproblemen. Kind en Adolescent, 28, 62-79.

27

28

Bijlage 1. Inhoud Handboek Zicht op Effectiviteit T.A. van Yperen & J.W. Veerman (2008; Redactie). Zicht op Effectiviteit. Handboek voor praktijkgestuurd effectonderzoek. Delft: Eburon.

Voorwoord Deel I. Kader Hoofdstuk 1. Wat is praktijkgestuurd effectonderzoek? Jan Willem Veerman en Tom van Yperen Hoofdstuk 2. Op weg naar veelbelovend Tom van Yperen, Bas Bijl en Jan Willem Veerman Hoofdstuk 3. Een kwestie van bewijzen … Bas Bijl, Tom van Yperen en Jan Willem Veerman Hoofdstuk 4. Praktijk, beleid en wetenschap verbinden Tom van Yperen, Jan Willem Veerman en Bas Bijl Hoofdstuk 5. Organiseren van het onderzoek Dries Roosma, Herma Ooms en Jan Willem Veerman Deel II. Pioniers in de praktijk Hoofdstuk 6. Kennis naar boven brengen: voorbeelden uit de praktijk Bas Bijl, Jan-Wilm Delicat en Mariska van der Steege Hoofdstuk 7. De verdere ontwikkeling van de hulpverlening: de bouwstenenmethode Bas Vogelvang en Baukje Vermeiden Hoofdstuk 8. Follow-up-onderzoek bij de Hoenderloo Groep Coleta van Dam en Gert Kroes Hoofdstuk 9. Ervaringen met effectmeting bij klinisch-psychiatrische gezinsbehandeling in De Bellenbergh Henry Gritter en Gert Kroes Hoofdstuk 10. Organisatie praktijkgestuurd effectonderzoek bij Hulp aan Huis Dries Roosma en Hans Tönjes Hoofdstuk 11. Scholing voor professionele omgang met onderzoeksinstrumenten Ger Kerkstra Hoofdstuk 12. Onderzoeksgegevens als sturingsinformatie voor hulpverleners en teams Marion Leijsen

29

Deel III. Handreikingen Hoofdstuk 13. Opzet van praktijkgestuurd effectonderzoek Tom van Yperen, Bas Bijl en Jan Willem Veerman Hoofdstuk 14. Instrumenten voor het meten van uitkomsten en uitvoering van de zorg Tom van Yperen, Dries Roosma en Jan Willem Veerman Hoofdstuk 15. Meten van doelrealisatie Tom van Yperen, Gert Kroes en Bas Bijl Hoofdstuk 16. Onderzoekslogistiek in de praktijk Jan Willem Veerman en Dries Roosma Hoofdstuk 17. Methoden voor het kwantificeren en toetsen van effecten Jan Willem Veerman Hoofdstuk 18. De kroon op het werk: benutting gegevens op teamniveau Jan Willem Veerman, Dries Roosma en Herma Ooms Deel IV. Slot Hoofdstuk 19. Zicht op effectiviteit: een zaak van velen Tom van Yperen, Bas Bijl, Herma Ooms, Dries Roosma en Jan Willem Veerman Over de auteurs Het project Zicht op Effectiviteit

30

Bijlage 2. Criteria en scoringslijst best research practice Hoe ver is uw instelling op weg naar een best research practice als het gaat om praktijkgestuurde monitoring van de effectiviteit van de zorg? Binnen het project ‘Zicht op Effectiviteit’ is de bijgaande lijst gebruikt voor het maken van een sterkte-zwakte-analyse van de reeds lopende praktijken. Geconstateerde zwaktes leiden tot het formuleren van verbeteracties in de richting van best research practice. De lijst geeft alle kwaliteitscriteria weer waar een project of instelling aan moet voldoen om het predikaat best research practice voor praktijkgestuurde effectmonitoring te krijgen. Tevens is de lijst te gebruiken als hulpmiddel bij het beoordelen van wat de instelling al goed doet en voor het maken van een stappenplan voor de invoering van praktijkgestuurde effectmonitoring binnen de instelling.

A. Gebruik van onderzoeksuitkomsten:

□ Individuele uitkomsten worden besproken met cliënten. □ Individuele uitkomsten spelen een rol bij diagnostiek en behandelplanning (bijvoorbeeld in werkoverleg en behandelplanbesprekingen). □ Uitkomsten van een team komen in teambesprekingen aan de orde en zetten aan tot reflectie en verbeteracties ten aanzien van het methodisch handelen. □ Uitkomsten van meerdere teams (afdelingen, units, hele locatie) worden door management (middenniveau, directie) zichtbaar benut in het sturen van hun beleid, uitkomsten spelen een rol in de kwaliteitscyclus. □ Uitkomsten worden gebruikt voor verdere wetenschappelijke theorievorming en voor verder onderzoek.

B. Dataverzameling:

□ Er wordt gebruik gemaakt van gestandaardiseerde, betrouwbare en valide meetinstrumenten. □ Werkers zijn gemotiveerd om meetinstrumenten in te (laten) vullen. □ Er is sprake van een voormeting en een nameting. □ Er is sprake van een follow-up-meting. □ Er is respons van minimaal tachtig procent op één meetmoment, en minimaal zeventig procent op twee meetmomenten. □ Er is een voor iedereen duidelijk protocol voor de dataverzameling. □ Er is goede software aanwezig om de gegevens op te slaan en aan onderzoekers aan te leveren.

31

C. Randvoorwaarden:

□ Er is een (pro)actief secretariaat. □ Er is een (pro)actieve procesbewaker aanwezig (aandachtsfunctionaris). □ Er is een (pro)actieve functionaris voor het vertalen van onderzoeksuitkomsten in verbeteracties voor de module. □ Er is een (pro)actieve belangstelling vanuit directie en management. □ De omgeving (verwijzers, vervolghulp) is op de hoogte van het onderzoek en werkt hier indien gevraagd aan mee. □ Er is een programma voor scholing en bijscholing ten aanzien van het gebruik van onderzoeksinstrumenten en uitkomsten. □ Financiering van de onderzoeksactiviteiten is structureel verankerd in het instellingsbudget en/of in de modulekostprijs. □ Er is een goede modulebeschrijving.

32

Bijlage 3. Overzicht uitgebrachte producten Meer informatie over onderstaande producten is te vinden op de website van het Samenwerkingsverband Effectieve Jeugdzorg Nederland / SEJN: www.sejn.nl.

Direct aan het project gerelateerde publicaties

• Veerman, J.W. & Yperen, T.A. van (2007). Degrees of freedom and degrees of certainty. A developmental model for the establishment of evidence-based youth care. Evaluation and Program Planning, 30, 212-221. • Veerman, J.W. & Ooms, H. (2008, Red.). Zicht op effectiviteit. Een kijkje in de keuken van zeven instellingen voor jeugdzorg. Nijmegen: Praktikon. • Veerman & Yperen, T.A. van (2008; Red.). Meer zicht op effectiviteit van jeugdzorg. Eindverslag van het project 'Zicht op Effectiviteit’. Nijmegen / Utrecht: Praktikon / NJi • Yperen, T.A. van & Veerman, J.W. (2008; Red.). Zicht op Effectiviteit. Handboek voor praktijkgestuurd effectonderzoek. Delft: Eburon.

Werkdocumenten

(Los verkrijgbaar, eveneens opgenomen in het bovennoemde Handboek Zicht op Effectiviteit) • Scoringslijst Best research practice voor praktijkgestuurd effectonderzoek • Checklist Inbedding praktijkgestuurd effectonderzoek in primaire proces • Checklist Logistiek verzameling en benutting effectgegevens • Rekenmodel Interne begroting en kostprijs module, inclusief effectmonitor

Ondersteuningspakketten

• • • • •

Beschrijven en onderbouwen van interventies Doelrealisatie Werken met vragenlijsten Bewaking van de onderzoekslogistiek Benutting van onderzoeksgegevens

Doorontwikkelde instrumenten

• Vragenlijst Gezins Functioneren – Ouderversie (VGFO) • Empowermentvragenlijst (EMPO) • Vragenlijst competenties hulpverleners voor bejegening cliënten (B-toets)

33

34