Advies Programma-integriteit gedragsinterventies

Erkenningscommissie Gedragsinterventies Justitie Ministerie van Veiligheid en Justitie

Advies Programma-integriteit gedragsinterventies Januari 2013

Advies Programma-integriteit gedragsinterventies

Colofon

Afzendgegevens

Erkenningscommissie Gedragsinterventies Justitie Kalvermarkt 53 2511 CB Den Haag Postbus 20301 2500 EH Den Haag www.erkenninciscommissie.nl

Contactpersoon

drs. W.M. (Mieke) Kleiman Senior adviseur T 070 370 6063 / 6176 [email protected]

Pagina 3 van 29


Inhoud

Colofon 3 Samenvatting 7 1. 1.1 1.2

Inleiding 9 Adviesaanvraag 9 Werkwijze 10

2 2.1 2.2 2.2.1 2.3 2.3.1 2.4

Programma-integriteit en responsiviteit 11 Wetenschappelijke inzichten over effectieve gedragsinterventies 11 Principe van programma-integriteit 11 Programma-integriteit en kwaliteitscriteria 12 Responsiviteitsprincipe 12 Responsiviteitsprincipe en kwaliteitscriteria 13 Programma-integriteit in combinatie met responsiviteit 14

3 3.1 3.2

Problemen met integere uitvoering’ Ervaringen van indieners en coaches 17 Microniveau 17 Macroniveau 19

4

Antwoord op de vragen 23

Pagina 5 van 29


Samenvatting Het ministerie van Veiligheid en Justitie heeft de Erkenningscommissie Gedragsinterventies Justitie verzocht een advies uit te brengen over de vereiste van een integere uitvoering van een gedragsinterventie in relatie tot de vereiste van responsiviteit. In onderhavig advies gaat de Erkenningscommissie nader in op deze materie. Het advies is gebaseerd op overwegingen van de commissie, geraadpleegde literatuur en bevindingen uit het veld, en is afgestemd met het WODC. Het onderwerp programma-integriteit is tevens besproken tijdens de werkbijeenkomst op 19 november 2012. Om het kader van de adviesaanvraag aan te geven, wordt in het advies aan de hand van wetenschappelijke literatuur eerst ingegaan op de begrippen programmaintegriteit en responsiviteit in het kader van de What Works-benadering. Daaruit is op te maken dat de literatuur geen eenduidig antwoord biedt over de vraag hoe integer de gedragsinterventie moet worden uitgevoerd om tot de beoogde behandelresultaten te leiden. Uit interviews die gehouden zijn met indieners en coaches van gedragsinterventies komt vervolgens naar voren dat zij op het niveau van de professional die de training uitvoert, weinig of geen problemen (meer) ervaren met programma-integriteit en responsiviteit. Wel wordt melding gemaakt van problemen in de organisatorische context waarbinnen de gedragsinterventie moet worden uitgevoerd. Zoals met betrekking tot de noodzakelijke registratie van gegevens, een geringe instroom en personeelswisselingen. Laatstgenoemde problemen kunnen ertoe leiden dat de programma-integriteit onder druk komt te staan. Op basis van wetenschappelijke literatuur en de ervaringen in de praktijk, formuleert de Erkenningsommissie in het laatste hoofdstuk de antwoorden op de door het ministerie gestelde vragen en komt tot de volgende aanbevelingen: de gedragsinterventie zonder restricties vooraf uitvoeren zoals beschreven; de essentiële onderdelen van de interventies benoemen in de programmabeschrijving; daar waar inhoudelijk mogelijk individuele trainingen aanbieden in plaats van groepstrainingen; met het Openbaar Ministerie en de Rechterlijke Macht onderzoeken waar het (jeugd)strafrecht ruimte biedt om bij het opleggen van een gedragsinterventie, optimaal in te spelen op wat vanuit gedragdeskundig oogpunt nodig is; de eventueel aangebrachte wijzigingen in het programma goed documenteren; de beslissingsbevoegdheid voor het aanbrengen van wijzigingen opnemen in de Managementhandleiding. -

-

-

-

Van bovengenoemde aanbevelingen zal in de optiek van de Erkenningscommissie de laatste moeten leiden tot een inhoudelijke aanpassing van de tekst van criterium 9.

Pagina 7 van 29


Pagina 8 van 29


1 Inleiding In de literatuur over de uitvoering van gedragsinterventies, wordt vaak een sterke nadruk gelegd op het belang van een integere uitvoering van het betreffende programma1. Dat wil zeggen dat het voor de beoogde effectiviteit van een programma belangrijk is dat het wordt uitgevoerd zoals het is bedoeld. De kwaliteitscriteria die het ministerie van Veiligheid en Justitie heeft vastgesteld en die de Erkenningscommissie hanteert bij het beoordelen van gedragsinterventies, weerspiegelen eveneens de relevantie van het betrouwbaar uitvoeren van een programma. Criterium 9, interventie-integriteit, is daaraan gewijd. Ook bij de tussentijdse beoordeling van erkende gedragsinterventies die vanaf oktober 2012 voor het eerst is uitgevoerd, vormt de vraag of het programma integer is uitgevoerd een belangrijk te beoordelen aspect2. Het ministerie ontvangt echter van veldorganisaties signalen dat de implementatie en uitvoering van (erkende) gedragsinterventies vragen oproept over de programma-integriteit. Er lijkt zich aldus het ministerie een spanningsveld voor te doen tussen het vereiste van een integere uitvoering van de gedragsinterventie en de praktijk die enige ruimte voor het afwijken van de programmahandleiding verlangt. Ook rijzen er vragen over de wijze waarop door evaluatie-onderzoek kan worden vastgesteld of er sprake is van een voldoende integere uitvoering. —

-

1.1 Adviesvraag

Met het oog op het bovenstaande heeft het ministerie de Erkenningscommissie verzocht een advies uit te brengen over deze materie aan de hand van de volgende vragen: a) Het WODC heeft onlangs in een publicatie aangegeven dat de programma-integriteit niet 100% hoeft te zijn, zolang de essentiële onderdelen in voldoende mate aan bod komen (Van Ooyen-Houben, Nas & Mulder, 2011). Wat verstaat de Erkenningscommissie, ook mede in relatie tot de publicatie van het WODC, onder een integere uitvoering van een gedragsinterventie? Waar moet een minimaal niveau van integere uitvoering naar het oordeel van de Commissie aan voldoen? b) In hoeverre en op welke wijze is er ruimte voor de professionals om af te wijken van de handleiding of is dit mogelijk zelfs aan te bevelen? c) Is in de tot nu toe bij de commissie ingediende gedragsinterventies in voldoende mate aangegeven wat de essentiële onderdelen zijn van de gedragsinterventie? Welke aanbevelingen zijn hieruit af te leiden voor toekomstige indieningen? d) Hoe kan in evaluatie-onderzoek worden vastgesteld of er sprake is van een voldoende integere uitvoering, ook bij bijzondere groepen (zoals Lvb-ers)? e) Is er met het oog op bovengestelde vragen, reden om de tekst van criterium 9 van de beoordelingscriteria aan te passen? Daarnaast is tijdens het periodiek overleg van DG JS en de voorzitter van de Erkenningscommissie op 26 juni 2012, verzocht in het advies aandacht Zie paragraaf 2 Regeling Beoordeling Justitiële Gedragsinterventies. Ex ante beoordeling en tussentijdse beoordeling, Erkenningscommissie Gedragsinterventies Justitie, april 2012. 1

2

Pagina 9 van 29


te besteden aan de (organisatorische) randvoorwaarden voor een integere uitvoering. Dit aspect zal worden meegenomen bij de beantwoording van bovenstaande vragen. 1.2 Werkwijze In de adviesvraag wordt gewezen op een mogelijk spanningsveld tussen het integer uitvoeren van een programma (programma-integriteit) en het afwijken van de handleiding als de praktijk dit verlangt. Het laatste aspect zullen we in onderhavig advies rangschikken onder het begrip ‘responsiviteit’. Voor dit advies is gebruik gemaakt van wetenschappelijke literatuur die een licht werpt op programma-integriteit en responsiviteit. Met het oog op een adequate advisering is het daarnaast belangrijk een beeld te krijgen van de wijze waarop en de mate waarin diegenen die betrokken zijn bij de implementatie van gedragsinterventies, de problematiek ten aanzien van programma-integriteit en responsiviteit al dan niet ervaren. Daarom zijn er gesprekken gevoerd met vertegenwoordigers van indienende organisaties en coaches/trainers3. In deze gesprekken is onder meer geïnventariseerd welke problemen zich met betrekking tot programma-integriteit voordoen, hoe men deze problemen aanpakt en of men informatie of kennis mist op basis waarvan overwogen beslissingen kunnen worden genomen. Tijdens de werkbijeenkomst op 19 november 2012 vormde programma-integriteit een van de besproken thema’s. Noties uit deze bijeenkomst zijn in het advies verwerkt. De adviesaanvraag en de inhoud van de bevindingen zijn verschillende keren besproken met zowel een werkgroep van individuele leden als de voltallige Erkenningscommissie. Het concept van het advies is afgestemd met het WODC. Leeswijzer In Paragraaf 2 gaan we eerst nader in op de begrippen programmaintegriteit en responsiviteit. Paragraaf 3 beschrijft op welke wijze de praktijk problemen ervaart met een integere uitvoering van gedragsinterventies. In Paragraaf 4 geeft de Erkenningscommissie haar visie weer met betrekking tot de vereiste van een integere uitvoering van een interventie en responsiviteit. Dat gebeurt door middel van beantwoording van de door het ministerie gestelde vragen.

~ Gesproken is met: Barbaree van den Ende (Leger des Heils/J&), Ruth Bolt en Liesbeth Groenhuijsen (Raad voor de Kinderbescherming), Margareth de Vries (coaching/training), Henk Willem Altena (supervisor/trainer/opleider), William Bot (supervisor/ trainer/coach), Marianne Vink (DJI), Larissa Hoogsteder (ontwikkelaar/De Waag), Marijke Verkroost en Renée Henskens (Reclassering Nederland), Joke Gierveld (Stichting 180), Marianne van Gent-Wagemans (JJI De Hartelborgt), Elly Westerbeek en Mamoun Loukili (Stichting Verslavingsreclassering). Pagina 10 van 29


Programma-integriteit en responsiviteit In deze paragraaf gaan we kort in op de begrippen programma-integriteit en responsiviteit in het kader van de What Works-benadering. 2.1 Wetenschappelijke inzichten over effectieve gedragsinterventies

In de jaren 1980 en 1990 zijn vele grootschalige meta-analyses uitgevoerd naar de effectiviteit van gedragsinterventies die als doel hebben de recidive van de deelnemers te verminderen. De studies wezen uit dat er veel interventies zijn die geen, weinig of zelfs een negatief effect hebben, maar tevens bleek dat er wel degelijk interventies zijn die effect hebben in termen van vermindering van recidive4. Nadere bestudering van de effectieve behandelmethoden maakte duidelijk dat bepaalde elementen in de behandeling van justitiabelen telkens terugkomen. Daaruit is de conclusie getrokken dat een behandeling deze elementen zou moeten bevatten, wil zij effectief zijn in het verminderen van recidive. Deze elementen worden in de literatuur aangeduid als de What Works-principles. Een effectieve behandeling zou moeten voldoen aan drie principes: de principles of Risk, Need en Responsivity5. Ofwel, het risicoprincipe, het behoefteprincipe en het responsiviteitsprincipe. Kort gezegd gaat het risicoprincipe er vanuit dat de zwaarte en intensiteit van een interventie moet worden afgestemd op het risico dat iemand zal recidiveren. Het behoefteprincipe stelt dat het veranderen van criminogene factoren het doel van de behandeling moet zijn. Het responsiviteitsprincipe benadrukt dat de stijl en vorm van de interventie moet aansluiten bij de leerstijl van de deelnemer. Later hebben de grondleggers van de What Works-benadering daar nog meer principes aan toegevoegd, waaronder het principe van behandelintegriteit of programma-integriteit6. 2.2 Principe van programma-integriteit

Het principe van programma-integriteit betreft het uitvoeren van een gedragsinterventie zoals deze bedoeld is. Een interventie wordt ontwikkeld en beschreven op basis van wetenschappelijk onderbouwde veronderstellingen omtrent de mogelijke effectiviteit. De uitwerking daarvan is neergelegd in protocollen en handleidingen. Een integere uitvoering van de interventie houdt in dat de interventie ook wordt uitgevoerd zoals deze ontwikkeld is. Wanneer dit niet gebeurt en men bijvoorbeeld onderdelen toevoegt, weglaat of aanpast, of de interventie ~ Andrews, D. A., Zinger, 1., Hoge, R. D., Bonta, 3., Gendreau, P., & Cullen, F. T. (1990). Does correctional treatment work? A clinically relevant and psychologically informed meta-analysis. Criminology, 8, 369-404; Lipsey, M.W. Juvenile delinquency treatment: A meta-analytic inquiry into the variability of effects. In Meta-analysis for explanation. T. Cook, H. Cooper, D.S. Cordray, et al, eds. New York: Russeli Sage Foundation, 1992, pp. 83—126. ~ Vaak aangeduid als het RNR-model. Deze drie principles worden veelal als belangrijkste principes beschouwd van de What Works-benadering. Het RNR-model vormt daarvoor het theoretisch kader (D.A. Andrews en J.Bonta, The psychology of criminal conduct, 1994). 6 ‘Behandelintegriteit’ kent in Nederland meerdere benamingen, uitsplitsingen en specificaties, zoals interventie-integriteit, programma-integriteit, programmatrouw, methodetrouw, behandeltrouw, e.d. Gelet op het teit dat de adviesaanvraag spreekt van programmaintegriteit en dit begrip ook bij de justitiële uitvoeringsorganisaties het meest gangbaar is, gebruiken we in het vervolg ‘programma-integriteit’ Pagina 11 van 29


toepast op andere justitiabelen dan beoogd, dan zou dit invloed kunnen hebben op de beoogde effecten. Programma-integriteit wordt bevorderd door zo specifiek en concreet mogelijk zowel de theoretische basis als het daaruit afgeleide programma te beschrijven7. Zo kunnen een gedetailleerde uitwerking van de verklarings en veranderingsmodellen, de beoogde doelgroep, programmadoelen, de inhoud van het programma met de verschillende onderdelen, de te gebruiken methoden etcetera, de programma-integriteit versterken. Dit geldt ook als voldaan wordt aan voorwaarden die een goede uitvoering van de interventie mogelijk maken. Zoals de aanwezigheid van professioneel en getraind personeel dat de interventie kan geven zoals het bedoeld is, maar ook door er op toe te zien dat dit werkelijk gebeurt. Bijvoorbeeld door middel van supervisie waar in het bijzonder aandacht wordt besteed aan de vereiste houding en vaardigheden. Het monitoren van het behandelproces en het meten of tussenliggende doelen zijn bereikt, vallen hier ook onder. Andrews8 geeft aan dat programma-integriteit ook afhankelijk is van noodzakelijke aanpassingen van het programma: wanneer door supervisie of een ander monitoring systeem problematische omstandigheden (of onverwachte mogelijkheden) worden geconstateerd die een integere uitvoering van het programma belemmeren (dan wel kunnen bevorderen), dan moeten initiatieven worden genomen om het programma aan te passen, met het doel de hindernissen weg te nemen en het programma te versterken. 2.2.1. Programma-integriteit en kwaliteitscriteria

De What Works-principes zijn geconcretiseerd en beschreven in de Kwaliteitscriteria voor de ex ante beoordeling van gedragsinterventies. Deze tien criteria bevatten de belangrijkste elementen uit het What Works gedachtengoed. Ten behoeve van de ex ante beoordeling van gedragsinterventies wordt van de indiener gevraagd een programmabeschrijving in te dienen waarin aandacht wordt besteed aan programma-integriteit. De eisen hiervoor, waaronder bovengenoemde aspecten, zijn vooral terug te vinden in criterium 9. 2.3 Responsiviteitsprincipe

Het responsiviteitsprincipe verwijst naar het gebruik van een interventiemethodiek die qua stijl en vorm zodanig aansluiten en passen bij de deelnemers, dat het hen helpt te leren en te veranderen. Het begrip responsiviteit wordt onderscheiden in algemene responsiviteit en specifieke responsiviteit9. ~ Andrews, Donald A. (2001). Principles of Effective Correctional Programs. In: Laurence L. Motiuk & Ralph C. Serin (Eds), Compendium 2000 on Effective Correctional Programming, Vol. 1 (chapter 2). Canada: Ministry of Supply Services (htt~://www.csc scc.gc.ca/text/rsrch/compendium/2OOO/cha~j 2-eng .shtml). ~ Ibid. ~ Andrews, D.A. en Bonta, 3., The Psychology of Criminal Conduct — fourth edition, Newark, Anderson Publishing, 2006, 520 p.; Bonta, James, D.A. Andrews, Risk-Need-Responsivity Model for Offender Assessment and Rehabilitation. 2007-06 (httix//www.i~ubIicsafety.gc.ca/res/cor/reo/ fl/Risk Need 2007-06 e.odf); Andrews, Donald A. (2001). Principles of Effective Correctional Programs. In: Laurence L. Motiuk & Ralph C. Serin (Eds), Compendium 2000 on Effective Correctional Programming, Vol. 1 (chapter 2). Canada: Ministry of Supply Services (htt~://www.csc scc.gc.ca/text/rsrch/com~endium/2OO0/charj 2-eng .shtml). Pagina 12 van 29


Algemene responsiviteit verwijst naar algemene methoden, technieken en~ processen. In dit verband geldt, dat onderzoek heeft aangetoond dat (cognitief) gedragstherapeutische methoden, gericht op concrete gedragsverandering, het beste aansluiten bij de leerstiji van de justitiële doelgroep. De methode impliceert bijvoorbeeld het aanleren van vaardigheden, van alternatieve gedragsmogelijkheden en het bekrachtigen~’ van pro-sociaal gedrag. Specifieke responsiviteit is eigenlijk een ‘fine tuning’ van de (cognitief) gedragstherapeutische methode. Specifieke responsiviteit verwijst naar het belang om rekening te houden met de persoonlijke kenmerken van het individu zoals leerstijl, persoonlijkheid, capaciteiten, motivatie en demografische kenmerken en deze af te stemmen met de kenmerken van de interventie die wordt aangeboden zoals inhoud en opzet van het programma, trainers en leeromgeving. Zo kan bijvoorbeeld een angstig en introvert persoon meer baat hebben bij een individuele benadering dan een groepsgerichte interventie; of kan bij weinig gemotiveerde deelnemers meer betrokkenheid ontstaan wanneer zij beter leren begrijpen hoe een interventie hun belangen dient; of kunnen fysiek actieve jongeren beter leren van korte, meer interactieve sessies10. De variatie bij individuen moet leiden tot maatvoering waarbij men met de persoonlijke eigenschappen van de deelnemer rekening houdt. -

-

-

-

Het responsiviteitsprincipe kan nog op een andere manier worden ingedeeld. Verschillende wetenschappers maken een onderscheid tussen interne responsiviteit en externe responsiviteit, waarbij interne responsiviteit betrekking heeft op eigenschappen van de deelnemer, zoals behandelmotivatie, persoonlijkheidskenmerken of cognitieve en intellectuele tekorten. Externe responsiviteit heeft te maken met de kenmerken van de behandelomgeving (bijvoorbeeld een residentiële of ambulante setting) en de behandelaar/trainer (zoals diens eigenschappen, houding of affiniteit met een specifieke interventie of type daders). Sommigen wijzen hierbij op de relatie tussen trainer en justitiabelefl. Immers, de wisselwerking tussen de kenmerken van de justitiabele (interne responsiviteit) en de trainer (externe responsiviteit) zal de responsiviteit beïnvloeden (belemmeren of bevorderen). Vooruitgang tijdens de training zou daarbij afhankelijk zijn van zowel de match tussen de deelnemer en het type programma waaraan hij deelneemt, als de interactie tussen trainer en deelnemer. 2.3.1 Responsiviteitsprincipe en kwaliteitscriteria

Met het oog op de ontwikkeling van gedragsinterventies is het responsiviteitsprincipe met de hierboven onderscheiden componenten, terug te vinden in verschillende criteria. Zo zal bij het vaststellen van de inen exclusiecriteria ten behoeve van de selectie van de justitiabelen (criterium 2) rekening moeten worden gehouden met de leerstiji en andere kenmerken van de deelnemers. Criterium 6 heeft betrekking op de fasering, Andrews, D.A. & Bonta, J., The psychology of criminal conduct. Cincinnati, OH: Anderson, 1994. In: Devon L.L. Polaschek, An appraisal of the risk-need-responsivity (RNR) model of offender rehabilitation and its appilcation in correctional treatment. Legal and Criminological Psychology (2012), 17, 1-17. ~ Sharon M. Kennedy, Treatment Responsivity: Reducing Recidivisme by Enhancing Treatment Effectiveness. In: Motiuk Laurence L., Ralph C. Serin (eds.) Compendium 2000 on Effective Correctional Programming, Chapter 5. httD://www.csc scc.gc.ca/text/rsrch/com~endjum/2OQO/cha~ 5-enci.shtml; Serin, Ralph & Kennedy, Sharon, Treatment Readiness and Responsivity: Contributing to Effective Correctional Programming. Research Branch & Correctional Service of Canada, 1997. 10

Pagina 13 van 29


intensiteit en duur van de gedragsinterventie welke, naast de hoogte van het recidiverisico, ook samenhangen met de leerstiji en de motivatie van de deelnemer. Aandacht voor de motivatie en betrokkenheid van de deelnemer is van belang om passende motivatietechnieken te kunnen hanteren (criterium 7). De benodigde professionele competenties van het betrokken personeel om op de gewenste (waaronder responsieve) wijze de training te kunnen uitvoeren, komen aan de orde in criterium 9. De kern van het responsiviteitsprincipe kan eigenlijk worden samengevat als ‘rekening houden met de persoon van de justitiabele’. Als het responsiviteitsprincipe niet wordt nageleefd dan zou de behandeling/training aan effectiviteit kunnen inboeten omdat er te weinig rekening is gehouden met barrières of mogelijkheden die gelegen zijn in de persoon van de deelnemer. 2.4 Programma-integriteit in combinatie met responsiviteit

Van het belang om een interventie uit te voeren zoals deze is ontworpen, is menigeen overtuigd. Er lijkt echter minder eenduidigheid over de vraag hoe strikt een programma conform het oorspronkelijke ontwerp moet worden uitgevoerd en hoe responsief. We zullen enkele standpunten en invaishoeken benoemen. Volgens Mihalic12 zijn er ogenschijnlijk twee tegengestelde stromingen te onderscheiden: wetenschappers die pleiten voor een nauwgezette uitvoering van het oorspronkelijke model en wetenschappers die de gedachte ondersteunen dat er flexibiliteit moet zijn om een programma te wijzigen en zodanig opnieuw vorm te geven dat het past bij een gegeven situatie (locale behoeften). Zij voegt eraan toe dat in werkelijkheid de tegengestelde stromingen dichter bij elkaar liggen, omdat beide het belang onderkennen van het vasthouden aan de theoretische kernelementen van het programma. Mihalic is op basis van literatuurstudie nagegaan voor welke van de twee stromingen bewijs te vinden is. De uitkomsten van de onderzochte studies blijken wisselend en wijzen niet in de richting van de noodzaak om strikt het model te hanteren, noch van de noodzaak van flexibiliteit. Ook Perpletchikova en Kazdin13 wijzen op inconsistente uitkomsten bij onderzoek naar de relatie tussen programma-integriteit en behandelresultaten. De inconsistente onderzoeksuitkomsten kunnen volgens hen veroorzaakt zijn door inadequate methoden om programmaintegriteit te meten, wat er voor pleit hoge eisen te stellen aan de wijze waarop de interventie wordt uitgevoerd, geregistreerd en gemeten. Polaschek14 wijst erop dat met het oog op programma-integriteit vooral bij grootschalige uitvoering van een interventie (op meerdere locaties) de neiging bestaat om sterk gestructureerd en geprotocolleerd te werken. Een effectieve behandeling vereist echter niet alleen een focus op een goede 12 Elliott, D.S. and Mihalic, S., Issues in disseminating and replicating effective prevention programs, Prevention Science, 5 (1), 47-53, 2003, In: Sharon Mihalic, Implementation Fidelity, Blueprints, Universtiy of colorado, 2009. 13 Francheska Perepletchikova, Alan E. Kazdin, Treatment Integrity and Therapeutic Change: Issues and Research Recommendations, Clinicial Psychology: science and practice, V12 N4, winter 2005; Francheska Perepletchikova, On the topic of Treatment Integrity, Clinicial Psychology: science and practice, V18 N2, juni 2011. 14 Devon L.L. Polaschek, An appraisal of the risk-need-responsivity (RNR) model of offender rehabilitation and its appilcation in correctional treatment. Legal and Criminological Psychology (2012), 17, 1-17.

Pagina 14 van 2g


inhoud en techniek, maar ook relationele vaardigheden om de behandeldoelen te bereiken. Het eerste kan in handleidingen worden weergegeven, het tweede is veel moeilijker concreet vast te leggen. Volgens hem bestaat hierdoor het risico dat dit wordt gecompenseerd door vooral de handleidingen precies te volgen. De toepassing van het responsiviteitsprincipe wordt daarmee beperkt; trainers kunnen niet adequaat handelen bij crises of de training voldoende afstemmen op de persoonlijke kenmerken van de deelnemer. Hij benadrukt dat toepassing van het responsiviteitsprincipe goed opgeleide en ervaren trainers vereist en vaardige supervisoren die in staat zijn de integriteit te bewaken door niet alleen na te gaan of de inhoud van de training is uitgevoerd, maar vooral of de behandeldoelen zijn bereikt. Marshall15 geeft aan dat er bij sommige behandelingen eigenlijk eerder richtlijnen dan handleidingen nodig zijn. Hij wijst in een artikel met de veelzeggende titel ‘Manualization: A blessing or a curse?’ op het risico en de nadelen van het overmatig vasthouden aan handleidingen. Het kan professionals er onder meer van weerhouden hun therapeutische vaardigheden voldoende uit te voeren en het responsiviteitsprincipe toe te passen. Kendall e.a.16 wijzen op critici die handleidingen bestempelen als ‘kookboeken’ die de aandacht voor het specifiek persoonlijke in de weg staan en flexibiliteit ontmoedigen. Nu is het maar de vraag of een handleiding de therapeutische interventie stap voor stap van A tot en Z moet vastleggen. Zij refereren aan Abromowitz17 die voorstelt om ‘empirisch gefundeerde procedures’ te gebruiken, waarbij hij denkt aan uitgebreide beschrijvingen van technieken. Het is dan aan de therapeut om te besluiten welke techniek hij gebruikt, maar ~ls hij een techniek toepast moet het wel volgens het boekje. Maar waar liggen de grenzen van deze flexibiliteit? Kendall e.a. menen dat het daarvoor nodig is dat behandelaars weten wat de essentiële werkzame mechanismen van een interventie zijn en waarom deze werken. Van Ooyen-Houben e.a.18 wijzen eveneens op de essentiële onderdelen van een interventie. Zij vragen zich af of een volledige programma-integriteit haalbaar en noodzakelijk is, waarbij verwezen wordt naar een meta-analyse van Durlak en DuPre19; uit deze studie komt naar voren dat een uitvoeringsniveau hoger dan 80% nauwelijks voor komt. Ook wijzen Van Ooyen-Houben e.a. op literatuur waarin minimale ondergrenzen wordt gegeven. Zij opperen om meer de nadruk te leggen op een correcte toepassing van de essentiële onderdelen van een interventie en om op andere onderdelen meer vrijheid te geven aan de professional.

~ W.L. Marshall, Manualization: A blessing ora curse?, Journal of Sexual Agression, 15:2, 109120. 16 Philip C.Kendall, cara A. Settipani en Colleen M. Cummings, No need to worry: the promising future of child anxiety research, Journal of Clinical Child & Adolescent Psychology, 41(1), 103-115, 2012. 17 Abromowitz, J . S. , Toward a functional analytic approach to psychologically complex patients: a comment on Ruscio and Holohan (2006), Clinicial Psychology: Science and Practice, 13, 163-166, In: Kendail, 2012. 18 Ooyen-Houben, M. van, C.N. Nas, J. Mulder, What Works en Whatgoes Wrong? Over evidence-based beleid in de dagelijkse praktijk. Den Haag, Justitiële Verkenningen, 2011-5, p. 64-79. 19 Joseph A. Durlak, Emily P. DuPre, Implementation Matters: A review of research on the influence of implementation on program outcomes and the factors affecting implementation, Am J Community Psychol (2008), 41: 327-350. Pagina 15 van 29


Ook~MihaIic voert (in het eerder aangehaalde artikel) aan dat zowel de voor~ als tegenstanders van een strikte uitvoering-van eeninterventie, belang hechten aan het vasthouden aan de essentiële onderdelen In het algemeen is te stellen dat de literatuur geen~.eenduidig antwoord biedt over de vraag hoe strikt of hoe flexibel een~gedragsinterventie moet of kan worden uitgevoerd om tot effectieve behandelresultaten te leiden. Tegelijk lijkt er wel sprake van een ondergrens qua programma-integriteit, maar het is niet helder waar die precies ligt. In de vraagstelling van deze adviesaanvraag wordt gewezen op een mogelijk spanningsveld tussen programma-integriteit en responsiviteit. Maar is er wel sprake van een tegenstelling? Beide principes worden in de What Works-benadering als onmisbaar beschouwd. Dat zou betekenen dat het niet een kwestie is van kiezen voor programma-integriteit of responsiviteit, maar dat een combinatie noodzakelijk is. Beide principes zouden elkaar juist kunnen versterken. In de volgende paragraaf geven we weer hoe men in de praktijk van de uitvoering omgaat met deze kwestie.

Pagina 16 van 29


Problemen met integere uitvoering? Ervaringen van indieners en coaches. Om na te gaan op welke wijze en in welke mate de uitvoerders van gedragsinterventies problemen ondervinden met betrekking tot het integer uitvoeren van een programma, zijn gesprekken gevoerd met indieners en coaches. Uit de gesprekken komt naar voren dat het onderwerp programmaintegriteit een breed begrip is en zich kan manifesteren op verschillende ‘niveaus’. Daarom maken we een globaal onderscheid in mogelijke problemen op ‘microniveau’ en ‘macroniveau’. Het microniveau betreft het spanningsveld op het niveau van de professional die de training uitvoert. Bijvoorbeeld de trainer/behandelaar die de afweging moet maken of hij zich al dan niet letterlijk aan het voorgeschreven protocol houdt, of dat hij met het oog op maatwerk in een gegeven situatie van het protocol afwijkt. Het macroniveau heeft betrekking op knelpunten die de individuele trainer/behandelaar overstijgen. Het zijn vragen die de Organisatie, de logistiek of de randvoorwaarden ten behoeve van de implementatie van de gedragsinterventie betreffen. 3.1 Microniveau

De gesprekken met de indieners en coaches leveren een positief beeld op waar het gaat om het integer uitvoeren van een programma. Vrijwel alle geïnterviewden laten weten weinig of geen problemen (meer) te ervaren met programma-integriteit op microniveau. Vooral omdat men inmiddels een werkwijze heeft ontwikkeld waarbij oplossingen zijn gevonden voor eventuele knelpunten die zich voordeden. Maar er zijn ook interventies waarbij men van meet af aan heel streng is geweest in het volgen van de handleiding waardoor er vrijwel niet van is afgeweken en er geen problemen ontstonden met programma-integriteit. Tijdens de gesprekken zijn door indieners en coaches voorbeelden gegeven van situaties waarin programma-integriteit een rol speelt. Ter illustratie wordt een aantal hieronder beschreven. Handleidingen Zoals hierboven aangegeven zijn er gedragsinterventies waarbij trainers heel trouw zijn aan de handleiding, trouw aan supervisie en aan monitoring. Het integer uitvoeren van het programma wordt door de trainers en coaches niet als probleem ervaren. Daarnaast komt uit de gesprekken naar voren dat het geprotocolleerd werken voor trainers soms ook lastig kan zijn. Dit speelt vooral in de beginperiode waarin men gaat werken met erkende interventies. Doordat trainers willen voorkomen de programma-integriteit aan te tasten, is bij hen het risico aanwezig de training enigszins krampachtig met de handleiding in de hand te geven. Volgens de meeste geïnterviewden is echter geen enkel programma zo bedoeld. Zij menen dat het de bedoeling is om aan te sluiten bij de cliënt (responsiviteit) en het programma aan te passen waar nodig. Bij sommige gedragsinterventies staat dat ook expliciet in de handleidingen vermeld, waarmee responsiviteit in feite onderdeel is van het programma. Het koste wat kost volgen van de handleiding zou dan ten koste gaan van de responsiviteit. Wanneer bijvoorbeeld het programma voorschrijft een Pagina 17 van 29


bepaald onderwerp te behandelen maar de cliënt heeft op dat moment cognitieve problemen, dan dient de trainer zich in een dergelijk geval te richten op de cliënt. De trainer zal het gegeven feit inbouwen in het programma en wisselt waar mogelijk een aantal onderdelen. Volgens de geïnterviewden zijn het vaak ‘onvermijdelijke praktische redenen’ om niet geheel volgens de handleiding te werken. Genoemd worden situaties waarin er geen film wordt vertoond omdat de dvd-speler dienst weigert, het programma in zijn geheel opschuift omdat in de inrichting iedereen die dag achter gesloten deuren moet blijven, er wegens ziekte over verloop meer trainers moeten worden ingezet dan het beoogde aantal, of sessies worden samengevoegd als een deelnemer véâr een bepaalde datum de interventie moet hebben afgerond. Ook gebeurt het dat er voor een groep slechts een of twee deelnemers zijn waardoor er maatwerk wordt geleverd en de training ingekort. In dergelijke situaties betreffen het naar mening van geïnterviewden, slechts kleine aanpassingen om het programma praktisch en toepasbaar te houden. Essentiële onderdelen Uit de gesprekken blijkt dat men zich bewust is van het belang voor de trainer om te weten wat de essentiële onderdelen van een programma zijn. Met het oog op de programma-integriteit én responsiviteit is men van mening dat de trainer moet weten wanneer en waar hij verantwoord en onderbouwd kan afwijken van het programma en waar niet. Daarvoor is het noodzakelijk de essentiële onderdelen van het programma te kennen: die moeten ‘overeind’ blijven. De notie om de essentiële onderdelen voor ogen te houden bij het geven van de training, is in sommige gevallen gaandeweg de uitvoering van de gedragsinterventie explicieter geworden. Zo is bij een aantal erkende gedragsinterventies naderhand een duidelijk kader aangebracht waarin vermeld staat wat essentieel is in het programma. Ook is met het oog op de programma-integriteit voor een aantal interventies een top tien gemaakt met onderdelen die in ieder geval moeten worden uitgevoerd. Daarnaast wordt aangegeven dat een trainer eerst ervaring moet opdoen met het uitvoeren van het programma wil deze begrijpen wat de essentiële onderdelen zijn. Tijdens de coaching worden deze onderdelen besproken en de achterliggende gedachten uitgelegd waarna de trainer ze beter herkent. De ‘verleiding’ om als trainer iets anders te gaan doen, is er dan niet meer. Door met het programma te werken het concreet uitvoeren, het déen wordt duidelijker welke elementen van essentieel belang zijn. Dit betekent dat er altijd een fase is van trial en error. Maar deze dient volgens de geïnterviewden wel in combinatie te zijn met goede begeleiding en supervisie. Dat brengt ons bij het volgende punt. -

—

Begeleiding en programma-integriteit De indieners en coaches benadrukken dat een goede begeleiding (coaching, intervisie, supervisie, boostersessies, train-de-trainer bijeenkomsten, etc.) essentieel is voor het integer uitvoeren van een gedragsinterventie. De coachingsgesprekken acht men van groot belang om de integriteit te bewaken. Soms ervaren trainers de volgorde of inhoud van de training als onlogisch. Het programma heeft dan een structuur die voor de trainer misschien niet direct voor de hand ligt, waardoor de neiging bestaat hieraan een eigen invulling te geven. Maar door coaching en ervaring leert men gaandeweg het programma begrijpen en uitvoeren zoals bedoeld. Pagina 18 van 29


Bij een aantal programma’s worden alle sessies opgenomen op de video. Al dan niet steekproefsgewijs, bekijkt een coach de video’s. Aan de hand van de opnamen kan de coach nagaan of de trainer afwijkt van het programma en zo ja, of dat in de gegeven situatie een juiste beslissing is geweest. Tijdens de coachingsgesprekken met de trainer wordt dit teruggekoppeld en besproken. Wanneer begeleiders echter telkens met dezelfde twijfels of knelpunten worden geconfronteerd, dan kan dit reden zijn om iets te veranderen. Veelal trekt men dit naar een ‘hoger plan’: de ervaringen wisselt men uit met andere coaches, supervisoren en eventueel de ontwikkelaar waarna zo nodig een wijziging wordt aangebracht in het programma. De wijziging wordt vervolgens door middel van training of coaching weer teruggebracht naar de uitvoerende trainers. Niet overal verloopt de begeleiding zoals gewenst. Een aantal trainers laat weten dat er (tijdelijk) geen programmaverantwoordelijke is waardoor de intervisie niet op gang komt. Dit kan consequenties hebben voor de programma-integriteit. Hoewel de trainers bekend zijn met de essentiële onderdelen van de interventie en daar naar proberen te handelen, is er geen afstemming mogelijk bij eventuele wijzigingen. Hierdoor is het voor de individuele trainer lastig om beslissingen te nemen. Responsiviteit Uit de gesprekken blijkt dat responsiviteit als een onlosmakelijk onderdeel wordt gezien van een training. Door het geprotocolleerd werken hebben trainers soms het idee dat er geen ruimte is om naar goeddunken te handelen. Tijdens coachingsgesprekken komt ter sprake dat dit een misvatting is; van professionele trainers wordt juist verwacht dat ze responsief zijn. Volgens een van de geïnterviewden gaat het om het uitvoeren van het voorgeschreven programma-onderdeel op een responsieve manier. Het programma met de ingrediënten, de volgorde en de werkvormen staan vast; maar binnen die werkvormen kan de trainer passende voorbeelden gebruiken. Geïnterviewden merken op dat trainers nu weinig of geen spanningsveld of druk (meer) ervaren. Maar dit zou kunnen veranderen als van hen verwacht wordt de training 100% volgens de handleiding uit te voeren. Het algemene beeld dat uit de gesprekken met indieners en coaches naar voren komt is dat het onderwerp programma-integriteit voor betrokkenen een belangrijk aspect is bij de uitvoering van een interventie, dat trainers na een inwerkperiode weten wat de essentiële onderdelen van de interventie zijn en dat zij responsief handelen door het programma (licht) aan te passen waar nodig. Van een spanningsveld tussen programmaintegriteit en responsiviteit lijkt in de praktijk voor de trainer weinig sprake (meer). Het is echter wel belangrijk te melden dat het antwoord op de vraag of programma’s ook daadwerkelijk integer worden uitgevoerd, uit onderzoek in het kader van de tussentijdse beoordeling en de ex post beoordeling zal moeten blijken. 3.2 Macroniveau

Vrijwel alle geïnterviewden laten weten: als er al een probleem zou zijn met programma-integriteit dan ligt dat niet zozeer op het niveau van de Pagina 19 van 29


individuele trainer of coach, maar veeleer in de organisatorische context waarbinnen de gedragsinterventie moet worden uitgevoerd20. De problemen lijken vooral te liggen op het niveau van de Organisatie en de randvoorwaarden waarin moet zijn voorzien om een integere uitvoering van een gedragsinterventie mogelijk te maken. Een aantal genoemde knelpunten wordt hieronder kort weergegeven. Registratie Het structureel registreren van gegevens over de gedragsinterventie is een punt van zorg en aandacht. Het gebeurt bij sommige organisaties te weinig of te incidenteel. Het monitoren van de uitvoering en daarmee het borgen van de programma-integriteit komt hierdoor onder druk te staan. De voorwaarden om te registreren zouden ook niet altijd optimaal zijn. Er moet een registratiesysteem beschikbaar zijn, er is tijd nodig om het systeem goed in te voeren, trainers moeten de tijd hebben om zaken vast te leggen en een positieve houding hebben ten opzichte van het registreren (het nut ervan in zien). Het tekort aan gegevens vormt ook een probleem op het moment dat men evaluatie-onderzoek wil uitvoeren: er blijken soms onvoldoende gegevens voorhanden om vast te stellen of de beoogde doelgroep is bereikt, hoe het programma is uitgevoerd en wat de behandelresultaten zijn. Instroom Sommige interventies lopen niet of minder goed omdat er sprake is van een geringe instroom. Onder meer vanwege grote concurrentie. Het komt regelmatig voor dat indieners vooral een interventie adviseren die zij zelf beheren en/of ontwikkeld hebben en niet doorverwijzen naar andere interventies. Ook het feit dat veel jeugdigen en volwassenen relatief kort in een justitiële jeugdinrichting of penitentiaire inrichting verblijven, beïnvloedt de instroom in een interventie. Voor kortgestraften is er vaak onvoldoende tijd om een interventie (intramuraal) te volgen. Dit kan tot gevolg hebben dat er geen gedragsinterventie wordt opgelegd of dat deelnemers voortijdig de interventie verlaten. De resterende langgestraften worden verdeeld over de verschillende interventies die de inrichting aanbiedt, waardoor het aantal deelnemers per interventie soms erg gering is. Het is niet altijd mogelijk om in plaats van een groepstraining, een individuele variant uit te voeren. Personeel Personeelswisselingen blijven een probleem: trainers gaan weg en nieuwe trainers moeten weer worden ingewerkt. Een indiener meent dat het aanbieden van een gedragsinterventie staat of valt met een stabiel en deskundig personeelsbestand. En dat is moeilijk te realiseren als het verloop van trainers groot is, waardoor er telkens nieuwe trainers met de interventie werken. De kwaliteit van het personeel/de trainer zou deels ook afhankelijk zijn van de instroom. Bij een geringe instroom van deelnemers wordt een interventie niet of minder vaak dan gepland uitgevoerd. In bovengenoemde situaties werken trainers niet lang genoeg of vaak genoeg met de interventie om deze ‘onder de knie’ te krijgen. Ook zijn er situaties (binnen justitiële jeugdinrichtingen) waarin trainers de benodigde opleiding hebben om de training te kunnen geven en ook gemotiveerd zijn, maar Ook Nas e.a. gaan hier in hun onderzoek uitgebreid op in: Nas, C., M. van Ooyen-Houben, J. Wieman, Interventies in uitvoering. Wat er mis kan gaan bij de uitvoering van justitiele (gedrags)interventie en hoe dat komt. Den Haag, WODC, 2011, Memorandum 2011-2. 20

Pagina 20 van 29


eigenlijk onvoldoende tijd hebbernom het als specifieke taak uit te voeren.. Behalve hun reguliere taak, moeten zij de training ‘ernaast’ doen. Wijzigen interventie Op het niveau van de organisatie: leeft de vraag in hoeverre er structureel : iets kan worden gewijzigd in een programma om toch ‘dezelfde’ interventie te blijven. Moet er bij het aanbrengen van wijzigingen in een programma een nieuwe versie worden ontwikkeld, of kunnen aanpassingen worden beschouwd als productverbetering omdat programma-integriteit een organisch proces is van aanpassen, doorgaan, meten en onderzoeken? Een aantal indieners laat weten over dit soort vragen nauw contact te onderhouden met de ontwikkelaar van de interventie. Gesignaleerd wordt dat het goed zou zijn om een soort driemanschap te hebben waarin ontwikkelaar, uitvoerder en onderzoeker zich gezamenlijk buigen over de interventie. Zoals hierboven beschreven, wordt er melding gemaakt van problemen op het terrein van programma-integriteit waarmee de Organisatie wordt geconfronteerd en die ertoe kunnen leiden dat het programma niet geheel conform de plannen wordt uitgevoerd. De problemen hebben veelal te maken met de context waarin de justitiële gedragsinterventies moeten worden uitgevoerd. Ondanks de geconstateerde problematiek is er bij de gesproken indieners en coaches sprake van een optimistische houding. Ofwel, zoals een indiener het gesprek afsloot: “We hebben prachtige trainingen! Dus alle reden om positief te zijn”.

Pagina 21 van 29


Antwoord op de vragen In deze paragraaf wordt een antwoord gegeven op de door het ministerie geformuleerde vragen. Waar van toepassing, zal worden gerefereerd aan de geraadpieegde literatuur en de gevoerde gesprekken. Daarnaast is een deel van de tekst gebaseerd op de tekst van hoofdstuk 5 uit het Jaarverslag 2011 van de Erkenningscommissie. Daarin is immers in grote lijnen verwoord wat de zienswijze van de Erkenningscommissie is ten aanzien van programma-integriteit. a) Het WODC heeft onlangs in een publicatie aangegeven dat de programma-integriteit niet 100% hoeft te zijn, zolang de essentiële onderdelen in voldoende mate aan bod komen (Van Ooyen-Houben, Nas & Mulder, 2011). Wat verstaat de Erkenningscommissie, ook mede in relatie tot de publicatie van het WQDC, onder een integere uitvoering van een gedragsinterventie? Waar moet een minimaal niveau van integere uitvoering naar het oordeel van de Commissie aan voldoen? De Erkenningscommissie verstaat onder een integere uitvoering van een gedragsinterventie dat de interventie wordt uitgevoerd zoals deze is bedoeld en beschreven. Een antwoord op de vraag waar een minimaal niveau van integere uitvoering aan moet voldoen is niet in het algemeen te geven. Dat is afhankelijk van het type interventie. Bijvoorbeeld bij een training waarvan de inhoud, opbouw en volgorde van sessies is onderbouwd, is het ten behoeve van de effectiviteit belangrijk het programma en de handleiding trouw te volgen. Bij een therapie waar juist het appèl op de behandelaar om zich aan te passen aan de cliënt een belangrijk onderdeel vormt, is minder strak vastgelegd wanneer en hoe iets moet worden gedaan. De ene interventie laat vanuit het theoretisch kader en gekozen behandelmethode dus minder ruimte voor flexibiliteit dan de andere interventie. Natuurlijk moet er een bepaalde mate van redelijkheid zijn. Uit de interviews komt naar voren dat soms de neiging bestaat tot over protocollering. Deze neiging is begrijpelijk en wordt in onderzoeksliteratuur bevestigd21. Er zijn allerlei factoren die maken dat de handleiding als enig houvast wordt beschouwd: bijvoorbeeld omdat de interventie onbekend en nieuw is, de trainers nog weinig ervaring hebben met geprotocolleerd werken, de interventie landelijk moet worden verspreid, enz. Maar er moet wel worden gewaakt voor verstarring. Het te rigoureus volgen van een handleiding kan belemmerend werken en mogelijkerwijs tot averechtse effecten leiden. In die zin ziet de commissie overeenstemming met wat Van Ooyen-Houben e.a. hierover aanhalen in hun artikel, namelijk dat een zekere mate van vrijheid van handelen wenselijk lijkt. Zoals beschreven bij 3.1 erkent de praktijk ook zelf deze wenselijkheid van flexibiliteit. Naar de mening van de Erkenningscommissie is het niet zozeer de vraag bij welk percentage nog sprake is van een integere uitvoering, of wat het 21 Andrews, D. A., James Bonta, and J. Stephen Wormith, The Risk-Need-Responsivity (RNR) model: Does adding the good lives model contribute to effective crime prevention?, Criminal Justice and Behavior (2011), 38, 735-755; Devon L.L. Polaschek, An appraisal of the risk need-responsivity (RNR) model of offender rehabilitation and its application in correctional treatment. Legal and Criminological Psychology (2012), 17, 1-17.

Pagina 23 van 29


minimaal niveau van integere uitvoering moet zijn. De Erkenningscommissie gaat er vanuit dat de indieners de ambitie hebben om de interventie uit te voeren zoals men van plan was, zonder bij voorbaat al restricties aan te geven. In het algemeen is de boodschap uit de eerder aangehaalde meta-analyse van Durlak en DuPre22, dat effectgroottes van succesvol geïmplementeerde programma’s (programma’s die volgens de handleidingen worden uitgevoerd), twee tot drie keer zo groot zijn als die van programma’s die niet of minder succesvol zijn geïmplementeerd. Het uitgangspunt moet dan ook zijn om te blijven streven naar ‘zo integer mogelijk’. Bij de beschrijving van de gedragsinterventie is vastgelegd welke randvoorwaardelijke voorzieningen zijn getroffen en hoe de implementatie van de interventie zal worden gevolgd en gewaarborgd met het oog op een integere uitvoering. De commissie adviseert om zoveel mogelijk hieraan vast te houden; zeker waar het de essentiële onderdelen van de interventie betreft. De essentiële onderdelen vloeien voort uit het gegeven theoretisch kader en ‘dragen’ de gedragsinterventie. Het tornen aan de essentiële onderdelen kan gevolgen hebben voor de effectiviteit van de uitgevoerde interventie. Het beeld dat uit de in paragraaf 3 beschreven gesprekken komt, is dat trainers relatief weinig problemen ervaren op microniveau met betrekking tot het integer uitvoeren van het programma. Zij lijken (inmiddels) te weten wat de essentiële onderdelen van een interventie zijn en wat nodig is om het programma integer uit te voeren. Zij worden echter geconfronteerd met factoren op macroniveau waarop zij weinig invloed hebben en die de programma-integriteit onder druk kunnen zetten. Factoren die bijvoorbeeld te maken hebben met de toeleiding van justitiabelen naar een gedragsinterventie. Twee genoemde voorbeelden uit de praktijk zullen worden toegelicht. Het eerste voorbeeld heeft te maken met de soms geringe instroom onder meer ten gevolge van grote concurrentie tussen gedragsinterventies waardoor een groepstraining wordt gegeven aan minder deelnemers dan oorspronkelijk bedoeld. Wanneer hierdoor essentiële onderdelen van de training niet kunnen worden uitgevoerd (bijvoorbeeld een debat, rollenspel, samenwerken, reageren op anderen of leren omgaan met groepsdruk) dan komt de programma-integriteit in het geding; hoe responsief de trainers in de gegeven situatie ook handelen. Een tweede voorbeeld heeft betrekking op de situatie waarin de justitiabele een andere gedragsinterventie krijgt opgelegd dan is geadviseerd op grond van achtergrondproblematiek en diagnosestelling. Wellicht is de keuze voor de betreffende interventie begrijpelijk uit het oogpunt van het proportionaliteits- en subsidiariteitsbeginsel uit het (jeugd)strafrecht. Het gevolg is evenwel dat de trainer ingrijpende aanpassingen moet aanbrengen in de gedragsinterventie om toch aan te sluiten bij de problematiek en de overige kenmerken van de justitiabele. -

-

—

-

In bovengenoemde situaties waar trainers min of meer genoodzaakt zijn een justitiabele een training te geven die niet past bij wat deze nodig heeft waardoor het programma niet integer kan worden uitgevoerd, is het risico aanwezig dat de interventie niet tot de gewenste effecten leidt. 22 Joseph A. Durlak, Emily P. DuPre, Implementation Matters: A review of research on the influence of implementation on program outcomes and the factors affecting implementation,

Am 3 community Psychol (2008), 41: 327-350. Pagina 24 van 29


Met het oog op een stagnerende instroom bij groepsinterventies adviseert de commissie om individuele trainingen aan te bieden daar waar inhoudelijk mogelijk, dat wil zeggen, daar waar het gekozen veranderingsmodel dat toelaat. Daarnaast zou de concurrentie tussen gelijksoortige groepsinterventies zoveel mogelijk moeten worden beperkt. Inmiddels buigt een departementale werkgroep zich, onder meer, over dit thema. Het proportionaliteits- en subsidiariteitsbeginsel stelt grenzen aan de zwaarte van de op te leggen straffen en maatregelen. Dit kan schuren met wat er vanuit gedragsdeskundig oogpunt noodzakelijk is om tot gewenste gedragsbeïnvloeding te komen. Het verdient aanbeveling om met het Openbaar Ministerie en de Rechterlijke Macht te onderzoeken waar het (jeugd)strafrecht ruimte biedt om bij het opleggen van een gedragsinterventie optimaal in te spelen op wat vanuit gedragdeskundig oogpunt nodig is om tot effectieve gedragsbeïnvloeding te komen. Een dergelijk onderzoek wordt gelegitimeerd door het feit dat opvoeding, resocialisatie en recidivevermindering, naast vergelding en beveiliging van de samenleving, een belangrijk strafdoel is. b) In hoeverre en op welke wijze is er ruimte voor de professionals om af te wijken van de handleiding of is dit mogelijk zelfs aan te bevelen? Zoals in paragraaf 2 aangegeven, is responsiviteit naast programmaintegriteit een belangrijk beginsel in de What Works-benadering. De uitvoerend professional moet tijdens de trainingen responsief handelen daar waar nodig of gewenst. Uit de gesprekken wordt duidelijk dat trainers het responsief handelen als inherent onderdeel beschouwen van hun professionele rol. De vraag is echter of mét het responsief handelen, wordt afgeweken van het voorgeschreven programma en hiermee de programmaintegriteit geweld wordt aangedaan. Incidentele en niet-ingrijpende aanpassingen in de zin van een video meer of minder vertonen, of het incidenteel wisselen van de volgorde van te bespreken onderwerpen als de situatie daarom vraagt, hoeven geen probleem te zijn. Zolang de aanpassingen maar binnen de kaders en de aard van de interventie vallen en de essentiële onderdelen van de interventie (gegeven de theoretische onderbouwing) overeind blijven. Het moet dus een tevoren doordachte en beargumenteerde mutatie zijn. Een goed opgeleide trainer is op de hoogte van de essentiële onderdelen van de gedragsinterventie en in staat zelf te beoordelen waar en wanneer dergelijke mutaties noodzakelijk of mogelijk zijn. En waar het nodig is om te improviseren, blijft het streven om later in de training alsnog het gewenste onderdeel (bijvoorbeeld een video) aan te bieden, tenzij afdoende kan worden beargumenteerd dat een goed alternatief is gevonden. Uiteraard is het verstandig om de veranderingen tijdens o.a. supervisie te bespreken; uit de interviews is op te maken dat dit veelal al gebeurt. Wel verdient het aanbeveling alle wijzigingen goed te documenteren. Alleen op die manier is achteraf vast te stellen welke (aangepaste) onderdelen van invloed zijn op de effectiviteit van een gedragsinterventie en of na verloop van tijd nog steeds sprake is van dezelfde interventie. In de praktijk kan zich de situatie voordoen die om een structurele aanpassing of ingrijpende wijziging van het programma vraagt. Zoals een situatie waarin de volgorde van de sessies in de regel niet blijkt te werken, waardoor deze telkens wordt gewijzigd. Bij een beslissing over een structurele of ingrijpende verandering ligt de beslissingsbevoegdheid niet bij een trainer, maar moet de verantwoordelijkheid worden belegd bij de Pagina 25 van 29


ontwikkelaar van de gedragsinterventie. Het aanbrengen van een structurele of ingrijpende wijziging, dient met wetenschappelijke argumenten te worden onderbouwd. Als naar het oordeel van de ontwikkelaar een structurele of ingrijpende wijziging moet worden aangebracht die de essentiële onderdelen van de gedragsinterventie betreft, dan zal moeten worden aangetoond dat de aangepaste interventie nog steeds gelegitimeerd wordt door het oorspronkelijke theoretisch kader. Indien dit niet het geval is, dan zal van programma-integriteit geen sprake zijn. Samenvattend kunnen we stellen dat overeenkomstig de literatuur die hierover in paragraaf 2.2 is aangehaald aanpassingen van het programma mogelijk of zelfs noodzakelijk kunnen zijn. Wel worden er voorwaarden gesteld ten aanzien van de aard en omvang van de aanpassing (incidenteel vs structureel; niet-ingrijpend vs ingrijpend) en wie hierover beslissingsbevoegd is. Tevens zullen alle aangebrachte wijzingen goed moeten worden bijgehouden om achteraf te kunnen vaststellen wat daarvan de gevolgen zijn voor de effectiviteit. De commissie adviseert om de beslissingsbevoegdheid op te nemen in de Managementhandleiding van de gedragsinterventie. —

—

c) Is in de tot nu toe bij de commissie ingediende gedragsinterventies in voldoende mate aangegeven wat de essentiële onderdelen zijn van de gedragsinterventie? Welke aanbevelingen zijn hieruit af te leiden voor toekomstige indieningen? In alle tot nu toe erkende gedragsinterventies zijn de essentiële onderdelen in voldoende mate aangegeven. Een gedragsinterventie zou immers niet zijn erkend als de essentiële onderdelen ontbreken. Wel ziet de Erkenningscommissie hierin verbetering mogelijk. Veel programmahandleidingen maken onvoldoende onderscheid tussen wat belangrijk of minder belangrijk is. Het zou ten behoeve van degenen die hiermee werken nuttig zijn als in de programmahandleiding een heldere, meer herkenbare beschrijving van de essentiële onderdelen van de interventie steeds gerelateerd aan de doelen van de interventie en het gekozen veranderingsmodel wordt opgenomen. Wanneer expliciet is aangegeven wat de onderdelen zijn die niet veranderd mogen worden, dan biedt het professionals betere mogelijkheden om te bepalen welke aanpassingen zij kunnen aanbrengen. Elke trainer zal het veranderingsmodel goed moeten kennen en bij eventuele aanpassingen daar steeds op teruggrijpen. Pas wanneer een trainer deze essentie kent wordt het mogelijk daarop te variëren. Het kennen van de essentiële onderdelen stelt een trainer beter in staat responsief te zijn zonder de programma-integriteit geweld aan te doen; bijvoorbeeld een interventie iets langer laten doorlopen omdat het doel nog niet is bereikt, of een iets andere uitwerking geven aan een onderdeel om het doel te bereiken. Deze gedachte wordt ondersteund door Mihalic23. Haar aanbevelingen om de programma-integriteit te verbeteren betreffen onder meer het goed operationaliseren van de essentiële onderdelen van de interventie, het opleiden van trainers zodat zij de achterliggende theorie en het causale model van de interventie begrijpen, het aanbieden van supervisie en het monitoren van de programma-integriteit. -

-

~ Sharon Mihalic, Implementation Fidelity, Blueprints, Universtiy of Colorado, 2009. Pagina 26 van 29


De Erkenningscommissie adviseert om de essentiële onderdelen in relatie tot de beoogdedoelen te benoemen in de Theoretische handleiding en/of de Programmahandleiding van de gedragsinterventie. Gelet;op het feit dat de essentiële: onderdelen al deel uitmaken van de ex anté:beoordeling, behoeft hebbenoemen van de essentiële onderdelen nietals extra eiste worden toegevoegd aan de kwaliteitscriteria. -

—

-

d) Hoe kan in evaluatie-onderzoek worden vastgesteld of er sprake is van een voldoende integere uitvoering, ook bij bijzondere groepen (zoals Lvb ers)? Op deze vraag is geen algemeen geldend antwoord te geven. Niet alle gedragsinterventies kunnen op dezelfde manier worden onderzocht. Er dient een methode te worden gehanteerd die het beste past bij de betreffende gedragsinterventie en die haalbaar is. De wijze waarop de programma-integriteit wordt gemeten is bij de beschrijving van de interventie ten behoeve van de ex ante beoordeling al vastgelegd. In het kader van criterium 9 wordt onder meer beschreven op welke wijze toezicht wordt gehouden op de juiste uitvoering van de interventie, hoe de trainingsstijl en houding van de medewerkers worden gemonitord, welke gegevens geregistreerd worden en hoe deze informatie wordt gebruikt voor monitoring en eventueel verbetering van de gedragsinterventie. De ontwikkelaar geeft hiermee aan welke systematiek men heeft om de programma-integriteit te bewaken, te meten en te onderzoeken. Bij het vastleggen van de systematiek ten behoeve van de ex ante beoordeling moet direct worden nagedacht over de haalbaarheid van deze bewaking en daarmee ook van onderzoek ten behoeve van een evaluatie bij de tussentijdse- en de ex post beoordeling. Als men bijvoorbeeld video-opnamen maakt van de trainingen, dan is het niet haalbaar om alle opnamen in het onderzoek mee te nemen; men kan in dat geval at random sessies aanwijzen die in het onderzoek worden betrokken. De ontwikkelaar geeft dus bij de programmabeschrijving zelf haalbare methoden aan om de programma-integriteit van de betreffende gedragsinterventie te bewaken, te meten en te onderzoeken. e) Is er met het oog op bovengestelde vragen, reden om de tekst van criterium 9 van de beoordelingscriteria aan te passen? In voorliggend advies is bij de beantwoording van bovengestelde vragen een aantal aanbevelingen gedaan. Deze zullen hier kort worden herhaald, waarbij wordt aangegeven of de betreffende aanbeveling reden geeft om de tekst van criterium 9 aan te passen. Aanbevelingen 1. Waar het gaat om de vraag wanneer er sprake is van een integere uitvoering, adviseert de Erkenningscommissie om de interventie uit te voeren zoals men van plan was, zonder bij voorbaat al restricties aan te geven. Ten behoeve van de ex ante beoordeling is immers bij criterium 9 beschreven en in de Managementhandleiding en Opleidingshandleiding vastgelegd hoe de programma-integriteit zal worden bewaakt. De inhoud van criterium 9 behoeft hierop niet te worden aangepast. -

-

2. De commissie adviseert om de essentiële onderdelen in relatie tot de beoogde doelen te benoemen in de beschrijving van de gedragsinterventie. -

—

Pagina 27 van 29


Deze aanbeveling heeft geen consequenties voor criterium~9~~De• reden daarvooriis~datde essentiële onderdelen al in criterium.4~aan~de:orde komen,namelijk achter de eerste twee aandachtstreepjes:~~:: de (strafrechtelijke) gedragsinterventie vindt plaats:aanrde hand van een duidelijke.beschrijving van de gebruikte (behandel)méthode(~ri); er wordt een duidelijke koppeling gelegd tussen (onderdelen van) de gekozen (behandel)methode(n) en de dynamische criminogenefactoren waarop degedragsinterventie zich richt en het veranderingsmodel waarop de interventie is gebaseerd”. Gelet op het feit dat de essentiële onderdelen al deel uitmaken van de ex ante beoordeling, behoeft het benoemen van de essentiële onderdelen niet als extra eis te worden toegevoegd aan één van de criteria. Wel zou het goed zijn als de ontwikkelaar de essentiële onderdelen expliciet benoemt in de Theoretische handleiding en/of de Programmahandleiding van de gedragsinterventie. “-

-

3. Met het oog op een stagnerende instroom bij groepsinterventies adviseert de commissie om individuele trainingen aan te bieden daar waar inhoudelijk mogelijk, dat wil zeggen, daar waar het gekozen veranderingsmodel dat toelaat. Deze aanbeveling leidt niet tot wijziging van de kwaliteitscriteria. 4. De commissie beveelt aan om met het Openbaar Ministerie en de Rechterlijke Macht te onderzoeken waar het (jeugd)strafrecht ruimte biedt om bij het opleggen van een gedragsinterventie optimaal in te spelen op wat vanuit gedragdeskundig oogpunt nodig is om tot effectieve gedragsbeïnvloeding te komen. Ook deze aanbeveling heeft geen consequenties voor de tekst van de kwaliteitscriteria. 5. Aanbevolen wordt om goed bij te houden welke eventuele wijzigingen in het programma worden aangebracht, omdat alleen op die manier achteraf is vast te stellen welke (aangepaste) onderdelen van invloed zijn op de effectiviteit van een gedragsinterventie. De commissie ziet in deze aanbeveling geen reden om de kwaliteitscriteria aan te passen, omdat dit punt afdoende aan de orde komt in de huidige tekst onder criterium 9. Zoals in de volgende alinea: “Zonder goede monitoring weet men niet of de gedragsinterventie eigenlijk wel wordt uitgevoerd zoals het bedoeld is, met het risico dat de effectiviteit afneemt. Daarom moet er een systeem zijn dat garandeert dat de integriteit van de gedragsinterventie wordt gehandhaafd en dat afwijkingen worden gecorrigeerd. [....] Bovendien wordt monitoren belangrijker naarmate een gedragsinterventie (veelal bij individuele interventies) specifiek op maat wordt gesneden voor de justitiabele, waarbij de trainer/behandelaar veel keuzes moet maken voor toepassing van methoden”. Ook staat onder criterium 9 dat moet worden beschreven (zesde aandachtstreepje): hoe en welke gegevens geregistreerd worden en hoe deze informatie wordt gebruikt voor monitoring en eventueel verbetering van de gedragsinterventies”. De inhoud van de aanbeveling komt naar mening van de commissie voldoende tot uitdrukking in de tekst van criterium 9. “

Pagina 28 van 29

-


6. De commissie adviseert om de beslissingsbevoegdheid voor het aanbrengen van wijzigingen in het progamma, op te nemen in de Managementhandleiding van de gedragsinterventie. Dit punt wordt niet expliciet geadresseerd onder criterium 9. De commissie beveelt daarom aan criterium 9 hierop aan te scherpen. Van de concrete aanbevelingen in het advies leidt alleen de laatste aanbeveling tot een inhoudelijke aanpassing van de tekst van criterium 9. Wel geeft dit advies over programma-integriteit aanleiding om de tekst van criterium 9 nog eens aandachtig (redactioneel) te bezien om waar nodig te verhelderen of toe te lichten.

Pagina 29 van 29

Advies Programma-integriteit gedragsinterventies

Recommend Documents