Meerjarenprogramma Effecten van toezicht

Meerjarenprogramma ‘Effecten van toezicht’

Werkgroep Effectmeting 18 november 2008

Meerjarenprogramma ‘Effecten van toezicht’, versie 20081118

2 van 64

Inhoudsopgave Voorwoord

5

1. Aanleiding

7

2. Meerjarenprogramma ‘Effecten van toezicht’

13

Doelstelling

13

Opzet

14

Planning en evaluatie

15

Organisatie

16

Begroting (2009 en 2010)

18

Samenwerking

20

3. Activiteiten meerjarenprogramma ‘Effecten van toezicht’

21

Pijler: Kennis delen

21

Pijler: Onderzoek

24

Pijler: Ondersteuning

27

Pijler: Bewustwording

30

Bijlage 1:

Samenstelling werkgroep Effectmeting

33

Bijlage 2a:

Nota besluitvorming evaluatieprogramma ‘Effecten van toezicht’

35

Bijlage 2b:

Interne nota Evaluatieprogramma ‘Effecten van toezicht’

37

Bijlage 3:

Traject ontwikkeling meerjarenprogramma ‘Effecten van toezicht’

41

Vertrekpunt

41

Interviewronde, begin september 2008

42

Bijeenkomst Werkgroep effectmeting, 22 september 2008

43

Bijeenkomst, 21 oktober 2008

44

Bijlage 4:

Concept startnotities voor programmeringsstudie (dd. 18/11/2008)


47

3 van 64


4 van 64

Voorwoord Toezicht staat midden in het politieke en publieke debat. In de vorige eeuw is vanaf de jaren negentig de rol van het toezicht als één van de sturingsinstrumenten van de overheid toegenomen. Was het toezicht vaak een onzichtbaar onderdeel van departementen, tegenwoordig hebben het toezicht en de rijksinspecties een geprofileerde, eigenstandige en ook pro-actieve rol. Die nieuwe rol hangt samen met de visie op de verhouding tussen de overheid enerzijds en het zelfregulerend vermogen en de verantwoordelijkheid van de maatschappelijke sectoren anderzijds. Toezicht ondersteunt de ministeriële verantwoordelijkheid, draagt bij aan de realisatie van beleidsdoelstellingen en aan het vertrouwen van de samenleving dat handelingen, producten en diensten voldoen aan de in weten regelgeving gestelde normen. De toegenomen rol van het toezicht en de zichtbaarheid van de rijksinspecties, leiden onafwendbaar tot de vraag naar de effectiviteit van het toezicht: Welke problemen lost het toezicht op en welke problemen worden voorkomen? Deze vraag wordt ons gesteld door de burger, de politiek en de maatschappelijke actoren waarop toezicht wordt gehouden. Niet in de laatste plaats stellen toezichthouders zichzelf de vraag naar het effect van hun werk; om verantwoording af te leggen, om hun werkwijzen te verbeteren en medewerkers te professionaliseren. Over de effecten van toezicht is nog (te) weinig bekend. In de praktijk van het toezicht en de wetenschap is er toenemend aandacht voor onderzoek naar de effecten van toezicht. Het meten van de effecten van toezicht is niet eenvoudig, maar wel mogelijk. Hoewel de meeste rijksinspecties plannen hebben voor effectmeting, is de uitvoering nog beperkt en gefragmenteerd. Het meten van nalevingsniveaus is een eerste stap op weg naar het meten van outcome op proces- en structuurniveau. De tweede stap is het meten van de impact van inspectieactiviteiten op sectoren in de samenleving, een stap die (nog) niet vaak is gezet. De Inspectieraad stimuleert en ondersteunt de deelnemende rijksinspecties in het ontwikkelen van effectmeting. De mogelijkheden en ambities van de inspecties op het terrein van effectmeting variëren. Het meerjarenprogramma ‘Effecten van toezicht’ combineert wetenschappelijk onderzoek met praktische activiteiten voor de inspecties. Uitgangspunten in het aanbod zijn de eigen verantwoordelijkheid en keuzes van de inspecties, gedeelde (methodologische) uitdagingen en het gebruik van expertise binnen de inspecties en de wetenschappelijke buitenwereld.


5 van 64

Het programma is ambitieus: over vier jaar is er een geborgd systeem van effectmeting bij alle rijksinspecties. Deze ambitie kunnen de inspecties alleen realiseren door samen te werken en samen kennis te ontwikkelen en in te zetten.

Gerrit van der Wal Inspecteur Generaal IGZ en portefeuillehouder Effectmeting


6 van 64

1. Aanleiding Effectmeting een belangrijk onderwerp binnen de rijksinspecties, met effectmeting is nog een wereld te winnen.

Maatschappelijke relevantie1 Sinds de jaren negentig heeft het toezicht een eigenstandige en meer zichtbare rol gekregen in de inrichting en functie van de sturing van de overheid. Die nieuwe rol hangt samen met een nieuwe visie op de verhouding tussen de overheid enerzijds en anderzijds het zelfregulerend vermogen en de verantwoordelijkheid van de maatschappelijke sectoren. Toezicht helpt de overheid bij het streven om direct of indirect overzicht te houden, op basis waarvan kan worden bijgestuurd. Concreet ondersteunt toezicht de ministeriele verantwoordelijkheid, draagt toezicht bij aan de realisatie van beleidsdoelstellingen en aan het vertrouwen van de samenleving in veiligheid en kwaliteit van handelingen, producten en (publieke) dienstverlening. De aandacht voor het toezicht hangt samen met het in de jaren tachtig ingezet verzelfstandigings- en privatiseringsbeleid van de overheid. Bij dit beleid past gezaghebbend toezicht met passende interventiemogelijkheden. Toezicht is onderdeel van regulering van het stelsel en onderdeel van een breder systeem van ‘checks and balances’ met horizontale publieke verantwoording, interne kwaliteitssystemen en verticaal toezicht . Meer dan in het verleden zijn de rijksinspecties goed waarneembare organisatorische eenheden met een eigen profiel geworden. Tevens zijn de zichtbaarheid van en verwachtingen over inspecties toegenomen door verschillende grote rampen, zoals de Bijlmerramp in Amsterdam (1992), de Vuurwerkramp in Enschede (2000) en de Cafébrand in Volendam (2001). En meer recenter door de rol van het toezicht bij de huidige kredietcrisis en de oplossingen die voor die crisis worden gezocht. Ontwikkelingen die de inspecties hebben geplaatst in het centrum van het politieke en publieke debat. De toegenomen rol van het toezicht en zichtbaarheid van de inspecties, leiden onafwendbaar tot de vraag naar de effectiviteit van het toezicht: Welke problemen lost het toezicht op en welke problemen worden voorkomen? Met de toename van de maatschappelijke rol van toezicht, neemt ook de behoefte en noodzaak toe van evaluatie van het effect van het toezicht.

1

Gebaseerd op: A. Ministerie van Binnenlandse Zaken (2001). De kaderstellende visie op toezicht (tevens kabinetsstandpunt op het rapport van de Ambtelijke Commissie Toezicht). Den Haag: Ministerie van Binnenlandse Zaken. B. Ministerie van Binnenlandse Zaken (2005). Minder last, meer effect. Zes principes van goed toezicht. Den Haag: Ministerie van Binnenlandse Zaken. C. Mertens, F. (2006). Toezicht in een polycentrische samenleving (Inaugurale rede). Delft: TU Delft.


7 van 64

Effectmeting en typen toezicht Er zijn drie typen toezicht te onderscheiden2, met alle drie een ander type object van toezicht: 1. Nalevingstoezicht, dit is toezicht dat primair is gericht op de naleving door burgers, instellingen en bedrijven van weten regelgeving. 2. Uitvoeringstoezicht, dit toezicht is gericht op controle van de kwaliteit van de uitvoering van de publieke taken door zelfstandige organisaties. 3. Interbestuurlijk toezicht, dit toezicht is gericht op controle van de kwaliteit van de uitvoering van de publieke taken door medeoverheden. Verschillende inspecties hebben twee en soms zelfs alle drie de typen toezicht in hun takenpakket, de Erfgoedinspectie is van het laatste een voorbeeld. De Inspectie van de Gezondheidszorg heeft bijvoorbeeld nalevings- en uitvoeringstoezicht in het takenpakket en de Inspectie Werk en Inkomen richt zich op uitvoerings- en interbestuurlijk toezicht. Andere inspecties houden zich bezig met maar één type, de Arbeidsinspectie en de Voedsel en Warenautoriteit richten zich bijvoorbeeld op nalevingstoezicht. Afhankelijk van het type toezicht dat een rijksinspectie uitvoert, varieert ook het beoogde inspectiedoel. Effectmeting is direct gerelateerd aan de inspectiedoelen, deze doelen zijn immers de beoogde effecten. Bij effectmeting is het dan ook zaak de doelen concreet te benoemen en te operationaliseren in effectindicatoren3. Hierbij moet rekening worden gehouden met het feit dat de doelen van rijksinspecties variëren in concreetheid: Inspecties met nalevingstoezicht formuleren de doelen veelal in termen van de mate van naleving, waarbij wordt aangegeven in welke mate een bepaalde wet of regelgeving moet worden nageleefd om het doel te bereiken. Inspecties met uitvoerings- en interbestuurlijk toezicht beschrijven de doelen veelal in termen van bevordering van de kwaliteit van de uitvoering van de publieke taak.

Leidraad effectmeting In 2005 hebben de rijksinspecties op het gebied van effectmeting een belangrijke eerste gezamenlijke stap gezet met de ontwikkeling van de Leidraad effectmeting4. Deze leidraad bestaat uit een aantal onderwerpen die inspecties tegenkomen als ze effecten gaan meten en een aantal gemeenschappelijke principes voor het meten van die effecten. Twee jaar later bleek tijdens de monitor Effectmeting5 waarin het gebruik van de leidraad is bestudeerd, dat binnen de rijksinspecties volop aandacht is voor effectmeting, maar dat veel inspecties worstelen met de uitvoering. Met andere woorden: de implementatie van de leidraad verkeerde nog in de beginfase. Als gekeken wordt naar het effect van de toezichts- en handhavingsactiviteiten op de onder toezicht staande (zie figuur 1), en dus naar de zogenoemde 2

Zie noot 1B. Werkgroep Effectmeting IG Beraad (2005). Leidraad effectmeting bij Inspecties. Den Haag: Ministerie van Justitie, Expertisecentrum Rechtshandhaving. 4 Zie noot 3. 5 Werkgroep Risicomanagement Inspectieraad (2007). Eindrapportage. Den Haag: Intern document. 3


8 van 64

inspectiedoelstellingen, wordt in de monitor geconcludeerd dat inspecties aan lijken te hikken tegen het aantonen van het causale verband tussen enerzijds de activiteiten en anderzijds de gedragsverandering bij degenen waarop de activiteiten zijn gericht (outcome). Er mag echter niet onopgemerkt blijven dat door verschillende inspecties wel op beperkte schaal pilots worden uitgevoerd, gericht op het aantonen van dat causale verband. Voorbeelden worden in de monitor niet genoemd. Het meten van het maatschappelijke effect van de toezichts- en handhavingsactiviteiten, dus de zogenoemde beleidsdoelstellingen (final outcome), is echter nog ingewikkelder. Gesteld kan worden dat binnen inspecties (steeds meer) aandacht is voor onderzoek naar de vraag welke prestaties en producten worden geleverd6. Deze onderzoeken leveren relevante inzichten op voor de toezichts- en handhavingspraktijk, maar geen empirische resultaten over het maatschappelijke effect van die activiteiten. De prestatierapportages gaan bijvoorbeeld over het aantal bezoeken dat is afgelegd, het aantal sancties en dwangsommen dat is opgelegd en/of het aantal vergunningen dat is ingetrokken. Daarnaast vindt door verschillende inspecties onderzoek plaats naar bijvoorbeeld klanttevredenheid of de werking van het handhavingsregime, alsook opinieonderzoeken onder de bevolking. Figuur 1: Effectketen

Input

7

Troughput

Output

Inspectie

Outcome

Onder toezicht staande

Final Outcome

Samenleving

Input: de menskracht en de middelen van de inspecties. Troughput: de feitelijke inspectieactiviteiten. Output: de resultaten van de inspectieactiviteiten in termen van productie. Outcome: de invloed, op proces- en structuurniveau, van de inspectieactiviteiten op de onder toezicht staande. Final Outcome: de uiteindelijke impact van de inspectieactiviteiten op de samenleving.

Effectmeting in de praktijk Bij rijksinspecties met nalevingstoezicht is de eerste stap op weg naar effectmeting het uitvoeren van nalevingsmetingen. In die metingen wordt nagegaan in welke mate de regels daadwerkelijk worden nageleefd, spontaan dan wel onder druk van handhaving. Behalve het feitelijke nalevingsniveau moet ook het beoogde niveau duidelijk zijn, dat

6

Willemsen, F. & Leeuw, F.L. (2007). Maatschappelijke effecten van toezicht en inspectie. Effectevaluaties uit de praktijk. In F.L. Leeuw, J.S. Kerseboom en R. Elte (red.), Over turven, tellen en toetsen. Over toezicht, inspectie, handhaving en evaluatie en hun maatschappelijke betekenis in Nederland (pp. 149-165). Den Haag: Boom Juridische uitgevers. 7 Gebaseerd op de effectketen uit de Leidraad effectmeting bij Inspecties (2005), zie noot 3, en op de Proceedings from the INECE-OECD Workshop on Environmental Compliance and Enforcement Indicators, OECD, november 2003, Parijs. Meerjarenprogramma ‘Effecten van toezicht’, versie 20081118

9 van 64

is het niveau dat de politieke besluitvormers en handhavers minimaal noodzakelijk en in principe realiseerbaar achten. Met behulp van dit soort onderzoek kunnen handhavingstekorten worden aangetoond. Van een tekort is volgens de Algemene Rekenkamer8 (AR) sprake als de betreffende wet, regel of van het doel afgeleide norm minder wordt nageleefd dan het niveau dat wordt beoogd en het plausibel is dat meer handhaving de naleving dichter bij het beoogde niveau brengt9. Een voorbeeld van een nalevingsmeting is te vinden bij het Staatstoezicht op de Mijnen10. Bij deze rijksinspectie zijn voor prestatie-indicatoren streefcijfers opgesteld. In herhaalde metingen wordt nagegaan in welke mate sprake is van een toename van de score op de indicator. Uitgangspunt hierbij is dat een inspectie werkt als een katalysator: een toename op een prestatie-indicator tussen de eerste en de tweede inspectie wordt toegeschreven aan de inspectie. Een ander voorbeeld is afkomstig van de Arbeidsinspectie11. In arbeidsvoorwaardenonderzoek wordt zowel bij het eerste inspectieonderzoek als bij het controlebezoek drie tot vijf maanden later, het percentage overtredingen gemeten. In 2007 was er een afname te zien van vijftig naar drie procent, deze afname verwijst volgens de inspectie naar een effectieve capaciteitsinzet. In 2008 constateert de AR12 dat het meten en beoordelen van nalevingsniveaus vaak ten onrechte wordt gezien als een vorm van effectmeting. Volgens de AR gaat het bij effectmeting echter niet om het vaststellen van handhavingstekorten, maar specifiek om te bepalen hoe en in welke mate handhaving bijdraagt aan naleving en de oplossing van achterliggende problemen (final outcome). Dit standpunt kan genuanceerd worden omdat er naast het rechtstreeks aantonen van causaliteit ook sprake kan zijn van beredeneerde plausibiliteit van het effect van toezicht13, zoals het geval is in de beschreven voorbeelden. Bij inspecties met uitvoeringsonderzoek zijn weer andere voorbeelden te vinden waaruit blijkt dat effectonderzoek mogelijk is. Bij de Inspectie van het Onderwijs is bijvoorbeeld in een experiment vastgesteld wat het effect is van schoolbezoeken door de inspectie op de prestaties van leerlingen14. Bewezen wordt dat de Cito-scores significant meer zijn gestegen op scholen die intensief zijn bezocht, dan op scholen waar geen bezoek plaatsvond. In een andere studie is diezelfde inspectie nagegaan in welke mate onderwijstoezicht bijdraagt aan de kwaliteitsverbetering van scholen voor primair onderwijs15. Geconcludeerd wordt dat er sprake is van een positieve relatie, 8

Algemene Rekenkamer (2005). Handhaven en gedogen. Den Haag: TK 2004-2005, 30050, nrs. 1-2. Een meer juridische omschrijving van een handhavingstekort komt van de commissie-Michels: Er is sprake van een handhavingstekort op een bepaald terrein wanneer bij niet-naleving een tot handhaving bevoegde instantie rechtens moet handhaven doch, hetzij wel wil, maar niet kan handhaven, hetzij wel kan, maar niet wil handhaven. Overgenomen uit: Peppel, R., van de, (2006). Hoofdstuk 6, Het handhavingstekort. In F.C.M.A. Michiels en E.R. Muller, Handhaving. Bestuurlijk handhaven in Nederland, (pp. 163-14). Deventer: Kluwer. 10 Staatstoezicht op de Mijnen (2007). Strategie & Programma voor 2007-2011. Voorburg: SodM. 11 Arbeidsinspectie (2007). Jaarverslag 2007, voor veilig, gezond en eerlijk werk. Den Haag: Arbeidsinspectie. 12 Algemene Rekenkamer (2008). Handhaven en gedogen. Rapport: Terugblik 2008. Den Haag: TK 2007-2008, 30050, nrs. 4-5. 13 Inspectie voor de Gezondheidszorg. (2008). Evaluatieprogramma toezicht op volksgezondheid, de gezondheidszorg en medische producten. Utrecht: Intern document. 14 Luginbuhl, R., Webbink, D. & Wolf, I., de (2007). Measuring the Effect of School Inspections on Primary School Performans, A Study based on Cito Test Scores. CPB Discussion Paper, June 2007, nr. 83. 15 Jansens, F.J.G. & Wolf, I., de (2007). Draagt onderwijstoezicht bij aan schoolverbetering? Effecten van onderwijstoezicht in het primair onderwijs. Keynote ORD 2007, Groningen. 9


10 van 64

maar dat niet duidelijk is waardoor het effect van toezicht precies wordt veroorzaakt. Op basis van een aantal argumenten, wordt wel aannemelijk gemaakt dat de kwaliteitsverbetering samen lijkt te hangen met de feedback na een inspectiebezoek in de vorm van een mondelinge terugkoppeling en rapportage via rapporten en kwaliteitskaarten (op internet). Uit onderzoek dat de Inspectie van Verkeer en Waterstaat16 in 2008 heeft laten uitvoeren naar internationale best practices van effectief toezicht op het gebied van transportveiligheid, blijkt dat het ook wereldwijd geen gemeengoed is om effecten van toezicht meetbaar te maken. Er zijn slechts vier best practices gevonden, waarvan drie gekoppeld waren aan inspectiedoelstellingen en één aan beleidsdoelstellingen (zie figuur 1). Hier staat tegenover dat uit deze best practices blijkt dat het wel degelijk mogelijk is om een relatie te leggen tussen toezichtactiviteiten en doelstellingen. En dat er verschillende meetmethoden zijn om de effecten van het toezicht inzichtelijk te maken. Op het gebied van interbestuurlijk toezicht vond er al in 1964 bestuurskundig onderzoek plaats naar de instrumenten en de effectiviteit van het interbestuurlijk toezicht van provincies op gemeenten17. Momenteel krijgt het interbestuurlijk toezicht in het maatschappelijke debat en de bestuurskundige literatuur veel aandacht, dit gaat vooral over de inrichting van het interbestuurlijk toezicht. Onderzoek op het gebied van effectmeting, in de zin van voorliggende notitie, heeft (voor zover ons bekend) nog niet plaatsgevonden. Bij het voorafgaande kan worden opgemerkt dat ook in de wetenschap toenemend aandacht is voor (onderzoek naar) de effecten van toezicht. Verschillende (bijzonder) hoogleraren zijn aangesteld en binnen bepaalde vakgroepen is aandacht voor de rol van toezicht18.

Werkgroep effectmeting Het voorafgaande heeft ertoe geleid dat de Inspectieraad begin 2008 de Werkgroep effectmeting heeft ingesteld, bestaande uit onderzoekers en managers van verschillende rijksinspecties en het Expertisecentrum Rechtspleging en Rechtshandhaving (ERR)19. De opdracht die de werkgroep heeft meegekregen is het opstellen van een meerjarenprogramma ‘Effecten van toezicht’20; dit programma ligt nu voor en staat centraal in de voorliggende notitie. 16

Kennisinstituut voor Mobiliteitsbeleid (2008). De effecten van toezicht op transportveiligheid. Deel 1: Internationale best practices. Den Haag: Intern document. 17 Brazs, H.A. (1964). Toezicht op gemeentebesturen. Serie bestuurskundige bouwstenen, nr 1. Alphen aan den Rijn: N. Samson NV. 18 Prof. dr. F.J.G. Janssens als hoogleraar onderwijstoezicht aan de Universiteit Twente, prof. dr. ing. F.J.H. Mertens als hoogleraar toezicht aan de TU Delft, prof. mr. dr. F.C.M.A. Michiels, als hoogleraar bestuursrecht en in het bijzonder handhavingsrecht aan de Universiteit van Tilburg, prof. dr. F. Leeuw als hoogleraar recht, openbaar bestuur en sociale wetenschappen aan de Universiteit Maastricht en prof. dr. J. de Ridder, als hoogleraar aan de Rijksuniversiteit Groningen. Extra aandacht voor de rol van toezicht is er bijvoorbeeld bij de faculteit Techniek, bestuur en maatschappij van de TU Delft en het iBMG van de Erasmus Universiteit Rotterdam. 19 Zie bijlage 1 voor de samenstelling van de Werkgroep Effectmeting. 20 Zie bijlage 2 voor de notitie voor de Inspectieraad, waarin het instellen van de werkgroep en de opdracht staat beschreven. Meerjarenprogramma ‘Effecten van toezicht’, versie 20081118

11 van 64

Het programma sluit naadloos aan bij de kabinetsreactie21 uit 2008 op het rapport van de AR22, waarin werd geconstateerd dat de uitvoering van effectmeting bij de rijksinspecties nog in een vroeg stadium van ontwikkeling is. In de kabinetsreactie worden de vorderingen besproken die de afgelopen jaren zijn gemaakt en wordt aangegeven dat het kabinet van mening is dat aan effectmeting een praktische invulling moet worden gegeven. Het voorliggende meerjarenprogramma ‘Effecten van toezicht’ omvat die praktische invulling.

21

De kabinetsreactie heeft de vorm van een brief van 13 maart 2008 van de Minister van Justitie aan de president van de AR, met als onderwerp Reactie op conceptrapport Handhaven en gedogen, Terugblik 2008. 22 Zie noot 12. Meerjarenprogramma ‘Effecten van toezicht’, versie 20081118

12 van 64

2. Meerjarenprogramma ‘Effecten van toezicht’ Een belangrijke uitgangspunt bij de ontwikkeling van het meerjarenprogramma is het aansluiten bij de toezichtspraktijk, de problemen en de kennisbehoefte van de deelnemende rijksinspecties.

Doelstelling In de opdracht die de Werkgroep effectmeting heeft gekregen23, wordt de doelstelling van het te ontwikkelen meerjarenprogramma ‘Effecten van toezicht’ als volgt beschreven: Het verbeteren van de toezichtspraktijk door het meten van effecten van toezicht, waarbij gebruik wordt gemaakt van resultaten van (wetenschappelijk) onderzoek van die toezichtspraktijk. Het programma heeft een Research en Development (R&D) karakter. Tijdens de uitwerking van het meerjarenprogramma, werd al snel duidelijk dat het programma meer moet zijn dan een (wetenschappelijk) onderzoeksprogramma. Het programma moet aanzetten tot het daadwerkelijk meten van effecten, alleen dan sluit het programma aan bij de toezichtspraktijk, de problemen en de kennisbehoefte van die praktijk. Gezien de voorgeschiedenis en de complexiteit van het onderwerp is gekozen voor een vierjarig meerjarenprogramma ‘Effecten van toezicht’. Het uiteindelijke doel van het meerjarenprogramma is dat er over vier jaar sprake is van een geborgd systeem van effectmeting bij alle rijksinspecties. Zo’n systeem heeft de volgende kenmerken: • Effectmeting is een integraal onderdeel van de toezichtscycli van de verschillende rijksinspecties. • Binnen de verschillende rijksinspecties is binnen de hele organisatie draagvlak voor effectmeting: van management tot inspecteur en medewerker. • Effectmeting vindt binnen de verschillende inspecties plaats via een (wetenschappelijk) verantwoorde onderzoeksmethodologie. Om een geborgd systeem van effectmeting bij alle rijksinspecties te bereiken, is het van belang dat het meerjarenprogramma ‘Effecten van toezicht’ de volgende onderling samenhangende processen in gang zet en houdt: 1. Het verder op gang brengen van de discussie over effectmeting binnen de Inspectieraad. 2. Het ondersteunen van rijksinspecties bij de implementatie van effectmeting in de toezichtspraktijk. 3. Het (stimuleren van het) uitvoeren van (wetenschappelijk) onderzoek op het gebied van effectmeting door en in samenwerking met rijksinspecties, en het gebruik van de onderzoeksresultaten door de inspecties. 4. Het in kaart brengen van de meerwaarde van effectonderzoek voor de samenwerkingsactiviteiten tussen de rijksinspecties (bijvoorbeeld in de domeinen).

23

Zie bijlage 2.


13 van 64

Als er over vier jaar binnen alle rijksinspecties daadwerkelijk sprake is van geborgd systeem van effectmeting, dan zijn belangrijke stappen gezet in de legitimering en waardering van inspecties op basis van effect.

Opzet Het vertrekpunt bij de ontwikkeling van het meerjarenprogramma ‘Effecten van toezicht’ aanbod is de monitor Effectmeting24. In de monitor wordt geconcludeerd dat bij de meeste inspecties de eerste stappen op het gebied van effectmeting zijn gezet, maar dat er nog vele moeten volgen. In het meerjarenprogramma wordt dan ook voortgebouwd op de aanbevelingen van die monitor. Het meerjarenprogramma ‘Effecten van toezicht’ is opgebouwd aan de hand van vier pijlers en elke pijler omvat een aantal activiteiten die zijn afgestemd op de behoeften van de verschillende inspecties (zie figuur 2). Om te komen tot het programma is een traject doorlopen, waarbij vertegenwoordigers van de verschillende rijksinspecties uitgebreid zijn betrokken25. Figuur 2: Pijlers en activiteiten van het meerjarenprogramma ‘Effecten van toezicht’ Kennis delen • Expertnetwerk • Werkbezoeken en stages • Symposia

Onderzoek • Programmeringsstudie • Onderzoeksprogramma • Pilots

Ondersteuning • Consultatie • Digitale omgeving • Scholingsaanbod

Bewustwording • Interne bewustwording • Externe bewustwording

De activiteiten van het meerjarenprogramma ‘Effecten van toezicht’ worden uitgewerkt in deel 3 van voorliggende notitie, aan de hand van een aantal onderwerpen: doel, doelgroep, opzet, start, omschrijving, voorwaarden voor succes, terugkoppeling en capaciteitsinzet. Een korte typering van de activiteiten is als volgt: Kennis delen • Expertnetwerk, een intervisiegroep met als doel het ontwikkelen van de expertise van de deelnemers op het gebied van effectmeting.

24 25

Zie noot 5. Zie bijlage 3 voor een uitgebreide beschrijving van het traject.


14 van 64

•

Werkbezoeken en stages bij rijksinspecties die ‘voorop’ lopen op het gebied van effectmeting, met als doel het ontwikkelen van de expertise van de deelnemers. • Symposia op het gebied van effectmeting, om de deelnemende (medewerkers van) rijksinspecties impulsen te geven voor de implementatie van effectmeting. Onderzoek • Een programmeringsstudie26 gericht op het blootleggen van de werkzame mechanismen die ten grondslag liggen aan effectief toezicht, waarbij wordt gezocht naar zowel theoretische kennis als kennis uit (gedrags)wetenschappelijk onderzoek. • Op basis van de resultaten van de programmeringsstudie wordt een kennisbank ingericht en een voorstel voor een onderzoeksprogramma opgesteld. • Pilots die zijn gericht op de implementatie van de Leidraad Effectmeting27 en zo op het opstarten van een structurele, continue effectmeting, die bijdraagt aan inzicht in de effectiviteit en aan de legitimering van het toezicht. Ondersteuning • Consultatie in de vorm van inhoudelijke ondersteuning van de deelnemende rijksinspecties bij de implementatie van effectmeting. • Een digitale omgeving gericht op het informeren, communiceren, discussiëren over en presenteren van kennis op het gebied van effectmeting. • Een scholingsaanbod met scholingen op maat op het gebied van effectmeting, afgestemd op de ervaringen en (kennis)behoeften van de deelnemende rijksinspecties. Bewustwording • Interne bewustwording gericht op het opstarten van een bewustwordingsproces bij managers, inspecteurs en medewerkers van deelnemende rijksinspecties, over het nut en de noodzaak van effectmeting in de toezichtspraktijk. • Externe bewustwording gericht op het opstarten van een bewustwordingsproces over de (on)mogelijkheden in de relatie die in de praktijk bestaat tussen beleid, toezicht en effecten van toezicht, bij de bewindslieden en leden van de Tweede kamer, (beleids)medewerkers van de ministeries en de AR.

Planning en evaluatie Het meerjarenprogramma ‘Effecten van toezicht’ is een vierjarig programma dat in twee tranches wordt uitgevoerd. De eerste tranche omvat 2009 en 2010 en bestaat uit de elf activiteiten28. Na deze twee jaar wordt door middel van een tussenevaluatie nagegaan in hoeverre het doel dichterbij komt, een geborgd systeem van effectmeting bij alle rijksinspecties. Tevens wordt op basis van die evaluatie bepaald welke activiteiten in 2011 en 2012 worden voortgezet en welke nieuwe activiteiten worden opgestart, om het doel in 2012 te bereiken.

26

Zie bijlage 4. Zie noot 3. 28 Zie figuur 2. 27


15 van 64

Figuur 3: Planning Meerjarenprogramma ‘Effecten van toezicht’ Tweejarig programma 2009-2010

Tweejarig programma 2011-2012

Begin 2009 Start activiteiten

Begin 2011 Voortzetten activiteiten en start nieuwe activiteiten

Eind 2009 e 1 tussentijdse evaluatie



Eind 2012 Eindevaluatie

Organisatie In de opdracht die de Werkgroep effectmeting heeft gekregen29, is expliciet gevraagd om een advies uit te brengen over de organisatievorm van het meerjarenprogramma ‘Effecten van toezicht’: een werkgroep van de Inspectieraad of een “Shared Service Expertise Centrum Toezicht en Handhaving”. Tijdens de discussie30 over de organisatievorm werd duidelijk dat een Inspectieraad-werkgroep Effecten van toezicht, voor de eerste twee jaar (2009 en 2010) de voorkeur heeft. Na twee jaar kan dan in een evaluatie worden bekeken of, en op welke wijze een “Shared Service Expertise Centrum Toezicht en Handhaving” wenselijk is, bijvoorbeeld al dan niet in de vorm van expertisebundeling op meerdere terreinen. De Werkgroep effectmeting stelt voor om de organisatie voor 2009 en 2010 als volgt in te vullen (zie figuur 4): Als eerste de aanstelling van een portefeuillehouder, een IG uit de Inspectieraad, en de instelling van een werkgroep Effecten van toezicht. Deze werkgroep bestaat uit een voorzitter, vier leden én de programmacoördinatoren, allen afkomstig van de aan de Inspectieraad deelnemende organisaties en de ERR. De werkgroep vergadert maandelijks. De eindverantwoordelijkheid voor het meerjarenprogramma ligt bij de portefeuillehouder samen met de voorzitter van de werkgroep. De voorzitter rapporteert aan de portefeuillehouder, die op zijn beurt rapporteert aan de Inspectieraad. Als tweede de aanstelling van bovengenoemde programmacoördinatoren (2.0 fte), gedetacheerd bij het Bureau Inspectieraad. De coördinatoren zijn lid van de werkgroep en hebben tot taak (de coördinatie van) de verdere ontwikkeling en inhoudelijke uitvoering van de activiteiten van het meerjarenprogramma. Als derde de instelling van een klankbordgroep met een adviesfunctie. In deze groep zitten vertegenwoordigers van rijksinspecties die niet vertegenwoordigd zijn in de 29 30

Zie bijlage 2. Zie bijlage 3.


16 van 64

werkgroep Effecten van toezicht. De klankbordgroep komt drie keer per jaar bijeen met de werkgroep. Als vierde de instelling van een wetenschappelijke adviesraad. In deze groep zitten hoogleraren en andere wetenschappers met expertise op het gebied van toezicht en evaluatieonderzoek. De wetenschappelijke adviesraad komt twee keer per jaar bijeen met de portefeuillehouder en de werkgroep.

Figuur 4: Organisatie Meerjarenprogramma 'Effecten van toezicht' Eindverantwoordelijkheid Portefeuillehouder IG Inspectieraad

Klankbordgroep

Verdere ontwikkeling en inhoudelijke uitvoering Werkgroep Effecten van toezicht

Programmacoördinatoren

Wetenschappelijke adviesraad

Er zijn verschillende voorwaarden waaraan de werkgroepleden, programmacoördinatoren, leden van de klankbordgroep en de wetenschappelijke adviesraad moeten voldoen: • De leden van de werkgroep Effecten van toezicht zijn afkomstig van de Inspectieraad deelnemende organisaties en de ERR, beschikken over affiniteit met, expertise en enthousiasme over het onderwerp en zijn één dag per maand beschikbaar. • De programmacoördinatoren zijn afkomstig van de Inspectieraad deelnemende organisaties en de ERR, beschikken over affiniteit met en expertise over het onderwerp, hebben ervaring als projectleider, alsmede als (wetenschappelijk) onderzoeker en adviseur, beschikken over aantoonbare schrijfvaardigheid en kunnen goed samenwerken. De coördinatoren moeten voor minstens 0.5 fte per week kunnen worden aangesteld. • De leden van de klankbordgeroep zijn afkomstig van verschillende rijksinspecties, beschikken over affiniteit met, expertise en enthousiasme over het onderwerp. • De leden van de wetenschappelijke adviesraad zijn afkomstig van verschillende universiteiten en onderzoeksinstellingen, beschikken over affiniteit met, expertise en enthousiasme over het onderwerp.


17 van 64

Na goedkeuring van voorliggende notitie, start de werving en selectie van de werkgroepleden, programmacoördinatoren, leden van de klankbordgroep en de wetenschappelijke adviesraad. Dit gebeurt op verschillende manieren: • De portefeuillehouder komt, na overleg met de voorzitter van de huidige Werkgroep effectmeting, met een voorstel voor de samenstelling van de werkgroep Effecten van toezicht. De inspectieraad neemt in januari 2009 het uiteindelijke besluit. • Voor de aanstelling van de programmacoördinatoren worden door het Bureau Inspectieraad, in samenwerking met de voorzitter van de werkgroep Effecten van toezicht, vacatures opgesteld, uitgezet en ingevuld (december 2008 en januari 2009). Er is sprake van een gefaseerde invulling: in 2009 wordt gestart met de invulling van 1.0 fte verdeeld over twee personen, halverwege 2009 wordt de overige 1.0 fte ingevuld31. De taakverdeling tussen de coördinatoren is afhankelijk van de affiniteit, expertise en taakomvang. • Voor de klankbordgroep worden begin 2009 door de IG’s van de Inspectieraad medewerkers voorgedragen. Zo mogelijk zijn deze medewerkers al actief geweest in het voortraject, zoals de (oud-)leden van de Werkgroep risicomanagement en de huidige Werkgroep effectmeting. Gestreefd wordt naar minstens één vertegenwoordiger per rijksinspectie. • De portefeuillehouder komt, na overleg met de voorzitter van de huidige Werkgroep effectmeting, met een voorstel voor de samenstelling van de wetenschappelijke adviesraad. De inspectieraad neemt begin 2009 het uiteindelijke besluit.

Begroting (2009 en 2010) De begroting is afgestemd op de start, de verdere ontwikkeling en inhoudelijke uitvoering van het meerjarenprogramma ‘Effecten van toezicht’ en bestaat uit drie posten (zie figuur 5a): 1. Budget voor de ontwikkeling en uitvoering van de activiteiten van het meerjarenprogramma, bijvoorbeeld voor de ontwikkeling van een digitale omgeving van de pijler Ondersteuning en de organisatie van symposia van de pijler Kennis delen. 2. Budget voor de uitvoering van de programmeringsstudie van de pijler Onderzoek, gericht op de opzet van een kennsibank en een (wetenschappelijk) onderzoeksprogramma. Dit budget van € 50.000 was voor 2008 al beschikbaar, maar vanwege de vertraging in de aanbesteding niet uitgegeven. 3. Budget voor de detachering van de programmacoördinatoren bij het Bureau Inspectieraad. Gezien de omvang van het meerjarenprogramma en de (ontwikkel)taken die er voor 2009 liggen, is het absoluut wenselijk om in het eerste jaar voor 1.5 fte aan programmacoördinatoren aan te stellen en in 2010 2.0 fte, bij voorkeur verdeeld over drie of vier personen. Deze 1.5 en 2.0 fte is een optelsom van de (gemiddelde) te verwachten capaciteitsinzet per activiteit van het meerjarenprogramma voor 2009 en 2010 (zie figuur 5b). 31

Voor het vacatureprofiel wordt het een profiel gehanteerd dat vergelijkbaar is met het profiel waarop de huidige ambtelijk secretaris en adviseur Effectmeting is geworven. Het gaat om tijdelijke detachering voor 2009 en 2010. Meerjarenprogramma ‘Effecten van toezicht’, versie 20081118

18 van 64

Bij de begroting wordt aangetekend dat bij de uitvoering van verschillende activiteiten, bijvoorbeeld bij de pilots van de pijler Onderzoek, bij de deelnemende rijksinspecties ook nog mensen en middelen moeten worden vrijgemaakt. Hier staat tegenover dat bij deelname aan de betreffende activiteiten de deelnemende rijksinspecties (extra) inhoudelijke ondersteuning krijgen vanuit de pijler Ondersteuning. Bij de uitwerking van de activiteiten in deel 3 van voorliggende notitie, wordt aangegeven bij welke activiteiten deze constructie van toepassing is. Voorafgaand aan de deelname van een rijksinspectie aan die activiteiten, wordt met de deelnemende inspectie besproken wat wordt en kan worden verwacht. Onderzocht wordt of externe financiering door departementen, door deelname aan onderzoeksprogramma’s of stimuleringsregelingen, mogelijk is voor de studies van het onderzoeksprogramma dat voortkomt uit de programmeringsstudie van de pijler Onderzoek. Figuur 5a: Begroting 2009 en 2010 Financiële middelen

2009

2010

Ontwikkeling en uitvoering activiteiten

€ 50.000

€ 50.000

Programmeringsstudie

€ 50.000

€0

€ 165.000

€ 220.000

€ 265.000

€ 270.000

2009

2010

Gewenste inzet vanuit Bureau IR

1.5 fte

2.0 fte

Beschikbare inzet vanuit Bureau IR

0.0 fte

0.0 fte

Programmacoördinator (1.5 fte 2009 en 2.0 fte 2010) Totaal:

Personele middelen


19 van 64

Figuur 5b: Verdeling fte over activiteiten 2009 en 2010 e

e

1 helft 2009

2 helft 2009

2010

Expertisenetwerk

0.10 fte

0.05 fte

0.05 fte

Werkbezoeken en stages

0.05 fte

0.05 fte

0.05 fte

Symposia

0.10 fte

0.10 fte

0.20 fte

Programmeringsstudie en onderzoeksprogramma

0,05 fte

0,10 fte

0,20 fte

Pilots

0.50 fte

0.50 fte

0.50 fte

Kennis delen

Onderzoek

Ondersteuning Consultatie

-

0.60 fte

0.30 fte

Digitale omgeving

0.20 fte

0.20 fte

0.10 fte

Scholingsaanbod

-

0.20 fte

0.20 fte

Interne bewustwording

-

0.10 fte

0.20 fte

Externe bewustwording

-

0.10 fte

0.20 fte

1.00 fte*

2.00 fte*

2.00 fte

Bewustwording

Totaal

* Gemiddeld 1.50 fte

Samenwerking Voor de ontwikkeling van het meerjarenprogramma ‘Effecten van toezicht’ en de verdere uitwerking ervan, wordt gestreefd naar samenwerking met andere initiatieven. Als eerste is er de samenwerking met het project ‘Handhaven en Gedrag’ van het ERR32. De aanbesteding van de programmeringsstudie is een gezamenlijke activiteit en deze samenwerking zal zich voortzetten bij de uitvoering van de activiteiten van het meerjarenprogramma, bijvoorbeeld de activiteiten van de pijler Onderzoek. Daarnaast heeft de Inspectieraad verschillende groepen waarmee zal worden samengewerkt. Zo zal bij de pijler Ondersteuning het scholingsaanbod in overleg met de klankbordgroep Opleidingen (verder) worden uitgewerkt en voor de opzet van de digitale omgeving wordt contact gelegd met de E-Inspecties. Samenwerking wordt ook gezocht met organisaties zoals de beroepsvereniging Vide33 en opleidingsinstituten zoals de Nederlandse School voor Openbaar Bestuur (NSOB)34. Zo kunnen de symposia van de pijler Kennis delen, in samenwerking met Vide worden uitgewerkt, opgezet en uitgevoerd, en zal de NSBO worden betrokken bij de uitwerking van het scholingsaanbod van de pijler Ondersteuning. 32

Het project ‘Handhaven en gedrag’ is gericht op gedragswetenschappelijke kennis over naleving door burgers, instellingen en bedrijven. In het programma werkt de ERR samen met de Belastingdienst, de Inspectie voor Verkeer en Waterstaat, de Voedsel en Warenautoriteit, de Vrom-inspectie en de Inspectie voor de Gezondheidszorg. Zie: http://www.justitie.nl/onderwerpen/opsporing%5Fen%5Fhandhaving/rechtshandhaving/projecten/Handhavingengedrag/ 33 Vide is een beroepsvereniging van professionals in het veld van toezicht, inspectie, handhaving en evaluatie. Zie: www.videnet.nl. 34 Het NSOB is een opleidingsinstituut voor openbaar bestuur en publieke sector, en draagt als denktank bij aan kennisontwikkeling over en voor deze domeinen. Zie: www.nsob.nl.


20 van 64

3. Activiteiten meerjarenprogramma ‘Effecten van toezicht’ Het uiteindelijke doel is een geborgd systeem van effectmeting bij alle rijksinspecties. Alle activiteiten uit het meerjarenprogramma ‘Effecten van toezicht’ zijn stappen op weg naar dat doel.

Pijler: Kennis delen Expertnetwerk Doel:

Het expertnetwerk fungeert als het ware als een externe intervisiegroep, waarin kan worden geleerd van elkaars ervaringen en ondersteuning wordt geboden bij problemen. Het uiteindelijke doel is het (verder) ontwikkelen van de expertise van de deelnemers op het gebied van effectmeting.

Doelgroep:

Het expertnetwerk is bestemd voor medewerkers van rijksinspecties met het onderwerp effectmeting in het takenpakket.

Opzet:

Maandelijkse bijeenkomsten van ongeveer 4 uur, waarbij afhankelijk van het aantal geïnteresseerden in één of meerdere groepen wordt gewerkt.

Start:

Begin 2009 kan worden gestart met de maandelijkse bijeenkomsten.

Omschrijving:

Centraal in de maandelijkse bijeenkomsten staan de onderwerpen en problemen die vanuit de deelnemers op het gebied van effectmeting worden ingebracht.

Voorwaarden voor succes:

Van de deelnemers wordt verwacht dat zij tijd beschikbaar hebben om actief deel te nemen aan de bijeenkomsten en actief bij te dragen: Deelname is niet vrijblijvend, het gaat om ‘kennis halen en brengen’. Deelnemers moeten ook bereid zijn in de ‘keuken’ te laten kijken van de eigen rijksinspectie. Een bijkomende voorwaarde is een positieve houding van het management van de deelnemende rijksinspecties.

Terugkoppeling:

Jaarlijks vindt onder de deelnemers een evaluatie plaats van de werking van het expertnetwerk. De evaluatie is een onderdeel van de jaarlijkse evaluatie van het meerjarenprogramma ‘Effecten van toezicht’.

Capaciteitsinzet

1e helft 2009: 0.1 fte; 2e helft 2009: 0.05 fte; 2010: 0.05 fte.


21 van 64

Werkbezoeken en stages Doel:

Het uitwisselen van kennis gericht op het (verder) ontwikkelen van de expertise van de deelnemers op het gebied van effectmeting. Een bijzonder aandachtspunt hierbij is de toepasbaarheid cq. vertaalbaarheid van de kennis naar de ‘eigen’ rijksinspectie.

Doelgroep:

De werkbezoeken en stages zijn bestemd voor medewerkers van rijksinspecties met het onderwerp effectmeting in het takenpakket.

Opzet:

Het organiseren van werkbezoeken en stages bij rijksinspecties die ‘voorop’ lopen op het gebied van effectmeting.

Start:

Begin 2009 kan worden gestart met de inventarisatie van ‘vraag’ en ‘aanbod’, de daadwerkelijke bezoeken en stages volgen na koppeling van beide.

Omschrijving:

Aan de organisatie van de werkbezoeken en stages gaat een inventarisatie van ‘vraag’ en ‘aanbod’ vooraf. Op basis van die inventarisatie worden deelnemers aan elkaar gekoppeld en worden concrete afspraken gemaakt, onder andere over het doel en de duur van de uitwisseling.


De werkbezoeken en de stages moeten aansluiten bij de ‘vraag’ van de bezoekende partij. Beide partijen moeten vooraf heldere en haalbare afspraken maken en van beiden wordt verwacht dat zij tijd beschikbaar hebben om de afspraken na te komen. Daarnaast is een positieve houding van het management van de deelnemende rijksinspecties noodzakelijk.

Terugkoppeling:

Deelnemers wordt na afloop van een werkbezoek of stage gevraagd om een kort (evaluatie)verslag op te stellen. De verslagen worden gepubliceerd op de digitale omgeving (zie pijler Ondersteuning), en zijn input voor de jaarlijkse evaluatie van het meerjarenprogramma ‘Effecten van toezicht’.

Capaciteitsinzet



22 van 64

Symposia Doel:

Het uitwisselen van kennis op het gebied van effectmeting om de deelnemende (medewerkers van) rijksinspecties impulsen te geven voor de implementatie van effectmeting in de toezichtspraktijk.

Doelgroep:

Per symposium wordt de doelgroep bepaald. De symposia zijn niet alleen bestemd voor medewerkers van rijksinspecties met het onderwerp effectmeting in het takenpakket; ook het management, de stafmedewerkers en de inspecteurs behoren tot de doelgroep.

Opzet:

Het organiseren van symposia met als onderwerp ‘Effecten van toezicht’.

Start:

Begin 2009 vindt verdere ideeënvorming plaats, waarna samenwerking wordt gezocht met de ERR, Vide en/of AR en de verdere uitwerking wordt opgestart. Het eerste symposium is in de tweede helft van 2009 te verwachten.

Omschrijving:

Er worden symposia georganiseerd met als onderwerp ‘Effecten van toezicht’. Verdere ideeënvorming over de inhoud vindt nog plaats, duidelijk is al wel dat er binnen de rijksinspecties vraag is naar de presentatie van ‘good’ en ‘bad practices’ op het gebied van effectmeting.


Een symposium moet aansluiten bij de kennisbehoeften en het kennisniveau van de deelnemers. En telkens weer is het van belang een antwoord te geven op de vraag naar de toepasbaarheid cq. vertaalbaarheid van het gepresenteerde naar andere rijksinspecties.

Terugkoppeling:

Na afloop van een symposium wordt de deelnemers gevraagd om (via internet) een korte evaluatievragenlijst in te vullen. De resultaten hiervan en het verslag van een organisatorische evaluatie, worden gepubliceerd op de digitale omgeving (zie pijler Ondersteuning), en beide zijn input voor de jaarlijkse evaluatie van het meerjarenprogramma ‘Effecten van toezicht’.

Capaciteitsinzet



23 van 64

Pijler: Onderzoek Programmeringsstudie35 en onderzoeksprogramma Een bijzondere activiteit van het meerjarenprogramma ‘Effecten van toezicht’ is de programmeringsstudie. Het doel van de programmeringsstudie is het blootleggen van de werkzame mechanismen die ten grondslag liggen aan effectief toezicht, waarbij wordt gezocht naar zowel theoretische kennis als kennis uit (gedrags)wetenschappelijk onderzoek. In december 2008 wordt de aanbesteding van de programmeringsstudie uitgezet en de eerste resultaten zijn in juli 2009 te verwachten. Voor de aanbesteding is in samenwerking met het project ‘Handhaven en Gedrag’36 en het Wetenschappelijk Onderzoek en Documentatiecentrum (WODC, Ministerie van Justitie), een driedelige startnotitie geschreven. In deel I en deel II staat het opsporen van theorie en (wetenschappelijk) onderzoek centraal. Deel III is gericht op de synthese van de resultaten van deel I en II. • Deel I – (Gedrags)mechanismen van toezicht De opdracht in deze studie is nagaan welke relevante theorievorming er bestaat met betrekking tot de veronderstelde werkzame mechanismen die ten grondslag liggen aan verschillende vormen van toezicht. Ook moet worden nagegaan wat maakt dat een mechanisme in een bepaalde context al dan niet werkt. • Deel II – Designs effectmetingen van toezicht De opdracht in deze studie is het in kaart brengen van onderzoeken die op valide wijze de effecten van toezicht of van toezicht vergelijkbare activiteiten meten. Gezocht wordt naar onderzoeken met een redelijke tot hoge mate van interne validiteit ((MSMS3+) en naar andersoortig onderzoek (MSMS2-) dat kan bijdragen aan kan bijdragen aan kennis over effectief toezicht. . • Deel III – Synthese De synthese bestaat uit het bij elkaar brengen van de resultaten uit deel I en deel II leidt tot twee producten: (1.) een kennisbank waarin de resultaten worden gepresenteerd die direct toepasbaar zijn voor de praktijk, en (2.) een onderzoeksprogramma bestaande uit voorstellen voor studies, gebaseerd op aantoonbare de kennistekorten.

35 36

Zie bijlage 4. Zie noot 32.


24 van 64

Pilots Doel:

Het implementeren van de Leidraad Effectmeting37 bij de deelnemende rijksinspecties. Het doel is bij de rijksinspecties een structurele, continue effectmeting te starten, die bijdraagt aan inzicht in de effectiviteit en aan de legitimering van het toezicht.

Doelgroep:

De veertien rijksinspecties en de samenwerkingsactiviteiten tussen de rijksinspectes (bijvoorbeeld in de domeinen).

Opzet:

• Het ontwikkelen van een integraal plan van aanpak voor de pilots effectmeting. • Het opzetten en uitvoeren van de maximaal veertien pilots effectmeting.

Start:

Begin 2009 kan worden gestart met het ontwikkelen van het plan van aanpak. De daadwerkelijk start van de uitvoering van de pilots is gepland vanaf het najaar van 2009 en alle pilots moeten eind 2010 zijn afgerond.

Omschrijving:

Het ontwikkelen van het plan van aanpak start met de inventarisatie van de behoeften en mogelijkheden van de deelnemende rijksinspecties. Met deze inventarisatie als uitgangspunt, resulteert het plan in een voorstel voor de opzet van de uit te voeren pilots effectmeting. De pilots sluiten aan bij de kennisvragen die het resultaat zijn van de programmeringsstudie en in de pilots wordt gebruik gemaakt van de Leidraad Effectmeting. Er zal sprake zijn van een grote diversiteit aan pilots: Een deel zal kwantitatief van aard zijn (meting nalevingsniveau’s), een ander deel kwalitatief. De meeste pilots zijn gericht op de outcome, een enkele pilot kan in het teken staan van de final outcome38. Er zullen pilots binnen één enkele rijksinspectie plaatsvinden en ook pilots waarin verschillende inspecties samenwerken. Sommige pilots zullen voor het grootste deel worden uitgevoerd door kenniswerkers en inspecteurs, bij andere pilots spelen bij de uitvoering wetenschappers een grote(re) rol.

37 38

Zie noot 3. Zie figuur 1.


25 van 64


Per pilot moet sprake zijn van een gedegen onderzoeksopzet. De pilots moeten aansluiten bij de inspectiepraktijk en bij rijksinspecties met weinig ervaring moet ‘klein en eenvoudig’ worden begonnen. Voor de uitvoering moet er binnen de deelnemende inspecties draagvlak en commitment zijn bij kenniswerkers én inspecteurs. Tevens moeten bij de deelnemende inspecties mensen en middelen worden vrijgemaakt voor de opzet en uitvoering van de pilots.

Terugkoppeling:

• Drie halfjaarlijkse voortgangsrapportages (juni en december 2009 en juni 2010). Deze raportages zijn input voor de jaarlijkse evaluatie van het meerjarenprogramma ‘Effecten van toezicht’. • Per uitgevoerde pilot een verslag dat via het Bureau Inspectieraad extern beschikbaar wordt gesteld en wordt gepubliceerd op de digitale omgeving (zie pijler Ondersteuning). • Een eindevaluatie van de pilots en verslaglegging daarvan begin 2011. • Mogelijk een conferentie begin 2011, waarin de resultaten van de pilots centraal staan (binnen de pijler Uitwisseling).

Capaciteitsinzet



26 van 64

Pijler: Ondersteuning Consultatie Doel:

Het actief en concreet ondersteunen van de deelnemende rijksinspecties bij de ontwikkeling van effectmeting in de toezichtspraktijk.

Doelgroep:

De inhoudelijke ondersteuning is bedoeld voor medewerkers van rijksinspecties met het onderwerp effectmeting in het takenpakket.

Opzet:

Het aanbieden van concrete inhoudelijke ondersteuning vanuit de Inspectieraad in de vorm van consulten op aanvraag.

Start:

Met de consulten kan medio 2009 worden gestart en wel voorafgaand aan de daadwerkelijk start van de uitvoering van de pilots (zie pijler Onderzoek).

Omschrijving:

Het vanuit de Inspectieraad beschikbaar stellen van een inhoudelijke deskundige, de programmacoördinatoren, op het gebied van toezicht en (effect)onderzoek. De programmacoördinator wordt als consultant voor rijksinspecties ingezet bij de uitvoering van activiteiten op het gebied van effectmeting. De grootste taak ligt bij de inhoudelijke ondersteuning van de uitvoering van de pilots (zie pijler Onderzoek).


• De programmacoördinator functioneert als een sparringpartner en een ‘wandelende’ Leidraad Effectmeting39, met ervaring bij de verschillende rijksinspecties. • Consulten moeten aansluiten bij de vraag van de ‘vrager’, mits deze niet onrealistisch zijn.

Terugkoppeling:

Jaarlijks vindt onder de deelnemers een evaluatie plaats van de werking van de consultatie. De evaluatie is een onderdeel van de jaarlijkse evaluatie van het meerjarenprogramma ‘Effecten van toezicht’.

Capaciteitsinzet

1e helft 2009: -; 2e helft 2009: 0.6 fte; 2010: 0.3 fte.

39

Zie noot 3.


27 van 64

Digitale omgeving Doel:

Informeren, communiceren, discussiëren over en presenteren van kennis op het gebied van effectmeting.

Doelgroep:

In eerste instantie de medewerkers van rijksinspecties die deelnemen aan het expertnetwerk en de uitwisselingsactiviteiten (binnen de pijler Uitwisseling). In tweede instantie krijgt een breder publiek (beperkt) toegang, bijvoorbeeld bij de organisatie van de symposia (zie de pijler Uitwisseling) of de presentatie van de resultaten van de pilots (zie de pijler Onderzoek).

Opzet:

Het opzetten en onderhouden van een digitale omgeving over het onderwerp ‘Effecten van toezicht’.

Start:

Begin 2009 kan worden gestart met de opzet en ontwikkeling van de digitale omgeving, hierbij wordt samenwerking gezocht met de EInspecties.

Omschrijving:

De digitale omgeving is bestemd voor informatie, communicatie, discussie over en presentatie van kennis op het gebied van effectmeting. De omgeving fungeert als een platvorm, waar deelnemers op elk gewenst moment berichten kunnen plaatsen, waar anderen op kunnen reageren.


• Technische gezien een stabiele digitale omgeving, ook een omgeving afgestemd op het doel en eenvoudig te beheren. • Van de deelnemers wordt verwacht dat zij actief bijdragen aan de digitale omgeving.

Terugkoppeling:

Jaarlijks vindt onder de deelnemers een evaluatie plaats van de werking van de digitale omgeving. De evaluatie is een onderdeel van de jaarlijkse evaluatie van het meerjarenprogramma ‘Effecten van toezicht’.

Capaciteitsinzet



28 van 64

Scholingsaanbod Doel:

Op maat aanbieden van scholingen op het gebied van effectmeting.

Doelgroep:

Per scholing wordt de doelgroep bepaald. De scholingen zijn niet alleen bestemd voor medewerkers van rijksinspecties met het onderwerp effectmeting in het takenpakket; ook het management, de inspecteurs en de (staf)medewerkers behoren tot de mogelijke doelgroep.

Opzet:

• Het ontwikkelen van een plan van aanpak voor het scholingsaanbod. • Het opzetten en uitvoeren van het scholingsaanbod.

Start:

In het najaar van 2009 kan worden gestart met de ontwikkeling van het plan van aanpak. De daadwerkelijke start van de scholingen is gepland vanaf begin 2010.

Omschrijving:

Er wordt een plan van aanpak ontwikkeld dat is afgestemd op de opgedane ervaringen met effectmeting en de (kennis)behoeften die daaruit voortkomen binnen de rijksinspecties. Met het opstellen van het plan wordt dan ook pas gestart ongeveer een half jaar na de start van de andere activiteiten.


• Aansluiten op de resultaten van de opgedane ervaringen met effectmeting en de (kennis)behoeften die daaruit voortkomen binnen de rijksinspecties. • Samenwerking met de Klankbordgroep Opleidingen van de Inspectieraad en opleidingsinstituten zoals de NSBO. • Voor de uitvoering van de scholing stellen de inspecties (aanvullende) financiële middelen beschikbaar.

Terugkoppeling:

De wijze van terugkoppeling wordt in het plan van aanpak uitgewerkt.

Capaciteitsinzet



29 van 64

Pijler: Bewustwording Interne bewustwording Doel:

Het opstarten van een bewustwordingsproces over het nut en de noodzaak van effectmeting in de toezichtspraktijk.

Doelgroep:

De managers, inspecteurs en (staf)medewerkers van de veertien rijksinspecties.

Opzet:

• Het ontwikkelen van een communicatieplan voor de interne bewustwording. • Het opzetten en uitvoeren van de activiteiten uit het communicatieplan.

Start:

In het najaar van 2009 kan worden gestart de ontwikkeling van het communicatieplan. De daadwerkelijke start van de activiteiten is gepland vanaf begin 2010.

Omschrijving:

Het ontwikkelen van het communicatieplan start met de inventarisatie van de behoeften en mogelijkheden van de deelnemende rijksinspecties. Met deze inventarisatie als uitgangspunt, resulteert het plan in een voorstel voor de opzet van de uit te voeren activiteiten.


• Het uitdragen van een objectieve en genuanceerde boodschap, aan de hand van voorbeelden. • Samenwerking met de Werkgroep Communicatie van de Inspectieraad. • Voor de uitvoering van de activiteiten uit het communicatieplan stellen de inspecties (aanvullende) financiële middelen beschikbaar.

Terugkoppeling:

De wijze van terugkoppeling wordt in het communicatieplan uitgewerkt.

Capaciteitsinzet



30 van 64

Externe bewustwording Doel:

Het opstarten van een bewustwordingsproces over de mogelijkheden en onmogelijkheden in de relatie die in de praktijk bestaat tussen beleid, toezicht en effecten van toezicht.

Doelgroep:

De politiek, dus de bewindslieden en leden Tweede kamer, en de beleidsmedewerkers van de ministeries, alsmede de medewerkers van de AR.

Opzet:

• Het ontwikkelen van een communicatieplan voor de externe bewustwording. • Het opzetten en uitvoeren van de activiteiten uit het communicatieplan.

Start:

In het najaar van 2009 kan worden gestart de ontwikkeling van het communicatieplan. De daadwerkelijke start van de activiteiten is gepland vanaf begin 2010.

Omschrijving:

Het ontwikkelen van het communicatieplan start met de inventarisatie van het streefbeeld dat de Inspectieraad wil uitdragen. Met deze inventarisatie als uitgangspunt, resulteert het plan in een voorstel voor de opzet van de uit te voeren activiteiten.


• Het uitdragen van een objectieve en genuanceerde boodschap, aan de hand van voorbeelden. • Samenwerking met de Werkgroep Communicatie van de Inspectieraad. • Voor de uitvoering van de activiteiten uit het communicatieplan stellen de inspecties (aanvullende) financiële middelen beschikbaar.

Terugkoppeling:

De wijze van terugkoppeling wordt in het communicatieplan uitgewerkt.

Capaciteitsinzet



31 van 64


32 van 64

Bijlage 1:

Samenstelling werkgroep Effectmeting

Algemene Inspectiedienst Belastingdienst Bureau Inspectieraad

Marcel Zandvliet Soraya van der Zouw Mariëlle Klerks, ambtelijk secretaris en adviseur Effectmeting Expertisecentrum Rechtspleging en Ralph Vossen Rechtshandhaving Inspectie voor de Gezondheidszorg Gerrit van der Wal, portefeuillehouder Paul Robben, voorzitter Inspectie van het Onderwijs Inge de Wolf Inspectie Verkeer en Waterstaat Simon Broos Voedsel en Warenautoriteit Cees Maas


33 van 64


34 van 64

Bijlage 2a: Nota besluitvorming evaluatieprogramma ‘Effecten van toezicht’ Aan Van Kopie Onderwerp Ons kenmerk Datum

Inspectieraad Paul Robben Gerrit van der Wal Evaluatieprogramma: Effecten van toezicht 11 februari 2008

Aanleiding Het voorgestelde evaluatieprogramma 'effecten van toezicht' is het antwoord op een van de conclusies van de inmiddels opgeheven werkgroep 'Risicomanagement' van de Inspectieraad: "De rijksinspecties hebben wat betreft effectonderzoek nog een wereld te winnen. Hoewel de meeste inspecties plannen hebben voor effectmeting is de uitvoering nog beperkt en gefragmenteerd. Effectmeting verkeert nog in de beginfase en inspecties lijken aan te hikken tegen de methodologische problemen om een causaal effect aan te tonen van toezicht op de inspecties, laat staan op het maatschappelijk effect van toezicht." Samenvatting Doel van het voorgestelde evaluatieprogramma ‘effecten van toezicht’ van de Inspectieraad is de toezichtspraktijk te verbeteren door gebruik te maken van resultaten van (wetenschappelijk) onderzoek van deze toezichtspraktijk. Het programma heeft een R(esaerch)&D(evelopment) karakter. Het gezamenlijk optrekken binnen het verband van de Inspectieraad levert meerwaarde op en voorkomt doublures.

Beslispunten − Onderschrijft de Inspectieraad de geformuleerde uitgangspunten voor het programma. − Instellen van een kleine, voorlopige werkgroep, die, op basis van een programmeringstudie, voor de zomer 2008 advies uitbrengt over het meerjaren evaluatieprogramma 'effecten van toezicht. − Budget voor het uitvoeren van een programmeringstudie, maximaal 50.000 euro. Opzet en offerte volgen na besluitvorming. − Ondersteuning door een deeltijd projectsecretaris met een wetenschappelijke en beleidsmatige achtergrond. Toelichting Werkgroep brengt ook advies uit over de organisatievorm van het evaluatieprogramma 'effecten van toezicht': een werkgroep (inclusief voorstel voor de samenstelling) van de Inspectieraad of een Shared Service Expertise Centrum.


35 van 64


36 van 64

Bijlage 2b: Interne nota Evaluatieprogramma ‘Effecten van toezicht’ Aan Van Kopie Onderwerp Ons kenmerk Datum

Gerit van der Wal Paul Robben Ad Serné Inspectieraad - Evaluatieprogramma: Effecten van toezicht 11 februari 2008

1. Inleiding Op verzoek van Gerrit van der Wal is deze notitie, over een op te zetten evaluatieprogramma‘ effecten van toezicht’, opgesteld. De notitie is tot stand gekomen in overleg met de voorzitter van de onlangs opgeheven werkgroep “risicomanagement” van de Inspectieraad en het Expertise Centrum Rechtspleging en Rechtshandhaving. 2. Evaluatie effecten van toezicht In de leidraad ‘Effectmeting bij inspecties’ (2005) wordt het effect van toezicht omschreven als: een waarneembare verandering in hetgeen met de toezichts- en handhavingsactiviteiten wordt 1 beoogd, als gevolg van activiteiten van die inspectie . De rijksinspecties hebben wat betreft effectonderzoek nog een wereld te winnen. Hoewel de meeste inspecties plannen hebben voor effectmeting is de uitvoering nog beperkt en 2 gefragmenteerd . Effectmeting verkeert nog in de beginfase en inspecties lijken aan te hikken tegen de methodologische problemen om een causaal effect aan te tonen van toezicht op de inspecties, laat staan op het maatschappelijk effect van toezicht. De Algemene Rekenkamer volgt de trage ontwikkelingen op dit terrein kritisch. In het conceptrapport ‘Terugblik 2008 handhaven en gedogen’ concludeert de ARK: “Er is nog een weg te gaan voordat de handhaving in de volle breedte voldoet aan de eisen die wij en de Inspectieraad daaraan stellen. Vooral nu het programma Rijk aan Handhaving is afgesloten, is het van belang dat de ministeries onverminderd aandacht blijven besteden aan de vervolmaking van programmatisch handhaven. Vooral de meting van effectiviteit komt langzaam op gang.” Afsluitend met: “In het licht van de gesignaleerde ontwikkelingen zullen we de beleidsontwikkelingen en handhavingsactiviteiten, vooral op het terrein van de effectmeting met belangstelling blijven volgen.” De samenleving (burgers, bedrijven en instellingen) vraagt om inzicht in de effecten van het handelen van de inspecties. Deze transparantie vergroot de legitimiteit van het toezicht. Toezicht en onderzoek Over de effecten van toezicht is nog maar weinig bekend. In de wetenschap is er wel toenemend aandacht voor onderzoek naar de effecten van toezicht, dit blijkt ook uit het instellen van (bijzondere) hoogleraarschappen en de aandacht voor toezicht binnen een aantal 3 universitaire vakgroepen . Het meten van de effecten van toezicht is niet eenvoudig maar wel mogelijk. Toezichthouders rapporteren al langer over hun prestaties. Er wordt onderzoek uitgevoerd en gerapporteerd over klanttevredenheid, het functioneren van toezichtarrangementen, handhavingscommunicatie en de effecten van openbaarmaking van toezichtbevindingen. Dit

1

Leidraad effectmeting bij Inspecties. Werkgroep effectmeting IG-beraad. Den Haag, Ministerie van Justitie, Expertisecentrum Rechtshandhaving, 2005. 2 Eindrapportage Werkgroep Risicomanagement Inspectieraad, 2007. 3 F.J.G Janssens, hoogleraar onderwijstoezicht, Universiteit Twente. F.J.H. Mertens, hoogleraar toezicht, Technische Universiteit Delft. F.C.M.A. Michiels, hoogleraar bestuursrecht in het bijzonder handhavingsrecht, Universiteit Tilburg. De faculteit Techniek, bestuur en management (UD) en het instituut iBMG (Erasmus Universiteit) besteden veel aandacht aan de rol van toezicht. Meerjarenprogramma ‘Effecten van toezicht’, versie 20081118

37 van 64

type onderzoek naar de werkwijze en het gebruikte instrumentarium door inspecteurs is 4 onvoldoende om een causale relatie tussen toezicht en effect vast te stellen . Volgens Willemsen en Leeuw is onderzoek naar de maatschappelijke effecten van toezicht mogelijk en noodzakelijk. Zij geven drie onderzoeksdesigns, in volgorde van kracht om de causaliteitsvraag te beantwoorden, om het effect van toezicht aan te tonen. 1. Effectonderzoek met een (quasi)experimenteel design. De experimentele groep ondergaat toezicht terwijl in de controle groep het toezicht niet plaats vindt. Dit kan een natuurlijk of gecontroleerd experiment zijn. 2. Effectonderzoek met behulp van ‘stated preference onderzoek’; onderzoek naar de reactie van respondenten op sets van hypothetische situaties. 3. Beleidsonderzoek naar de theorie (de aannames van beleidsmakers over de beoogde effecten van toezicht en de wijze waarop deze behoren te ontstaan) die ten grondslag ligt 5 aan het toezicht en onderzoek naar de consistentie van deze theorie (Ehren, 2006) . Hieraan kunnen worden toegevoegd observationeel - en casusonderzoek. 3. Uitgangspunten voor het evaluatieprogramma ‘effecten van toezicht’. Doel van het voorgestelde evaluatieprogramma ‘effecten van toezicht’ van de Inspectieraad is de toezichtspraktijk te verbeteren door gebruik te maken van resultaten van (wetenschappelijk) onderzoek van de toezichtspraktijk. Het programma heeft een R(esaerch)&D(evelopment) karakter. Onderzoek is geen doel op zich maar leidt tot leren en verbeteren van de praktijk. Hierin ligt een opgave voor de afzonderlijke inspecties. Daarnaast heeft gezamenlijk optrekken binnen het verband van de Inspectieraad meerwaarde en voorkomt doublures. Op dit moment worden generieke kennisvraagstukken, zoals effectmeting, nog teveel vanuit de afzonderlijke inspecties opgepakt. Vaak komt de aandacht hiervoor vanuit projectmatige impulsen en is er te weinig continuïteit. De behoefte aan deze kennis is bij elke inspectie voelbaar. De kleinere inspecties ontbreekt het aan de benodigde kritische massa om dit zelfstandig op te pakken. Het Inspectieraad programma ‘effecten van toezicht’ richt zich op de generieke kennisvragen en neemt de initiatieven bij de afzonderlijke inspecties op het terrein van effectmeting en evaluatie onderzoek niet over, maar richt zich op vragen die voor alle inspecties van belang zijn en kan fungeren als kenniscentrum voor de afzonderlijke inspecties. Uitgangspunten 1. Doelen van het onderzoeksprogramma zijn inzicht te krijgen in de effectiviteit van het toezicht en een bijdrage te leveren aan verbetering van het toezicht. 2. Het onderzoek draagt bij aan de legitimiteit en kracht van het toezicht. 3. Praktijkproblemen in het toezicht en de kennisbehoefte van de organisatie geven richting aan de keuze van onderzoeksonderwerpen en aan de prioritering. Het programma is vraaggestuurd. 4. Maatschappelijke thema’s over toezicht geven mede richting aan het onderzoeksprogramma. 5. Draagvlak onder de medewerkers van inspectiediensten is voorwaarde om evaluatieonderzoek te doen en daarvan te leren. De medewerkers van de inspecties worden nauw betrokken bij de uitvoering van het onderzoek; op deze wijze is het leereffect maximaal en geeft het de medewerkers de gelegenheid mee te werken in het wetenschappelijk onderzoek. 6. Resultaten uit het evaluatie onderzoek vormen belangrijke input voor de opleiding en professionalisering van medewerkers. 7. De heterogeniteit aan onderzoeksthema’s vraagt om een multidisciplinaire aanpak (sociaalwetenschappelijk, juridische, bestuurskundig en economisch).

4

Willemsen, F., Leeuw, F.L. Maatschappelijke effecten van toezicht en inspectie. Effectevaluatie uit de praktijk. Turven, tellen, toetsen. Over toezicht, inspectie, handhaving en evaluatie en hun maatschappelijke betekenis in Nederland. (red: F.L. Leeuw e.a.). Den Haag, Boom Juridische uitgevers, 2007. 5 2006: ‘Invloeden op regelgeving door bedrijven’, Informatie en communicatie in het handhavingsbeleid, inzichten uit wetenschappelijk onderzoek’, ‘Bestraffen, belonen en beïnvloeden, een gedragswetenschappelijk perspectief op handhaving’. 2007: ‘Responsive regulation bij de Voedsel en Waren Autoriteit: taakopvatting en onbedoelde gevolgen”, ‘Openbaarmaking van handhavingsinformatie’ en ‘Streng doch rechtvaardig’. Meerjarenprogramma ‘Effecten van toezicht’, versie 20081118

38 van 64

8. Deelname van de inspecties, die zijn vertegenwoordigd in de Inspectieraad, aan het programma leidt tot een efficiënte inzet van R&D-middelen en geeft de mogelijkheid van vergelijkend onderzoek tussen inspecties. 9. De uitvoering van het onderzoek gebeurt in samenwerking met universiteiten en onderzoeksinstellingen, hiermee wordt de wetschappelijke inbreng en objectiviteit van het onderzoek gewaarborgd. 10. Het onderzoek sluit aan op en is een verbreding van het onderzoeksprogramma ‘Handhaven en gedrag”van het Expertise Centrum Rechtspleging en Rechtshandhaving (Ministerie van Justitie). In dit programma wordt samengewerkt met de IVW, de VWA, de IGZ, de Belastingdienst, de VROM-inspectie en het Expertise Centrum. Doel van het huidige programma is kennis te generen over de wijze waarop handhaving het gedrag van burgers of ondernemingen beïnvloed zodat deze de weten regelgeving naleven. Het project richt zich op gedragswetenschappelijke kennis over naleving. Het programma focust zich op de effectiviteit van interventiemethoden en de mechanismen die de naleving van normen bevorderen. 4. Organisatie Bundeling van kennis over effectiviteit van toezicht ligt, gezien de huidige gebrekkige ontwikkeling ervan, voor de hand. Dit mede gezien de kwetsbare positie van dit type onderzoek in toezichtorganisaties. Het evaluatieprogramma ‘effecten van toezicht’ is een meerjarenprogramma, dat na een formele opdracht van de Inspectieraad wordt uitgewerkt. Op basis van een programmeringstudie wordt het meerjarenplan, inclusief begroting, opgesteld door een voorlopige kleine werkgroep uit de deelnemende inspecties. In deze fase wordt ook onderzocht of het programma wordt onder gebracht in een werkgroep van de Inspectieraad of dat een verdere formalisering mogelijk en nodig is. Een mogelijkheid is de inrichting van een “Shared Service Expertise Centrum Toezicht en Handhaving”; een geformaliseerd samenwerkingsverband in de vorm van bijvoorbeeld een werkmaatschappij van de deelnemende organisaties. Een Shared Service Centrum Toezicht en Handhaving, met een onderzoeks- en ontwikkelfunctie, maar ook een verspreidingsfunctie naar de toezichtspraktijk, kan een goed antwoord zijn op de geconstateerde problemen. Een centrum met een inhoudelijk focus voor de beantwoording van de vraag ‘wat werkt?’, maar ook een centrum dat antwoorden en bijstand kan geven bij de vraag hoe dat in de praktijk wordt gebracht. Het centrum kan de generieke, gedeelde kennis van het toezicht en handhavingsvak omvatten. Een dergelijke bundeling vergroot de flexibiliteit en slagvaardigheid. Onderzocht wordt of deze functie ook toegankelijk is voor andere overheden om verkokering en versnippering van handhaving te voorkomen. 5. Activiteiten eerste helft 2008 Formeren van een voorlopige, kleine (4 à 5 deelnemers), werkgroep van onderzoekers/managers uit de inspecties, die voor de zomer 2008: 1. Een programmeringstudie door het Expertise Centrum Rechtspleging en Rechtshandhaving laten uitvoeren: wat is er aan onderzoek beschikbaar, waar zitten de lacunes en welk onderzoeksprogramma moet de komende jaren worden uitgevoerd. 2. Een concept meerjarenprogramma ‘effecten van toezicht’, opstellen, gebaseerd op de uitgangspunten in deze notitie. 3. Een advies uitbrengen over de organisatievorm: een werkgroep (inclusief voorstel voor de samenstelling) van de Inspectieraad of een Shared Service Expertise Centrum. 4. Programma en advies over de organisatie worden voorgelegd aan de Inspectieraad. 6. Voorwaarden Voor deze eerste fase zijn nodig ondersteuning door een deeltijd projectsecretaris met een wetenschappelijke en beleidsmatige achtergrond en budget voor de programmeringstudie. De kosten hiervan worden geschat op maximaal 50.000,-- Hiervoor is een voorlopige voorziening getroffen door de Inspectieraad.


39 van 64


40 van 64

Bijlage 3:

Traject ontwikkeling meerjarenprogramma ‘Effecten van toezicht’

Vertrekpunt Bij de ontwikkeling van een voorstel voor het meerjarenprogramma ‘Effecten van toezicht’ waren de resultaten en de aanbevelingen van de monitor Effectmeting41 het vertrekpunt. In de monitor wordt een helder beeld gegeven van de stand van zaken bij de verschillende rijksinspecties. Geconcludeerd wordt dat bij de meeste inspecties de eerste stappen op het gebied van effectmeting zijn gezet, maar dat er nog vele moeten volgen. Met het meerjarenprogramma wordt voortgebouwd op de aanbevelingen van die monitor:

1. De eerste stappen van de inspecties op het gebied van effectmeting worden op ofwel strategisch, ofwel operationeel niveau gezet. Opvallend is dat beide manieren nog nergens bij elkaar komen. Het streven van de inspecties moet er op gericht zijn deze koppeling te maken voor een goede aanpak van effectmeting. 2. Enkele inspecties doen nog vrijwel niets aan effectmeting. Zij moeten hier echter op korte termijn wel mee starten. Het helpt daarbij niet te veel de nadruk te leggen op onmogelijkheden dan wel beperkingen die zeker bestaan, maar vooral te beginnen met de mogelijkheden die er al wel zijn. Klein beginnen dus. 3. Het kan daarbij helpen onderscheid te maken tussen micro-, meso- en macro-effecten. Waarbij micro-effecten gaan over één ondertoezichtgestelde, meso-effecten over één domein en macro-effecten over de samenleving als geheel. Effectmeting op meso en macro niveau is vaak lastiger gelet op meerdere beïnvloedingsactoren dan uitsluitend een 42 toezichthouder, maar effectmeting op micro niveau is vaak wel mogelijk . 4. Maak gebruik van wetenschappelijke kennis over onderzoeksmethodologie door samenwerking met wetenschappers en universiteiten. Besteed echter niet de volledige effectmeting uit, omdat het belangrijk is hierover als inspectie zelf kennis te ontwikkelen en behouden. Wissel als inspecties bovendien onderling kennis en ervaring uit. 5. Bij veel inspecties blijkt het management zich achter effectmeting te scharen, maar is nog geen draagvlak bij een meerderheid van de inspecteurs. Dit verdient de komende tijd extra aandacht. Voor een succesvolle toepassing van effectmeting is het belangrijk dat er draagvlak is binnen de gehele organisatie.

Het meerjarenprogramma ‘Effecten van toezicht’ bestaat uit activiteiten die zijn afgestemd op de behoeften van de rijksinspecties. Om te komen tot het aanbod is in september en oktober een traject doorlopen, waarbij vertegenwoordigers van de verschillende rijksinspecties uitgebreid zijn betrokken.

41

Zie noot 5. Als de begrippen worden gerelateerd aan de begrippen uit de effectketen (zie figuur 1), dan laten micro en mesoeffecten zich vertalen in outcome, en betreffen de macro-effecten de final outcome. 42


41 van 64

Kortweg was dit traject als volgt: Er zijn twee bijeenkomsten gehouden, waarvan één met de leden van de Werkgroep effectmeting en één met vertegenwoordigers van alle rijksinspecties (inclusief de werkgroepleden). De bijeenkomsten bestonden uit een metaplansessie met aansluitend een discussie. Voorafgaand aan de eerste metaplansessie zijn interviews uitgevoerd met vertegenwoordigers van acht rijksinspecties die niet in de Werkgroep effectmeting zijn vertegenwoordigd.

Interviewronde, begin september 2008 Begin september zijn interviews gehouden met vertegenwoordigers van acht rijksinspecties die niet zijn vertegenwoordigd in de Werkgroep effectmeting. In deze interviews stonden de volgende vragen centraal: Leeft het onderwerp effectmeting in uw inspectie? Wat doet uw inspectie concreet (al) aan effectmeting? Wat werkt? En op welke manier kan de Inspectieraad ondersteuning bieden bij de (verdere) ontwikkeling van effectmeting, dus waar is behoefte aan? Van elk interview is een kort verslag gemaakt, dat is goedgekeurd door de geïnterviewden. De verzamelde gegevens zijn gebruikt bij de voorbereiding van de bijeenkomst op 22 september en ze zijn in die bijeenkomst gepresenteerd. De geïnterviewden zijn: Agentschap Telecom Arbeidsinspectie Erfgoedinspectie Inspectie Jeugdzorg Inspectie Openbare Orde en Veiligheid Inspectie Werk en Inkomen Staatstoezicht op de Mijnen VROM Inspectie

Bert van Dijk, beleidsmedewerker toezicht Ruud Loenen, sr. beleidsmedewerker en plv. hoofd afdeling Concernbeleid Hans Magdelijns, hoofdinspecteur sector Monumenten Esther Nieuwhuis, staffunctionaris/kwaliteitsmedewerker Andrea Steenbrink, beleidsmedewerker Jon Nool, staffunctionaris Concerncontrol Jos Marx en Rob van Elzen, resp. adviseur Veiligheid afdeling Operations en plv. hoofd Geo-Enginering Bennie van Dijk, beleidscoördinator


42 van 64

De conclusie die op basis van de verzamelde gegevens is getrokken, is als volgt:

Bijeenkomst Werkgroep effectmeting, 22 september 2008 Eind september was er een bijeenkomst met de leden van de Werkgroep effectmeting onder leiding van Dick Beumer, decaan van de inspectieacademie van de IGZ en moderator. De bijeenkomst was gericht op de concrete invulling van het meerjarenprogramma ‘Effecten van toezicht’ en bestond uit een metaplansessie (cq. brown paper-sessie), waarbinnen een korte presentatie van de resultaten van de interviewronde plaatsvond. In de sessie is gewerkt aan de hand van drie vragen: a) Binnen hoeveel jaar moeten de doelen van het meerjarenplan worden bereikt? Het antwoord op deze vraag is dat er sprake is van drie soorten doelen met bijbehorende termijnen: korte termijn doelen te bereiken in twee jaar, middellange termijn doelen te bereiken in vier jaar en lange termijn doelen waarbij het aantal jaren niet is benoemd. b) Welke producten moeten over vier jaar, dus op middellange termijn, zijn gerealiseerd? Nadat alle antwoorden op deze vraag waren gecategoriseerd bleek dat er vijf verschillende producten te onderscheiden waren. Het belangrijkste product is een geborgd systeem van effectmeting, de andere vier producten zijn in meer dan wel mindere mate voorwaarden voor een geborgd systeem. De antwoorden op de vraag welke kenmerken een geborgd systeem van effectmeting moet bezitten, zijn in verschillende groepen te verdelen. In deel 2 van voorliggende notitie zijn de kenmerken uitgewerkt. c) Welke producten moeten over twee jaar, dus op korte termijn, zijn gerealiseerd? Nadat alle antwoorden op deze vraag waren gecategoriseerd, bleek dat er acht verschillende producten te onderscheiden zijn. Tijdens de bijeenkomst zijn van drie producten de kenmerken benoemd, van het expertnetwerk, de pilots en het expertisecentrum. Meerjarenprogramma ‘Effecten van toezicht’, versie 20081118

43 van 64

Nota bene: Tijdens de uitwerking van de producten voor de voorliggende notitie, werd duidelijk dat de producten van verschillend niveau zijn: een expertisecentrum kan gezien worden als een organisatievorm en de andere producten zijn activiteiten.

Bijeenkomst, 21 oktober 2008 Eind oktober was er onder leiding van Paul Robben, voorzitter van de werkgroep Effectmeting, een bijeenkomst met de leden van de werkgroep en vertegenwoordigers van rijksinspecties die niet vertegenwoordigd zijn in de Werkgroep effectmeting. Een vijftal genodigden waren afwezig door ziekte of andere werkzaamheden. Aanwezig waren: Belastingdienst Bureau Inspectieraad Expertisecentrum Rechtspleging en Rechtshandhaving Inspectie voor de Gezondheidszorg Inspectie Jeugdzorg Inspectie van het Onderwijs Inspectie Verkeer en Waterstaat Inspectie Werk en Inkomen Staatstoezicht op de Mijnen Voedsel en Warenautoriteit VROM Inspectie

Soraya van der Zouw Mariëlle Klerks, ambtelijk secretaris en adviseur Effectmeting Ralph Vossen Paul Robben, voorzitter Esther Nieuwhuis Inge de Wolf Simon Broos Jon Nool Jos Marx Cees Maas Ida Scheygrond

De bijeenkomst was gericht op de concrete invulling van het meerjarenprogramma ‘Effecten van toezicht’ en bestond uit een metaplansessie (cq. brown paper-sessie). In de sessie is gewerkt aan de hand van drie vragen: a) Zijn er behalve de producten die in september zijn genoemd, nog andere producten te onderscheiden die over twee jaar, dus op korte termijn, moeten zijn gerealiseerd? Nadat alle antwoorden op deze vraag waren gecategoriseerd, bleek dat er nog twee extra producten te onderscheiden waren: interne/externe bewustwording en inhoudelijke ondersteuning. b) Welke producten die nog niet zijn uitgewerkt, hebben de hoogste prioriteit om nader uit te werken? Drie producten zijn unaniem aangewezen: kennisdelen, interne/externe bewustwording en inhoudelijke ondersteuning. Tijdens de bijeenkomst is van deze producten aangegeven welke activiteiten een product in zich heeft, voor wie de activiteiten zijn bedoeld en welke voorwaarden voor succes zijn te onderscheiden. Meerjarenprogramma ‘Effecten van toezicht’, versie 20081118

44 van 64

Nota bene: Tijdens de verdere uitwerking van de producten voor de voorliggende notitie, werd duidelijk dat alle genoemde producten binnen een structuur met vier pijlers kunnen worden uitgewerkt (zie figuur 2). c) Welke organisatievorm heeft de voorkeur bij de uitvoering van het meerjarenprogramma: een werkgroep van de Inspectieraad of een “Shared Service Expertise Centrum Toezicht en Handhaving”? Tijdens de bijeenkomst is aan de hand van deze vraag gediscussieerd. Verschillende organisatievormen zijn besproken en de conclusie was om voor de uitvoering van het programma in 2009 te starten met een werkgroep en programmacoördinatoren. Na twee jaar kan dan in een evaluatie worden bekeken of, en op welke wijze een “Shared Service Expertise Centrum Toezicht en Handhaving” wenselijk is.


45 van 64


46 van 64

Bijlage 4:

Concept startnotities voor programmeringsstudie (dd. 18/11/2008)

Werktitel van het project

PROGRAMMERINGSTUDIE: DEEL I a&b (GEDRAGS)MECHANISMEN HANDHAVING EN TOEZICHT

Doelstelling van het project

Het doel van dit project is om werkzame mechanismen bloot te leggen die ten grondslag liggen aan (effectieve) handhaving en toezicht. Het gaat dan om zowel theoretische kennis en kennis uit (gedrags)wetenschappelijk onderzoek over mechanismen als ‘What Works’- voorbeelden. In deze opdracht staat het aftappen van kennis uit ‘fundamenteel en toegepast wetenschappelijk onderzoek’ centraal. Dit gebeurt door kennis bijeen te brengen die over de werking van mechanismen in bepaalde contexten gaat en die aan interventies, programma’s of maatregelen ten grondslag liggen.

Probleemstelling

Welke relevante kennis bestaat er met betrekking tot de te verwachten effectiviteit van toezichtstijlen en interventies en wordt deze ondersteund of bevestigd door empirisch onderzoek? Wat zijn de veronderstelde werkzame mechanismen die ten grondslag liggen aan toezicht? Wat maakt dat een mechanisme in een bepaalde context werkt of niet werkt?

Beleidscontext

Inleiding Bij verschillende overheidsorganisaties leeft de behoefte aan meer wetenschappelijke kennis over toezicht en handhaving en de naleving van regelgeving. Ook in de (internationale) wetenschappelijke literatuur over handhaving en de (effecten van) handhaving en toezicht wordt geconstateerd dat er (te) weinig valide en betrouwbaar onderzoek wordt gedaan naar handhaving en toezicht en de effectiviteit ervan. Om het gedragswetenschappelijk onderzoek op dit domein te bevorderen, is in 2005 het interdepartementale onderzoeksproject Handhaving en gedrag gestart. In 2008 is besloten tot een professionalisering van het onderzoeksprogramma door op basis van een uit te voeren programmeringsstudie een Meerjarenprogramma Handhaving en Gedrag op te stellen. Hiermee kan het project beter aansluiten bij wat er bij de deelnemende organisaties aan onderzoeksvragen leeft en kan er meer continuïteit worden verkregen in de onderzoeksflow. Binnen de Inspectieraad leeft ook al enkele jaren de ambitie om meer inzicht te verkrijgen in de effecten van handhaving en toezicht. Effectmeting staat bij alle rijksinspecties evenwel nog in de kinderschoenen. Om een impuls te geven aan het effectonderzoek heeft de Inspectieraad in 2008 de werkgroep ‘Evaluatie effecten van toezicht’ gestart. Doel van het programma van de werkgroep ‘Evaluatie effecten van toezicht’ is de toezichtspraktijk te verbeteren door gebruik te maken van resultaten van (wetenschappelijk) onderzoek van de toezichtspraktijk en de effecten ervan. Hiertoe zal onder meer een meerjarenplanning worden opgesteld voor de Inspectieraad. Deze startnotitie is geschreven t.b.v. de aanbesteding van de programmeringsstudies en dient bij te dragen aan de opzet van een (wetenschappelijk) onderzoeksprogramma voor het meerjarenprogramma Handhaven en Gedrag en het meerjarenprogramma Evaluatie effecten van toezicht . Het doel van de opdracht is het in beeld brengen van de beschikbare (wetenschappelijk) kennis over de relatie tussen handhaven en toezicht, gedrag en de effecten.


47 van 64

Dit deel (Ia&b) van de programmeringsstudie gaat over gedragsmechanismen die ten grondslag liggen aan handhaving en toezicht. Een ander deel (II) gaat over designs en best practices die gebruikt kunnen worden om effecten van toezicht aan te tonen. . Deze benadering wordt in een separate startnotitie behandeld. Tenslotte is er een derde startnotitie (deel III) die over de synthese van de onderzoeksresultaten gaat en aandacht besteedt aan de totstandkoming van de onderzoeksprogrammering. Achtergrond Een steeds terugkerend thema in (internationale) wetenschappelijke literatuur over handhaving en toezicht is de constatering dat er (te) weinig valide en betrouwbaar onderzoek wordt gedaan naar de effectiviteit hiervan. Een manier om meer te weten te komen over effectiviteit is te onderzoeken welke (gedrags)mechanismen ten grondslag liggen aan verschillende vormen van handhaving en toezicht. Onder toezicht wordt verstaan het verzamelen van informatie over de vraag of organisaties, beleid of voorzieningen aan de gestelde eisen voldoen, het zich daarna vormen van een oordeel daarover en het eventueel naar aanleiding daarvan interveniëren. Organisaties die toezicht uitoefenen, heten doorgaans inspectie (Inspectie Werk en Inkomen), Autoriteit (Autoriteit Financiële Markten) of Commissariaat (van de Media). Onderscheid wordt wel gemaakt tussen kwaliteitsmeesters (zoals de Onderwijsinspectie), marktmeesters (zoals de Opta en de NMA) en regelmeesters (zoals de Arbeidsinspectie). Ook verschillende objecten van toezicht worden (o.a. door de Ambtelijke Commissie Toezicht) onderverdeeld in: • Toezicht op zelfstandige organisaties en professionals met een publieke taak (scholen, ziekenhuizen, woningcorporaties maar ook de leraren en artsen); • Toezicht op een publieke of een beleidssector (onderwijs, volkshuisvesting); • Toezicht op marktsectoren (eerlijke concurrentie, marktmeesterschap); • Toezicht op de naleving van aspectwet- en regelgeving (milieu, arbeidsomstandigheden). Meestal echter worden nalevingstoezicht, uitvoeringstoezicht, interbestuurlijk en markttoezicht als toezichtsvormen onderscheiden. Als toezichthouders dwang uitoefenen, wordt van handhaving gesproken (Commissie Kuipers, 2005, 10). Een taak van een toezichtzichthouder is te zorgen dat wetten en regels worden nageleefd door burgers, bedrijven en de overheid zelf. Controleren van naleving is geen op zichzelf staand doel maar dient bij te dragen aan het voorkomen en beheersen van collectieve risico’s die bepaalde gedragingen van onder toezichtgestelden met zich meebrengen en dient (positieve) welvaartseffecten te helpen genereren ( betere gezondheid, betere opleidingen, veiliger verkeer en vervoer enz.) Zo verricht de Arbeidsinspectie haar werk om een zo groot mogelijk effect te bereiken in de naleving van de wetten. De naleving is daarbij gericht op het maatschappelijk gewenste resultaat: vermindering van ongezonde en onveilige werksituaties en vermindering van uitval als gevolg van ongevallen en ziekte door het werk. De Inspectie Verkeer en Waterstaat streeft naar een veilig, leefbaar en bereikbaar Nederland met zo min mogelijk ongelukken, incidenten, milieuvervuiling en overlast, voldoende mogelijkheden voor economische expansie en met ondernemers en burgers die zich daar eveneens verantwoordelijk voor voelen, in een goed geordende markt. Voor het voorkomen / beperken van risico’s hebben toezichthouders gedragscontrolerende, gedragsmodificerende en gedragsregulerende activiteiten in huis. Er kan een globaal onderscheid gemaakt worden tussen milde en meer Meerjarenprogramma ‘Effecten van toezicht’, versie 20081118

48 van 64

strikte stijlen van toezicht, daarnaast komen mengvormen voor. De keuze voor een bepaalde stijl wordt onder andere bepaald door de ernst van het risico dat moet worden beperkt, de mate van naleving van regels en wetten of de cultuur van een toezichthouder (nieuwe t.o.v. relatief oudere toezichthouders). Interventies Toezichthouders, inspecteurs en handhavers zijn in de afgelopen 10-15 jaar komen te beschikken over meer en meer gedifferentieerde interventies. Hun interventiemacht is daarmee duidelijk toegenomen (Willemsen, Leeuw & Leeuw, 2008). Naast waarschuwingen en het intrekken van vergunningen is in circa 60 wetten voorzien dat bestuurlijke boetes opgelegd kunnen worden (Michiels, 2006) die soms kunnen oplopen tot vele miljoenen euro’s. Ook worden reparatoire sancties toegepast, zoals de ‘last onder dwangsom’ waarmee de toezichthouder beoogt een halt toe te roepen aan een overtreding en erop uit is om, waar mogelijk, reparatie te laten plaatsvinden of de schade te laten herstellen. Bestuursdwang functioneert als stok achter de deur of voor gevallen waarin geen overtreders bekend zijn. Daarnaast is er de strafbeschikking van de politie en de OM-afdoening (de strafbeschikking in handen van het OM) (vgl. Elsink, 2007, 2022). Tenslotte wordt met naming and shaming gewerkt, waarbij organisaties met naam en toenaam aan de schandpaal genageld worden. Toezichthouders kunnen naast het heffen van bovengenoemde sancties ook de rol van adviseur aannemen, waarbij hij de onder toezichtgestelde met raad en daad bijstaat en er met zijn adviezen toe bijdraagt dat deze aan de gestelde eisen voldoet (WRR, 2004). Compliance Assistance (het bevorderen van vrijwillige naleving ) is dan ook gebaseerd op vertrouwen. Door het verstrekken van informatie en het geven van ondersteuning aan de gereguleerden poogt de toezichthouder deze te helpen met het begrijpen en naleven van regels. Systeemtoezicht is ook gebaseerd op vertrouwen maar dan in reeds bestaande, goed functionerende controlesystemen. Bij bewezen goede kwaliteitssystemen en correct naleefgedrag worden onder toezichtgestelden beloond door een groter vertrouwen van de toezichthouder en waarschijnlijk minder controles (proportioneel toezicht). Voorbeeld: Formuleaanpak VWA (Velders-IMC) De formuleaanpak houdt in dat levensmiddelenbedrijven (landelijk bekende supermarkten, bakkerijen, cateraars, hotel- en restaurantketens en tankstations) die risico’s voor de voedselveiligheid aantoonbaar weten te beheersen minder zullen worden gecontroleerd door de VWA. Bedrijven die de risico’ s niet aantoonbaar weten te beheersen krijgen van de VWA extra aandacht. Deze bonus/malus systematiek is als eerste uitgewerkt voor formulebedrijven in de levensmiddelensector. Bij de formules wordt vanuit de hoofdvestiging geregeld dat de voedselveiligheidssystemen goed worden uitgevoerd. Het voedselveiligheidssysteem is vastgelegd in een hygiënecode en zorgt ervoor dat alle locaties goed omgaan met veiligheidsaspecten als hygiëne, koeling en ongediertebestrijding. Het hoofdkantoor moet aan de toezichthouder kunnen aantonen hoe het voedselveiligheidssysteem in de voorbije periode heeft gefunctioneerd. Op grond van recente inspecties bepaalt de VWA of locaties van een bedrijf voldoen aan de eisen van de Warenwet. Het aantal te controleren locaties wordt volgens een algoritme berekend uit het totaal aantal locaties van de formule. De controlebevindingen van de locaties worden per formule samengevat op een factsheet en openbaar gemaakt. Governance (of deugdelijk bestuur) is een principe dat vooraf kan gaan aan het invoeren van systeemtoezicht. Verondersteld wordt dat wanneer organisaties werken volgens principes van (good) governance ten eerste ‘compliance’ met bestaande regels beter vorm krijgt, tegelijkertijd toezicht, inspectie en ‘controles’ Meerjarenprogramma ‘Effecten van toezicht’, versie 20081118

49 van 64

wat minder op de voorgrond hoeven te treden en in plaats daarvan vooral ‘horizontale’ principes van het afleggen van verantwoording gehanteerd kunnen worden. Ook zelfregulerend vermogen, kwaliteitszorgsystemen, certificering en accreditatie kunnen in verband worden gebracht met toezicht op basis van vertrouwen. Wantrouwen versus vertrouwen In de publieke discussie over toezicht in de afgelopen jaren doet zich een paradoxaal verschijnsel voor. Enerzijds is er de tendens van politiek en samenleving om na incidenten en crises op te roepen tot méer handhaving en toezicht (en regels). In de Brief van de Minister van BZK over het programma ‘Vernieuwing Toezicht’ (Min BZK, 31 201 25) heet het zo: ‘na incidenten vragen politiek en samenleving doorgaans om versterking van het toezicht’. Anderzijds roepen burgers en onder toezicht gestelde organisaties tegelijkertijd dat ze te veel last hebben van bemoeienissen van toezichthouders, door de ‘druk(te)’ die ze veroorzaken, de administratieve lasten die daarmee gepaard gaan en omdat lang niet altijd duidelijk is hoe toezicht bijdraagt aan het gemeenschappelijk belang. Toezicht moet kortom anders, efficiënter en effectiever en hieraan gerelateerd gaat het Kabinet er van uit dat inspecties zoveel mogelijk gebruik gaan maken van controlesystemen die in de onder toezicht staande organisaties en ketens zelf al bestaan. (vgl. de Brief van de Minister van BZK over het programma ‘Vernieuwing Toezicht’ (Min BZK, 31 201 25) ). Er wordt met andere woorden gepleit voor (en nogal wat verwacht van) trust-and-hope regulation, niet alleen in Nederland maar ook in andere westerse landen (Shover, 2008). Zelfregulering en systeemtoezicht vallen hieronder en zijn goeddeels gebaseerd op vertrouwen in onder toezichtgestelden. De orthogonaal van “trust-and-hope regulation” is formalistisch toezicht dat ook wel als “command and control” of “going by the book” wordt getypeerd (Erp, 2008). Deze vorm van toezicht is gebaseerd op wantrouwen en afschrikking en leunt sterk op bestraffing. Uiteraard vinden vertrouwen en wantrouwen en trustand-hope en command and control elkaar in een mix. Responsive regulation (Braithwaite, 1992) is de meest bekende strategie die gebruik maakt van beide uitersten. Responsive regulation gaat uit van de handhavingspiramide die aansluit bij de gedachte “niet goedschiks dan maar kwaadschiks” en is in de afgelopen jaren uitgegroeid tot de dominante strategie van Nederlandse handhavingsorganisaties (Van de Bunt, 2007). Als toezicht moet zorgen dat wetten en regels worden nageleefd opdat collectieve risico’s worden beheerst of voorkomen, dan dient de toezichthouder die gedragsmechanismen te activeren die hieraan bijdragen. We zouden kunnen stellen dat de bovenbesproken strategieën bestaan uit stelsels van gedragsmechanismen die in een bepaalde context geactiveerd worden. Gedragsmechanismen zijn de actieve ingrediënten die aanzetten tot naleving van regels en komen in veel hoedanigheden voor. In deze studie willen een overzicht van mechanismen die zorgen dat handhaving / toezicht zijn werk doet. Gedragmechanismen van handhaving en toezicht In deze startnotitie hebben we verschillende handhaving- en toezichtstijlen besproken en zijn we ingegaan op de sanctierijkdom van de Nederlandse toezichthouders. We zijn echter geïnteresseerd in de mechanismen die ten grondslag liggen aan de besproken handhaving- en toezichtstijlen en in de mechanismen die worden geactiveerd door het opleggen van (of dreiging met) de besproken sancties. Het is de bedoeling om via het synthetiseren van reeds beschikbare kennis over de sociale- en gedragsmechanismen die verondersteld worden ten grondslag te liggen hieraan, te komen tot een overzicht dat kan helpen bij het toetsen en het verder ontwikkelen van effectief handhaving en toezicht.


50 van 64

De werking van interventies moet bij voorkeur uitgewerkt worden aan de hand van Context-Mechanismen-Outcome (CMO) configuraties (Zie Ray Pawson, Evidence-based Policy, A Realist Perspective, 2006). Mechanismen kunnen beschouwd worden als de motoren achter (gedrags)interventies: de actieve ingrediënten die aanzetten tot verandering. De werking van mechanismen is mede afhankelijk van de context. Elke verandering in gedrag, gebeurtenissen en maatschappelijke omstandigheden komt tot stand via het gehele systeem van sociale relaties. Uitkomstpatronen omvatten de bedoelde en onbedoelde gevolgen van programma’s (effecten en neveneffecten), die volgen uit de activering van verschillende mechanismen in verschillende contexten. Om aan te geven wat we bedoelen met mechanismen geven we een voorbeeld waarin het cybernetisch- en het marktmechanisme worden geactiveerd. Voorbeeld: Toezicht op het primair onderwijs (samenvatting van het artikel De uitwerking van WOT van Ehren, Leeuw en Scheerens) Met de Wet op het onderwijstoezicht, die per 1 januari 2003 is ingevoerd, is daar voor de onderwijsinspectie een stimulerende taak bij gekomen. Behalve het waarborgen dat er in alle instellingen onderwijs van voldoende kwaliteit wordt geleverd, is het toezicht nu ook bedoeld als stimulans voor de ontwikkeling van de kwaliteitszorg, en daarmee van de kwaliteit van het onderwijs. In de uitwerking van de WOT is eerst de beleidstheorie achter de wet gereconstrueerd. Dit leidde tot het onderstaande overzicht: Gereconstrueerde beleidstheorie achter WOT

Toezicht op kwaliteit

Sterke en zwakke punten worden duidelijk , evenals de deugdelijkheidseisen waaraan de school niet voldoet VERBETER TRAJECT

Proportioneel toezicht

Scholen ontwikkelen eigen kwaliteitszorgsysteem Inspectie benut haar capaciteit beter

Openbaar oordeel

Scholen verantwoorden zich Ouders nemen kennis van het Inspectie-oordeel

Scholen voldoen aan een waaborgniveau van kwaliteit Scholen bieden toegevoegde waarde

Intensiever toezicht op Zwakke scholen

Ouders krijgen zicht op kwaliteit

Scholen verbeteren kwaliteit

Ouders bepalen schoolkeuze Ouders zetten kwaliteit af tegen verwachtingen

Ouders spreken directie aan

Figuur 1. Beleidstheorie achter de Wet OnderwijsToezicht (WOT) De reconstructie van de assumpties die aan de WOT ten grondslag liggen, laat zien dat toezicht geacht wordt te leiden tot een waarborging van onderwijskwaliteit en tevens de toegevoegde waarde van scholen stimuleert. Toezicht heeft hierbij zowel een direct als indirect effect op de kwaliteit van het onderwijs. De directe effecten worden bewerkstelligd door (1) proportioneel toezicht met een (2) toezichtskader. Van beide elementen wordt verwacht dat ze bijdragen aan verbetertrajecten op scholen, die resulteren in kwaliteitsverbetering en een toename van de toegevoegde waarde van de school. Daarnaast is de veronderstelling dat er sprake is van een indirect effect van toezicht op de kwaliteit, namelijk via de (3) openbaarmaking van het inspectieoordeel. Deze openbaarmaking leidt ertoe, althans volgens deze ‘theorie’, dat scholen zich gaan verantwoorden, ouders beter geïnformeerd zijn en de scholen vervolgens gericht aan spreken op zwakke punten. Het mechanisme achter proportioneel toezicht met een toezichtkader heeft te maken met reflectie en zelflerend vermogen. Hier staat feedback centraal die voortkomt uit een stelsel van prestatie-indicatoren, zoals het toezichtkader of het kwaliteitszorgsysteem van de school. Volgens de beleidstheorie is het de bedoeling dat scholen deze feedback gebruiken om zich te verbeteren. Deze verbetering zou tot een waarborgniveau van kwaliteit en toegevoegde waarde moeten leiden (voor de causale keten WOT zie figuur 1). Bij voorbaat kunnen Meerjarenprogramma ‘Effecten van toezicht’, versie 20081118

51 van 64

bij de veronderstelde werking van dit mechanisme de nodige kantekeningen worden geplaatst (zie paragraaf neveneffecten). Het openbaar oordeel activeert een Marktmechanisme (in het klein). De Wet op het onderwijstoezicht regelt dat de inspectie het oordeel van scholen openbaar maakt. De bedoeling is dat ouders deze informatie allereerst gebruiken om een school van goede kwaliteit te kiezen voor hun kinderen en vervolgens de school aan te spreken op mogelijke kwaliteitsverbetering. Aangezien het effect van het openbaar oordeel afhangt van activiteiten van de ‘markt’ (ouders in dit geval), bevat de uitwerking van het openbaar oordeel een marktmechanisme (Bemelmans-Videc e.a., 1998). Neveneffecten In de evaluatie WOT kwam een aantal neveneffecten aan de orde, bijvoorbeeld dat het openbare oordeel ongewenst gedrag tot stand kan brengen. Volgens o.a. de Onderwijsraad (2001) leidt het er ook toe dat scholen vooral gaan concurreren op aspecten die openbaar worden gemaakt. Als het gaat om de opbrengsten zullen scholen geneigd zijn om leerlingen te weren die het prestatieniveau doen dalen en om vooral aandacht te besteden aan leerlingen die met een geringe investering goede resultaten kunnen behalen. Een andere kanttekening is te plaatsen bij het veronderstelde marktmechanisme. In de eerste plaats betalen ouders niet direct voor het onderwijs van hun kinderen, daarnaast is bekend dat maar een beperkt aantal ouders de keuze van de school af laat hangen van de kwaliteitsaspecten die de WOT moet bevorderen. Ten slotte bestaat er twijfel over de redenering dat scholen de bevindingen van de inspectie, of de resultaten uit haar eigen kwaliteitszorg gebruiken om zich te verbeteren. Dat scholen zich altijd willen verbeteren gaat voorbij aan de realiteit dat alle activiteiten die daar, in relatie tot het toezicht, voor nodig zijn niet in het belang van de school hoeven te zijn. Scholen leren bijvoorbeeld welke aspecten van hun prestaties worden gemeten (en welke niet). Ze kunnen deze wetenschap gebruiken om de meting van hun prestaties te beïnvloeden door vooral te investeren in wat wordt gemeten in plaats van zich te richten op de onderliggende doelstelling. Van Thiel en Leeuw (2003) duiden dit gedrag met pervers leren aan. Ook heeft de WOT een impliciete ‘beloningsstructuur’ in zich die kan leiden tot strategisch gedrag (dramatugical compliance en window dressing).

Met het WOT-voorbeeld willen we aangeven wat we bedoelen met gedragsmechanismen, wat contexten doen met de werkzaamheid van mechanismen en wat bedoelde en onbedoelde uitkomsten zijn. Het gaat dus niet specifiek om toezicht op primair onderwijs want reflectieve- en marktmechanismen spelen ook een rol in andere handhaving- en toezichtvormen / interventies /strategieën (zie ook het voorbeeld formuleaanpak VWA op pagina 3). Een ander voorbeeld van een mechanisme dat geactiveerd wordt, is het reputatiemechanisme en de ‘kosten’ die een verstoorde reputatie voor een organisatie hebben. Alhoewel een evaluatie van de Wet Vervoer Gevaarlijke Stoffen aantoonde dat de wet niet echt werkte, toonde dezelfde evaluatie ook aan dat het aantal ongelukken en bijna ongelukken sterk gedaald was door de jaren. Verklaring: de vervoersbranche is meer en meer afhankelijk geworden van naam en faam én van de kosten die gepaard gaan als zich éen (kleine) ramp voordoet (via claims enz.). Maar ook als de VWA de mogelijkheid heeft om factsheets openbaar maakt die gaan over het samonella-gehalte in de gehaktballen van tankstations, treedt een reputatiemechanisme in werking. Deze opdracht Om te komen tot meer overzichtelijkheid hebben wij een aantal thema’s (of domeinen) onderscheiden die uitgewerkt dienen te worden. Meerjarenprogramma ‘Effecten van toezicht’, versie 20081118

52 van 64

I Trust-and-hope Zelfregulering / Accreditatie / Certificering /Compliance / Governance / Systeemtoezicht / Meta-toezicht Vraag 1: Welke mechanismen spelen binnen het domein trust-and-hope een rol en beïnvloeden deze de mate van naleving? Vraag 2: Welke neveneffecten kunnen worden onderscheiden en welke mechanismen zorgen hiervoor? Vraag 3: Is er empirisch bewijs dat de gedetecteerde mechanismen ook daadwerkelijk hun werk doen? Vraag 4: In welke contexten werken de mechanismen? Denk hierbij bijvoorbeeld aan de mate de mate van informatieasymmetrie, sociale normen binnen een branche of economische gesteldheid van een bedrijfstak. Voorbeelden van onderzoek: • Kijkwijzer / Nicam over de naleving van film- en game-codering door de detaillisten (Utwente, bijna openbaar) • Onderzoek over systeemtoezicht door Helderman (RUNijmegen, in progress) Schuldgevoel, schaamte, persoonlijke aansprakelijkheid Voorlichting Zachte prikkels II Command and control, sancties en straf Vraag 5: Welke mechanismen spelen binnen het domein command and control een rol en beïnvloeden deze de mate van naleving? Vraag 6: Welke neveneffecten kunnen worden onderscheiden en welke mechanismen zorgen hiervoor? Vraag 7: Is er empirisch bewijs dat de gedetecteerde mechanismen ook daadwerkelijk hun werk doen? Vraag 8: In welke contexten werken de mechanismen? Er dient specifiek ingegaan te worden op de werking van bestuurlijke boetes dwangsommen, bestuursdwang, OM-afdoeningen, strafrechtelijke vervolging en naming and shaming en wat de effecten en de neveneffecten zijn hiervan. Denk dan bijvoorbeeld aan rechtseconomische thema’s als errorkosten e.d. (zie onbegrensd toezicht, Faure, 2007) en aan strategisch gedrag en game playing. Maar ook meer algemene principes op het gebied van straffen en belonen, dwang en drang moeten uitgewerkt worden. Denk dan aan: J. van de Pligt, Bestraffen, belonen en beïnvloeden; een gedragswetenschappelijk perspectief op handhaving G. Vervaeke en E. Decaluwe in het kennisfundament, beleidslijn grenzen stellen K. de Ridder, handhaving milieurecht. H. Elffers, een straffe aanpak (inaugurele rede VU, 2008) III Responsive regulation Vraag 9: Welke mechanismen uit de domeinen trust-and-hope en command and control zijn relevant in de responsive regulation stijl? Vraag 10: Welke specifieke mechanismen spelen een rol? IV Andere thema’s en mechanismen Ernst van af te dekken risico Het type risico dat afgedekt dient te worden door de handhaver / toezichthouder. Dit is eigenlijk een contextvariabele die o.a. bepaald welk type handhaving en toezicht het beste werkt / nodig is. Neem als voorbeeld het toezicht op kernreactoren. Bij ongelukken zijn de gevolgen dermate groot, dat bedrijven zelf Meerjarenprogramma ‘Effecten van toezicht’, versie 20081118

53 van 64

al heel veel controles inbouwen. Dit geldt bijvoorbeeld ook voor het transport van chloorgas over de weg. De vraag is nu welke gedragsmechanismen zorgen dat extreme risico’s soms wel zorgen voor zelfregulatie maar soms ook niet (denk aan vieze lucht in OK’s van ziekenhuis Lelystad). Organisatie / uitvoering handhaving en toezicht Is het bijvoorbeeld zo dat “minder last van toezicht” door samenwerking van inspecties en de “één loket gedachte” zorgt voor betere naleving? Welke mechanismen liggen hieraan te grondslag? Mechanismen die zorgen voor effecten / neveneffecten - Isomorfisme: organisaties gaan, net als mensen, elkaar imiteren en daardoor op elkaar gaan lijken qua institutionele vormgeving. - Vicarious learning: immitatiegedrag door personen of bedrijven en instellingen - Relatieve deprivatie: bijvoorbeeld als er een hele hoge boete wordt uitgedeeld aan een tuinder vanwege illegale arbeid, terwijl alle buurman-tuinders hetzelfde doen. - Collusie - Rationeel of economisch ingegeven keuzes om de regels te overtreden / na te leven - Empowerment van klanten: déels via instituties als de consumentenbond, de consumentenautoriteit maar ook via you-tube-ism, Radar enz. Marktwerking Mechanismen die zorgen dat markten werken, dat marktfalen wordt voorkomen, of die nieuwe markten creëren. Denk aan de Autoriteit Financiële Markten, NMA, Opta met een arsenaal aan sancties, variërend van omvangrijke boetes tot klikgedragconstructies.

Onderzoeksvragen en Toelichting

Algemeen gesproken dienen de onderstaande onderzoeksvragen te worden beantwoord. Theorievorming en veronderstellingen met betrekking tot onderliggende mechanismen. Wat maakt dat iets wel of niet werkt? 1. Welke relevante (bijvoorbeeld sociologische, sociaal-psychologisch of rechtseconomische) theorievorming bestaat er met betrekking tot de te verwachten effectiviteit van handhavings- en toezichtstijlen en maatregelen en wordt deze ondersteund of bevestigd door empirisch onderzoek? (Bijvoorbeeld: als verondersteld wordt dat ‘x’ zal bijdragen aan naleving van een regel, wordt die veronderstelling dan ook bevestigd in gedragswetenschappelijk onderzoek) 2. Wat zijn de veronderstelde werkzame mechanismen die ten grondslag liggen aan de outcome? 3. Wat maakt dat een maatregel in een bepaalde context werkt of niet werkt?

Spelen theorieën een rol in het onderzoek? Zo ja: welke?

Jazeker, zie bovenstaande tekst.

Methoden en technieken (voorzien gebruik van statistische tools)

Literatuurstudie, researchsynthese

Gevraagde producten en/of diensten (inclusief wijze van kennisoverdracht)

Rapport


54 van 64

Benodigde expertise

Toonaangevende expertise op het hier bedoelde terrein

Wijze van uitvoering

Extern

Risico’s, onzekerheden, Beslispunten Begeleidingscommissie

Overig (o.m. relevante eerdere onderzoeken)

-

Voor dit onderzoek formeert het WODC een leescommissie bestaande uit vertegenwoordigers van WODC, ERR, Iraad en een externe expert op het gebied van handhaving en toezicht. Uit Leeuw, F.L. e.a., under construction WHERE TO FIND (RESEARCH AND EVALUATION) REVIEWS AND SYNTHESIS STUDIES THAT CAN INFORM US ON MECHANISMS? Books on social mechanisms Authors like Elster( 1989; 2007), Farnsworth (2007), Hedstrom & Swedberg (1998), Swedberg (2005), Bunge (2004) and Mayntz (2004) have summarized and synthesized the research literature on different (types of) social mechanisms. Elster’s ‘Explaining social behaviour’ (2007) summarizes insights from neurosciences to economics and political science and discusses 20-plus mechanisms. They range from ‘motivations’ , ‘emotions’ and ‘self interest’ to rational choice, games and behaviour and collective decision making’. Farnsworth (2007) takes legal arrangements like laws and contracts as a starting point and dissects which (types of) mechanisms play a role when one wants to understand why laws sometimes (do)(not) work. He combines insights from psychology, economics and sociology and discusses mechanisms such as the ‘slippery slope’, the endowment effect, framing effects and public goods production. Review journals Since the 1970s there have been launched review journals trying to pick (annually) important developments of many disciplines. An example is ‘Annual Reviews’, which publishes analytic reviews in 37 disciplines within the Biomedical, Life, Physical, and Social Sciences. They appear to be among the most highly cited in scientific literature. Realist synthesis This approach works as follows. * it conceptualizes programs and policies as theories. * It collects earlier research findings by interpreting the specific policy instrument under investigation as an example of the more generic tools government/organizations like the World Bank use. “Rather than focusing on individual programs, as is now done, or even collections of programs grouped according to major ‘purpose’ as is frequently proposed, the suggestion here is that we should concentrate on the generic tools of government action that come to be used, in varying combinations in particular public programs`. * Next it describes the program in terms of its context, its mechanisms (what makes the program work) and outcomes (the deliverables). In stead of synthesizing per intervention or program, realists open up the black boxes of these interventions and synthesize research knowledge regarding these social and behavioural mechanisms. An example is Pawson’s study of the workings of incentives (Pawson, 2002), his study on naming and shaming (Pawson, 2004) and Kruisbergen’s study on fear-arousal communication (Kruisbergen, 200.).


55 van 64

Systematic research reviews A systematic review is a literature review usually focused on a single question which tries to identify, appraise, select and synthesize all high quality research evidence relevant to that question. It: • addresses a clearly formulated question • uses systematic and explicit methods to identify, select and critically appraise relevant research • uses systematic and explicit methods to collect and analyze data from the studies that are included in the review • Statistical methods (meta-analysis) may or may not be used to analyze and summarize the results of included studies which are considered similar enough to combine. Organizations like the Campbell Collaboration and the Cochrane Society produce systematic reviews. The Campbell Collaboration produces them of the effects of social interventions, ranging from crime and justice to social welfare. In a systematic review, relevant prior evaluation studies are collected and then subjected to a critical evaluation in order to provide an answer to the question which programs work (best). Petrosino et al. (2001) describe the criteria the Campbell Collaboration applies to systematic reviews. Such studies must contain detailed information on the research process, including the research question(s), the methods used when searching for and screening studies, and the criteria to be met for studies to be included. A systematic review also details how analyses were done and how conclusions were reached. Emphasis is placed on the importance of assessing the strength of research evidence when reviewing knowledge about the effects of social and behavioral interventions and programs. The point is stressed that not all evaluation designs are created in the same manner as a result of which some designs do not allow for inferring cause and effect while others do. Whether a meta-analysis is part of a systematic review or not, systematic reviews are reviews in which rigorous methods are employed to summarize, analyze, and combine study findings (Petrosino et al., 2001). Petrosino et al. (2001: 20) note, “The foremost advantage of systematic reviews is that when done well and with full integrity, they provide the most reliable and comprehensive statement about what works.” However, Petticrew (2003) discusses the limitations of this approach as and when the practical relevance of systematic reviews is taken into account. He makes the point that due to Rossi’s (1987) stainless steel law of evaluation and his iron law of evaluation (which states that the expected value of any impact assessment of any large scale social program is zero) policy-makers using systematic reviews in their decision making processes, are not or only in a restricted way confronted with insights from narrative reviews and observational studies. This might jeopardize utilization and subsequently the policy-making process. Knowledge repositories in general Hansen & Rieper (in press) have inventoried a number of what they call (secondorder) evidence-producing Organizations within the social (and behavioral) sciences. In recent years the production of systematic reviews has been institutionalized in these institutions. There are two main second-order knowledge-producing international organizations: the Cochrane Society working within the health field; and the Campbell Collaboration working within the fields of social welfare, education and criminology. Both collaborations subscribe to the idea of producing globally valid knowledge about the effects of interventions, if possible through synthesizing the results of primary studies designed as RCTs and using meta-analysis as the form of syntheses. In many (western) countries second-order knowledge-producing organizations have been established at the national level that not all are based on findings from RCT´s. Hansen & Rieper (in press) present information about some 15 of them, including web-addresses. See Meerjarenprogramma ‘Effecten van toezicht’, versie 20081118

56 van 64

appendix …. Knowledge repositories & development The report ‘When will we ever learn’ documents several ‘knowledge repositories’. We quote from the report and refer to some of them (pp.58 ff). The Coalition for Evidence-Based Policy offers “Social Programs That Work,” a Web site providing policymakers and practitioners with clear, actionable information on what works in social policy, as demonstrated in scientifically valid studies. [www.evidencebasedprograms.org/]. The International Organization for Cooperation in Evaluation (IOCE), a loose alliance of regional and national evaluation organizations from around the world, builds evaluation leadership and capacity in developing countries, fosters the cross-fertilization of evaluation theory and practice around the world, addresses international challenges in evaluation, and assists the evaluation professionals to take a more global approach to identifying and solving problems. It offers links to other evaluation organizations; forums that network evaluators internationally; news of events and important initiatives; and opportunities to exchange ideas, practices, and insights with evaluation associations, societies, and networks. [http://ioce.net]. The Abdul Latif Jameel Poverty Action Lab (J-PAL) fights poverty by ensuring that policy decisions are based on scientific evidence. Located in the Economics Department at the Massachusetts Institute of Technology, J-PAL brings together a network of researchers at several universities who work on randomized evaluations. It works with governments, aid agencies, bilateral donors, and NGOs to evaluate the effectiveness of antipoverty programs using randomized evaluations, disseminate findings and policy implications, and promote the use of randomized evaluations, including by training practitioners to carry them out. [www.povertyactionlab.com/].


57 van 64

Werktitel van het project Doelstelling van het project

Probleemstelling

PROGRAMMERINGSTUDIE: DEEL II DESIGNS EFFECTMETINGEN HANDHAVING EN TOEZICHT Het doel van dit onderzoek is het zoeken naar en presenteren van onderzoeken die op valide wijze effecten van toezicht (of van met toezicht vergelijkbare activiteiten) meten. De zoektocht wordt breed ingezet zodat ook onderzoeken buiten het toezichtdomein worden meegenomen. • • • •

Beleidscontext

Welke intern valide effectonderzoeken gaan over handhaving en toezicht, welke designs zijn gebruikt en wat zijn de uitkomsten? Welke intern valide effectonderzoeken hebben een raakvlak met de wereld van handhaving en toezicht? Welke andere (minder intern valide) onderzoeken hebben een raakvlak met de wereld van handhaving en toezicht en dragen bij aan kennis over effectiviteit? Hoe zouden deze onderzoeken kunnen worden uitgevoerd door toezichthouders en handhavers?

Inleiding Achtergrond Interventies Wantrouwen versus vertrouwen Zie studie 1 Designs om effectiviteit te bepalen In deze startnotitie hebben we verschillende toezichtstijlen besproken en zijn we ingegaan op de sanctierijkdom van de Nederlandse toezichthouders. We zijn echter geïnteresseerd in hoeverre stijlen en sancties zorgen dat onder toezichtgestelden zich (beter) aan de regels houden of nog breder gesteld, wat het maatschappelijke effect van de toezicht- en handhavingsactiviteiten is. Wie de vraag naar de (maatschappelijke) effecten van handhaving en toezicht stelt, stelt in directe of in afgeleide zin, een causaliteitsvraag. In welke mate verscherpt toezicht op onder de maat presterende onderwijsinstellingen leidt tot (of bijdraagt aan) verbetering van de onderwijskwaliteit of in welke mate het scherper ‘on site’ controleren van vliegtuigen leidt tot (of bijdraagt aan) een veiliger luchtvaart. Om dit type vragen te kunnen beantwoorden is kennis nodig over de counterfactual: ‘wat zou er gebeurd zijn (met die scholen en vliegtuigen ) als er geen (verscherpt) toezicht enz was geweest?’ Op twee manieren kan de counterfactual gekend worden. De eerste manier is door gebruik te maken van redeneringen of theorieën die ‘aangeven’ ‘what would have happened anywhere’. De tweede manier is door een evaluatieonderzoek zo in te richten dat de counterfactual ‘gesimuleerd wordt’. Dat kan via het (quasi-)experimentele design, omdat een goed gekozen controlegroep handelt ‘alsof er geen beleids- of inspectie-interventie is geweest’. Het belangrijkste voordeel van een (quasi) experimenteel design is de hoge mate van interne validiteit. In de internationale literatuur over evidence-based policymaking en what works worden effectonderzoeken wel geschaald op een vijfpuntsschaal, die bekend staat als de Maryland Scientific Methods Scale (MSMS). Hoe hoger de MSMS-score, des te adequater het design en de interne validiteit van het onderzoek en daarmee de waarschijnlijkheid dat een gevonden verschil in uitkomsten aan de onderzochte interventie kan worden toegeschreven. De SMS kent vijf niveaus die we hieronder kort zullen beschrijven:


58 van 64

MSMS Niveau 1 -Onderzoek waarbij de aanwezigheid van een interventie wordt gecorreleerd aan de totale omvang van bijvoorbeeld compliance in een groep; 2 -Onderzoek met een voor- en een nameting, zodat kan worden bepaald of er sprake is van een verschil, bijvoorbeeld in het nalevingsniveau; 3 -Onderzoek met een voor- en een nameting, zodat kan worden bepaald of er sprake is van een verschil. De uitkomst wordt vervolgens vergeleken met die van een controlegroep die niet is blootgesteld aan de interventie; 4 -Onderzoek met voor- en nameting en een controle groep (zoals in 3), waarbij bovendien wordt gecontroleerd voor relevante andere verschillen tussen beide groepen; 5 -Onderzoek met voor- en nameting en een controle groep (zoals in 3), waarbij de toewijzing van subjecten aan de onderzoeks- of controlegroep volstrekt willekeurig geschiedt (at random). Uitgebreid wordt de MSMS gebruikt in evaluaties van de effecten van justitiële maatregelen (Welsh & Farrington, 2006), onderwijs (Cook, 2003) en verschillende andere beleidsvelden (vgl. Campbellcollaboration.org). Overigens wijzen Pawson en Tilley (1997) erop dat, om te begrijpen waarom iets een effect heeft of niet, aandacht voor de aan de interventie ten grondslag liggende ‘theorie’, wezenlijk is. Daarom besteden we in de andere startnotitie aandacht aan gedragsmechanismen die geactiveerd (dienen te) worden door inspecteurs en toezichthouders. Deze opdracht In deze opdracht dient gezocht te worden naar (effectiviteits)onderzoeken met een redelijke tot hoge mate van interne validiteit (MSMS 3+). Naast een MSMS score van 3+ is er het zogenaamde matching-criterium. Hiermee bedoelen we dat de onderzoeken die worden gepresenteerd op enige wijze matchen met de wereld van handhaving en toezicht. De zoektocht moet namelijk breed ingezet worden omdat het aantal MSMS 3+ effectevaluaties op het gebied van toezicht zeer beperkt is. Matchingcriteria zijn bijvoorbeeld: -

Het onderzochte werkveld vertoont gelijkenis met het werkveld van een inspectie; Onderzochte subjecten zijn vergelijkbaar met bepaalde (groepen) onder toezichtgestelden; Onderzochte instrumenten (zoals bijv. boetes) zijn ook van belang voor de toezichtwereld.

Een belangrijke doelstelling van deze studie is om te laten zien dat valide effectonderzoek wel degelijk kan. Vervolgens moet duidelijk worden gemaakt hoe dit type onderzoek te organiseren en uit te voeren. Daarnaast dient gezocht te worden naar onderzoeken die kunnen bijdragen aan de beantwoording van de effectiviteitsvraag. Hiermee bedoelen we onderzoeken met een lagere score op de MSMS-schaal (1 en 2). Gedacht kan worden aan conjoint-achtige onderzoeken waarin de counterfactual gesimuleerd wordt. Weliswaar wordt het echte effect hiermee niet aangetoond, wel wordt inzichtelijk gemaakt in welke mate relevante kenmerken van invloed zijn op het gedrag van toezichthouders of onder toezichtgestelden. Een voorbeeld is het onderzoek Fraude in Beeld dat door onderzoekers van de Bijzondere Opsporingsdiensten is uitgevoerd in 2007. Maar ook het onderzoek van Lomwel en Nelissen naar omgevingseffecten op het handhavinggedrag van gemeenteambtenaren is een voorbeeld van nuttig onderzoek met een lagere MSMS-score. Onderzoeksvragen en

Algemeen gesproken dienen de onderstaande onderzoeksvragen te worden


59 van 64

Toelichting

beantwoord. Zoektocht naar effectevaluaties? 1. Welke intern valide (MSMS3+) effectonderzoeken gaan over handhaving en toezicht? 2. Welke intern valide (MSMS3+) effectonderzoeken hebben een raakvlak met de wereld van handhaving en toezicht? 3. Op welke wijze zijn de geselecteerde uitgevoerd, welk designs zijn gebruikt en wat zijn de uitkomsten? 4. Hoe zouden onderzoeken uit andere disciplines kunnen worden uitgevoerd in het veld van handhaving en toezicht?

Spelen theorieën een rol in het onderzoek? Zo ja: welke? Methoden en technieken (voorzien gebruik van statistische tools) Gevraagde producten en/of diensten (inclusief wijze van kennisoverdracht)

Zoektocht naar andersoortig onderzoek dat bijdraagt aan de beantwoording van de effectiviteitsvraag 5. Welke andere onderzoeken (MSMS 1 en 2) hebben een raakvlak met de wereld van handhaving en toezicht en dragen bij aan kennis over effectief toezicht? 6. Op welke wijze zijn deze uitgevoerd, welk designs zijn gebruikt en wat zijn de uitkomsten? 7. Hoe zouden deze onderzoeken kunnen worden uitgevoerd door toezichthouders? Ja, zie bovenstaande tekst.


Rapport

Benodigde expertise



Extern



-

Voor dit onderzoek formeert het WODC een leescommissie bestaande uit vertegenwoordigers van WODC, ERR, Iraad en een externe expert op het gebied van toezicht. Systematic research reviews A systematic review is a literature review usually focused on a single question which tries to identify, appraise, select and synthesize all high quality research evidence relevant to that question. It: • addresses a clearly formulated question • uses systematic and explicit methods to identify, select and critically appraise relevant research • uses systematic and explicit methods to collect and analyze data from the studies that are included in the review • Statistical methods (meta-analysis) may or may not be used to analyze and summarize the results of included studies which are considered similar enough to combine.


60 van 64

Organizations like the Campbell Collaboration and the Cochrane Society produce systematic reviews. The Campbell Collaboration produces them of the effects of social interventions, ranging from crime and justice to social welfare. In a systematic review, relevant prior evaluation studies are collected and then subjected to a critical evaluation in order to provide an answer to the question which programs work (best). Petrosino et al. (2001) describe the criteria the Campbell Collaboration applies to systematic reviews. Such studies must contain detailed information on the research process, including the research question(s), the methods used when searching for and screening studies, and the criteria to be met for studies to be included. A systematic review also details how analyses were done and how conclusions were reached. Emphasis is placed on the importance of assessing the strength of research evidence when reviewing knowledge about the effects of social and behavioral interventions and programs. The point is stressed that not all evaluation designs are created in the same manner as a result of which some designs do not allow for inferring cause and effect while others do. Whether a meta-analysis is part of a systematic review or not, systematic reviews are reviews in which rigorous methods are employed to summarize, analyze, and combine study findings (Petrosino et al., 2001). Petrosino et al. (2001: 20) note, “The foremost advantage of systematic reviews is that when done well and with full integrity, they provide the most reliable and comprehensive statement about what works.” However, Petticrew (2003) discusses the limitations of this approach as and when the practical relevance of systematic reviews is taken into account. He makes the point that due to Rossi’s (1987) stainless steel law of evaluation and his iron law of evaluation (which states that the expected value of any impact assessment of any large scale social program is zero) policy-makers using systematic reviews in their decision making processes, are not or only in a restricted way confronted with insights from narrative reviews and observational studies. This might jeopardize utilization and subsequently the policy-making process. Knowledge repositories in general Hansen & Rieper (in press) have inventoried a number of what they call (secondorder) evidence-producing Organizations within the social (and behavioral) sciences. In recent years the production of systematic reviews has been institutionalized in these institutions. There are two main second-order knowledge-producing international organizations: the Cochrane Society working within the health field; and the Campbell Collaboration working within the fields of social welfare, education and criminology. Both collaborations subscribe to the idea of producing globally valid knowledge about the effects of interventions, if possible through synthesizing the results of primary studies designed as RCTs and using meta-analysis as the form of syntheses. In many (western) countries second-order knowledge-producing organizations have been established at the national level that not all are based on findings from RCT´s. Hansen & Rieper (in press) present information about some 15 of them, including web-addresses.


61 van 64

Werktitel van het project

PROGRAMMERINGSTUDIE: DEEL III SYNTHESE

Doelstelling van het project

Het doel van deze studie is het ontwikkelen van een kennisbank waarin de resultaten uit het onderzoek naar gedragsmechanismen (deelIa&b) en uit het onderzoek naar designs (deelII) systematisch worden gepresenteerd. Tegelijkertijd dienen de uitkomsten bij te dragen aan de formulering van een onderzoeksprogramma. Coördinatie en begeleiding van de extern uit te voeren onderdelen tenslotte, behoort ook tot deze opdracht.

Probleemstelling

• Welke resultaten uit studie 1 en 2 komen in aanmerking voor een plek in de kennisbank? • Welke relevante kennis wordt nog gemist en hoe kan deze worden gegenereerd? • Welke studies komen in aanmerking voor een plek in de onderzoeksprogrammering?

Beleidscontext

Inleiding Bij verschillende overheidsorganisaties leeft de behoefte aan meer wetenschappelijke kennis over toezicht en handhaving en de naleving van regelgeving. Ook in de (internationale) wetenschappelijke literatuur over handhaving en de (effecten van) handhaving en toezicht wordt geconstateerd dat er (te) weinig valide en betrouwbaar onderzoek wordt gedaan naar handhaving en toezicht en de effectiviteit ervan. Om het gedragswetenschappelijk onderzoek op dit domein te bevorderen, is in 2005 het interdepartementale onderzoeksproject Handhaving en gedrag gestart. In 2008 is besloten tot een professionalisering van het onderzoeksprogramma door op basis van een uit te voeren programmeringsstudie een Meerjarenprogramma Handhaving en Gedrag op te stellen. Hiermee kan het project beter aansluiten bij wat er bij de deelnemende organisaties aan onderzoeksvragen leeft en kan er meer continuïteit worden verkregen in de onderzoeksflow. Binnen de Inspectieraad leeft ook al enkele jaren de ambitie om meer inzicht te verkrijgen in de effecten van handhaving en toezicht. Effectmeting staat bij alle rijksinspecties evenwel nog in de kinderschoenen. Om een impuls te geven aan het effectonderzoek heeft de Inspectieraad in 2008 de werkgroep ‘Evaluatie effecten van toezicht’ gestart. Doel van het programma van de werkgroep ‘Evaluatie effecten van toezicht’ is de toezichtpraktijk te verbeteren door gebruik te maken van resultaten van (wetenschappelijk) onderzoek van de toezichtpraktijk en de effecten ervan. Hiertoe zal onder meer een meerjarenplanning worden opgesteld voor de Inspectieraad. Deze startnotitie is geschreven t.b.v. de aanbesteding van de programmeringstudie en dient bij te dragen aan de opzet van een (wetenschappelijk) onderzoeksprogramma voor het meerjarenprogramma Handhaven en Gedrag en het meerjarenprogramma Evaluatie effecten van toezicht. Deze opdracht De programmeringstudie bestaat uit drie delen. Het eerste deel van de studie gaat over designs en best practices die gebruikt kunnen worden om effecten van handhaving en toezicht aan te tonen. Een tweede onderdeel gaat over gedragsmechanismen die ten grondslag liggen aan (effectief) handhaving en toezicht en inspectie. In dit onderdeel worden de resultaten van deel 1 en 2 bij


62 van 64

elkaar gebracht. Dit moet leiden tot een tweetal producten: • •

Een kennisbank waarin de resultaten systematisch worden gepresenteerd; Een onderzoeksprogrammering voor de komende jaren.

Naast het bijeenbrengen van resultaten dienen de bovengenoemde (extern uit te besteden) studies begeleid en gecoördineerd te worden. In de onderstaande figuur zijn de te volgen stappen schematisch weergegeven. Ext.

Ext.

Studie 1: Gedragsmechanismen

WODC

Kennisbank

Studie 3: Coördinatie & synthese

Studie 2: Effectiviteit en design

Kennislacunes & best practices (buiten de toezichtwereld)

WODC Iraad ERR

Onderzoeksprogrammering

Studie 4 Studie 5 Studie 6 Studie n

Studie 1: zie startnotitie Gedragsmechanismen handhaving en toezicht Studie 2: zie startnotitie Designs effectmetingen handhaving en toezicht Studie 3 Een belangrijk doel van deze studie is het bij elkaar brengen en overzichtelijk presenteren van de resultaten uit studie 1 en 2. Hiervoor is coördinatie van werkzaamheden die worden uitgevoerd door externe partijen essentieel. Resultaten die direct van toepassing zijn op de handhavings- en toezichtspraktijk komen in aanmerking voor een plek in de kennisbank. Dit is een overkoepelende rapportage waarin kennis over gedragsmechanismen, onderzoeksdesigns en effectieve interventies overzichtelijk gepresenteerd worden. Naast direct bruikbare kennis zullen studies 1 en 2 de nodige kennislacunes aan het licht brengen. Sommige onderwerpen of fenomenen zullen nader onderzocht moeten worden om in aanmerking te komen voor een plek in de kennisbank. Ook zullen er studies zijn die weliswaar iets zeggen over effectiviteit, maar die net te ver afstaan van de handhaving en toezichtwereld en derhalve om nader onderzoek vragen. Tenslotte zullen er onderzoeksdesigns worden gevonden die succesvol zijn toegepast binnen andere disciplines maar die ook geschikt zijn om door een inspectie gebruikt te worden. Door nu ook informatie bijeen te brengen over dit soort kennistekorten ontstaat er een degelijke basis om tot een meerjarige onderzoeksprogrammering te komen die voorziet in antwoorden op fundamentele vragen. Studies uit de programmering (studie 4-n in de figuur) leveren vervolgens weer resultaten op die opgenomen kunnen worden in de kennisbank. Onderzoeksvragen en Toelichting

Algemeen gesproken dienen de onderstaande onderzoeksvragen te worden beantwoord. Zoektocht naar effectevaluaties? 1. Welke resultaten uit studie 1 en 2 komen in aanmerking voor een plek in de kennisbank? 2. Welke relevante kennis wordt nog gemist en hoe kan deze worden gegenereerd?


63 van 64

3. Welke studies komen in aanmerking voor een plek in de onderzoeksprogrammering?

Spelen theorieën een rol in het onderzoek? Zo ja: welke?

Ja, zie startnotitie 1 en 2.

Methoden en technieken (voorzien gebruik van statistische tools)


Gevraagde producten en/of diensten (inclusief wijze van kennisoverdracht)

Rapport, presentatie en programmering

Benodigde expertise



Intern (WODC- EWB)


-

Voor dit onderzoek formeert het WODC een leescommissie bestaande uit vertegenwoordigers van WODC, ERR, I-raad en een externe expert op het gebied van handhaving en toezicht.



64 van 64

Meerjarenprogramma Effecten van toezicht

Recommend Documents