faculteit rechtsgeleerdheid
vakgroep bestuursrecht en bestuurskunde
Datum 05.11.2009
Toezicht en effect: waarom en hoe Heinrich Winter Ko de Ridder Pro Facto JURIDISCH EN BESTUURSKUNDIG ONDERZOEK EN ADVIES
faculteit rechtsgeleerdheid
vakgroep bestuursrecht en bestuurskunde
Datum 05.11.2009
Waarom onderzoek naar effectiviteit van toezicht? (Waar hep dat nou voor nodig?)
•Bijna-rampen: institutionele vanzelfsprekendheid? •De ARK en onze belastingcenten: doelmatige aanwending van middelen? •Van de secretaris-generaal en de fietsenmaker: draagvlak?
faculteit rechtsgeleerdheid
vakgroep bestuursrecht en bestuurskunde
Datum 05.11.2009
Waarom weerstand tegen het meten van de effecten van toezicht?
Angst voor de principaal: •“De opdrachtgever zit niet te wachten op rapportages over ‘ineffectief’ optreden” •“De opdrachtgever wil dat de incidenten en de grote risico’s worden aangepakt” •Toezicht zou vanzelfsprekend moeten zijn
faculteit rechtsgeleerdheid
vakgroep bestuursrecht en bestuurskunde
Datum 05.11.2009
Waarom zou je het als inspectie zelf moeten willen?
•Kwaliteit van werken: • The reflective practioner: een goede
inspecteur gaat weloverwogen te werk • Evidence based policy: een goede
inspecteur werkt op basis van bewezen inzichten
faculteit rechtsgeleerdheid
vakgroep bestuursrecht en bestuurskunde
Datum 05.11.2009
en… waarom is onderzoek naar effectiviteit van toezicht onvermijdelijk? •Is het bestaan van de inspecties ‘zelfevident’ •Hoe lang is de motie-Aptroot geleden? •Wat verwacht u voor positiefs van het werk van de twintig bezuinigingswerkgroepen? Stelling: er is geen alternatief
faculteit rechtsgeleerdheid
vakgroep bestuursrecht en bestuurskunde
Datum 05.11.2009
Wat wordt er gedaan • ‘Leidraad Effectmeting bij Inspecties’ (2005) • Monitor Effectmeting (2007): effectmeting is worsteling • Pilots komen maar moeizaam van de grond (2009)
faculteit rechtsgeleerdheid
vakgroep bestuursrecht en bestuurskunde
Datum 05.11.2009
Wat is er zo moeilijk aan het meten van de effecten van toezicht? •Meetproblemen •Causaliteit vaststellen •Effecten van regels en effecten van toezicht •Werkelijkheidswaarde van experimenten •Effectmeting is duur en tijdrovend
faculteit rechtsgeleerdheid
vakgroep bestuursrecht en bestuurskunde
Datum 05.11.2009
Literatuurreview effectief toezicht • Uit de literatuur: onderzoek verzamelen dat op valide wijze effecten van toezicht meet • Onderzoek dat kan bijdragen aan kennis over effectief toezicht • Doelstelling: wat kunnen we leren van al opgedane ervaringen? Samenwerking onderzoeksbureau Pro Facto en vakgroep Bestuursrecht en Bestuurskunde RuG
faculteit rechtsgeleerdheid
vakgroep bestuursrecht en bestuurskunde
Datum 05.11.2009
Onderzoek I Inspectie Verkeer en Waterstaat VEILIG ROLSTOELVERVOER oktober 2008 / mei 2009
faculteit rechtsgeleerdheid
vakgroep bestuursrecht en bestuurskunde
Datum 05.11.2009
Onderzoek veilig rolstoelvervoer: OPZET • •
•
•
Onderwerp: rolstoelvervoer in taxibusjes Twee onderzoeksgroepen: ‘t Gooi’ en ‘Aan Zee’ - 5 inspecties in 15 weken; - 4 inspecties in 18 weken Twee controlegroepen: ‘In Noord’ en ‘In Zuid’ - met controles aan het begin en eind - van 21 resp. 18 weken Gemeten effect: verbetering naleving - van 71% naar 100% in onderzoeksgroepen; - van 72% naar 78% in controlegroepen
faculteit rechtsgeleerdheid
vakgroep bestuursrecht en bestuurskunde
Datum 05.11.2009
Onderzoek Veilig rolstoelvervoer: RESULTATEN Verbetering naleving:
van 71% naar 100% in onderzoeksgroepen; van 72% naar 78% in controlegroepen
faculteit rechtsgeleerdheid
vakgroep bestuursrecht en bestuurskunde
Datum 05.11.2009
Onderzoek veilig rolstoelvervoer: ANDERE BEVINDINGEN • • •
• •
Zichtbaarheid is van belang: twee of meer inspecteurs; tijdens de spits; fuikopstelling Goede introductie bij chauffeur; visuele en fysieke inspectie Focus de controle: spits toe op eisen voor rolstoelvervoer, niet op andere eisen aan de taxi Bij overtreding: waarschuwing of p-v Ritme is van belang: 2 tot 3 inspecties in twee maanden; dan drie tot vier maanden niet
faculteit rechtsgeleerdheid
vakgroep bestuursrecht en bestuurskunde
Datum 05.11.2009
Onderzoek veilig rolstoelvervoer: METHODISCHE ASPECTEN • • • •
Welk effect is gemeten? nalevingsgedrag Verband met optreden inspectie aangetoond Verband tussen naleving en veiligheid is plausibel Verband tussen mate van naleving en aantallen slachtoffers is onbekend
faculteit rechtsgeleerdheid
vakgroep bestuursrecht en bestuurskunde
Datum 05.11.2009
Onderzoek veilig rolstoelvervoer: BEPERKINGEN EN AANPASSINGEN •
Integrale toepassing van de onderzochte interventies a-typisch en kostbaar • Remedie: (ook) bedrijfsgerichte interventies
•
Maatschappelijk effect (baten) onduidelijk “Zware ongevallen” in het verleden baten zijn in beginsel wel vast te stellen
faculteit rechtsgeleerdheid
vakgroep bestuursrecht en bestuurskunde
Datum 05.11.2009
Onderzoek II Voedsel- en Warenautoriteit HYGIENEVERBETERING CHINESE (AFHAAL)RESTAURANTS quasi-experiment 2003 - 2005
faculteit rechtsgeleerdheid
vakgroep bestuursrecht en bestuurskunde
Datum 05.11.2009
Onderzoek Chinese (afhaal)restaurants: OPZET •Aanleiding: structurele problemen met hygiëne in Chinese restaurants; interventies geen blijvend effect; verklaring: deels kennisgebrek bij doelgroep •Interventie: bedrijfsspecifieke handhavingscommunicatie en handhaving op de items van hygiënemeting •Quasi-experimenteel design: met experimentele groep en controlegroep
faculteit rechtsgeleerdheid
vakgroep bestuursrecht en bestuurskunde
Datum 05.11.2009
Onderzoek Chinese (afhaal)restaurants: OPZET VERVOLG •
Experimentgroep: blootgesteld aan het gehele interventiepakket
•
Controlegroep en experimentgroep beide: blootgesteld aan drie hygiënemetingen - vóór de interventies - na 10 maanden - na 15 maanden monsteronderzoek; enquêtes en deel voorlichting
faculteit rechtsgeleerdheid
vakgroep bestuursrecht en bestuurskunde
Datum 05.11.2009
Onderzoek Chinese (afhaal)restaurants: RESULTATEN
•Bij voormeting geen verschil tussen EG en CG •Bij 2e meting significant verschil tussen EG en CG •Bij 3e meting zelfde verschil tussen EG en CG: effecten op middellange termijn blijven stabiel •Monsteronderzoek: - bakolie over hele linie verbeterd; - aantal bacteriën in bami en nasi niet verminderd • Combinatie van handhaving, voorlichting en opleiding werkt beter dan handhaving alleen
faculteit rechtsgeleerdheid
vakgroep bestuursrecht en bestuurskunde
Datum 05.11.2009
gemiddelde hygiene somscore
Onderzoek Chinese (afhaal)restaurants RESULTATEN
4 3,5 experimentele groep controle groep
3 2,5 2 1e meting
2e meting
middellange termijn
faculteit rechtsgeleerdheid
vakgroep bestuursrecht en bestuurskunde
Datum 05.11.2009
Onderzoek Chinese (afhaal)restaurants: METHODISCHE ASPECTEN •Welk effect is gemeten? Nalevingsgedrag •Verband met totale interventiepakket is aangetoond •Conclusie dat het pakket beter werkt dan handhaving alleen is gebaseerd op vergelijking met 'het verleden’ •Verband tussen naleving en gezondheid consument is ‘plausibel’
faculteit rechtsgeleerdheid
vakgroep bestuursrecht en bestuurskunde
Datum 05.11.2009
Onderzoek III: Road Safety Directorate, Transport Canada/ LONG TERM EFFECTIVENESS OF SELECTIVE TRAFFIC ENFORCEMENT PROGRAMS (STEP) FOR INCREASING SEAT BELT USE Canadees onderzoek naar de handhaving van de verplichting tot het dragen van veiligheidsgordels in auto’s (1984/1985)
faculteit rechtsgeleerdheid
vakgroep bestuursrecht en bestuurskunde
Datum 05.11.2009
Onderzoek Effectiveness of STEP: OPZET •
• •
Eén experimenteerregio: STEP – combinatie van: - veel publiciteit over het handhavingsprogramma - handhaving met focus - voorlichting meerwaarde van de maatregel - training van handhavers en feedback over het effect van het programma Twee controle regio's: geen interventies, wel meten Veronderstelde causale keten: - toename gordeldragers - daling van het aantal ernstig gewonden door auto-ongelukken
faculteit rechtsgeleerdheid
vakgroep bestuursrecht en bestuurskunde
Datum 05.11.2009
Onderzoek Effectiveness of STEP: OPZET VERVOLG •
Voormeting en nameting gordeldragen 6 surveys: observaties bij stoplichten (totaal 32.000)
•
Gecontroleerd voor persoonskenmerken
•
Ongevallencijfers: - doden en zwaargewonden uit bestaande registraties (gewogen naar inwonertal)
faculteit rechtsgeleerdheid
vakgroep bestuursrecht en bestuurskunde
Datum 05.11.2009
Onderzoek Effectiveness of STEP: RESULTATEN •
Toename gebruik met STEP: 14% daling gebruik in controlegroep: 20%
•
Met STEP gebruik toegenomen, ongeacht leeftijd of geslacht
•
Daling ongevallen in experimentregio: 14% Stijging in één controleregio: 1% Tweede controleregio: licht daling (4%)!
faculteit rechtsgeleerdheid
vakgroep bestuursrecht en bestuurskunde
Datum 05.11.2009
Onderzoek Effectiveness of STEP: METHODISCHE ASPECTEN
•
Welk effect is gemeten? Maatschappelijke outcomes: invloed op aantal slachtoffers
•
Effectieve en efficiënte meetmethoden
•
Effectief gebruik bestaande database
faculteit rechtsgeleerdheid
vakgroep bestuursrecht en bestuurskunde
Datum 05.11.2009
Onderzoek IV: John E. Volpe National Transportation Systems Center FMCSA EFFECTIVENESS OF ROADSIDE INSPECTION AND TRAFFIC ENFORCEMENT PROGRAMS Toetsing van een effectiviteitsmodel (2004)
faculteit rechtsgeleerdheid
vakgroep bestuursrecht en bestuurskunde
Datum 05.11.2009
Onderzoek veiligheidsinspecties vrachtvervoer The Federal Motor Carrier Safety Administration (FMCSA), a modal administration within the U.S. Department of Transportation, regulates and supports the Nation's interstate commercial carrier industry. FMCSA's primary mission is to reduce crashes, injuries, and fatalities involving large trucks and buses. In cooperation with our partners and customers, we strive to reduce the large truck fatality rate by 41% from 1996 to 2008. This reduction translates into a rate of 1.65 fatalities in truck crashes per 100 million miles of truck travel. De Inspectie Verkeer en Waterstaat inspireert tot, stimuleert en bewaakt veilige en duurzame water- en transportsystemen.
faculteit rechtsgeleerdheid
vakgroep bestuursrecht en bestuurskunde
Datum 05.11.2009
Onderzoek veiligheidsinspecties vrachtvervoer: OPZET •
Requirements of the Government Performance and Results Act (GPRA, 1993)
•
Doel: vaststellen van effecten van compliance reviews (inspectiebezoeken bij transportbedrijven) op het aantal ongelukken, verkeersdoden en gewonden
•
Meten: inspecteurs voerden 11.000 compliance reviews uit
•
Controlegroep: niet gecontroleerde bedrijven
faculteit rechtsgeleerdheid
vakgroep bestuursrecht en bestuurskunde
Datum 05.11.2009
Onderzoek veiligheidsinspecties op vrachtvervoer: EFFECTIVITEITSMODEL
faculteit rechtsgeleerdheid
vakgroep bestuursrecht en bestuurskunde
Datum 05.11.2009
Onderzoek veiligheidsinspecties op vrachtvervoer RESULTATEN •
Vergelijking ‘crash rate’ na inspectie met ‘crash rate’ in het jaar daarvoor
•
Daling van ‘crash rate’ bij de geïnspecteerde groep in 2004: 21,1%
•
Schattingen van aantal vermeden ongelukken (2.720), voorkomen dodelijke slachtoffers (107) en gewonden (1.899)
faculteit rechtsgeleerdheid
vakgroep bestuursrecht en bestuurskunde
Datum 05.11.2009
Onderzoek veiligheidsinspecties op vrachtvervoer METHODISCHE ASPECTEN • • • • •
Gebruik van "Effectiviteitsmodel” Directe meting: crash rates Indirecte meting: reductie in ongevallen Enorm veel data nodig Maar vooral: een slim model
faculteit rechtsgeleerdheid
vakgroep bestuursrecht en bestuurskunde
Datum 05.11.2009
Leren van effectstudies •Voor vormgeving interventies •Oplossingen voor meetproblemen •Oplossingen voor causaliteitsproblemen •Kosten en baten van effectiviteitsonderzoek
faculteit rechtsgeleerdheid
vakgroep bestuursrecht en bestuurskunde
Datum 05.11.2009
Vormgeving interventies Voorbeelden van generaliseerbare conclusies •
Combinatie interventies (voorlichting; training; massamediale publiciteit; handhaving) is effectief;
•
Zichtbaarheid van de inspectie is relevant
•
Maar: door combinatie van interventies is het effect van afzonderlijke interventies lastig vast te stellen
faculteit rechtsgeleerdheid
vakgroep bestuursrecht en bestuurskunde
Datum 05.11.2009
Meetproblemen • •
Ex-ante meting moet interventievrij zijn Meting controlegroep moet interventievrij zijn
•
Unobtrusive measures kunnen efficiënt en effectief zijn (observaties bij het stoplicht) Veel data zijn vaak al beschikbaar en kunnen gebruikt worden (verkeersongelukken; verkeersovertredingen; doden/gewonden; CITOscores; beursstatistieken)
•
faculteit rechtsgeleerdheid
vakgroep bestuursrecht en bestuurskunde
Datum 05.11.2009
Causaliteitsproblemen •
• • •
Onderzoeken van nalevingseffecten nog redelijk goed mogelijk; maatschappelijke effecten veel lastiger Aanvullend onderzoek naar verband tussen naleving en maatschappelijke effecten mogelijk Niets zo praktisch als een goede theorie; the need for theory-driven evaluation Opstellen beleidstheorie/veronderstellingen over causaliteit wordt gemist
faculteit rechtsgeleerdheid
vakgroep bestuursrecht en bestuurskunde
Datum 05.11.2009
Kosten en baten van effectiviteitsonderzoek • • •
Maak gebruik van bestaande databases Verzin ‘slimme’ waarnemingsmethoden Tevoren geëxpliciteerd causaal model voorkomt ‘missers’ en kostbare reparatie achteraf (Sparrow, The regulatory craft, 2000) “The surprising truth is that when regulators do manage to focus their attention on thorny, persistent and specific problems, and when they devise interventions that work, we often applaud such work as if it were not expected..”
