Toezicht en effectmeting: het kàn!

faculteit rechtsgeleerdheid

vakgroep bestuursrecht en bestuurskunde

Datum 05.11.2009

Toezicht en effectmeting: het kàn!

Heinrich Winter  Ko de Ridder 



Datum 05.11.2009

Waarom weerstand tegen het meten van de effecten van toezicht? Angst voor de principaal:   • “De opdrachtgever zit niet te wachten op rapportages  over ‘ineffec>ef’ optreden”  • “De opdrachtgever wil dat de incidenten en de grote  risico’s worden aangepakt”  • Toezicht zou vanzelfsprekend moeten zijn 



Datum 05.11.2009

Waarom zou je het als inspectie toch moeten willen? • Intern: kwaliteit van werken   The reflec(ve prac(oner: een goede inspecteur gaat  weloverwogen te werk   Evidence based policy: een goede inspecteur werkt  op basis van bewezen inzichten  • Extern: verantwoording naar publiek en poli>ek   Verhelder beoogde maatschappelijke outcome   Maak meerwaarde toezicht inzichtelijk



Datum 05.11.2009

Wat wordt er gedaan • ‘Leidraad Effectme>ng bij Inspec>es’ (2005)  • Monitor Effectme>ng (2007): effectme>ng is worsteling  • Pilots komen maar moeizaam van de grond (2009) 



Datum 05.11.2009

Wat is er zo moeilijk aan het meten van de effecten van toezicht? • • • • • •

Meetproblemen  Causaliteit vaststellen  Effecten van regels en effecten van toezicht  Werkelijkheidswaarde van experimenten  Effectme>ng is duur en >jdrovend  (…) 



Datum 05.11.2009

Literatuurreview effectief toezicht • Uit de literatuur: onderzoek verzamelen dat op valide  wijze effecten van toezicht meet  • Onderzoek dat kan bijdragen aan kennis over effec>ef  toezicht  • Doelstelling: wat kunnen we leren van al opgedane  ervaringen?     



Datum 05.11.2009

Onderzoeksverslag: ‘Toezicht en Effectmeting. Het kán!’      

Literatuurreview levert 70 effectstudies op (bibliotheek)  Niet uitpu\end…  Diverse beleidsterreinen…  Interna>onaal…  Vanaf medio jaren negen>g  Meeste onderzoek op MSMS‐3 niveau 

 Analyse en Handreiking 



Datum 05.11.2009

Analyse researchsynthese (1) • Onderscheid nalevingseffecten / maatschappelijke  effecten   Maatschappelijke effecten (outcomes) moeilijker te  meten (voorbeeld: ‘transparante aandelenhandel’)   Onderzoek van outcomes vaak >jdrovend en/of  duurder   Beoogde maatschappelijke effecten soms onbekend   Regelma>g is bevorderen naleving het enige doel.  Voorbeeld : belas>ngbetaling conform de regels   Bijna ½ nalevingseffecten; ¼ outcomes; ¼ combina>e 



Datum 05.11.2009

Analyse researchsynthese (2) • Uitspraken over effec>viteit in termen van ‘succes’ van het  toezicht behoeven scherpe doelstellingen. Die zijn echter  veelal kwalita>ef geformuleerd   ‘meer schelpdieren’ (studie nr. 9)   ‘betere Cito‐scores’ (studie nr. 34)   ‘vermindering onveiligheidsgevoelens’ (studie nr. 3)  • Uitspraken over succes/falen toezichtsinterven>e vergt  scherp geformuleerde doelstelling of hypothese  • Opera>onalisering ‘vage’ doelstellingen soms nodig 



Datum 05.11.2009

Analyse researchsynthese (3) • Hoe zijn effecten van normstelling en effecten van toezicht  te scheiden?  • Is causaliteitsvraag die door toepassing van met/zonder  design kan worden beantwoord (voorwaarde voor  MSMS‐3)  • Sommige studies gaan over effecten van regelgeving   Voorbeeld (1): studies op terrein Economie &  Financiën (nrs. 48‐52)   Voorbeeld (2): studie nr. 39 naar nieuwe manier van  toezicht voedselveiligheid; geen met/zonder me>ng,  mogelijk causale samenhang met gewijzigde regels 



Datum 05.11.2009

Analyse researchsynthese (4) • Samenstelling onderzoeksgroep en controlegroep   At random toewijzing? MSMS‐5; voorbeeld: studie nr. 61, handhaving verkoop tabak aan jongeren in NY   Idem (studie nr. 70) 4.500 par>culiere  belas>ngbetalers ontvingen at random brieven met  uiteenlopend verwoorde boodschap   Bij verkeersveiligheidsstudies: verkeersdeelnemers  verdelen zich at random; maar probleem is constant  houden andere variabelen op controletracé  (verkeersintensiteit, fysieke kenmerken wegvak, %  overtredingen voorafgaand aan interven>e)



Datum 05.11.2009

Analyse researchsynthese (5) • In de studies: veelheid aan toezichtsinterven>es   Van communica>e tot handhaving   Communica>e komt vaak voor   Veelal is sprake van een interven>emix   Afzonderlijke effecten dan las>g meetbaar!  ‐ voorbeeld: VWA onderzoek naleving  hygiënevoorschrisen Chinese restaurants  • Verschillende soorten onderzoek (veelal kwan>ta>ef)   Veelal gebruik van bestaande databestanden   Soms aanvullend kwalita>ef onderzoek (nrs. 15, 20, 23) 



Datum 05.11.2009

Elementen handreiking 1.  2.  3.  4.  5.  6.  7. 

‘Hou het eenvoudig’  Formuleer verwach>ngen (of beter nog) beleidstheorie  Belang van inbedding in toezichtstrategie  Betekenis van (aanvullend) kwalita>ef onderzoek  Tijdreeksme>ng in plaats van ex ante onderzoek  Samenstelling controlegroep  Let op neveneffecten 



Datum 05.11.2009

Handreiking 1: Hou het eenvoudig! (1) • Begin met onderzoek naar nalevingseffecten   Voorbeeld (1): onderzoek verkeersveiligheid (zitjes  voor peuters, nr. 37)    Voorbeeld (2): onderzoek voedselveiligheid  (hygiëneme>ngen in Chinese restaurants, nr. 38)  • In veel gevallen alsnog uit te breiden met cijfers over  atankelijke variabele (ongevalsslachtoffers; cijfers over  voedselvergisigingen) 



Datum 05.11.2009

Handreiking 1: Hou het eenvoudig! (2) • Maak zoveel mogelijk gebruik van al bestaande databases   Voorbeeld (1): vaak al gegevens bij inspec>es  (onderzoek Cito‐scores, nr. 34)   Voorbeeld (2): soms zijn gegevens elders  (arbeidsongevallen, nrs. 63‐67)  • Begin met (rela>ef) eenvoudige verbanden   Voorbeeld (1): veiligheid rolstoelvervoer (IVW, nr .29)   Voorbeeld (2): voedselveiligheid bij de Chinees, VWA  onderzoek, nr. 38 



Datum 05.11.2009

Handreiking 2: Formuleer verwachtingen • Reconstruc>e beleidstheorie, maar vaak complex   Voorbeeld (1): evalua>e Wet onderwijstoezicht (…) 


A1: Interne kwaliteitszorg -> zelfbeeld


A5: Als scholen zich verantwoorden aan Datum 05.11.2009 Theorie Goed Onderwijsbestuur inspectie zal zij het toezicht daarop afstemmen A2: Ouders gebruiken verantwoording om kwaliteit te beïnvloeden

A3: Intern en extern toezicht -> kwaliteitsverbetering A4: Intern toezicht is professioneel, onafhankelijk en dient het algemeen belang



Datum 05.11.2009

Handreiking 2: Formuleer verwachtingen • Reconstruc>e beleidstheorie, maar vaak complex   Voorbeeld (1): evalua>e Wet onderwijstoezicht (…)   Voorbeeld (2): effec>viteit toezicht vrachtvervoer US,  ‘Saved Lives’  (nr. 28); effec(veness model  



Datum 05.11.2009

Onderzoek veiligheidsinspecties op vrachtvervoer: EFFECTIVITEITSMODEL



Datum 05.11.2009

Handreiking 2: Formuleer verwachtingen • Reconstruc>e beleidstheorie, maar vaak complex   Voorbeeld (1): evalua>e Wet onderwijstoezicht (…)   Voorbeeld (2): soms toch goed mogelijk, studie ‘Saved  Lives’, nr. 28; effec(veness model   • Formuleer verwach>ngen over enkelvoudige verbanden   Voorbeeld (1): onderzoek ‘Ezelsoor’ (nr. 9)   Voorbeeld (2): onderzoek spaarbanken (nr. 45) 



Datum 05.11.2009

Handreiking 3: Inbedding in toezichtstrategie • Sluit aan bij dagelijkse werkzaamheden   Voorbeeld: IVW onderzoek naar inspec>e  rolstoelvervoer; intensiteit inspec>e structureel  onmogelijk (nr. 29)  • Pas op voor onderzoekseffecten   Voorbeeld: monitoring tabakverkoop aan jongeren in  New York; 319 verkoopadressen onder de loep;  winkelketen werd gealarmeerd (nr. 61) 



Datum 05.11.2009

Handreiking 4: Doe ook kwalitatief onderzoek • Aanvullend gebruik ten opzichte van kwan>ta>eve  methoden   Interpreteren bepaalde gevonden verbanden door  interviews of casestudy’s (studies nrs. 15, 20, 23);  voorbeeld: handhaving in Israel (nr. 15) op bepaalde  wegen wel effec>ef; verkeersdeelnemers misten soms  aanslui>ng met publiciteitscampagnes     Verklarend casestudy design kan ook waardevolle  informa>e opleveren; onderzoek in Groningen naar  effec>viteit bestuurs/strafrechtelijke milieuhandhaving 



Datum 05.11.2009

Handreiking 5: Tijdreeksmeting kan soms ook • Vaak ontbreek ex ante me>ng   In veel studies gezocht naar alterna>ef in de vorm van  me>ngen in een >jdreeks (nrs. 17, 35, 42, 59, 60 en 65)   Voorbeeld volksgezondheidsonderzoek: lopend  onderzoek UM (nr. 59) naar lokale aanpak drankgebruik  jongeren < 16, 3 gemeenten met/zonder; me>ngen op  3 momenten   • Uiteraard dan ook aanvullen met onderzoek bij  controlegroep! 



Datum 05.11.2009

Handreiking 6: Samenstelling onderzoeksgroep en controlegroep • At random (MSMS‐5)   Voorbeeld: onderzoek verkoop tabak  minderjarigen; NY (nr. 62): toezichtsinterven>e at  random over 152 winkels toegedeeld  • Gecontroleerd (MSMS‐4)   Voorbeeld: onderzoek cameratoezicht en  criminaliteit; (nr. 1): 13 gebieden; controlegebieden  gecontroleerd op fysieke en demografische  kenmerken  • Quasi‐experimenteel (MSMS‐3) 



Datum 05.11.2009

Handreiking 7: Let op neveneffecten • Moral hazard: door interven>e of rechtstreeks door  normstelling nemen onder toezicht gestelden bepaalde  maatregelen, maar ze veranderen ook gedrag, waardoor  het effect wordt ondermijnd   houd hiermee rekening bij het opze\en van het  onderzoek, bijvoorbeeld door aanvullende data te  verzamelen   voorbeeld: bestuurders die autogordels gebruiken,  rijden roekelozer; enquête onder bestuurders bij  onderzoek naar gebruik autogordels (nr. 23)


vakgroep bestuursrecht

Datum 06.04.2009

Bedankt voor uw aandacht

Toezicht en effectmeting: het kàn!

Recommend Documents