1
Zicht op Toezicht Effectief toezicht houden, hoe doe je dat?
Rapportage ‘Naar prestaties met effect’ Januari 2005
Voorwoord
Dat toezicht in beweging is hoef ik u als geïnteresseerde lezer nauwelijks meer uit te leggen. Als gevolg van enkele rampen (Volendam, Enschedé) en de maatschappelijke ontwikkelingen met betrekking tot veiligheid, staat toezicht hoog op de politieke en maatschappelijke agenda. Dit geldt ook voor de VWA. Effectiviteit van toezicht, gekoppeld aan het doen naleven van wettelijke regels, was één van de belangrijkste aanleidingen voor de oprichting van de VWA, nu bijna twee jaar geleden. Sinds die tijd is er hard gewerkt om de invulling van onze missie ‘naar zichtbare risicoreductie’ vorm te geven. Een visie op effectief toezicht is ontwikkeld en methoden zijn bedacht waarmee deze visie kan worden omgezet in daden.
Met deze innovatie in het toezicht vullen we als VWA onze verantwoordelijkheid als professioneel toezichthouder in. Als autoriteit, die transparant is in de dingen die zij doet en transparant in de keuzes die zij maakt, zowel naar politiek als maatschappij. Toezicht in beweging, dat zal wel zo blijven. Aan ons allen de uitdaging om de dynamiek in het vak toezicht vorm te geven. Ik hoop en verwacht dat dit eerste deel van de serie ‘Zicht op Toezicht’ u zal boeien en u vooral zal inspireren! Jos Goebbels, Directeur Toezicht VWA Januari 2005
Voor u ligt het eerste deel van een serie uitgaven die zicht geven op het Toezicht door de VWA. Dit eerste deel bevat de VWA-visie over effectief toezicht en geeft enkele handvatten voor de invulling er van. Het tweede deel, “een visie op outcome parameters”, komt binnenkort uit. De komende twee jaar zullen de overige delen verschijnen die voor een deel methoden en instrumenten voor effectief toezicht beschrijven. Daarnaast zullen ook externe ontwikkelingen die betrekking hebben op toezicht een plaats krijgen in deze serie: Zicht op Toezicht.
Rapportage ‘Naar prestaties met effect’
Effectief toezicht houden, hoe doe je dat?
5
Inhoudsopgave
1
Samenvatting
7
2
Leeswijzer
8
3
Inleiding
9
4 4.1 4.1.1 4.1.2 4.2 4.3
Werkwijze pilot Modellen Model 1 Model 2 Ontwikkelthema’s Uitwerking
10 10 10 10 11 11
5 5.1 5.2 5.3 5.3.1 5.3.2
Wat is ‘effectief toezicht’? Effectief Toezicht Effect Toezicht Handhaving in enge zin Handhaving in brede zin
13 13 13 14 15 15
6 6.1 6.2 6.2.1 6.2.2 6.2.3
Effectief toezicht: de praktijk Benaderingen Stappenplannen Procesbenadering Probleemgerichte benadering Overeenkomsten en verschillen
16 16 16 16 17 18
7 7.1 7.2 7.3 7.4 7.5 7.6 7.7
Effectief toezicht: de instrumenten Scope bepalen Prioriteren van wettelijke voorschriften en/of risico’s Meten van naleefniveaus Vaststellen beoogd naleefniveau Doelgroeponderzoek Ontwikkelen van een handhavingstrategie Samenvatting instrumenten en methoden
19 20 20 21 22 24 25 27
8 8.1 8.2
Effect-sturingsmodel (outcome-cockpit) Outcome sturingsmodel Ontwikkeling
28 28 29
9 9.1 9.2 9.3
Vragen en dilemma’s Verandering in de toezichtfunctie Opdrachtgever/opdrachtnemer-relatie Conflicterend met prestatiesturing
30 30 30 30
10
Bevindingen en conclusies
32
11
Aanbevelingen
33
12 A B C
Bijlagen Bijlage: een greep uit lopende initiatieven Bijlage: format toezichtarrangement Bijlage: Enkele toepassingen en ervaringen van deelnemers
34 34 35 36
Effectief toezicht houden, hoe doe je dat?
Rapportage ‘Naar prestaties met effect’
1 Samenvatting
In de periode 2002-2004 vond binnen de VWA een pilot effectief toezicht plaats. Hierbinnen onderzochten we of en zo ja hoe sturing van het toezicht gericht op effecten, in plaats van op handelingen alleen, kan plaatsvinden. Benadering We kozen voor een bottom-up benadering. Bestaande kennis, inzichten en ervaringen binnen de organisatie zijn benut om stappen richting effectsturing te zetten. Door deze aanpak kende de pilot een relatief hoog instrumenteel karakter. Van daaruit is visie over effectief toezicht ontwikkeld. Door deze werkwijze maakte een behoorlijke groep medewerkers die bij de voorbereiding en uitvoering van het toezicht betrokken is, zich de inzichten, methoden en instrumenten eigen. Zij hebben deze al in praktijk kunnen brengen. Periode De pilot vond plaats in een periode dat ook in de omgeving van de VWA het ‘vak’ toezicht in ontwikkeling was. Het was vaker onderwerp van gesprek in bijvoorbeeld discussies met: opdrachtgevers, het IG-beraad, de beroepsvereniging VIDE, bijeenkomsten met collega-inspectiediensten binnen en buiten Nederland en de politiek. In de pilot maakten we dankbaar gebruik van de mogelijkheden om in de pilot opgedane inzichten uit te dragen in deze externe gremia. Bovendien maakten we waar mogelijk gebruik van de informatie en inzichten van buiten. Resultaten Een en ander leidde tot een set aan modellen en praktische instrumenten waarmee effectief toezicht vorm kan krijgen. Anderzijds zorgde het voor een visie op effectief toezicht die als basis kan dienen voor een VWA-nota Toezichtstrategie. Visie Deze rapportage beschrijft een visie op effectief toezicht die kort en bondig is samen te vatten als:
Rapportage ‘Naar prestaties met effect’
Toezicht en handhaven is ‘het doen naleven van regels en normen’ en is effectief wanneer het vooraf bepaalde doel, voornamelijk uitgedrukt in de mate van naleving, is behaald.
Om deze visie in te kunnen vullen, dragen we stappenplannen aan waarlangs we toezicht kunnen vormgeven. Dit van ontwikkeling tot evaluatie. Gekoppeld aan deze stappenplannen reikt deze uitgave praktische instrumenten aan die het doorlopen van de diverse stappen mogelijk maakt. Conclusies Vrijwel alle in de pilot ontwikkelde methoden, modellen en instrumenten worden sinds de pilot in ruime mate toegepast. Daaruit kunnen we concluderen dat sturen op effecten door de VWA mogelijk is. In de komende periode stellen we een plan van aanpak op om implementatie en doorontwikkeling binnen de VWA mogelijk te maken. Hierbij sluiten we waar mogelijk aan bij reeds bestaande initiatieven. De grootste uitdaging is om de vooraf te bepalen doelen in samenspraak met de opdrachtgevers op te stellen. De VWA beschikt vervolgens over mogelijkheden om op het bereiken van die doelen te sturen. Dank De resultaten van de pilot zijn het gevolg van een intensief en prettig samenwerkingsproces tussen vele medewerkers uit verschillende disciplines binnen de VWA. Van grote waarde was ook de inbreng van collega’s van andere Inspectiediensten en externe deskundigen. Zonder de inzet en inbreng van deze enthousiaste groep mensen kon deze pilot niet tot het behaalde resultaat leiden. Dank aan allen hiervoor.
Effectief toezicht houden, hoe doe je dat?
7
2 Leeswijzer
Binnen ‘Naar prestaties met effect’ wilden we vanuit een instrumentele benadering handen en voeten geven aan effectief toezicht. Vanuit deze benadering ontstonden concrete en pragmatische instrumenten, methoden en modellen. Ook kregen we inzichten en visies over de begrippen ‘effect’ en ‘toezicht’ en de samenhang daarvan met externe ontwikkelingen. Indeling Deze uitgave begint met een samenvatting voor snel overzicht, deze leeswijzer en een inleiding. Hoofdstuk 4 beschrijft vervolgens de werkwijze binnen deze pilot. Om een duidelijk kader te schetsen benoemt hoofdstuk 5 de verworven strategische inzichten en visie omtrent effectief
8
Effectief toezicht houden, hoe doe je dat?
toezicht voor de VWA. Daarna gaan we in hoofdstuk 6 in op de praktijk van effectief toezicht. Hoofdstuk 7 beschrijft de in de pilot ontwikkelde en toepasbaar gemaakte instrumenten. In hoofdstuk 8 leest u meer over de outcome-cockpit. Vervolgens belicht hoofdstuk 9 enkele vragen en dilemma’s die de invoering van effectief toezicht met zich mee brengt. De bevindingen en conclusies leest u in hoofdstuk 10, de aanbevelingen in hoofdstuk 11. De bijlagen bevatten, naast de nodige ondersteunende informatie, enkele lezenswaardige persoonlijke ervaringen van deelnemers.
Rapportage ‘Naar prestaties met effect’
3 Inleiding
In 2002 voerde de VWA een omgevingsscan uit naar de voor de VWA/KvW relevante ontwikkelingen in en rondom de toezichtfunctie1. Naar aanleiding hiervan startte een pilot binnen de VWA/KvW onder de titel ‘Naar prestaties met effect’. Doel hiervan was onderzoeken op welke wijze sturing op ‘beoogde effecten’ mogelijk is. De formulering van het doel: “Het doen van aanbevelingen op basis waarvan besturing van de VWA/KvW op ‘beoogde effecten’ mogelijk is. Om dit te kunnen realiseren worden de volgende activiteiten ondernomen. Het door middel van een pilot(groep): ■ Ontwikkelen van gezamenlijke expertise over de materie ■ Vergaren van kennis ■ Opdoen van ervaring ■ Evalueren van methoden, technieken en processen” Eerste aanzet Deze rapportage bevat de weerslag van deze pilot en geeft een eerste antwoord op de onderzoeksvraag. Daarbij is het rapport niet volledig en uitputtend. Dit rapport wil inzicht in en een eerste aanzet geven tot invoering van effectief toezicht binnen de VWA. Een permanente ontwikkeling in methoden en instrumenten is vervolgens noodzakelijk. Dit om de ontwikkeling van de toezichtfunctie te laten aansluiten bij maatschappelijke ontwikkelingen en de rijksbrede ontwikkelingen binnen het vakgebied toezicht. Periode Tijdens de uitvoering van de pilot namen de uitkomsten en inzichten uit de pilot aan actualiteit toe. Daarvoor zorgde de oprichting en agendasetting van het IG-beraad2. De voorbereidingen voor de 2e rijksbrede Kaderstellende Visie op Toezicht en de
start van het project ‘Rijk aan Handhaving’ ondersteunen dit. De aanleiding voor de pilot kende een vrij instrumenteel karakter. Toch zijn gedurende de pilot inzichten verkregen die meer strategisch van aard zijn. Dit kwam door discussies rondom het gebruik van instrumenten en de ontwikkelingen in het vak toezicht. Deze inzichten kunnen als ingrediënten dienen voor een VWA-brede visie op toezicht. In het eerste deel van deze rapportage zijn deze inzichten opgenomen. Het tweede deel gaat vooral over de instrumentele aspecten van effectief toezicht. Scope De scope waarbinnen men dit rapport dient te lezen is ‘Toezicht gericht op het doen naleven van regels’ (in de rapportage wordt dit verder uitgewerkt). VWA-verantwoordelijkheden als ‘proactieve risicobeoordeling’ en ‘signalering en advisering’ vallen niet onder deze scope. Ook besteden we geen aandacht aan het aspect efficiency. Terminologie De termen Toezicht en Handhaving worden in deze notitie door elkaar gebruikt. Beide begrippen duiden op de rol van de VWA als ‘nalevingsbevorderaar’. Gemakshalve is over het juridisch onderscheid heen gestapt, omdat dit voor de invulling van effectief toezicht in de nietuitvoeringsfase niet relevant is. Tot slot is deze rapportage opgesteld in een periode waarin de dynamiek in de ontwikkeling naar effectief toezicht fors toenam. Hierdoor is deze rapportage verworden tot een soort ‘dynamische foto’ van dit moment. We kijken hierin terug naar de afgelopen periode en maken een kleine doorstap naar de nabije toekomst.
1
Naar prestaties met effect, DE uitdaging, Marijn Colijn, VWA/KvW, 26 maart 2002.
2
Beraad van Inspecteurs Generaal van Rijksinspecties.
Rapportage ‘Naar prestaties met effect’
Effectief toezicht houden, hoe doe je dat?
9
4 Werkwijze pilot
Bij de start van de pilot dienden twee modellen als uitgangspunt. Vanuit deze modellen is een aantal thema’s gedistilleerd. Een pilotgroep werkte deze via een incrementele aanpak nader uit.
4.1 Modellen 4.1.1 Model 1 Het eerste model heeft tot doel de plaats van het toezicht in de beleidsketen te verduidelijken. In dit model is slechts sprake van toezicht als wetgeving als beleidsinstrument is ingezet om een maatschappelijk probleem op te lossen. Dit naast of in plaats van beleidsinstrumenten zoals gedragsgerichte voorlichting, subsidies en zelfregulering. Toezicht levert in dit model een zelfstandige bijdrage aan de beleidscyclus voor de mate waarin wet- en regelgeving door ondernemingen wordt nageleefd. Dit brengt zelfstandige verantwoor-
dingsverplichting met zich mee over de mate van naleving. Dit is een effectparameter van de handhavingsfunctie. De mate van naleving van wet- en regelgeving heeft vaak een directe relatie met de mate waarin het beleidsdoel wordt bereikt. Het beleidsdoel is opgesteld voor deze wet- en regelgeving. Daarom bepaalt de mate van naleving, met de effecten van separaat ingezette beleidsinstrumenten, de effectiviteit van het gevoerde beleid. 4.1.2 Model 2 Naast dit abstracte model is een tweede model gehanteerd. Dit is afgeleid van een door het projectbureau ‘Handhaven op niveau’ gemaakt model voor het ontwikkelen van een toezichtarrangement. Het model geeft de diverse stadia van de ontwikkeling en uitvoering van het toezicht in de juiste samenhang weer. Het model onderkent in het onderste gedeelte een
Figuur 1 Model 1: Plaats van het toezicht in de beleidsketen
Maatschappelijke behoefte / Regulering uit E.U.
Beleid Lidstaat
Andere Beleidsinstrumenten
Regulering via Wetgeving Handhavingsactiviteiten Verantwoording Effect van Handhaving Effect van Beleid
10
Effectief toezicht houden, hoe doe je dat?
Rapportage ‘Naar prestaties met effect’
Effectief toezicht
Meten To-situatie
Beoogd effect (nalevingsniveau)
Verantwoording o.b.v effecten
Handhavingsbeleid
Risico-analyse
Meten T1-situatie
Doelgroeponderzoek
Handhavingsstrategie
Ontwikkelen handhavingsprogramma
Prestatiecontract met de minister
Uitvoeren handhavingsprogramma
Verantwoording o.b.v. activiteiten
Figuur 2 Model 2: effectieve handhavingscyclus
vrij plat, primair uitvoeringsproces. Veel toezichthouders hanteerden tot voor kort dit model. Dit loopt van het opstellen van jaarplannen via regelingsafspraken en het uitvoeren daarvan, tot veelal kwantitatieve verantwoording over de uitgevoerde activiteiten. Deze primaire cyclus wordt in het model ingebed in een aantal processtappen. Deze processtappen horen expliciet aan dit min of meer klassieke model vooraf te gaan.
4.2 Ontwikkelthema’s Vanuit dit laatste model zijn thema’s benoemd, die in de pilot nader zijn uitgewerkt. Te weten: ■ Algemene visie op effectief toezicht ■ Ketenanalyse ■ Doelgroeponderzoek (tafel van 11) ■ Risicobeheersing in theorie ■ Model Strategische risicoanalyse ■ Trendanalyse aan de hand van historische handhavingsdata ■ Risicoschatting op basis van expert-oordelen ■ Strategiemodel toezicht ■ Besturings-cockpit voor outcome-sturing ■ Innovatieve handhavingsinstrumenten
Rapportage ‘Naar prestaties met effect’
4.3 Uitwerking De uitwerking en nadere verkenning van deze thema’s vond plaats door per thema een workshop te organiseren. Hierbij verzorgde een (extern) deskundige een inleiding, vervolgens diepten de aanwezigen het thema verder uit in een discussie. Aansluitend werd met een door één van de deelnemers ingebrachte case het thema verder uitgewerkt op mogelijke toepassingen, kansen, risico’s, alternatieven etc. De pilotleden benutten de tussenliggende perioden, van ongeveer een maand, tussen de workshops goed. Ze toetsten hun opgedane kennis en vaardigheden binnen projecten waarvoor zij verantwoordelijkheid droegen. Tijdens de eerstvolgende bijeenkomst koppelden ze de opgedane ervaringen terug. Daarbij vond per thema uitgebreide verslaglegging plaats. Samenstelling pilotgroep De pilotgroep was breed samengesteld. Projectleiders van diverse lopende of voorgenomen inhoudelijke projecten binnen de VWA/KvW namen deel. Zo had iedere Signaleringsafdeling ten minste
Effectief toezicht houden, hoe doe je dat?
11
een vertegenwoordiger in de groep. Daarnaast was er deelname vanuit het traject ‘doelgericht handhaven’3 en het project Drank en Horecawet en de Tabakswet. Per workshop nam bovendien één van de vertegenwoordigers van de hoofden handhaving en van de hoofden signalering deel. Twee deelnemers vertegenwoordigden vrijwel structureel de accountsecties. Deze breed samengestelde pilotgroep vormde het hart van de pilot. De groep vergaarde gezamenlijke kennis en wisselde deze uit, deed ervaringen op door toepassing van de kennis in eigen projecten en regelmatige evaluatie. Dit alles diende als basis voor deze rapportage. In totaal liep de pilot zo’n anderhalf jaar. Ontwikkelomgeving Het eerste deel van de pilot vond plaats voorafgaand aan de vorming van de VWA. Daardoor speelde zij vooral binnen de VWA/KvW, wat de betrokkenheid vanuit de VWA/KvW aanmerkelijk groter maakte dan die van de VWA/RVV. Daardoor hebben de voorbeelden en ervaringen vooral betrekking op de VWA/KvW. Verbreding van de in de pilot verkregen inzichten zijn echter evengoed toepasbaar binnen de VWA/RVV.
3
12
Learning by doing Door de incrementele werkwijze (bottom-up en learning by doing) zijn gedurende de looptijd van de pilot inzichten en resultaten al door de pilot-deelnemers in praktijk gebracht. Mede hierdoor ontwikkelden organisatieonderdelen zich verder in denken of doen. De regelmatige presentaties over de inhoudelijke voortgang van de pilot stimuleerden de ontwikkelingen nog eens. Deze presentaties vonden plaats in onder meer het bestuursoverleg, teamleidersoverleg, de regionale managementteams en bij een delegatie van de VWA/RVV. Hierdoor kunnen voor enkelen de verkregen inzichten en onderdelen, zoals de data-analyse en de tafel van 11, al bekend zijn bij het verschijnen van deze rapportage. Dit is echter onvermijdelijk bij de gekozen aanpak.
VWA/KvW-traject dat afstemming in de uitvoering van inspecties verzorgt, gericht op het kunnen uitvoeren van speerpuntinspecties.
Effectief toezicht houden, hoe doe je dat?
Rapportage ‘Naar prestaties met effect’
5 Wat is ‘effectief toezicht’?
5.1 Effectief Toezicht Toezicht is effectief als van tevoren beoogde doelen worden gerealiseerd. Deze beoogde doelen worden vaak uitgedrukt in ‘beoogde naleefniveaus’. Ze zijn daarbij gericht op de ‘intermediate outcome’ in relatie tot het met de regelgeving te bereiken beoogde beleidsdoel (‘final outcome’). Naast deze naleefniveaus zijn nog andere parameters denkbaar, zoals de mate van burgervertrouwen, de mate waarin aan de wensen van de politiek wordt voldaan en de mate waarin of de periode waarbinnen een probleem wordt opgelost (dierziekte, calamiteit, etc). Als geen effectparameters zijn te definiëren (bijvoorbeeld bij de uitvoering van bij wet voorgeschreven taken zoals keuringen) worden toezichtactiviteiten uitgedrukt in aantallen uitgevoerde activiteiten (output). Voor alle gevallen van toezicht geldt dat dit pas kan worden uitgevoerd als vooraf duidelijk is wat er mee wordt beoogd. De ontwikkeling van het toezicht van de VWA moet zich daarom ook op de beginfase van het toezicht richten: wat moet met het toezicht worden bereikt en hoe kan dat zo effectief mogelijk?
Toezicht is effectief als wordt bereikt wat wordt beoogd.
gebied van voedsel en consumentenproducten in relatie tot volksgezondheid, diergezondheid en dierenwelzijn. Hiervoor bewaakt de VWA de veiligheid van voedsel, diergezondheid en consumentenartikelen in de hele productie- en handelsketen. Daarbij zijn de doelen op het gebied van voedsel en waren: ■
■
■
Toezicht houden: het doen naleven van wet- en regelgeving. Risicobeoordeling en onderzoek: signaleren van mogelijke bedreigingen en het uitvoeren van een wetenschappelijke risicobeoordeling. Risicocommunicatie: actief informeren over risico’s en risicoreductie op basis van betrouwbare informatie.
Vertaling van de missie Uit deze missie valt af te leiden dat VWA-toezicht gericht moet zijn op het verminderen (reduceren) van risico’s door ‘het doen naleven van’ wet- en regelgeving. Dit voor zover die risico’s betrekking hebben op volksgezondheid, diergezondheid en/of dierwelzijn. Andersom geredeneerd volgt hieruit dat toezicht (zichtbaar) effectief is als aantoonbaar is dat: a. De mate van naleving van regelgeving stijgt (of ten minste niet afneemt), van b. voor de volksgezondheid, diergezondheid en/of dierwelzijn relevante wettelijke bepalingen.
5.2 Effect Sturen op en verantwoording afleggen over effectief toezicht begint bij het formuleren van wat precies onder ‘effect’ wordt verstaan. Om deze vraag voor de VWA te beantwoorden, kunnen we aanhaken bij de missie van de VWA. Missie De missie van de Voedsel en Waren Autoriteit is werken aan zichtbare risicoreductie, op het
Rapportage ‘Naar prestaties met effect’
Het model dat als uitgangspunt voor de pilot diende (figuur 1), plaatst de functie van het toezicht en haar effecten (uitgedrukt in naleving van wettelijke regels) in de totale beleidscyclus. Handhaving die zich richt op het bewerkstelligen van naleving van regelgeving levert zo een bijdrage aan het bereiken van het uiteindelijke ministeriële beleidsdoel. Onderscheid tussen het effect van beleid en het effect van toezicht is van belang bij het definiëren van effectparameters voor de VWA.
Effectief toezicht houden, hoe doe je dat?
13
Effect van beleid en toezicht Het onderscheid tussen het beoogde effect van het toezicht (bijvoorbeeld gericht op naleefniveaus) en het beoogde effect van de ingezette beleidsinstrumenten (gericht op het niveau van voedselveiligheid), kunnen we beschrijven als twee verschillende niveaus van effect (outcome). De mate waarin de beleidsdoelen worden bereikt kunnen we definiëren als ‘final outcome’. De effecten die met het uitoefenen van toezicht worden beoogd, worden gedefinieerd als ‘intermediate outcome’: een subeffect op het te bereiken beleidsdoel. Andere doelen Naast deze op naleefniveau gerichte effectbenadering kan het uitvoeren van toezicht andere doelen dienen, als: ■ Het oplossen van een geconstateerd probleem in relatie tot een beleidsdoel waartoe de toezichthouder bestaansrecht heeft. Deze problemen kunnen afkomstig zijn uit eigen onderzoek of uit externe signalen zoals klachten en RAS-meldingen. Hierbij is niet altijd sprake van afdoende regelgeving. ■ Het voldoen aan politieke wensen/eisen, vaak gepaard gaand met actualiteit. ■ De beïnvloeding van of bijstelling van de perceptie van de burger, indien deze aantoonbaar afwijkt van de wetenschappelijke werkelijkheid (perceptief risico versus objectief risico). Output als effect Helaas is het niet altijd mogelijk om het effect van toezicht uit te drukken in naleefniveaus of opgeloste problemen. Dit doordat het niet in alle gevallen mogelijk is om de effecten met objectieve metingen aan te tonen. Ook is het lang niet altijd mogelijk aan te geven welk deel van het bereikte effect aan specifieke toezichtinspanningen kan worden toegeschreven. Dit zijn op zich echter geen
4
14
redenen om dan maar geen effectparameters te ontwikkelen. Wanneer de effectiviteit niet aantoonbaar is, of als het beoogde effect in termen van zaken als naleefniveaus niet kan worden benoemd, moet sturing van het toezicht zich richten op de uitvoering ervan. Deze wijze van toezicht leidt tot verantwoording op basis van gerealiseerde hoeveelheid toezicht (output: hoeveelheid blauw op straat). Deze kan of hoeft niet uitgedrukt te worden in termen van naleefniveaus.
5.3 Toezicht In het kabinetsstandpunt ‘de kaderstellende visie op toezicht4’ wordt het begrip toezicht gedefinieerd als: ‘het verzamelen van de informatie over de vraag of een handeling of zaak voldoet aan de daaraan gestelde eisen, het zich daarna vormen van een oordeel daarover en het eventueel naar aanleiding daarvan interveniëren.’ 5.3.1 Handhaving in enge zin Bij de klassieke invulling van de toezichtfunctie door de correctieve toezichthouder wordt getoetst of aan de wet wordt voldaan. Blijft degene die onder toezicht staat in gebreke, dan wordt een straf opgelegd in de vorm van een waarschuwing, proces-verbaal, bestuurlijke boete of band stillegging (bij slachterijen). Voor deze werkwijze wordt ook wel de term ‘handhaving in enge zin’ gebruikt, als uiting van een strenge, correctieve overheidsactiviteit. Deze werkwijze is voor een deel van de toezichtgebieden waarschijnlijk de meest voor de hand liggende. Met name bij gemiddeld relevante, lang bestaande en algemeen bekende en geaccepteerde regelgeving kan het toezicht in enge zin waarschijnlijk gehandhaafd blijven. Dit toezicht kenmerkt zich door een procesmatige benadering
Kaderstellende visie op Toezicht.
Effectief toezicht houden, hoe doe je dat?
Rapportage ‘Naar prestaties met effect’
Toezicht Waarnemen
van de voorgeschreven methoden van waarneming en beoordeling. Dit vergezeld van een redelijk standaard interventiebeleid. Het toezicht op de naleving van de maximaal toegestane snelheid op de autowegen is daar een voorbeeld van. Innovatie Sinds enige jaren zijn er innovatieve ontwikkelingen in de drie onderdelen van de klassieke, engere opvatting van de toezichtfunctie. Innovatieve manieren van waarnemen bijvoorbeeld zijn zowel te zien bij de Rijksverkeersinspectie (flitspalen, trajectcontroles, etc.) als bij de VWA (speerpuntinspecties, klachtenlijn en teaminspecties). De innovatie is vrijwel altijd gericht op het efficiënter kunnen uitvoeren van de controles. Dit met een maximale kans dat een overtreding ook daadwerkelijk wordt waargenomen (pakkans vergroten). Bij het onderdeel beoordelen vindt innovatie vooral plaats om de discussie over de waargenomen waarde en de interpretatie van de gestelde wettelijke normen te voorkomen. Denk daarbij aan meetcorrectie bij snelheidsovertredingen en waarschuwingsgrenzen en meetfoutcorrecties bij monsteronderzoek. De innovatie in het onderdeel interveniëren is eveneens voornamelijk gericht op het efficiënter en directer kunnen opleggen van financiële sancties. Dit door bijvoorbeeld schikkingsvoorstellen en bestuurlijke boetes. 5.3.2 Handhaving in brede zin Enkele jaren geleden is de invulling van het begrip handhaven in een ander perspectief geplaatst door
Rapportage ‘Naar prestaties met effect’
Beoordelen
Interveniëren
handhaven te definiëren als ‘het doen naleven’. Deze definitie legt minder de nadruk op de fasen van toezicht, maar plaatst het doel waarvoor deze worden uitgevoerd centraal. Deze definitie biedt de ruimte om, als dit de naleving bevordert, ook preventieve activiteiten in te zetten. Zo worden positieve prikkels ontwikkeld voor nalevers. Daarnaast kunnen alternatieve, correctieve instrumenten (openbaren zwarte lijsten) bij niet-nalevers worden ingezet. Ontwikkeling De definitie van handhaving in brede zin biedt ruime mogelijkheden om slimme interventiemethoden en technieken te ontwikkelen. Binnen handbereik komen dan ontwikkeling van stimuleringsmethoden en methoden voor informatieoverdracht. Bij stimuleringsmethoden kan gedacht worden aan een bonus-malus systeem of eenmaal geïnde boetes bij overtreders aan de branche teruggeven als beloning aan nalevers. Bij informatieoverdracht valt te denken aan informatie over regelgeving of bestpractices. Deze leveren mogelijk een grotere bijdrage aan de naleving van regels dan de klassieke handhavingsmethoden. Voorbeelden van recente innovatieve interventiemethoden zijn handhavingscommunicatie en in-company hygiënetrainingen (verzorgd door de branche zelf) als interventiemethode bij Chinese restaurants. Bij handhavingscommunicatie communiceert men zowel vooraf, tijdens als na de uitvoering van controles met de doelgroep. Het gaat dan onder meer over de te controleren regelgeving, de timing en methoden van controle en uiteindelijk de resultaten van de controles.
Effectief toezicht houden, hoe doe je dat?
15
6 Effectief toezicht: de praktijk
In dit hoofdstuk wordt een werkwijze beschreven die invulling geeft aan efectief toezicht.
6.1 Benaderingen ■
Het werkveld van de VWA kunnen we indelen op basis van de aanleiding van het uit te voeren toezicht. Een van de aanleidingen ligt in de wettelijk opgedragen taken. Hieronder vallen bijvoorbeeld keuringshandelingen op slachtdieren of erkenningverlening. Een andere aanleiding is het scala aan wettelijke voorschriften waaraan onder toezicht gestelden zich dienen te houden. De VWA dient hierop structureel toezicht uit te oefenen (preventie functie). Een derde mogelijke aanleiding vormt het (plotseling) optreden of bekend worden van acute problemen in relatie tot de relevante VWS- en LNV-beleidsvelden (brand blussen). Toezichtbenaderingen Vanuit deze op aanleiding gebaseerde driedeling zijn binnen de VWA de volgende drie toezichtbenaderingen te onderscheiden: ■ De uitvoeringsgerichte benadering. Deze is van toepassing op de uitvoering van wettelijk voor-
■
geschreven taken. Deze benadering is door jarenlange toepassing routine bij bepaalde onderdelen van de VWA. Verantwoording vindt plaats op basis van aantallen uitgevoerde activiteiten. De procesgerichte benadering. Vertrekpunt van deze benadering zijn de wettelijke kaders, wat deze benadering toepasbaar maakt op het grootste deel van het toezichtgebied van de VWA. Verantwoording vindt plaats op basis van naleefniveaus. Probleemgerichte benadering. Dit is een benadering die het probleem centraal stelt. Verantwoording vindt plaats in termen van ‘opgeloste problemen’.
De indeling in deze drie categorieën is nuttig bij de ordening van het brede spectrum aan VWA-taken. De onderdelen vragen om verschillende aanpakken die de kans op succes van het toezicht vergroten. In de volgende paragraaf schetsen we voor twee van de drie benaderingen een aanpak. De ‘uitvoeringsbenadering’ laten we in deze rapportage achterwege. Dit omdat deze het uitvoeren van wettelijke taken betreft, waarop geen effectsturing mogelijk is. Daarnaast ontlenen beide werkmaatschappijen van de VWA (KvW
Kenmerken en enkele voorbeelden van de drie benaderingen: Benadering
Kenmerken
Uitvoeringsbenadering
■ ■ ■ ■
■
Procesbenadering
■ ■ ■
■
Probleemgerichte benadering
■ ■ ■ ■ ■
16
Voorgeschreven wettelijke taak Kwantificeerbare, gestandaardiseerde activiteiten Procesmatig van aard Gericht op uitvoering Uitgangspunt is bestaande regelgeving Prioriteitstelling daarbinnen Gericht op naleefniveau’s Procesmatig van aard (going concern) Uitgangspunt is ‘het probleem’ Regelgeving niet altijd sluitend Beleidsadvisering is onderdeel Vaak ‘nieuw’ probleem. Projectmatige aanpak Korte termijn, a-cyclisch
Effectief toezicht houden, hoe doe je dat?
Voorbeelden ■ ■ ■
■
■
■ ■ ■
Keuringen Vergunningverlening Certificaat verstrekking
Toezicht in horeca, ambachtelijke bedrijven etc. Drank- en Horeca toezicht
Dierziektecrises Calamiteiten Tatoeage kleurstoffen
Rapportage ‘Naar prestaties met effect’
en RVV) hun huidige kracht aan de mate waarin zij in staat zijn (gebleken) hun activiteiten te plannen, uit te voeren en zich daarover te verantwoorden.
6.2 Stappenplannen In de volgende paragrafen benoemen we enkele stappenplannen en werken deze uit. Hoewel er een logische volgorde in de te onderscheiden stappen zit, is het niet zo dat altijd met stap een moet worden begonnen, voordat stap twee kan worden ingevuld. De uitoefening van het toezicht door de VWA is immers geen nieuwe taak. Veel uitvoeringsprogramma’s zijn op basis van de impliciete deskundigheid van de voorbereider(s) opgesteld. Daardoor hebben ze een eigen legitimiteit. Wel is het zo dat in de loop van de komende jaren gestreefd kan worden naar het expliciteren van de gemaakte keuzes en aannames in de voorbereiding. Zo is expliciet en transparant herleidbaar op basis waarvan en waartoe toezicht wordt uitgevoerd. 6.2.1 Procesbenadering De procesbenadering is van toepassing op de toezichtgebieden die niet een specifiek probleem bevatten, anders dan een gebrek aan naleving van de meest relevante wettelijke bepalingen. Uitgangspunt van deze benadering is het scala aan wettelijke voorschriften waarbinnen prioriteitstelling nodig is. Deze prioriteitstelling vindt in eerste instantie plaats op basis van relevantie van ieder wettelijk voorschrift in relatie tot het beleidsdoel. In tweede instantie wordt de mate van naleving van die meest relevante wettelijke voorschriften als prioriteitskenmerk ingebracht. Stappenplan procesbenadering: 1. Bepaal de scope aan de hand van bijvoorbeeld doelgroep, keten en wettelijke bepaling. 2. Stel (op basis van risicoanalyse in relatie tot het beoogde beleidsdoel) prioriteiten in de wettelijke voorschriften.
3. Meet het naleefniveau van de onder 2 vastgestelde meest relevante regels. 4. Bepaal tot welke percentage de naleving zou moeten stijgen om van risicoreductie te kunnen spreken (beoogde effect). 5. Onderzoek welke motieven de doelgroep heeft om zich wel of niet aan die regels te houden. 6. Ontwikkel een set aan interventiemethoden (toezichtarrangement) die ingrijpen op de motieven die leiden tot niet-naleving. 7. Voer het toezichtarrangement uit. 8. Meet het nalevingspercentage en relateer dit aan het beoogde effect. 9. Wees tevreden en vertel het anderen, of stel het toezichtarrangement bij. 6.2.2 Probleemgerichte benadering De probleemgerichte benadering wordt gehanteerd wanneer sprake is van een min of meer acuut probleem. Te denken valt aan het gebruik van tatoeagekleurstoffen waarvan blijkt dat zij carcinogene componenten bevatten. Dit probleem vraagt om een oplossing, los van de vraag of al wetgeving voorhanden is. Andere voorbeelden die een meer acute aanpak vergen zijn de verkoop van sterrenthee waarin ondeugdelijke ingrediënten zijn verwerkt, of het plotseling opduiken van een besmettelijke dierziekte. Kenmerk bij deze aanpak is dat het probleem centraal staat, waarbij over het wel of niet bestaan van wettelijke normen wordt heen gekeken. Vaak vindt bij deze benadering intensief contact met de beleidsdirecties plaats. Aanpak Een interessant boek over de probleemgerichte benadering is ‘the regulatory craft’ van Malcolm Sparrow5. Hij verrichtte wereldwijd onderzoek naar toezichtorganisaties. De meest succesvolle organisaties volgen min of meer de onderstaande aanpak. Deze aanpak zou ook voor de VWA
5 The regulatory craft, Malcolm Sparrow, isbn 0-8157-8065-6.
Rapportage ‘Naar prestaties met effect’
Effectief toezicht houden, hoe doe je dat?
17
werkbaar kunnen zijn in de gevallen dat zich acute problemen op het werkterrein voordoen. Stappenplan probleemgerichte benadering: 1. Benoem potentiële probleemgebied(en). 2. Analyseer het probleem en definieer het. 3. Stel effectindicatoren op om te meten of effect wordt bereikt. 4. Ontwikkel interventies om het probleem op te lossen. 5. Voer de interventies uit en monitor de resultaten. Stel eventueel de interventies bij. 6. Rond de activiteiten af, als het gewenste effect is bereikt en monitor langere termijn. 7. Communiceer het succes! 6.2.3 Overeenkomsten en verschillen De beide benaderingen vertonen in aanpak meer overeenkomsten dan verschillen. Bij zowel de procesgerichte als de probleemgerichte aanpak dient eerst te worden vastgesteld op welk onderdeel of onderdelen van de samenleving het toezicht betrekking heeft. In het ene geval is het gedefinieerd als een probleem dat dient te worden opgelost. In het andere geval gaat het om een naleefniveau dat dient te worden gerealiseerd.Tevens hebben de benaderingen gemeen dat prioriteiten gesteld moeten worden op basis van risicoschattingen. Dit zowel bij het bepalen van de belangrijkste op te lossen problemen, als bij het bepalen van de meest relevante wettelijke voorschriften. Verder zijn in beide aanpakken het vaststellen van wat bereikt moet worden en de wijze waarop dat in beeld gebracht kan worden cruciale onderdelen; de doelformulering van het toezicht en de daarbij behorende meetinstrumenten. Verschillen De beide aanpakken verschillen echter inhoudelijk bij het zoeken naar interventies. In de probleemgerichte benadering moet, als geen specifieke wettelijke bepalingen voorhanden zijn, over de grenzen van de wettelijke kaders heen gekeken worden. Dit uiteraard in samenspraak met andere verantwoordelijke
18
Effectief toezicht houden, hoe doe je dat?
spelers, zoals de departementen. Bij de procesgerichte aanpak vormt het wettelijk kader het uitgangspunt. Op basis hiervan dienen veelal zelfstandige interventiemixen te worden ontwikkeld. Dynamiek Verder verschillen de beide benaderingen in dynamiek. De probleemgerichte benadering richt zich op min of meer acute problemen. Snel en binnen kort tijdsbestek handelen is in die situaties noodzakelijk. Dit al dan niet door een taskforce of crisisteam. Veel tijd voor uitgebreid onderzoek of het ontwikkelen van effectmetingmethoden is er niet. Pragmatische maar adequate hulpmiddelen zijn hierbij noodzakelijk. De procesgerichte benadering heeft een geringere dynamiek. De set aan wettelijke voorschriften waarop toezicht dient te worden gehouden, heeft een grote en vrij stabiele kern, waarin slechts na uitvoerige overwegingen en een bijpassend tijdsbestek veranderingen plaatsvinden. Dit brengt met zich mee dat er voldoende tijd is om de diverse stappen, zoals bijvoorbeeld prioritering op basis van risicoanalyse of het meten van het huidige naleefniveau, uit te voeren. De toezichtarrangementen hebben daarmee ook een veel langere doorlooptijd dan die van de probleemgerichte benadering. Nader onderzoek naar de bruikbaarheid van de probleemgerichte aanpak voor de VWA moet nog in de praktijk plaatsvinden. Instrumenten De procesbenadering gaat uit van regelgeving die handhaafbaar en uitvoerbaar is. Voor de toets of regelgeving ook aan deze uitgangspunten voldoet, neemt de VWA een handhaafbaarheidstoets in gebruik. Deze krijgt op termijn een plaats in de stappenplannen. Gedurende de pilot ‘naar prestaties met effect’ hebben we voor een aantal van deze stappen methoden en instrumenten gezocht en gevonden of ontwikkeld. In het volgende deel van deze rapportage beschrijven we deze beknopt om ze in separate rapportages nader uit te werken.
Rapportage ‘Naar prestaties met effect’
7 Effectief toezicht: de instrumenten De pilot heeft ons geleerd dat er niet één manier bestaat waarmee toezicht effectief kan worden uitgevoerd. Daarvoor is het werkgebied van de VWA te divers. Het lijkt vooral een aanpak op meerdere fronten te zijn die tot inzichten en effectieve actie leidt. Hiervoor zijn de volgende methoden of instrumenten ontwikkeld of voor de VWA toepasbaar gemaakt: ■ Ketenanalyse ■ Expert Choice ■ Data-analyse
■ ■ ■ ■ ■
tafel van 11 Belevingsonderzoek Nalevingsvierkant Format toezichtarrangement Outcome-cockpit
Gebruik van methoden In de tabel hieronder staat per activiteit in het proces, welke methode of welk instrument kan worden ingezet. Dit is geen volledig overzicht, maar geeft een indruk van de mogelijkheden.
Stap
Activiteit
Methode/instrument
1
Scope bepalen
Beschrijven
2
Prioriteren wettelijke voorschriften en/of risico’s.
Expert meningen ondersteund door Expert Choice
3
Meten naleefniveaus
■
■ ■
Trapschatting door experts m.b.v. elektronische tafel van 11 Nalevingsmeting via (telefonische) enquêtes Analyse historische handhavingsdata m.b.v. data-analyse
4
Bepalen beoogd effect
Accountmanagers i.o.m. beleidsdirecties
5
Onderzoek naar motieven niet-naleving
■ ■
6
Ontwikkelen toezichtarrangement
■
■
Gedragsanalyse m.b.v. de tafel van 11 Belevingsonderzoek telefonisch O.b.v. vooronderzoek. Eventueel m.b.v. sjabloon toezichtarrangement 4E-model strategie
7
Uitvoeren toezicht
Handhaving door de werkmaatschappijen
8
Monitoring
■ ■
9
Communicatie over successen
Rapportage ‘Naar prestaties met effect’
Data-analyse Cockpit outcome-sturing
Communicatie en voorlichting
Effectief toezicht houden, hoe doe je dat?
19
7.1 Scope bepalen Het bepalen van de scope hangt vooral af van de aanleiding voor het overgaan tot het ontwikkelen van toezichtarrangementen. Die aanleiding ligt soms in wettelijke voorschriften (procesbenadering) en dan moet daarop toezicht worden gehouden (bijvoorbeeld Kaderwet Diervoeder). Het kan ook zijn dat een specifieke doelgroep (bijvoorbeeld horeca) onder de loep wordt genomen in bijvoorbeeld een gezamenlijke actie met andere Rijksinspecties. Een andere mogelijke aanleiding is onderzoek waaruit is gebleken dat een bepaald product onveilig is (bijvoorbeeld elektrisch gereedschap).
wisselende samenstellingen op het schaaltje terecht te komen. Traceerbaarheid is in zo’n geval vrijwel onmogelijk, want welke appel komt waar vandaan? Ketenonderzoek om de omvang van een keten of een probleem in beeld te brengen is soms omvangrijker dan op voorhand wordt gedacht. Als gevolg van een klacht of individuele melding kwam bijvoorbeeld MPA-gebruik aan het licht. Het probleem beperkte zich in eerste instantie tot slechts een aantal varkensmesters. Toen de keten uiteindelijk in beeld gebracht was, bleek het om een onbeheersbaar groot aantal bedrijven in diverse schakels in de keten te gaan.
Mogelijke methode: Ketenanalyse Een hulpmiddel bij het bepalen van de scope is ketenanalyse. Hiermee brengen we productieketens en hun grenzen in beeld om de randen van het speelveld te bepalen. Ketenanalyse verzamelt per schakel van een keten de informatie die relevant is voor het toezicht van de VWA. Denk hierbij bijvoorbeeld aan de productstromen die van de ene naar de andere schakel gaan. Denk naast (half)producten aan zaken als formulieren, productspecificaties en kwaliteitsgaranties. Ketenonderzoek brengt een productgroep of een groep bedrijven met een klant/leverancierverhouding in kaart. Dit gebeurt door te zoeken, vragen, interviewen, en vooral gestructureerd te documenteren. Het resultaat van de ketenanalyse is een beschrijvend of gemodelleerd en gestructureerd inzicht in een product- of productieketen.
7.2 Prioriteren van wettelijke voorschriften en/of risico’s Nadat de scope duidelijk is, kijken we naar de relevante wettelijke voorschriften die een relatie hebben met het gewenste beleidsdoel. Zo is voor veilig voedsel het wettelijk voorschrift over de temperatuur van bederfelijke levensmiddelen relevanter dan de regel dat de wanden van bereidingsruimten geheel betegeld zijn. De meest relevante wettelijke bepalingen zijn die bepalingen die bij niet-naleving met grote waarschijnlijkheid leiden tot een onveilig product of een onveilige situatie voor de eindgebruiker. Anders gezegd: die het grootste risico vormen voor de gebruiker van het product.
Voorbeeld Dat het uitvoeren van een Ketenanalyse niet altijd eenvoudig is, bleek tijdens de pilot uit een uiteenzetting van de eenvoudig lijkende productieketen van een gemixt schaaltje appels, dat in de supermarkt wordt verkocht. Er bleek namelijk dat in diverse niet-Europese landen appels worden geteeld, die uiteindelijk allen de kans hebben in
20
Effectief toezicht houden, hoe doe je dat?
Experts Het in beeld brengen van deze grootste risico’s (en dus de meest relevante wettelijke bepalingen) is een kwestie van onderzoeken, kennis verzamelen, beoordelen, wegen en kiezen. Dit gebeurt soms op wetenschappelijke wijze, maar vaker via de bestaande kennis van experts. Deze experts zijn bijvoorbeeld: beleidsmakers, toezichthouders, branchedeskundigen of universitaire medewerkers. Experts kunnen onderling van mening of inzicht verschillen omdat bestaande kennis aan persoon-
Rapportage ‘Naar prestaties met effect’
lijke ervaringen en inzichten wordt gekoppeld, waarna door iedere expert afzonderlijk een weging wordt toegepast. In de pilot is een instrument ontwikkeld dat in zulke gevallen van dienst kan zijn. Deze methode voegt afzonderlijke expertmeningen samen. De methode is onder andere toegepast binnen de scope ‘chemische voedselgerelateerde bedreigingen voor de gezondheid van de consument’6 en de ‘Kaderwet diervoeder’. Over beide gevallen is een rapportage beschikbaar. Inmiddels wordt deze methode ook toegepast binnen de scope bijzondere eet- en drinkwaren, non-food chemie en de visketen. De ervaringen met de methode zijn positief. Binnen een relatief korte periode en gestructureerd en herleidbaar, is een onderlinge ranking van risico’s binnen een zoekgebied verkregen. Uit de gezamenlijke meningen van verschillende experts bepalen we zo de meest relevante risico’s en/of wettelijke voorschriften. 7.3 Meten van naleefniveaus Het bepalen van de naleefniveaus van wettelijke bepalingen is op een aantal manieren mogelijk. ■ Nalevingsinschatting door experts ■ Analyse van historische handhavingsdata ■ Nalevingsmonitor met behulp van veldonderzoek Nalevingsschatting door experts De expertbenadering gaat uit van de kennis van de experts. Hen wordt gevraagd het nalevingsniveau binnen hun vakgebied in te schatten. Hoe meer experts dit soort schattingen doen, hoe meer de werkelijkheid wordt benaderd. De methode Expert Choiche, gekoppeld aan een trapschatting, kan de expertschatting ondersteunen. Deze trapschatting is ontwikkeld in opdracht van het Expertisecentrum Rechtshandhaving (ERH) van het ministerie van
Justitie. De schatting verdeelt een doelgroep in de volgende 5 categorieën: ■ Spontane nalevers: handelen juist, ook als er geen wetgeving zou zijn. ■ Bewuste nalevers: leven de regels na, mede onder invloed van handhaving. ■ Onbewuste nalevers: leven ‘per ongeluk’ de regels na. ■ Onbewuste overtreders: kennen de regels niet en overtreden ze onbewust. ■ Bewuste overtreders: overtreden calculerend de regels, ondanks de handhaving. De indeling van een doelgroep in de categorieën bewuste en onbewuste nalevers, biedt inzicht in de relatieve omvang van de groepen bewuste en onbewuste overtreders en is daarmee een maat voor naleving. Deze trapschatting via de expertmethode is meerdere keren door het ERH toegepast bij diverse inspecties, waaronder door de VWA/KvW7 en is getoetst aan veldwaarnemingen. De uitkomsten benaderden elkaar met een marge van vijf tot tien procent. De methode is dus valide en voor de VWA bruikbaar als eerste benadering van de werkelijkheid. Deze methode is binnen de VWA beschikbaar en in een vrij kort tijdsbestek uit te voeren. Cruciaal bij de toepassing van de methode is de keuze van de juiste experts. Nalevingscockpit op basis van handhavingsdata Een andere benadering maakt gebruik van historische, al dan niet via een steekproef verzamelde, handhavingsgegevens. Deze worden geanalyseerd en gerelateerd aan de omvang van de metingen en de omvang van de doelgroep. Binnen de VWA/RVV worden toezichtdata in UBA vastgelegd. Bij de VWA/KvW gebeurt dit in ISI. Brongegevens zijn zo voor veel toezichtgebieden voorhanden. In de pilot
6
Experiment Risicoanalyse (chemische voedselgerelateerde bedreigingen), VWA directie Toezicht, januari 2004.
7
Monitor naleving door snackbar- en cafetariahouders, KvW/ERH, 1999-2000.
Rapportage ‘Naar prestaties met effect’
Effectief toezicht houden, hoe doe je dat?
21
is voor sector levensmiddelen een prototype nalevingscockpit ontwikkeld. Deze maakt het mogelijk het naleefniveau op basis van bestaande gegevens in beeld te brengen. Over dit veelbelovende prototype is een rapportage beschikbaar8. Nalevingsmonitor met behulp van veldonderzoek De meest uitgebreide methode is de ‘nalevingsmonitor’ van het Expertisecentrum Rechtshandhaving (ERH) van het ministerie van Justitie9. Deze monitor bestaat eigenlijk uit een mix van methoden om gegevens over de naleving te vergaren.
22
naar voren dat 74 procent van de waarnemingen een juiste bewaartemperatuur laten zien. De intervalschatting voor het nalevingspercentage is in dit geval 74 - 87 procent. 7.4 Vaststellen beoogd naleefniveau Moeten alle wettelijke regels voor honderd procent nageleefd worden? In de wereld van toezicht is dit een utopie en een onhaalbare doelstelling. Wel kunnen we streven naar maximale naleving.
Risicobenadering
Met een steekproef ondervraagt men een doelgroep over de mate van naleving van de regels door henzelf en hun ‘collega’s’. Een professioneel enquêtebureau legt de ondervraagden hiervoor een vragenlijst voor. Ter objectivering van de antwoorden wordt gebruikt gemaakt van de Randomised Response10 methode. Vervolgens vraagt men een groep toezichthouders in een expertmeeting naar hun mening over de resultaten van de steekproef. Tot slot vindt een steekproef plaats waarbij controleurs metingen verrichten of monsters nemen gedurende de periode van de enquête. Door de resultaten uit deze drie onderzoeken samen te voegen, verkrijgt men per wettelijk voorschrift een intervalschatting over de mate van naleving van die regels. Dit interval wordt bepaald door de laagste uitkomst en de hoogste uitkomst per wettelijk voorschrift.
Wettelijke voorschriften dienen bepaalde ongewenste gebeurtenissen zo veel mogelijk te voorkomen. Zo reduceert bijvoorbeeld de maximaal toegestane snelheid het aantal aanrijdingen. De mate van naleving van voorschriften heeft een directe relatie met de kans dat een ongewenste gebeurtenis optreedt. Hoe groter de naleving, des te kleiner de kans op voorkomen van de ongewenste gebeurtenis. De mate van naleving heeft daarom een relatie met de mate waarin risico’s voor de eindgebruiker ontstaan.
Een fictief voorbeeld Het percentage ondernemers dat zich aan de maximale bewaartemperatuur van bederfelijke levensmiddelen houdt is volgens de doelgroep zelf 87 procent. De controleurs menen op basis van hun eigen ervaringen, dat dit percentage ergens rond de 80 procent ligt. Uit de steekproefmeting komt
Impact De impact (of effect) van een ongewenste gebeurtenis bepaalt dus ook de mate van het risico. Dit gegeven biedt houvast om tot vaststelling van beoogde niveaus van naleving te komen. Het minimaal noodzakelijke naleefniveau voor minder relevante wettelijke voorschriften (met minder
De kans op vóórkomen is niet de enige factor die van belang is voor risicobepaling. De algemeen geldende definitie van Risico is:
Risico = Kans X Effect
8
Prototype nalevingscockpit, Imtech BI/VWA, juli 2003.
9
Zie als voorbeeld ‘monitor naleving door snack- en cafetariahouders’, KvW/ERH, 2001.
10
Zie voor toelichting: rapportage ‘monitor naleving door snack- en cafetariahouders’, KvW/ERH, 2001.
Effectief toezicht houden, hoe doe je dat?
Rapportage ‘Naar prestaties met effect’
impact) kan immers lager zijn dan voor zeer relevante voorschriften (met grotere impact). Deze benadering voor het bepalen van beoogde naleefniveaus houdt dus geen rekening met het huidige niveau van naleving.
Pragmatische benadering Een andere benadering neemt het huidige niveau van naleving als uitgangspunt. De toezichthouder schat op basis hiervan in hoeveel de naleving zal stijgen door het uitvoeren van toezicht. Voorbeeld Het ultieme doel is te bereiken dat het aantal zieken als gevolg van onveilig voedsel daalt. Om dit te bereiken worden de meest relevante wettelijke regels bepaald die van invloed zijn op de veiligheid van voedsel. Dit zijn bijvoorbeeld temperatuursbeheersing en hygiëne. Het naleefniveau van deze wettelijke regels moet zeer hoog zijn om veilig voedsel te kunnen ‘garanderen’. Andere, minder belangrijke, regels moeten uiteraard ook worden nageleefd. Als het naleefniveau van die minder belangrijke regels echter laag is, komt de voedselveiligheid niet direct in gevaar. Deze regels hebben dan ook een lagere prioriteit bij de uitoefening van toezicht.
Ontwikkeling De wens van de VWA is om een model te ontwikkelen voor de eerstgenoemde benadering. Dit in samenwerking met de beide beleidsdirecties en eventuele andere inspecties. Deze benadering plaatst naleefniveaus het meest zuiver in de beleidsketen (beleidsdoel, beleidsinstrument, wetgeving, naleefniveau, toezicht en uitvoering). In maart 2003 organiseerde de VWA een seminar over deze materie. De uitkomsten hiervan nemen we mee bij de ontwikkeling van zo’n model.
Rapportage ‘Naar prestaties met effect’
7.5 Doelgroeponderzoek Doelgroeponderzoek wil in beeld brengen hoe het verschil tussen het huidige en het beoogde naleefniveau valt te reduceren. Doelgroeponderzoek richt zich zowel op de oorzaken van niet-naleving als op een mogelijke segmentering van de doelgroep in nalevers en overtreders.
Oorzaken van (niet-)naleving: de tafel van 11 De tafel van 11 (voor nadere info: www.it11.nl) is een beknopte toets voor de handhaafbaarheid van regels. Het Expertisecentrum Rechtshandhaving (Justitie) ontwikkelde deze samen met de Erasmus Universiteit te Rotterdam. Het is een instrument voor de analyse van naleefgedrag. Het instrument geeft een schatting van de verwachte (spontane) naleving en de benodigde handhavingsmethoden en -inzet. Dit kan door de motieven van de doelgroep die leiden tot nietnaleving te vertalen naar effectieve interventieprogramma’s, waaronder handhavingsarrangementen. De tafel van 11 is opgebouwd uit 11 dimensies in drie categorieën: Categorie 1: Dimensies voor spontane naleving 1. Kennis van regelgeving (duidelijkheid, bekendheid) 2. Kosten en baten (overtreden, naleven, imago) 3. Mate van acceptatie 4. Normgetrouwheid (gezagsgetrouw, wetsgetrouw) 5. Informele sociale controle Categorie 2: Controle dimensies 6. Informele meldingskans 7. Controlekans (administratief en fysiek) 8. Detectiekans (administratief en fysiek) 9. Selectiviteit Categorie 3: Sanctie dimensies 10. Sanctiekans 11. Sanctie-ernst
Effectief toezicht houden, hoe doe je dat?
23
Overtredingsprofiel Sterk
Zwak
T1 - Onbekendheid
Nalevingsprofiel Zwak
T1 - Onduidelijkheid
Sterk
T2 - Naleven totaal T2 - Overtreden totaal T2 - Consequenties imago T3 - Acceptatie T4 - Gezagsgetrouwheid T4 - Wetsgetrouwheid T5 - Informele controle T6 - Informele meldingskans T7 - Controlekans adm. T7 - Controlekans fys. T8 - Detectiekans adm. T8 - Detectiekans fys. P1
T9 - Selectiviteit
P2
T10 - Sanctiekans
P3
T11 - Sanctie-ernst
Figuur 3 Grafiek uitkomst tafel van 11 analyse voor 3 verschillende doelgroepen
Experts brengen aan de hand van vragen de mening van de experts of doelgroep over de motieven voor het gedrag in beeld. In expertgroepen kan hiervoor de elektronische tafel van 11 worden gebruikt. Zo wordt een overzicht verkregen van de sterke en zwakke nalevingsmotieven. Belangrijk is dat gedrag niet wordt bepaald door de werkelijke factoren, maar door de perceptie van die factoren door de doelgroep. Figuur 3 bevat een voorbeeld, waarin drie afzonderlijke doelgroepen in een grafiek zijn weergegeven. Als een score zich meer in het rechter gedeelte bevindt, is de dimensie meer van invloed op het naleefgedrag. Zit de score meer in het linker gebied, dan zal deze sneller leiden tot overtreding van de regels. Met behulp van toezicht zijn de dimensies T7 t/m T9 rechtstreeks te beïnvloeden. 11
24
De tafel van 11 is in elektronische versie beschikbaar binnen de VWA. De methode is kort geleden toegepast in een aantal handhavingsprojecten, waaronder die voor snackbarhouders, producenten van vleesproducten en recent in de diervoedersector.11
Analyse van historische handhavingsdata Het is interessant om te weten welke motieven een doelgroep heeft om regels wel of niet na te leven. Daarnaast is het mogelijk onderzoek uit te voeren naar mogelijkheden tot segmentatie van de doelgroep. Is het deel van de doelgroep dat de regels niet naleeft te onderscheiden van de rest van de doelgroep?
Toezichtarrangementen Risico gebieden Diervoederketen, VWA mei 2004.
Effectief toezicht houden, hoe doe je dat?
Rapportage ‘Naar prestaties met effect’
Regel
Education
S
Engineering
Een methode die hierbij kan helpen is het analyseren van historische handhavingsgegevens. Gedrag uit het verleden kan een voorspellende waarde hebben voor het gedrag in de toekomst. De VWA/KvW en de VWA/RVV beschikken beide over databases waarin van iedere inspectie inspectielocatie-gegevens en de gegevens van de inspecties en monsteronderzoeken zelf zijn vastgelegd. Deze gegevens kunnen we benutten om trends te signaleren en/of voorspellingen te doen over nietnaleving. In samenwerking met het bedrijf Imtech Business Improvement is een data-analyser ontwikkeld. Dit voor het domein horecabedrijven in de regio Zuid en de daarbij behorende inspectiegegevens en microbiologische monstergegevens. Deze analyser is met enige handigheid ook toepasbaar te maken voor andere domeinen. De rapportage van deze data-analyser is separaat beschikbaar12. 7.6 Ontwikkelen van een handhavingstrategie De in de voorfasen verkregen informatie wordt omgezet in activiteiten die in een afgebakende periode het naleefgedrag van een doelgroep moeten bevorderen. In de pilot gaven we op twee manieren invulling aan het ontwikkelen hiervan, namelijk met toezichtarrangementen en met het nalevingsvierkant.
Toezichtarrangementen Een toezichtarrangement bestaat uit een pakket aan handhavingsinstrumenten (waarnemings- en interventie instrumenten13) die ingrijpen op de oorzaken of motieven van niet-naleving. Deze zijn in de voorgaande fasen onderzocht (tafel van 11, dataanalyser). Deze handhavingsinstrumenten worden volgens een vooraf bepaalde strategie ingezet. Hierbij staat centraal dat gekozen moet worden voor een optimale combinatie van in te zetten
12 13
Economics
Enforcement
Gedrag
Figuur 4 Het nalevingsvierkant © handhavingsinstrumenten, middelen, omvang en timing, gekoppeld aan doelgroepen. Dit gericht op het op meetbare wijze stimuleren van de naleving van de regelgeving. In de pilot is een eerste format ontwikkeld voor het opstellen van een toezichtarrangement. In de bijlagen is een uitgewerkte versie opgenomen. Hierbij moet worden opgemerkt dat toetsing in de praktijk nog onvoldoende heeft plaatsgevonden. Toch kan het als handvat dienen voor de ontwikkeling van een toezichtarrangement. In het project ‘ontwikkeling toezichtarrangement diervoedersector’ diende dit format als hulpmiddel. Het format bevat de volgende onderdelen: ■ Doel van het toezichtarrangement ■ Controle-activiteiten en instrumenten ■ Interventiebeleid en -instrumenten ■ Communicatie over (fasen van) het toezichtarrangement ■ Context van het toezichtarrangement ■ Evaluatie ■ Risico’s
Het Nalevingsvierkant Een ander model aan de hand waarvan een toezichtarrangement kan worden ontwikkeld is het nalevingsvierkant. Het model is gebaseerd op principes uit de marketing en wordt ook wel het 4-E model genoemd.
Rapportage data-analyse VWA horecabedrijven regio Zuid, VWA/Imtech BI, maart 2003. Definitie toezicht: waarnemen, beoordelen en interveniëren.
Rapportage ‘Naar prestaties met effect’
Effectief toezicht houden, hoe doe je dat?
25
De vier e’s staan voor: ■ Voorlichting en educatie (education) ■ Sociale en fysieke infrastructuur (engineering) ■ Economische stimuli (economics) ■ Klassieke handhaving (enforcement) Education: alle inspanningen die zich richten op het normen- en waardenstelsel van de doelgroep. Denk bijvoorbeeld aan voorbeeldgedrag, opvoeding, scholing en voorlichtingscampagnes. Engineering: alle ingrepen in de fysieke omgeving (physical engineering) die bepaald gedrag mogelijk of onmogelijk maken. Denk aan zaken als drempels in de weg om hard rijden tegen te gaan, glasbakken voor glas, de legitimatieplicht bij een café of discotheek. Social engineering houdt zich bezig met het versterken van de sociale omgeving. Zo worden sociale preventie en sociale controle effectiever. Dit kan bijvoorbeeld door medewerking te vragen van de branche-organisatie of door het instellen van een keurmerk voor ondernemers die zich aan de regels houden. Economics: alle maatregelen die bepaald gedrag financieel aantrekkelijk of juist onaantrekkelijk maken. Denk aan het verstrekken van tegoedbonnen tijdens verkeerscontroles en subsidies voor uitgaansgelegenheden waar geen alcohol geschonken wordt. Enforcement: alle inspanningen op gebied van toezicht, handhaving en handhavingscommunicatie, waarbij met repressie of dreiging daarmee, preventie van overtredingen wordt beoogd. Sancties horen ook bij deze categorie. Integrale benadering Een aanpak die zich alleen concentreert op de handhaving, levert voor minder goed af te bakenen situaties (meestal het merendeel) waarschijnlijk een onvoldoende substantiële verbetering in naleefgedrag op. Dit doordat de capaciteit voor handhaving altijd beperkt zal blijven. De inzet van
26
Effectief toezicht houden, hoe doe je dat?
handhaving als enig instrument is daarom niet voldoende. Een integrale benadering aan de hand van het Nalevingsvierkant(c), waarbij alle 4 ‘E’s worden ingezet, biedt meer mogelijkheden. Het 4-E model passen we al toe binnen het Dranken Horecateam van de VWA/KvW. Zij verzorgden de input van dit model in de pilot.
Overeenkomsten en verschillen Zowel het format toezichtarrangement als het nalevingsvierkant bevat de componenten communicatie en handhaving. In beide modellen is sprake van de brede opvatting van het begrip handhaving: het doen naleven. Tevens is in beide modellen een structuurmatige opzet waarneembaar. Hierdoor is handhaving niet langer een niet-samenhangende uitvoeringsfuctie. Het is een onderdeel van een construct aan beïnvloedingsmethoden. Verschillen Verschillend is de scope waarop de modellen betrekking hebben. Het nalevingsvierkant richt zich op communicatie en handhaving en op de voor de VWA externe en niet direct te beïnvloeden componenten ‘education’ en ‘economics’. Deze voor de uitvoerbaarheid van de regelgeving relevante (en daarmee nalevingstimulerende) componenten kunnen eerder als beleidsinstrument dan als toezichtinstrument worden beschouwd. Het model kan daardoor in beleidsvoorbereidende zin worden ingezet. Een tweede verschil is de mate van gedetailleerdheid. Het format toezichtarrangement is een model dat tot in detail doel, strategie en uitvoering bevat. Daarmee is het voor de functie toezicht een redelijk compleet model. Dit in tegenstelling tot het nalevingsvierkant dat op een vrij hoog aggregatieniveau de 4 E’s benoemt. Hierna moet uitwerking nog plaatsvinden.
Rapportage ‘Naar prestaties met effect’
Consumentenklachten en rapid alerts
Analyse historische handhavingsdata
Wetenschappelijk onderzoek
Analyse Doelgroep (tafel van 11)
Expertschatting (expert Choice)
Risico zoekgebied (scope)
Politiekbestuurlijke inschattingen
Monitoring m.b.v. outcome cockpit
Figuur 5 Samenhang invalshoeken risicogebied Conclusie Het nalevingsvierkant leent zich vooral voor gebruik bij nieuwe toezichtgebieden, waarbij interventies in de beleidsvoorbereiding nog mogelijk zijn. Ook kan het bij bestaande regelgeving of bij optimalisatie van bestaande toezichtarrangementen een bijdrage leveren. Die bijdrage richt zich vooral op het beschrijven van de context waarbinnen het toezichtarrangement van toepassing is. Het format toezichtarrangement is hanteerbaar bij de opstelling en concretisering van toezichtarrangementen voor bestaande regelgeving. 7.7 Samenvatting instrumenten en methoden De besproken methoden en instrumenten zijn in de pilot op experimentele wijze toegepast. Verdere validatie en doorontwikkeling moet in en door de werkpraktijk gebeuren.
14
De samenhang van de methoden en instrumenten wordt vooral zichtbaar door toepassing in de stappenplannen. Daarbij is niet beoogd een vast stramien van fasen en methoden voor de ontwikkeling van effectief toezicht op te stellen. Het is de bedoeling een set van handvatten te ontwikkelen die de ontwikkeling van de VWA in de richting van effectief toezicht een stevige impuls geven. Risicogebied Een risicogebied in toezicht, kun je benaderen vanuit verschillende invalshoeken (zie figuur 5). De invalshoeken die in de pilot ‘naar prestaties met effect’ zijn gehanteerd hebben een sterk inside-out karakter. Ze zijn gebaseerd op de VWA-eigen expertises, verantwoordelijkheden en opvattingen binnen de toezichtfunctie. Naast deze expertisegerichte invalshoeken zijn echter ook de wetenschappelijke invalshoek, de invalshoek van (politieke) belangen en de consumenteninvalshoek relevant. Binnen de pilot is daaraan echter geen aandacht besteed.
Rapportage outcome cockpit, VWA/Imtech BI, 2003.
Rapportage ‘Naar prestaties met effect’
Effectief toezicht houden, hoe doe je dat?
27
8 Effect-sturingsmodel (outcome-cockpit) Het effectgericht inrichten van de toezichtfunctie van de VWA kent vele elementen. Het voorgaande hoofdstuk beschreef de instrumenten die bij de voorbereiding van effectief toezicht relevant zijn. Verandering van bestaande werkwijzen door gebruik hiervan is pas mogelijk als het besturingsinstrumentarium voorhanden is om deze veranderingen te kunnen doorvoeren. Eén van die instrumenten is een management informatiesysteem dat is ingericht op effectsturing (outcome). 8.1 Outcome sturingsmodel De management informatiesystemen die binnen de VWA bestaan, zijn ontwikkeld om sturing op productie (output) mogelijk te maken. Ze zijn beheersmatig van karakter. Outcome-sturing vraagt om aanvulling op deze beheersmatige management informatiesystemen. In de pilot is een prototype outcome sturingsmodel ontwikkeld14. Op basis hiervan kan monitoring van de effecten van uitgevoerde toezichtinstrumenten in beeld worden gebracht (zie figuur 6). Het prototype is gebaseerd op de hypothese dat optimaal invulling aan de waarborg voor voedselveiligheid wordt gegeven als bij levensmiddelenbedrijven de procesbeheersing van het productieproces in orde is.
Het te bereiken effect van het toezicht (outcome) wordt hierbij uitgedrukt in het percentage bedrijven waarbij de procesbeheersing in orde is.
14
28
CCP’s Van procesbeheersing is sprake als men de Critical Control Points (CCP’s) van het productieproces beheerst. Daarom is het zaak deze CCP’s te benoemen om vervolgens in beeld te brengen hoe de beheersing is. In een expertsessie zijn de wettelijk vastgelegde CCP’s in relatie met voedselveiligheid benoemd en uitgewerkt. Het gaat om: temperatuurbeheersing en hygiënebeheersing. Het beheersen van beide CCP’s impliceert dat het productieproces beheerst is. De mate van procesbeheersing valt in beeld te brengen door weergave van de nalevingspercentages van deze twee CCP’s. Dit kan door (uit de database van de VWA) de volgende gegevens in beeld te brengen: ■ De genomen corrigerende inspectiemaatregelen (ws/BB/PV) op temperatuursoverschrijding en onvoldoende hygiëne. ■ Het door de controleur op de inspectielijsten vastgelegde expertoordeel over temperatuursbeheersing en hygiënebeheersing. ■ De genomen corrigerende maatregelen naar aanleiding van via monsteronderzoek vastgestelde overschrijdingen van de kiemgetalnormen. (De aanname hier is dat de norm wordt overschreden als de temperatuur langdurig te hoog is geweest en/of de hygiëne niet in acht is genomen).
Rapportage outcome cockpit, VWA/Imtech BI, 2003
Effectief toezicht houden, hoe doe je dat?
Rapportage ‘Naar prestaties met effect’
Procesbeheersing Proces niet beheerst
Proces beheerst
Hygiëne beheersing
Temperatuur beheersing
2.0K
4.0K
6.0K
8.0K
2.0K
4.0K
Hygiëne beheerst
2.0K
4.0K
Expert Hygiëne 6.0K
8.0K
2.0K
Geen Maatregel Wel Maatregel
8.0K
Temperatuuur niet beheerst
Hygiëne niet beheerst
Maatregel
6.0K
Temperatuuur beheerst
4.0K
Expert Temperatuur 6.0K
8.0K
2.0K
4.0K
Positief Negatief
Koloniegetal
6.0K
Positief Negatief
8.0K
2.0K
4.0K
6.0K
8.0K
Beneden de norm Boven de norm
Figuur 6 Prototype outcome-cockpit Weegfactoren Nadat deze gegevens in beeld zijn gebracht, kan men met een beslisboom uitspraak doen over de mate van procesbeheersing. Van volledige procesbeheersing is slechts sprake als op alle parameters positief wordt gescoord (voldoen aan de wettelijke voorschriften). Zo kan het percentage bedrijven dat de procesbeheersing op orde heeft in beeld worden gebracht.
8.2 Ontwikkeling De inzichten over de (on)mogelijkheden van een outcome-cockpit zijn verder verkend in een vooronderzoek. Dit is uitgevoerd op basis van een aantal interviews. Het doel was helderheid krijgen over mogelijke ‘outcome-parameters’ voor de VWA15. Is het mogelijk op basis van handhavingsgegevens inzicht te krijgen in het niveau van naleving? Dat is de inzet van nadere studie. Een aparte rapportage hierover verschijnt in het eerste kwartaal van 2005.
De mogelijkheid bestaat om weegfactoren toe te kennen aan de verschillende parameters, zodat bijvoorbeeld temperatuursbeheersing zwaarder weegt dan hygiënebeheersing. In het prototype is dit achterwege gelaten en worden alle parameters even zwaar gewogen.
15
Rapportage vooronderzoek outcome parameters, VWA/Imtech BI, december 2003.
Rapportage ‘Naar prestaties met effect’
Effectief toezicht houden, hoe doe je dat?
29
9 Vragen en dilemma’s
9.1 Verandering in de toezichtfunctie Met de invoering van effectief toezicht verandert de rol van de toezichthouder ten opzichte van de meer klassieke rol. De klassieke rol was meer gericht op controleren en straffen, terwijl de nieuwe rol veel sterker om handhaving in de zin van ‘doen naleven’ draait. Hierdoor wordt de nieuwe toezichtfunctie meer een onderdeel van de beleidscyclus dan een solitaire overheidstaak. Afstemming met beleid en beleidsverantwoordelijken vraagt daardoor meer aandacht. Rolverdeling Spanning in verantwoordelijkheid (politieke of staatsrechtelijke) of in competentie treedt op als om de naleving van regels te bevorderen, instrumenten door de toezichthouder worden ingezet, die evengoed als beleidsinstrument door beleidsdirecties zouden kunnen worden aangewend en vice versa. Duidelijke scheiding van rollen bij de beoogde doelen zou deze spanning kunnen kanaliseren. Het beleid kiest instrumenten, waaronder regelgeving, die tot bijvoorbeeld veilig voedsel leiden. Het toezicht kiest instrumenten die tot naleving van de regels leiden. Het is noodzakelijk als toezichthouder mee te denken in beleidsvoorbereidende processen (zoals formele adviesrol). Beleidsverantwoordelijken moeten vervolgens meedenken in de ontwikkeling van toezichtarrangementen.
9.2 Opdrachtgever/opdrachtnemerrelatie De vaststelling van een beoogd niveau van naleving is een politieke verantwoordelijkheid, meent de Algemene Rekenkamer16. Maar tot op
16
30
heden is voor geen enkele wettelijke bepaling door de beleidsdirecties van zowel LNV als VWS een beoogd naleefniveau vastgesteld. Seminar De VWA organiseerde in maart 2003 een seminar als onderdeel van de ontwikkeling naar ‘effectief toezicht’. Dit seminar was bestemd voor het VWAmanagement en de beleidsdirecties van VWS en LNV. Dit moest de ‘beoogde naleefniveaus’ op de agenda krijgen en een traject starten om tot vaststelling van en sturing op deze naleefniveaus te komen. De beleidsdirectie LNV/VD gaf aansluitend op het seminar het Expertisecentrum LNV (EC-LNV) opdracht om een model te ontwikkelen om beoogde naleefniveaus te kunnen bepalen. De beleidsdirectie van VWS nam initiatieven om beleidsdoelstellingen specifieker en meetbaarder te formuleren (SMART). Rol VWA Vanuit haar expertise wil de VWA een bijdrage leveren aan de ontwikkeling van een model op basis waarvan beoogde naleefniveaus door de opdrachtgever kunnen worden vastgesteld. De verantwoordelijkheid voor het vaststellen van beoogde naleefniveaus kan echter nooit door de VWA worden overgenomen. Het voortzetten van de dialoog over deze problematiek is een eerste aanzet tot sturing door de VWA op beoogde naleefniveaus. De VWA neemt het initiatief hiervoor.
9.3 Conflicterend met prestatiesturing De besturing en aansturing van de VWA zijn tot nu toe vrijwel uitsluitend gericht op de bedrijfsvoering in relatie met de levering van gedefinieerde producten. Dit zijn producten als keuringen, inspecties
Algemene Rekenkamer, rapportage ‘onderzoek naar Rijksinspecties’, 2002.
Effectief toezicht houden, hoe doe je dat?
Rapportage ‘Naar prestaties met effect’
en monsteronderzoeken. De ontwikkeling van een output- naar een effectgestuurde organisatie zorgt ervoor dat ook de besturingsmodellen en -systemen mee moeten ontwikkelen. Net als de daaraan gekoppelde cultuur. In de pilot is hierop voor een deel geanticipeerd door een prototype outcomecockpit te ontwikkelen. Afstemming De bedrijfsvoering speelt een grote rol in de implementatie en doorontwikkeling van effectief toezicht. Aan de ene kant is er de ontwikkeling van een effectieve toezichtorganisatie. Aan de andere kant is er de agentschapontwikkeling gericht op beheersing van de bedrijfsprocessen. Deze beide ontwikkelingen moeten goed op elkaar worden afgestemd. De uitdaging is een flexibele, effectgestuurde organisatie samen te laten gaan met een productgestuurd, op kostprijs per gedefinieerd product gebaseerd, agentschapsmodel.
Rapportage ‘Naar prestaties met effect’
Rol van accountmanagers Cruciaal in de ontwikkeling naar effectief toezicht is de formulering en vaststelling van de beoogde effecten. Daarvoor zijn parameters nodig op basis waarvan deze beoogde effecten zijn uit te drukken. Ook moeten onderhandelingen tussen opdrachtgever en opdrachtnemer plaatsvinden over de vaststelling van de beoogde doelen en de (on)mogelijkheden in realisatie. De accountmanagers komen daarbij nadrukkelijker in beeld. Dit als onderhandelaar met de opdrachtgevers en als inhoudelijk koersbepaler voor de VWA.
Effectief toezicht houden, hoe doe je dat?
31
10 Bevindingen en conclusies
Het doel van de pilot ´naar prestaties met effect´ was nagaan of en zo ja hoe effectief toezicht mogelijk is.
noodzakelijk. De in de pilot ontwikkelde methoden en instrumenten kunnen als leidraad dienen voor een opleidings- en trainingstraject.
Mogelijkheden De pilot leverde een scala aan inzichten, methoden en instrumenten voor effectief toezicht op. Deze zijn zowel binnen als buiten de pilot17 geheel of gedeeltelijk en met succes toegepast. Hoewel doorontwikkeling en validatie van deze zaken nodig is voor VWA-brede implementatie, kunnen we concluderen dat effectgestuurd toezicht door de VWA mogelijk is. Eén van de voorwaarden hiervoor is dat het besturingsmodel en de besturings- en aansturingscultuur van de VWA daarbij mee ontwikkelt. Door de verkregen inzichten, methoden en instrumenten toe te passen, is de VWA in staat invulling te geven aan haar missie ‘naar zichtbare risicoreductie’ met behulp van effectief toezicht.
Effectparameters In de pilot is een aanzet gegeven tot de definitie van effectparameters. Het bleek dat binnen de VWA het bewustzijn is toegenomen dat toezicht meer moet worden ingezet om effecten te bereiken. Dit terwijl de inzichten over de te bereiken effecten ver uiteen lopen. Het is noodzakelijk de effectparameters te onderzoeken en definiëren, zowel binnen de VWA als bij de opdrachtgevers.
Samenwerking De ontwikkelde inzichten, methoden en instrumenten zijn voor een deel tot stand gekomen in samenwerking met leden van andere rijksinspecties. De recente ontwikkelingen in het IG-beraad zorgden dat we inzichten, methoden en instrumenten in breder verband konden toetsen en delen met vertegenwoordigers van andere rijksinspecties.
Olievlekwerking Door de gekozen incrementele aanpak van de pilot, bleven de ontwikkelingen niet beperkt tot de pilot. Door de olievlekwerking zijn methoden en instrumenten ook op andere onderdelen toegepast. In de bijlagen vindt u een opsomming van genomen initiatieven. Aanpassingen De ontwikkeling naar VWA-breed effectief toezicht vereist een andere manier van werken en denken. Niet alleen moeten methoden en instrumenten hanteerbaar zijn, ook besturingssystemen en -verhoudingen moeten hierop aangepast worden. Hierdoor vergt de implementatie van effectief toezicht eerder enkele jaren dan enkele maanden.
Noodzakelijke verandering De echt noodzakelijke verandering van de toezichtfunctie van de VWA zal vooral in de toezichtvoorbereiding en de evaluatie van de resultaten plaatsvinden. Ditzelfde geldt voor de opdrachtgever/ opdrachtnemer-relatie. Minder veranderingen zijn merkbaar in de uitvoeringsfase van het toezicht. Voor de medewerkers die belast zijn met de voorbereiding van het toezicht is opleiding en training 17 Enkele voorbeelden: Project toezichtarrangementen diervoeder, prioritering bijzondere eet- en drinkwaren, drank- en horecawet, residuen van bestrijdingsmiddelen, toezichtarrangementen Chinese horeca.
32
Effectief toezicht houden, hoe doe je dat?
Rapportage ‘Naar prestaties met effect’
11 Aanbevelingen
Zoals in de inleiding is vermeld zijn enkele van de aanbevelingen als gevolg van de lange looptijd van de pilot al omgezet in acties. Voor de volledigheid zijn zij wel opgenomen.
F Neem initiatief richting de beide beleidsdirecties om samen een ontwikkeling van een model voor het vaststellen van beoogde naleefniveaus in gang te zetten.
A. Ontwikkel een VWA-visie op outcome-sturing. Stel hiervoor een visie-document op met daaruit voortvloeiende outcome-parameters. Voer vervolgens de dialoog met de beide opdrachtgevers om te komen tot eensluidende outcomeparameters en tot duidelijkheid over de normstellingen bij die parameters.
G Ontwikkel een model of methode voor reactieve risico-analyse op basis van bestaande databronnen, gebaseerd op de databestanden van de VWA. Koppel hieraan zo nodig en zo mogelijk externe relevante data(bronnen), zoals bijvoorbeeld KAP van het RIKILT of de data van de Voedsel Consumptie Peilingen.
B. Start een implementatieproces ‘effectief toezicht’. Kies per accountsectie ten minste twee onderwerpen die in 2005 volgens de in de pilot opgedane inzichten, methoden en instrumenten worden uitgevoerd. Rapporteer eind 2005 over de leermomenten en ontwikkel mede op basis hiervan een implementatieplan tweede fase. Combineer deze projecten (minstens zes) met de ontwikkelingen op het gebied van ‘verbreding handhavingscommunicatie’ en de beleidsthema indeling volgens ‘Straver’.
H Stimuleer (regionale) initiatieven tot doorontwikkeling en implementatie van de in de pilot opgedane ervaringen. Draag hierbij echter wel zorg voor coördinatie vanuit de directie Toezicht.
C Draag zorg voor coördinatie/regie op deze (minimaal zes) projecten met betrekking tot de methodische aspecten. Leg de inhoudelijke verantwoordelijkheid neer bij de hoofdinspecteurs en organiseer de regiefunctie onder verantwoordelijkheid van de directeur Toezicht. D Ontwikkel in 2004 een trainings- en opleidingstraject voor de projectleiders van deze projecten. Laat hierin de ervaringen vanuit de pilot leidend zijn. Besteed expliciet aandacht aan de rol van de accountmanager in relatie tot de rol van de opdrachtgever.
I Draag zorg voor afstemming tussen de VWAbrede ontwikkeling naar effectief toezicht. Dit met enerzijds de ontwikkelingen binnen Nederland (2e Kaderstellende visie op toezicht, kwaliteitsagenda IG-beraad, etc.) en anderzijds de ontwikkelingen in europees verband (feed & food control, general foodlaw, FLEP, etc.). J Draag zorg voor een permanente en uitgebreide communicatie naar de medewerkers van de VWA over het doel en de voortgang van het proces naar effectief toezicht. K Stel een ontwikkelagenda op voor de hierboven genoemde aanbevelingen om de samenhang van de ontwikkelingen te kunnen bewaken. Koppel dit zo mogelijk aan het traject VWA-2006 en maak daarbij een doorkijk naar de daaropvolgende jaren. Leg de verantwoordelijkheid hiervan neer bij de directeur Toezicht.
E Ontwikkel een besturingsmodel voor de VWA op basis waarvan outcome-sturing mogelijk is. Haak daarbij aan bij het bestaande outputbesturingsmodel.
Rapportage ‘Naar prestaties met effect’
Effectief toezicht houden, hoe doe je dat?
33
12 Bijlagen
A Bijlage: een greep uit lopende initiatieven
■ ■ ■ ■ ■ ■ ■
■ ■ ■ ■ ■ ■
■ ■ ■ ■ ■ ■ ■
34
Expert Choice: aangeschaft en operationeel Expert Choice: groep getraind (10 personen) Expert Choice: project directie O&R (Periapt) Risico prioritering Bijzondere eet- en drinkwaren m.b.v. Expert Choice KvW Zuid Data-analyser: in gebruik door KvW Zuid voor horeca Data-analyser: bestrijdingsmiddelen KvW Noord-west operationeel Project RIVIER Datawarehouse t.b.v. outcome: verbetering outputrapportages en risico-analyse o.b.v. historische handhavingsdata. Pilots bij VWA/KvW Zuid en RVV. Denktank outcome-parameters directie Toezicht. Doelgroeponderzoek o.b.v. tafel van 11: toepassing bij VWA/KvW Oost, Zuid-west, Zuid Strategische heroriëntatie account Non-food, gericht op risicoreductie Diverse toepassingen van methoden in KvW Drank- en horecawet en Tabakswet Project tatoeage kleurstoffen, KvW Noord Oprichting team ‘effectief toezicht’ KvW Signalering Oost; o.a. projecten vis, Destructiewet, samenstelling vleesproducten Toezichtarrangement diervoederketen; ontwikkeld volgens methodiek effectief toezicht Concept trainingsopzet voor handhavingsvoorbereiders in ontwikkeling met hoofden Signalering Project effectief toezicht Chinese horecabedrijven Kennisdeling met andere Inspecties via werkgroepen van IG-beraad Internationale context: werkgroep managing effects van FLEP Samenwerking met IVW, VROM, Belastingdienst en ERH in project ‘handhaving en gedrag’ Bijdragen aan voorbereidingen project ‘Rijk aan Handhaving (justitie)’
Effectief toezicht houden, hoe doe je dat?
Rapportage ‘Naar prestaties met effect’
B Bijlage: format toezichtarrangement Doel van het toezichtarrangement ■ Doelstelling (SMART) ■ Doelgroep ■ Risicoprofiel T11 Controle ■ Doelstelling van de controle ■ Methode voor T=0 en T=1 meting ■ Object en/of activiteit van controle ■ Methoden van controle (inspectie, monsteronderzoek, administratief etc.) ■ Uitvoering door VWA-onderdelen ■ Omvang controle activiteiten per jaar ■ Personele capaciteit voor uitvoering controle nodig ■ Materiële kosten niet-personeel gerelateerd ■ Periode van uitvoering ■ Organisatie (systemen, coördinatie, etc.) Interventie Doelstelling (op welk gedragsaspect grijpt het in?) ■ Type interventie (bestuurlijke boete, advies, bedrijfssluiting, etc) ■ Interventiebeleid of -strategie (bijv. per doelgroep of per overtredingssoort) ■ Uitvoering door VWA-onderdelen ■ Omvang interventie-activiteiten per jaar (raming) ■ Personele capaciteit voor uitvoering interventies nodig ■ Materiële kosten niet-personeel gerelateerd ■ Periode van uitvoering ■ Organisatie (systemen, coördinatie, etc.)
Communicatie ■ Doelstelling ■ Methode voor T=0 en T=1 meting ■ Gelinkt aan activiteit (controle, interventie, zelfstandig onderdeel T11 etc.) ■ Type communicatie, medium, doelgroep ■ Uitvoering door VWA-onderdelen ■ Omvang communicatie activiteiten per jaar ■ Personele capaciteit voor uitvoering communicatie nodig ■ Materiële kosten niet-personeel gerelateerd ■ Periode van uitvoering ■ Organisatie (systemen, coördinatie, etc.) Context Relaties met VWA-onderdelen ■ Relaties met andere toezichthouders ■ Relaties met branche(vertegenwoordigers) ■ Relaties met andere ontwikkelingen, onderwerpen en projecten ■
■
Rapportage ‘Naar prestaties met effect’
Evaluatie ■ Periode(n) van evaluatie ■ Methoden van evaluatie ■ Wie voert evaluatie uit? Risico’s Afbreukrisico’s VWA ■ Uitvoeringsrisico’s (beschikbaarheid gekwalificeerd personeel, budget, etc) ■
Effectief toezicht houden, hoe doe je dat?
35
C Bijlage: Enkele toepassingen en ervaringen van deelnemers Pilot handhavingscommunicatie DHT De afgelopen 2 jaar is een pilot uitgevoerd waarbij het instrument handhavingscommunicatie is toegepast voor het werkterrein alcohol en tabak. In het kader van effectgestuurde handhaving zijn er samen met de handhaving diverse handhavingsacties ontwikkeld en uitgevoerd, waarbij handhaving ondersteund werd door communicatie. Daarnaast werd indien mogelijk samengewerkt met brancheorganisaties, maatschappelijke organisaties en andere opsporingsdiensten. Hierbij werd onder andere gebruik gemaakt van het 4 E-model. Communicatie Afhankelijk van de doelstelling werden per actie vastgelegd: ■ de boodschap (uitleg regel, de VWA gaat controleren, hoogte sanctie, etc.); ■ de communicatiemomenten (vooraf, tijdens, achteraf); ■ de communicatiekanalen (de algemene media, branche-organisaties, vakbladen, VWA-site, etc) en ■ de communicatiemiddelen (persbericht, interview, nieuwsbrief DHT, redactioneel artikel, brief, presentatie, etc.). Onderzoek Om veranderingen als gevolg van de acties bij de doelgroep te kunnen waarnemen werd onderzoek verricht. Zowel vooraf als na afloop van de acties werd een telefonische enquête uitgezet onder de doelgroep. De vragen hadden betrekking op kennis van de regelgeving, communicatiebereik, houding en gedrag, controlekans, detectiekans, sanctiekans en meldingskans.
36
Effectief toezicht houden, hoe doe je dat?
Om de 2 jaar wordt een vergelijkbaar onderzoek uitgevoerd, waarbij de verkrijgbaarheid van alcohol en tabak voor jongeren wordt onderzocht. Hierbij worden zowel ondernemers als jongeren geïnterviewd. Jaarlijks wordt een media-analyse uitgevoerd. De free publicity (krant, radio, TV, vakbladen) wordt verzameld en geanalyseerd op onderwerp, naamsbekendheid en communicatiesoort (Schillenmodel®: handhavingsvoorlichting, agendasetting, maatregelvoorlichting, argumentenvoorlichting, etc.). Ook wordt nagegaan in hoeverre de VWA-persberichten worden opgenomen door de media. Het effect Tijdens de pilot-periode is veel publiciteit gegenereerd over de handhaving van de DHW en de TW. De VWA-persberichten werden integraal overgenomen door de media. Deze media-aandacht heeft onder andere tot gevolg gehad dat de alcoholproblematiek hoger op de maatschappelijke agenda is komen te staan; in ieder geval bij de lokale overheden. Ook is de bekendheid van de VWA/KvW als handhaver van deze wetten behoorlijk toegenomen. Uit onderzoek is gebleken dat de subjectieve pakkans bij een aantal doelgroepen is toegenomen als gevolg van diverse acties (handhaving en communicatie), zowel bij de gecontroleerden als de nietgecontroleerden.
Rapportage ‘Naar prestaties met effect’
Enkele voorbeelden Zomercarnaval Ieder jaar werd tijdens het Zomercarnaval in Rotterdam langs de route illegaal alcohol verkocht. Voorheen werd zonder communicatie vooraf gecontroleerd en werden overtreders aangepakt. Je kunt er echter ook voor kiezen om vooraf over de controles te communiceren. Dit bleek meer effect te hebben. De betreffende ondernemers zijn vooraf aangeschreven. Ze werden geïnformeerd over het feit dat zij geen alcohol mochten verkopen, over de hoogte van de sanctie en over het feit dat er gecontroleerd zou gaan worden. Het resultaat was dat de ondernemers geen alcohol verkochten. Leeftijdsgrenzencontrole detailhandel Nadat de brancheorganisatie de leden goed had voorgelicht over de wetgeving met betrekking tot de leeftijdsgrenzen voor alcohol en de wijze waarop dit door de VWA gecontroleerd wordt, hebben de DHT-teams aansluitend een handhavingsactie uitgevoerd. Onderzoek wees uit dat als gevolg van de handhaving en de handhavingscommunicatie de subjectieve pakkans gestegen was; zowel bij de gecontroleerden als bij de niet gecontroleerden. Marian Gagcsbarani-Smink, VWA/KvW Zuid
Rapportage ‘Naar prestaties met effect’
Effectief toezicht houden, hoe doe je dat?
37
Project ‘definitie vleesgehalte samengestelde producten’ Het leidend beginsel bij alle activiteiten van de VWA/KvW is gericht op een kernachtige zorg voor veilig voedsel, het beperken van de gezondheidsrisico’s en het voorkomen van misleiding van de consument. Het is niet moeilijk voor te stellen dat de volledige overheidsbegroting kan worden gebruikt om de taak van de VWA te realiseren. Deze optie is niet reëel waardoor een afgewogen inzet van middelen noodzakelijk is. Van belang is dat de gemaakte keus zo goed mogelijk wordt doordacht. Deze motivatie is nodig doordat andere belangrijke gebieden, die ook passen binnen de activiteit van de VWA, gedurende een bepaalde periode minder aandacht kunnen krijgen als gevolg van gestelde prioriteiten. Bij het nadenken over prioriteiten komen ook andere criteria in beeld: rechtmatig, doelmatig, zorgvuldig, doeltreffend, transparant en dus verantwoord. Het maken van een keus waarop de inspecties zich moeten richten, gecombineerd met een beperkte beschikbaarheid van middelen, maakt een zeer belangrijk onderdeel uit van de te vormen visie.
Thema’s Binnen het project ‘Naar prestaties met effect’ zijn een aantal thema’s besproken die behulpzaam kunnen zijn bij het maken van een gemotiveerde keus. Een van de thema’s was gericht op het gebruik van de ‘tafel van 11’. Deze methode kan het best worden voorgesteld als een beknopte toets voor de handhaafbaarheid van regels. Het project ‘Definitie vleesgehalte samengestelde producten, 2003’ is door de projectleider gebruikt om vóór de daadwerkelijke start van het project te experimenteren met deze toets. Met behulp van het voor de VWA/KvW beschikbare handhavingsbeleid werd, voorafgaand aan de ontwikkeling van een projectprogramma, een expert schatting gemaakt. Door het complexe karakter van de nieuwe regelgeving en onduidelijkheid over de toepassing ervan werd de spontane naleving laag ingeschat. Evaluatie van de projectresultaten bevestigen deze conclusie. Door een actieve toepassing van de T11 blijkt dat deze toets een belangrijke bijdrage kan leveren aan het gemotiveerd stellen van prioriteiten gecombineerd met het kiezen van (handhavings)arrangementen die de doelstelling van de VWA het meest succesvol benaderen. Joost van den Akker VWA/KvW Oost
38
Effectief toezicht houden, hoe doe je dat?
Rapportage ‘Naar prestaties met effect’
Op zoek naar risicovolle producten Stel je eens voor dat alle non-food producten in Nederland, systematisch van A tot Z door de VWA zouden worden onderzocht. Dan zouden als eerste de afwasborstels aan bod komen en als allerlaatste de zwemvesten. Verkenning Om prioriteiten te kunnen stellen worden bij Signalering Zuidwest nieuwe terreinen ontgonnen. Op het terrein van ‘Kinderveiligheid’, ‘Hobby en vrije tijd’ en ‘Veiligheid in en om de woning’ zijn in 2003 verkenningsonderzoeken gedaan. Dit soort onderzoek heeft enerzijds tot doel om inzicht te krijgen in de omgeving waarbinnen het product wordt gebruikt. Denk daarbij aan vragen als: wat is de doelgroep, hoe ziet de markt eruit, welke organisaties en deskundigen kunnen ons netwerk aanvullen? Anderzijds is het doel de risico’s van producten te inventariseren. Hierbij maken we gebruik van ongevalsgegevens, die Stichting Consument en Veiligheid voor ons verzamelt. De uitkomst van het onderzoek kan uiteindelijk leiden tot een advies aan de hoofdinspecteur om (voorlopig) wel of geen prioriteit te geven aan toezicht op de productgroep. Hieronder volgen de onderwerpen van de verkenningen die het afgelopen jaar de revue passeerden. Gehoorschade bij kinderen, kleine attractietoestellen, kinderwagens/buggy’s, ‘kermisogen’, veiligheidsproblemen bij attracties, de duiksport, professionele producten op de consumentenmarkt, brandgevaar van wasdrogers, verhuur van doe-hetzelf machines. Zie ook het Jaarverslag NF Productveiligheid 2003.
Rapportage ‘Naar prestaties met effect’
Toekomst Met deze werkwijze zijn we in staat onze capaciteit effectief in te zetten. We kunnen het toezicht inzetten daar waar de naleving het laagst is en/of daar waar de te behalen gezondheidswinst het hoogst is. Het nalevingsniveau is meetbaar. Moeilijker wordt het om de gezondheidswinst in cijfers zichtbaar te maken. Idealiter kunnen we in de toekomst een daling in het aantal ongevallen signaleren. Bijvoorbeeld, dat er ten gevolge van ons toezicht op haakse slijpers een dalende lijn te zien is in het aantal ongelukken tijdens het doe-het-zelven ten gevolge van contact met een bepaalde machine. Daarvoor is het nu nog te vroeg, maar we streven ernaar dat dit in de toekomst mogelijk wordt. G.M. Heijne-Kloet Signalering Non Food Productveiligheid VWA/ KvW Zuidwest
Effectief toezicht houden, hoe doe je dat?
39
Effectief Handhaven - data-analyser Inleiding Voor het plannen van de handhaving door de VWA is het belangrijk te weten, waar de capaciteit het meest effectief kan worden ingezet. Om deze keuze te kunnen maken, moet bekend zijn in welk segment van de markt de meeste overtredingen gevonden worden. Hierbij is het een probleem, dat op zeer veel parameters in zeer verschillende monsters van uiteenlopende bedrijven wordt gemeten. Voor de signalering Zuid is in een pilot het software-pakket Microsoft Data-analyser gebruikt om op snelle wijze de samenhang tussen veel parameters grafisch weer te geven. Hierbij is door het bedrijf Imtech, dat het project uitvoerde een zodanige gebruikershandleiding geschreven, dat een ervaren impromptu/excel gebruiker er zelf mee aan de slag kan. Bij de centrale handhaving bestrijdingsmiddelresiduen in NW is ook sprake van zeer veel parameters, producten en herkomsten. Voor dit onderwerp is een data-analyser gebouwd op basis van gegevens, zoals die voor maand- en jaarrapportages uit ISI worden geëxtraheerd.
Uitwerking Er zijn twee modellen gemaakt, één gericht op monsters en één gericht op residuen. Omdat in een monster meer residuen voor kunnen komen zijn monster- en residuaantallen moeilijk in één telling te combineren. Figuur B1 geeft het ‘startscherm’ voor monstergegevens en figuur B2 voor residuen. Door een balk aan te klikken, veranderen alle vensters zodanig, dat zij de gegevens weergeven voor het geselecteerde item. Zo kan men heel snel vinden uit welk segment van de dataverzameling een bepaald soort overschrijding, residu, product, enz. voorkomt. Achter elke balk kunnen weer nieuwe balken opgeroepen worden, bijvoorbeeld achter de ‘E’ uit ‘EU’ kunnen de EU-landen zichtbaar worden gemaakt, achter de producten de monsternummers. Zo wordt tot in detail achterhaald , wanneer een bepaalde gebeurtenis zich voordeed. Afhankelijk van de gewenste snelheid van het systeem kan men meer of minder diepe zoommogelijkheden aanleggen. Het is mogelijk alle resultaten van 15 jaar residuonderzoek (ongeveer 130.000 monsters met 320.000 gegevens) in een model onder te brengen. Henk van der Schee, VWA/KvW Signalering Noord-west
40
Effectief toezicht houden, hoe doe je dat?
Rapportage ‘Naar prestaties met effect’
Soort :
EU :
5.0K
10K
15K
mnd :
2.0K
4.0K
6.0K
Olwaar Isi :
500
1.0K
N PV
1.5K
500
11
10
Grape
12
11
Sweet pepper
14
Strawberry
15
Orange
16
Tomato
17
Apple
18
2
GM
3
GV 4
5
5
Processed Products
6 7
Datum : Jaar
Lettuce
20 21
3.0K
9
Pepper
22
Wheat
23
5
Cucumber
1989
6.0K
4
Endive
1988
4.0K
19
Beans with pod (fresh)
8
1.0K 2.0K
2.0K
Pear
12
SW
1.0K
1
E
BR
Regio :
1990
Baby food
1991
Carrot
1992
Tangerines
6 7 8
Other arable product
1993
Melon
1994
Figuur B1 Startscherm voor monsterdata Afwijkend : 2.0K
EU : 4.0K
mnd :
500 1.0K 1.5K
N
Naam :
200
400
E
100 200 300 10
3
M J
11
N 9
?
1
8 7 6 12
Datum : Jaar 2.0K
4.0K
1999 2000
Olwaar Isi : 200 400 600
iprodion imazalil
2
procymidon
5
orthofenylfenol
4
cyprodinil
type :
2.0K
4.0K
200 400 600
druif sinaasappel aardbei
thiabendazool chloorpyrifos carbendazim (incl. benon)
Soort :
BR
DC AZ
PV
mandarijn, clementine
SW
appel
GV
OP
GM
OP HC
peer
BM
kropsla, bindsla paprika, scherpe paprika
pirimicarb
tomaat
CB OC HC PY
fludioxonil
andijvie
methidathion
citroen
captan
nectarine
CM
vinchlozolin
grapefruit
FA
tolylfluanide
OT BN
komkommer
chloorthalonil
honingmeloen, netmeloen sperzieboon
endosulfan
wortel
dithocarbamaten
Regio : 500
HC 1.0K
PI 7
8
QA AHC, CP
Figuur B2 Startscherm voor residudata
Rapportage ‘Naar prestaties met effect’
Effectief toezicht houden, hoe doe je dat?
41
Toepassing technieken in onderzoek effecten Tabakswet Gelijktijdig met het project ‘naar prestaties met effect’ is het onderzoek gestart naar sociaal-maatschappelijke effecten ten gevolge van tabaksregulering. Binnen dit onderzoek wordt enerzijds gekeken naar het implementatietraject, gericht op het nalevingsgedrag bij ondernemers en anderzijds naar het bewustwordingstraject, gericht op gedragsverandering bij consumenten. Met name bij het implementatietraject worden technieken toegepast die ook bij het project ‘naar prestaties met effect’ aan de orde zijn geweest. Voorbeelden hiervan zijn: Rookverbod in de gezondheidszorg In 2002 is gestart met een meerjarig handhavingsonderzoek, waarbij gezocht wordt naar verklarende factoren voor de mate van naleving en naar effecten van het ingezette maatregelbeleid. Metingen Gedurende 3 handhavingsacties worden metingen uitgevoerd t.a.v. het nalevingsniveau en de nalevingsmotivatie. Hierbij wordt het nalevingsniveau gemeten tijdens de uitvoering van de controles. De nalevingsmotivatie wordt gemeten door het in kaart brengen van bevorderende en belemmerende nalevingsfactoren. Deze meting vindt plaats door telefonische enquêtes, waarbij zowel ‘nalevers’ als ‘niet-nalevers’ worden benaderd. Het model is gebaseerd op de tafel van 11. Uit deze gegevens wordt een verklarend model ontwikkeld t.a.v. het nalevingsgedrag.
42
Effectief toezicht houden, hoe doe je dat?
Ten gevolge van kamervragen over knelpunten bij de implementatie van het rookverbod bij gezondheid- en welzijnsinstellingen met permanente bewoning heeft Minister Hoogervorst besloten de handhaving in 2004 op te schorten tot 2005. In de derde meting wordt ook specifiek naar effecten van deze (toch unieke) uitspraak gevraagd. Tabaksverstrekking aan jongeren Binnen het 2-jaarlijks monitoringsonderzoek naar verstrekking van tabaksproducten aan jongeren is in het najaar van 2003 aanvullend onderzoek gedaan bij ondernemers. Het onderzoek is gebaseerd op een gedragsvoorspellend model uit de gezondheidsvoorlichting, het zogenaamde ACE-model en de tafel van 11. Binnen het nieuwe model wordt het effect van handhaving op het nalevingsgedrag t.o.v. andere factoren in beeld gebracht. In 2005 zal een vervolgonderzoek plaatsvinden waarbij de invloed van verschillende technieken van handhavingscommunicatie met elkaar vergeleken wordt. Dit onderzoek zal plaatsvinden bij zowel de verstrekkers van tabak als bij de verstrekkers van alcohol. Wendy Verdonk-Kleinjan VWA/KvW Signalering Zuid
Rapportage ‘Naar prestaties met effect’
Colofon
Voedsel en Waren Autoriteit Directie Toezicht Cluster Strategieontwikkeling Postbus 19506 2500 CM Den Haag Prinses Beatrixlaan 2 2595 AL Den Haag Telefoon (070) 448 4848 Fax (070) 448 4747
[email protected] www.vwa.nl Contactpersoon Marijn Colijn
[email protected]