Evaluatie van de Randstedelijke Rekenkamer en Programmaraad

Evaluatie van de Randstedelijke Rekenkamer en Programmaraad Eindrapport

Ronald van der Mark Marieke Knobbe Dicky Sijpkens André Oostdijk 3 mei 2013

48128

Evaluatie van de Randstedelijke Rekenkamer en Programmaraad

Inhoud

Pagina

Inleiding

1

1. 2. 3. 4. 5.

1 1 2 3 3

Achtergrond Doel- en vraagstelling Onderzoeksopzet Organisatie van de opdracht Leeswijzer

Deel 1: Evaluatie van de Randstedelijke Rekenkamer 1. 2. 3. 4. 5. 6. 7. 8. 9. 10.

Inleiding Strategie van de Rekenkamer Takenpakket van de Rekenkamer Formatie, interne rollen en verantwoordelijkheden en ureninzet Begroting en rekening van de Rekenkamer Werkwijze: onderzoeksproces van de Rekenkamer Doorwerking van de Rekenkamer: instrumenteel en conceptueel Draagvlak voor de Rekenkamer Opvolging aanbevelingen eerdere evaluatie Conclusies

Deel 2: Evaluatie van de Programmaraad 1. 2. 3. 4. 5.

Inleiding Organisatie van de Programmaraad Takenpakket van de Programmaraad Opvolging aanbevelingen eerdere evaluatie Conclusies

Slotanalyse, conclusies en aanbevelingen 1. 2. 3. 4.

48128

Inleiding Functioneren van de Rekenkamer Efficiëntie van de Rekenkamer Functioneren van de Programmaraad

4 4 4 6 8 11 13 19 23 25 26

29 29 29 31 35 37

38 38 38 47 49

Bijlagen: 

Bijlage 1: Onderzoeksverantwoording



Bijlage 2: Leden Begeleidingscommissie



Bijlage 3: Overzicht rapporten Rekenkamer 2009-2012



Bijlage 4: Analysekader



Bijlage 5: Onderzoeksproces Rekenkamer



Bijlage 6: Enquête Statenleden



Bijlage 7: Enquêteresultaten

48128

Inleiding

1. Achtergrond In 2002 is voor provincies het zogenoemde duale stelsel ingevoerd. Sindsdien zijn de rollen, taken en posities van Provinciale Staten (PS) en het college gescheiden (GS). Het college bestuurt binnen door PS gestelde kaders. PS controleert de wijze waarop het college zijn taken uitvoert. Als onderdeel van de dualisering zijn provincies (vanaf 2005) 1 verplicht een rekenkamer in te stellen. Deze ‘onderzoekt de doelmatigheid, de doeltreffendheid en de rechtmatigheid’ van het door het provinciale bestuur gevoerde bestuur2. Inhoudelijk gezien laat de Provinciewet de Rekenkamer vrij in haar manier van opereren. Zo is de keuze voor te onderzoeken onderwerpen vrij, bepaalt de Rekenkamer zelf hoe de werkzaamheden worden uitgevoerd, wanneer wordt gepubliceerd enzovoorts. De in Randstadverband samenwerkende provincies Flevoland, Noord-Holland, Utrecht en Zuid-Holland spraken zich uit voor één gezamenlijke rekenkamer: de Randstedelijke Rekenkamer. Deze overeenkomst is vastgelegd middels een zogenaamde Gemeenschappelijke Regeling. De samenstelling van de Rekenkamer betreft één persoon: het lid van de Rekenkamer is tevens directeur van de uitvoeringsorganisatie (zogenaamde directeursmodel). De Randstedelijke Rekenkamer onderzoekt het rechtmatig, doelmatig en doeltreffend functioneren van de provincies Flevoland, Noord-Holland, Utrecht en Zuid-Holland. Naast de Rekenkamer is de Programmaraad opgericht. De Programmaraad bestaat uit leden van de Provinciale Staten van de vier provincies en adviseert de Rekenkamer onder andere bij de onderzoeksprogrammering. Daarnaast vormt de Programmaraad de schakel tussen de provinciale Statenleden en de Rekenkamer. De Programmaraad handelt op basis van de Verordening Programmaraad Randstedelijke Rekenkamer. 2. Doel- en vraagstelling PS van de vier Randstadprovincies hebben besloten tot een evaluatie van het functioneren van de Randstedelijke Rekenkamer en de Programmaraad Randstedelijke Rekenkamer. Vijf jaar na de vorige evaluatie wordt waarde gehecht aan een onafhankelijk uitgevoerde evaluatie van: 



De werking van de Gemeenschappelijke regeling Randstedelijke Rekenkamer, inclusief de effectiviteit van de uitvoering. De taakstelling en wijze van functioneren van de Programmaraad Randstedelijke Rekenkamer.

De evaluatie heeft betrekking op de periode 2009 tot en met 2012.

1

Zie de Provinciewet.

2

Artikel 183 lid 1 Provinciewet. 1

48128

De vraag is in tweeën opgesplitst: het gaat om de evaluatie van de Gemeenschappelijke regeling Randstedelijke Rekenkamer en om de evaluatie van de Programmaraad Randstedelijke Rekenkamer. De onderzoeksvragen zijn als volgt: Gemeenschappelijke regeling Randstedelijke Rekenkamer Hoofdvraag 1: Functioneert de Randstedelijke Rekenkamer, o.m. in het kader van hetgeen hierover in de Gemeenschappelijke Regeling is opgenomen, naar behoren? 

1a. Draagt de Rekenkamer bij aan het verbeteren van het functioneren van het provinciaal bestuur en het versterken van de publieke verantwoording?



1b. Vult de Rekenkamer haar rol met betrekking tot het uitvoeren van onafhankelijk en kwalitatief hoogwaardig onderzoek goed in?



1c. Is er sprake van wisselwerking tussen de Randstedelijke Rekenkamer en de vier betrokken provincies (College van GS, Ambtelijke organisatie/contactpersoon Rekenkamer, Programmaraad en Provinciale Staten) en, zo ja, hoe functioneert deze?

Hoofdvraag 2: Is de efficiency van de Randstedelijke Rekenkamer voldoende? 

2a. Is de efficiency van de Randstedelijke Rekenkamer (verhouding beschikbaar gesteld budget versus gerealiseerde producten en de wensen en taakstelling bij oprichting van de Randstedelijke Rekenkamer) naar behoren?

Programmaraad Randstedelijke Rekenkamer Hoofdvraag: In welke mate richt de Programmaraad zich op de taakstelling, draagt zij bij aan haar rol als communicatieschakel naar PS en draagt de Programmaraad bij aan de effectiviteit van de Rekenkamer? 

1a. In hoeverre beantwoordt het functioneren van de Programmaraad aan de taakstelling?



1b. Wat is de bijdrage van de Programmaraad aan de effectiviteit van de Randstedelijke Rekenkamer?

3. Onderzoeksopzet Het onderzoek is in een aantal stappen uitgevoerd3. In de eerste fase, de oriëntatiefase, zijn het analysekader voor de evaluatie en de enquête, die gehouden is onder de Statenleden, opgesteld en door de begeleidingscommissie vastgesteld. In deze eerste fase zijn ook oriënterende gesprekken gevoerd met de bestuurder-directeur van de Rekenkamer en de secretaris van de Programmaraad. In de tweede fase, de onderzoeksfase, heeft de dataverzameling plaatsgevonden. Er is een enquête onder Statenleden gehouden, er zijn casestudies onderzocht en er zijn documenten bestudeerd inzake de Rekenkamer en de Programmaraad.

3

Zie Bijlage 1 voor de onderzoeksverantwoording. 2

48128

De derde fase van het onderzoek was de verdieping. In deze fase zijn de eerste resultaten verdiept op basis van interviews bij de vier provincies. Per provincie heeft een groepsgesprek met Statenleden plaatsgevonden en zijn interviews gehouden met een gedeputeerde, directielid en een vertegenwoordiger van de griffie. Er zijn gesprekken gevoerd met alle medewerkers van de Rekenkamer en er heeft een groepsgesprek plaatsgevonden met de leden van de Programmaraad. In de vierde en laatste fase zijn de kwalitatieve en kwantitatieve uitkomsten geanalyseerd en is het rapport met bevindingen opgesteld. Dit rapport met bevindingen is voor feitelijk hoor en wederhoor aan de bestuurder-directeur van de Rekenkamer en de voorzitter en de secretaris van de Programmaraad aangeboden voor respectievelijk deel één en deel twee. Vervolgens is het concepteindrapport opgesteld dat is besproken met de begeleidingscommissie. 4. Organisatie van de opdracht Om de kwaliteit van de uitvoering van het onderzoek te bewaken, is een begeleidingscommissie ingesteld met vertegenwoordigers van Provinciale Staten van elke provincie. De rol van de commissie was adviserend, tijdens het onderzoeksproces is er gereflecteerd op onder meer de methodiek, de vragenlijst voor de enquête, de criteria voor de caseselectie, de enquête resultaten en het concepteindrapport. In bijlage 2 is een overzicht van de leden van de begeleidingscommissie opgenomen. Zij hadden op persoonlijke titel zitting in de commissie. 5. Leeswijzer Het rapport bestaat uit twee delen. Het eerste deel geeft de resultaten van de evaluatie van de Rekenkamer weer. Hierin wordt achtereenvolgens ingegaan op de strategie, de onderzoeken, de organisatie, de werkwijze en de doorwerking. Het tweede deel bestaat uit de resultaten van de evaluatie van de programmaraad. Hierin wordt achtereenvolgens ingegaan op de organisatie en takenpakket, de werkwijze en de producten. Na deze twee delen volgt een hoofdstuk waarin de slotanalyse, conclusies en aanbevelingen van de twee delen integraal aan bod komen.

3 48128

Deel 1: Evaluatie van de Randstedelijke Rekenkamer

1. Inleiding In dit deel gaan we in op het functioneren van de Rekenkamer. Als eerste gaan we in op de strategie en de organisatie van de Rekenkamer. Hierbij behandelen we wat de wettelijke taak van de Rekenkamer is en hoe de organisatie wat betreft mensen en middelen van de Rekenkamer is georganiseerd. Daarna gaan we in op de verschillende onderdelen van het onderzoeksproces. Ten slotte komt de doorwerking en positionering van de Rekenkamer aan de orde. Wij ronden af met de opvolging van de aanbevelingen uit de vorige evaluatie (2008) en een serie conclusies op basis van de bevindingen. 2. Strategie van de Rekenkamer De Rekenkamer is ingesteld in 2004. De wettelijke taak van een provinciale rekenkamer luidt, volgens de Provinciewet, als volgt4: “De rekenkamer onderzoekt de doelmatigheid, de doeltreffendheid en de rechtmatigheid van het door het provinciebestuur gevoerde bestuur.” In paragraaf 3.1 van de memorie van toelichting bij de Wet dualisering provinciebestuur is daarnaast het volgende opgenomen: “In het kader van de publieke verantwoording van Provinciale Staten aan de kiezer is het goed dat ook een onafhankelijk orgaan onderzoek doet naar de wijze waarop de provincie wordt bestuurd, daarbij inbegrepen het bestuur door provinciale staten zelf.” Conform artikel 186, lid 5 van de Provinciewet zijn de rapporten en de verslagen van de rekenkamer dan ook altijd openbaar. De Rekenkamer heeft haar taak, conform de wet, als volgt omschreven: “De Randstedelijke Rekenkamer onderzoekt het rechtmatig, doelmatig en doeltreffend functioneren van de provincies Flevoland, Noord-Holland, Utrecht en Zuid-Holland. Daarbij toetst de Rekenkamer ook of de provincies de verplichtingen nakomen, die zij zijn aangegaan.” De Rekenkamer heeft haar taak vertaald in de volgende missie: “Het verbeteren van het functioneren van het provinciaal bestuur (van de provincies Flevoland, Noord-Holland, Utrecht en Zuid-Holland) en de daarmee verbonden organen en het versterken van de publieke verantwoording.”

4

Provinciewet, artikel 183, sub 1. 4

48128

In 2009 is er door de Rekenkamer een verbeterstrategie ingericht, die zich op drie punten richtte: meer ‘van buiten naar binnen’, ‘innovatiever’ en ‘meerjarige politiek/bestuurlijke context’. Het eerste punt, ‘van buiten naar binnen’ gaat in op meer contact met Statenleden (bijwonen commissievergaderingen, PS-leden betrekken bij de onderzoeksopzet), externe deskundigen betrekken bij onderzoeken (bij probleemstelling, opzet en resultaten) en meer aandacht voor inwoners en belanghebbenden van provinciaal beleid. Het punt ‘innovatiever’ gaat ten eerste over de kernboodschap van het onderzoek, vooraf afvragen waar het onderzoek toe moet leiden, over het gebruik van andere onderzoeksmethoden, het zorgen voor een transparant oordeel en heldere structuur en het variëren in wijze van publiceren. Het laatste punt ‘meerjarige politiek/bestuurlijke context’ gaat over strategisch programmeren, op basis van een risicoanalyse en daarnaast het uitvoeren van maatwerkonderzoeken (provinciespecifiek en inspelen op actualiteit).5 Meningen over de strategie van de Rekenkamer Bestuurders en ambtenaren van de provincies zien de Rekenkamer primair als een instrument van en voor de Provinciale Staten. De Rekenkamer is er vooral om de controlerende functie van de Provinciale Staten ten opzichte van Gedeputeerde Staten te versterken is de mening van deze gesprekspartners. Ook Statenleden zien de Rekenkamer primair als het instrument van de Staten om hun controlerende, en in mindere mate hun kaderstellende, rol te versterken. De Rekenkamer ziet haar rol breder; “de Rekenkamer werkt voor PS en via PS ook voor GS en de ambtelijke organisatie”. Daarnaast geven gesprekspartners van de provincies aan dat ze een positieve ontwikkeling zien in de strategie van de Rekenkamer de afgelopen jaren. De Rekenkamer zoekt volgens hen meer het contact met de provincies zowel ambtelijk, bestuurlijk als politiek. Met name het betrekken van PS bij de onderzoeksopzet wordt door gesprekspartners van de provincies en de programmaraad als positief genoemd. Uit de enquête onder PS geeft de helft van de Statenleden aan het (zeer) eens te zijn met de stelling dat de Rekenkamer de Statenleden actief bij de onderwerpskeuze betrekt. 30% van de Statenleden geeft ‘neutraal’ als antwoord op deze stelling. Tegelijkertijd vindt 60% van de Statenleden dat er voldoende mogelijkheden zijn om onderwerpen voor onderzoek bij de Rekenkamer aan te dragen. Ambtenaren en bestuurders zien nog wel mogelijkheden voor meer betrokkenheid bij de Rekenkamer. Deze betrokkenheid zou wat hen betreft moeten leiden tot een betere doorvertaling van de onderzoeksonderwerpen in een onderzoekskader. De Rekenkamer zou in de voorfase van een onderzoek, meer ambtelijke afstemming kunnen zoeken om tot een onderzoekskader te komen. Dit zou volgens deze gesprekspartners er toe leiden dat de onderzoeken nog beter aansluiten bij de provinciale praktijk.

5

Missie en strategiedocument Rekenkamer 2009. 5

48128

Ook de andere verbeterpunten, ‘innovatiever’ en ‘meerjarige politiek/bestuurlijke context’, worden door de gesprekspartners van de provincies in algemene zin herkend in de praktijk. Ze merken dat de Rekenkamer meer onderzoeken specifiek voor provincies uitvoeren. Echter Statenleden geven aan dat de Rekenkamer nog wel meer op actuele onderwerpen zou mogen inspelen. 40% van de Statenleden geeft aan dat de Rekenkamer bij haar onderwerpkeuze flexibel inspeelt op actuele zaken. Innovatie in de onderzoeken wordt door de gesprekspartners van de provincie minder herkend. Gesprekspartners van de provincies typeren de wijze van onderzoeken van de Rekenkamer over het algemeen als ‘degelijk’ en ‘vrij technocratisch’. 3. Takenpakket van de Rekenkamer De kern van het takenpakket van de Rekenkamer is het verrichten van onderzoeken. Jaarlijks publiceert de Rekenkamer rapporten voor de vier provincies. Hieronder is weergegeven hoeveel rapporten de Rekenkamer de afgelopen jaren heeft gepubliceerd, het type onderzoek en hoe de spreiding over de verschillende beleidsthema’s is geweest. In bijlage 3 is een overzicht van alle onderzoeken en rapporten van de afgelopen vier jaar opgenomen. Spreiding over de beleidsthema’s 2009-2012

Aantal onderzoeken per jaar Jaar

Aantal

2009

4

Ruimtelijk beleid

5

2010

3

Mobiliteitsbeleid

2

2011

8

Sociaal beleid

4

2012

7

Economisch beleid

2

Bestuur en middelen

9

Totaal

22

Thema

Aantal

De Rekenkamer heeft in de evaluatieperiode 2009-2012 in totaal 22 onderzoeken uitgevoerd, waarbij er in 2011 en 2012 een verdubbeling van het aantal onderzoeken is te zien ten opzichte van 2009 en 2010. In totaal zijn er 53 rapporten opgeleverd (gemiddeld circa dertien rapporten per jaar). De Rekenkamer heeft de afgelopen jaren de meeste onderzoeken binnen het thema bestuur en middelen uitgevoerd. Over de andere beleidsthema’s is een gelijke spreiding te zien. De Rekenkamer voert verschillende typen onderzoeken uit, ex ante en ex post evaluatie, verkenningen, opvolgingsonderzoeken en verzoekonderzoeken. Onderstaande tabel geeft een overzicht hiervan. De Rekenkamer heeft in deze evaluatieperiode voornamelijk ex post evaluaties uitgevoerd. De Rekenkamer maakt onderscheid in onderzoeken die voor de vier provincies gezamenlijk uitgevoerd worden (‘benchmark onderzoeken’) en provinciespecifieke onderzoeken. In deze evaluatieperiode heeft de Rekenkamer dertien benchmarkonderzoeken uitgevoerd en negen provinciespecifieke onderzoeken. Van deze negen provinciespecifieke onderzoek zijn er vier voor Noord-Holland, twee voor Flevoland en Zuid-Holland en één voor Utrecht. Daarnaast is er nog één onderzoek uitgevoerd voor de provincies Noord-Holland, Zuid-Holland en Utrecht.

6 48128

Type onderzoeken 2009-2012 Type

Aantal

Ex ante evaluatie

1

Ex post evaluatie

17

Verkenningen/inventarisaties

1

Opvolgingsonderzoeken

3

In de aflopen vier jaar zijn de meeste provinciespecifieke onderzoeken uitgevoerd voor NoordHolland. De omvang van de provinciespecifieke onderzoeken is verschillend. De Rekenkamer geeft aan dat zij in haar programmering door de jaren heen rekening houdt met een evenredige spreiding van onderzoekscapaciteit ten behoeve van provinciespecifieke onderzoeken. Uit de interviews blijkt dat de Rekenkamer verschillende vernieuwingen uitprobeert, zoals: 

Factsheets over de Rekenkamer na verkiezingen voor nieuwe PS-leden.



Het opstellen van vijf-minutenversies van de rapporten.



Het opstellen van een handreiking voor het evalueren van het subsidiebeleid.



Ex ante onderzoek (Regie op herstructurering Bedrijfsterreinen).



Doorwerkingsonderzoeken; zoals het onderzoek naar jeugdzorg.



Werksessies in plaats van onderzoeken zoals inzake verkeersveiligheid.

Meningen over het takenpakket van de Rekenkamer Uit de gesprekken met vertegenwoordigers van de provincies komt naar voren dat ze tevreden zijn over de aantallen onderzoeken, de spreiding in onderzoeksonderwerpen en het type onderzoeken. Met name Statenleden geven aan dat ze liever meer provinciespecifieke onderzoeken zouden willen en minder ‘benchmark’ onderzoeken. Ambtenaren en bestuurders geven aan de ‘benchmark’ onderzoeken over het algemeen juist wel te waarderen omdat dit een vergelijking tussen de provincies mogelijk maakt. De kritiek van andere gesprekspartners, zowel Statenleden als ook een aantal bestuurders en ambtenaren is dat de onderzoeken daardoor soms teveel een algemeen karakter krijgen en daarmee niet goed aansluiten bij de praktijk van de eigen provincie. Deze gesprekspartners zouden liever een verdieping van het onderzoek toegespitst op hun provincie willen in plaats van een vergelijkend onderzoek waarbij ze langs een onderzoekskader worden gelegd die in hun ogen niet goed genoeg aansluit bij de specifieke context van hun provincie. Daarnaast is voor provincies niet inzichtelijk hoe de verdeling van de provinciespecifieke onderzoeken over de provincies wordt bepaald. Bij de provincie Flevoland bestaat bij een deel van de Statenleden het beeld dat zij in verhouding minder onderzoeken krijgen dan de andere provincies. De onderwerpkeuze staat niet ter discussie; zowel uit de gesprekken met vertegenwoordigers uit de provincie als uit de enquête komt naar voren dat de onderwerpen van onderzoek relevant zijn. Ruim 60% van de Statenleden is van mening dat de Rekenkamer voor PS relevante onderwerpen onderzoekt. 7 48128

4. Formatie, interne rollen en verantwoordelijkheden en ureninzet De Rekenkamer is georganiseerd volgens een directeursmodel. De directeur is zowel het enige lid van de Rekenkamer (bestuurder) als de directeur van de uitvoeringsorganisatie. De bestuurderdirecteur wordt benoemd door PS. De organisatie van de Rekenkamer bestaat uit elf medewerkers. Onderstaande tabel geeft de samenstelling van de medewerkers weer. Formatie Functie

schaal

fte

Bestuurder-directeur

17

1,00

Directielid

15

2,00

Projectleider (1fte vacant)

12

2,00

Onderzoeker

11

5,57

7

0,90

Management assistent Totale formatie

11,47

Tijdelijke bezetting

10,47

De bestuurder-directeur draagt zorg voor de instelling en continuïteit van een zodanige ondersteunings-organisatie, dat de taken van de Rekenkamer op een professionele en kwalitatief hoogwaardige wijze kunnen worden vervuld. De bestuurder-directeur heeft mandaat en volmacht van GS en de Commissaris van de Koningin van Flevoland om besluiten te nemen tot privaatrechtelijke rechtshandelingen6. In de praktijk gaat dit veelal om het kunnen gunnen van opdrachten aan private partijen door de Rekenkamer. Jaarlijks legt de bestuurder-directeur verantwoording af middels een rapportage over de genomen besluiten namens GS. Het ministerie van BZK houdt toezicht op de Rekenkamer. De bestuurder-directeur bepaalt zelf binnen de kaders van de vastgestelde begroting van de Rekenkamer de personele samenstelling in kwaliteit en kwantiteit van de ondersteunde organisatie. De directieleden voeren directietaken uit, zijn medeverantwoordelijk voor de integrale bedrijfsvoering, geven leiding aan teams, leveren managementinformatie, leveren een bijdrage aan de beleidsvorming, doen beleidsvoorstellen en participeren in onderzoeksprojecten. Binnen de directie is een taakverdeling gemaakt. De bestuurder-directeur gaat over algemene zaken, de twee directieleden hebben een portefeuilleverdeling ten aanzien van de provincies en hebben de taken verdeeld op basis van de bedrijfsvoering en P&O. De directie overlegt wekelijks inhoudelijk (ca. 1 uur) en tweewekelijks over personele en bedrijfsvoeringzaken (ca. 1 uur).

6

Als bedoeld in artikel 158, eerste lid sub e van de Provinciewet. 8

48128

Benoeming, schorsing en ontslag van medewerkers van de Rekenkamer is formeel belegd bij GS van Flevoland. De eindverantwoordelijkheid hiervoor is door gemandateerd aan de bestuurderdirecteur van de Rekenkamer. Dit houdt in dat de bestuurder-directeur van de Rekenkamer het mandaat heeft besluiten te nemen tot publiekrechtelijke rechtshandelingen waar het gaat om de rechtspositieregelgeving. De bestuurder-directeur voert functioneringsgesprekken met de twee directieleden en de management assistent. De twee directieleden voeren functioneringsgesprekken met de projectleiders en onderzoekers. De bestuurder-directeur heeft zelf geen (jaarlijks) beoordelingsgesprek. De Rekenkamer zelf wordt een keer in de vier jaar geëvalueerd. Het primair proces van de Rekenkamer bestaat uit de volgende activiteiten: 





Werken aan onderzoeken. Dit zijn de reguliere onderzoeken. Werken aan oriëntatie-onderzoeken. Dit zijn onderzoeken om van een globaal onderzoeksthema tot een concreet onderzoeksvoorstel te komen. Werken aan beleidsveldonderzoeken. Dit zijn onderzoeken om ontwikkelingen in het beleidsveld bij te houden en kennis over het beleidsveld te ontwikkelen.

Vervolgens zijn er ook ondersteunende activiteiten zoals: 



Algemeen, bestaande uit het wekelijks onderzoeksoverleg, wekelijkse terugkoppeling van het MT, training en opleiding, onderzoekersdagen (kennisuitwisseling met onderzoekers van provinciale rekenkamers en G4, twee keer per jaar), congressen en symposia en sociale activiteiten. Management en ondersteuning, bestaande uit de uren van het MT en de managementassistent ten behoeve van algemene directie en bestuurstaken (intern en extern algemeen overleg, externe vertegenwoordiging, de van toepassing zijnde onderwerpen die hierboven zijn genoemd bij de uren algemeen medewerkers, en piofah+j).7

De medewerkers van de Rekenkamer schrijven hun uren op basis van bovenstaande categorieën van activiteiten. De urenverdeling van de Rekenkamer in zijn totaliteit is in onderstaande tabel weergegeven. Hieruit komt naar voren dat de medewerkers van de Rekenkamer gemiddeld 60% een direct productieve bezetting hebben. Het grootste deel van deze uren besteden medewerkers aan het werken aan onderzoeken. Een klein deel van de tijd (in 2011 4,5% en in 2012 2%) besteden de medewerkers aan oriëntatie-onderzoeken en beleidsveldonderzoeken. Elke onderzoeker heeft één of twee beleidsvelden toegewezen gekregen om de actualiteit te volgen en kennis te ontwikkelen op dat gebied. Wanneer er gedifferentieerd wordt naar type medewerker, dan treedt er variatie op in de urenverdeling. De drie directieleden hebben een gemiddelde direct productieve bezetting van 45% en de onderzoekers hebben een gemiddelde direct productieve bezetting van 77%. Er wordt ook gestuurd op de productiviteit, gestreefd wordt de productieve uren zo hoog mogelijk te laten zijn.

7

Op basis van informatie verkregen van de Rekenkamer. 9

48128

Het budget van de Rekenkamer bepaalt het totaal aantal beschikbare uren. Een overschrijding op projecten leidt echter niet tot een overschrijding van het totale budget van de Rekenkamer. Er wordt geschoven met de uren tussen de activiteiten. Gevolg hiervan was dat de onderzoekers bijvoorbeeld in 2012 minder tijd hadden voor beleidsveldonderzoek. Ook is er een verandering in de aansturing. Voor de onderzoeken wordt een begroting en planning opgesteld. Voorheen werd er alleen een urenbegroting opgesteld, nu ook een kostenraming. De projectleider maakt de begroting. Hiervoor zijn geen vaste normen (behalve alles inbegrepen ongeveer 1,5 dag per interview), maar er is wel een uurtarief (gebaseerd op de totale begroting gedeeld door het totaal aantal productieve uren). Bij de onderzoeksopzet is ook het team samengesteld. De grootte van de teams varieert van één tot vier onderzoekers en een projectleider. De grootte van een team hangt met name af van of het een benchmark of een provinciespecifiek onderzoek is. De projectleider is verantwoordelijk voor het halen van de begroting en de planning en legt hierover verantwoording af aan het verantwoordelijk MT-lid. Het MT monitort de planningen en de begrotingen. De onderzoekers werken algemeen genomen aan één onderzoek tegelijk, waarbij er aan de vooren achterkant van onderzoeken aan meerdere onderzoeken gewerkt kan worden. Specifieke kennis die de Rekenkamer niet heeft wordt extern ingehuurd. Soms wordt bij het tijdelijk invullen van een vacature op detacheringsbasis iemand van buiten aangesteld. Meningen over formatie, interne verdeling rollen en verantwoordelijkheden en ureninzet Uit de gesprekken komt een beeld naar voren van een Rekenkamer die overall goed georganiseerd is. De Rekenkamer heeft een heldere werkwijze, er werken kwalitatief goede medewerkers bij de Rekenkamer en er is goed contact met medewerkers van de Rekenkamer. Dit geldt zowel voor contact op ambtelijk, bestuurlijk als op politiek niveau met de Rekenkamer. Medewerkers van de Rekenkamer zijn goed bereikbaar en komen hun afspraken na. Op de tijdsbesteding van de medewerkers hebben gesprekspartners van de provincies geen zicht. Wel vragen verschillende Statenleden zich af of de uitvoering wel efficiënt is. De Rekenkamer vindt zelf dat ze te weinig toekomt aan het beleidsveldonderzoek.

10 48128

Ten aanzien van het organisatiemodel wordt door gesprekspartners van de provincies aangegeven dat de taakverdeling tussen de directieleden niet helder is. Zo is voor provincies niet altijd duidelijk waarom ze wanneer met welk directielid te maken krijgen. Soms komt de bestuurder-directeur en de andere keer een directielid en bij onderzoeken komt, afhankelijk van het onderwerp, soms weer een ander directielid mee. De Rekenkamer geeft aan dat dit het gevolg is van het feit dat de functie van projectleider meerdere keren vacant is geweest. Hierdoor was de Rekenkamer genoodzaakt niet te strak aan de rolverdeling tussen de directieleden vast te houden. Daarnaast is het diverse keren voorgekomen dat er in twee provincies tegelijkertijd relevante behandelingen waren. En daarnaast bestaat het beeld dat, wanneer de Rekenkamer aanwezig is bij commissievergaderingen van PS ze vaak met een grote vertegenwoordiging (twee tot drie personen) aanwezig zijn. Vanuit de Rekenkamer wordt aangegeven dat het belangrijk is dat onderzoekers die lange tijd aan een onderzoek hebben gewerkt hun klant goed kennen en het derhalve belangrijk is dat zij bij de behandeling aanwezig zijn. In de gesprekken komt ook naar voren dat drie directieleden ruim is voor de organisatie van de Rekenkamer. Er wordt positief gesproken over het functioneren van de directeur van de Rekenkamer. De open en constructieve houding van de bestuurder-directeur wordt door veel gesprekspartners van de provincies gewaardeerd. 5. Begroting en rekening van de Rekenkamer8 Alle vier de provincies leveren een financiële bijdrage aan de Rekenkamer. Deze bijdrage bestaat uit een gelijk bedrag voor alle vier de provincies (in 2012: 194.075 euro) plus daarboven een bedrag gebaseerd op de uitkering uit het provinciefonds dat is vastgesteld door het Ministerie van Binnenlandse Zaken en Koninkrijksrelaties. De omvang van dit bedrag wisselt per provincie en is naar rato van de som van de belastingcapaciteit en de uitkering uit het provinciefonds. Hiermee komt het totaal budget van de Rekenkamer jaarlijks op 1.552.600 euro. De begroting van de Rekenkamer wordt voor zienswijze aan PS voorgelegd. Elk jaar stuurt de Rekenkamer de ontwerpbegroting en de meerjarenraming naar de vier provincies, zes weken voordat de begroting wordt vastgesteld, doch uiterlijk op 1 juni. De deelnemers kunnen hun zienswijze over de ontwerpbegroting en de meerjarenraming naar voren brengen. Dit laatste, het indienen van zienswijzen, gebeurt in de praktijk zeer zelden. De rekenkamer stelt de begroting uiterlijk per 15 juli vast en zendt deze vervolgens aan de deelnemers en aan de Minister van BZK9. Jaarlijks stuurt de Rekenkamer uiterlijk 15 juli de jaarstukken naar de provincies en de Minister van BZK. Uit de documentanalyse blijkt dat er de afgelopen jaren zeer zelden vragen zijn gesteld of discussie is geweest naar aanleiding van de begroting en de rekening. Uitzondering hierop zijn de moties van PS van Flevoland en Utrecht in 2011 waarin PS zichzelf heeft opgedragen “met een afvaardiging in overleg te treden met de andere drie deelnemende provincies in de gemeenschappelijke regeling betreffende de Randstedelijke Rekenkamer met als doel te komen tot een verlaging van de provinciale bijdrage aan de Randstedelijke Rekenkamer in het kader van de gewijzigde financiële omstandigheden”.10

8

Begrotingen en jaarrekeningen 2010-2013.

9

Gemeenschappelijke Regeling Randstedelijke Rekenkamer (na wijziging 2011).

10

In de motie van Utrecht wordt gesproken over “een verlaging (…) die tegemoet komt aan de korting op het

provinciefonds”. In die van Flevoland wordt een verlaging van 20% genoemd. Sinds de begroting 2011 heeft de Rekenkamer de indexering achterwege gelaten gezien de financiële ontwikkelingen. 11 48128

De Rekenkamer heeft de afgelopen jaren een positief baten-lasten saldo gehad, zoals in onderstaande tabel weergegeven. Dit saldo wordt gebruikt om de reserves aan te vullen tot maximaal 15% van de provinciale bijdragen. Het restant vloeit terug naar de provincies. Jaar

Begroting Baten

Rekening

Lasten

Baten

Lasten

Verschil Baten

Lasten

Baten-Lasten Rekening

2009

1.530.700

1.595.700

1.512.709

1.488.886

-17.991

-106.814

23.823

2010

1.560.100

1.560.100

1.555.869

1.515.041

-4.231

-45.059

40.828

2011

1.564.600

1.564.600

1.563.689

1.479.508

-911

-85.092

84.181

2012

1.564.600

1.564.600

1.553.774

1.489.026

-10.826

-75.574

64.748

De volgende tabel11 geeft inzicht hoe de lasten verdeeld zijn. De grootste kosten post (circa 75%) betreft de salariskosten van het personeel. Jaarlijks wordt voor circa 200.000 euro extern ingehuurd. In 2012 is dit bedrag sterk omlaag gebracht. De toename van de kostenpost Informatievoorziening heeft onder meer te maken met investeringen in het kader van het Nieuwe Werken. Lasten

Rekening 2009

Rekening 2010

Rekening 2011

Rekening 2012

1.119.628

1.105.044

1.106218

1.143.653

Inhuur

174.608

215.743

206.324

143.277

Huisvesting en servicekosten

151.034

147.149

142.903

145.512

40.614

43.610

22.774

54.631

3.003

3.496

1.289

1.953

1.488.886

1.515.041

1.479.508

1.489.026

Personeel

Informatievoorziening Kantoor Som der lasten

11

Op basis van de jaarstukken van de Rekenkamer 12

48128

Meningen over begroting en rekening van de Rekenkamer Uit de gesprekken komt naar voren dat tot ‘de tijd van bezuinigingen’ geen discussie was over de bijdrage van de provincies aan de Rekenkamer. Vanuit een tweetal provincies, Utrecht en Flevoland, is er de wens om in het kader van bezuinigingen te korten op het budget van de Rekenkamer. Bij de twee andere provincies speelt deze vraag niet. De verdeelsleutel per provincie staat volgens de respondenten niet ter discussie. Ten slotte zijn er kritische geluiden over de wijze van aansturing van de Rekenkamer. Deze aansturing vindt grotendeels plaats via het vaststellen van de begroting en de rekening door de respectievelijke Staten. Hierover vindt nauwelijks discussie plaats. Het gezamenlijk eigenaarschap brengt volgens gesprekspartners van de provincies met zich mee dat niemand zich echt verantwoordelijk voelt voor de Rekenkamer en maakt aan de andere kant het voor individuele provincies beperkt mogelijk om zaken te wijzigen. Dit laatste zou ook niet in vergaande vorm moeten kunnen, is de mening van betrokkenen; dit zal immers de gezamenlijkheid onder druk zetten en een Rekenkamer met vier verschillende klanten zal minder effectief en efficiënt kunnen werken. Maar tegelijkertijd bestaat er bij een aantal provincies behoefte om meer mogelijkheden te hebben om te kunnen sturen op de onderwerpkeuze van onderzoeken als op de middelen van de Rekenkamer. De bestuurder-directeur geeft aan dat er geen klankbord is met wie zij zaken die de Rekenkamer betreffen kan bespreken, afgezien van de Programmaraad ten aanzien van de onderzoeksprogrammering. 6. Werkwijze: onderzoeksproces van de Rekenkamer In dit hoofdstuk gaan we in op stappen die de Rekenkamer doorloopt bij het uitvoeren van een onderzoek. Allereerst gaan we in meer algemene zin in op het onderzoeksproces en de meningen daarover en vervolgens gaan we dieper in op de specifieke onderdelen uit het proces. De Rekenkamer heeft een uitgebreid Handboek waarin het onderzoeksproces (zie bijlage 5) stapsgewijs wordt behandeld. Onderstaand figuur geeft op hoofdlijnen het onderzoeksproces weer.12 Hieronder is een korte beschrijving gegeven van de fases van het proces zoals weergegeven in het Handboek van de Rekenkamer.

1. orientatie en programmering

2. opzet van onderzoek

3. uitwerking

4. hoor en wederhoor

5. rapportage en publicatie

6. afronding

In de eerste fase, ‘oriëntatie en programmering’, oriënteert de Rekenkamer zich op mogelijke thema’s en onderwerpen. Op basis van alle inbreng worden de onderzoeksonderwerpen geprioriteerd. Vervolgens vindt een beknopte risicoanalyse plaats waarbij de onderwerpen die de prioriteit verdienen worden geanalyseerd op verschillende aspecten. Op basis hiervan worden de mogelijke onderwerpen aan de Programmaraad voorgelegd voor advies. Om de precieze invalshoek van het onderzoek te bepalen, worden in de tweede fase, ‘opzet van onderzoek’, eerst op hoofdlijnen documenten bestudeerd en vinden er enkele oriënterende gesprekken plaats.

12

Handboek onderzoeksproces Randstedelijke Rekenkamer. 13

48128

Dit leidt tot een onderzoeksopzet waarin de achtergrond en aanleiding, vraagstellingen en aanpak van het onderzoek worden opgenomen. In de derde fase ‘Uitwerking’ begint de Rekenkamer met de feitelijke uitvoering van het onderzoek. De feiten die het onderzoek oplevert, worden vastgelegd in een concept rapportage, de zogenoemde Nota van bevindingen. De vierde fase is de fase van hoor en wederhoor waarin de Nota van bevindingen wordt voorgelegd aan de ambtelijk eindverantwoordelijken. De Rekenkamer verwerkt de ambtelijke reactie en beargumenteert wat niet wordt overgenomen. Vervolgens stelt de Rekenkamer een Bestuurlijke Nota op, met daarin de conclusies van het onderzoek en aanbevelingen voor de provincie. Deze Nota wordt voor bestuurlijk wederhoor toegezonden aan GS. De bestuurlijke reactie van GS op de conclusies en aanbevelingen wordt integraal opgenomen in het rapport, zo nodig voorzien van een nawoord van de Rekenkamer. In fase vijf maakt de Rekenkamer het definitieve rapport openbaar door toezending aan PS en GS en een persbericht. In de fase ‘Afronding’ wordt het onderzoek zowel met het team als met een vertegenwoordiging van de provincie geëvalueerd. Uit de casestudies blijkt dat de onderzoeken volgens het beschreven onderzoeksproces zijn uitgevoerd, alleen de evaluatie vindt meestal niet of beperkt plaats. Wat daarnaast op basis van de cases opvalt, is dat de onderzoeken, hoewel zorgvuldig gepland, bijna altijd later dan oorspronkelijk gepland afgerond worden. Meningen over onderzoeksproces in het algemeen Uit de gesprekken komt naar voren dat gesprekspartners van de provincies van mening zijn dat de Rekenkamer een zorgvuldig onderzoeksproces doorloopt en dat ze in het algemeen tevreden zijn over de wijze waarop de Rekenkamer dit doet. Ook de wijze waarop de Rekenkamer de methodologische verantwoording van de onderzoeken doet, wordt door gesprekspartners van de provincies als zorgvuldig en transparant getypeerd. Uit de gesprekken komt het beeld naar voren van een uiterst zorgvuldige wijze van onderzoeken waarbij de kwaliteit voorop staat. Een aantal malen is in de gesprekken, zowel bij de provincies als ook bij de Rekenkamer zelf, naar voren gekomen dat de werkwijze van de Rekenkamer te veel naar ‘perfectie en drie dubbel checken’ neigt. Gesprekspartners van de provincies geven aan dat ze betwijfelen of de extra tijd en moeite die hierin gestoken wordt wel opweegt tegen de meerwaarde die dit voor de onderzoeken oplevert. Dit laatste, streven naar ‘perfectie’, is volgens gesprekspartners uit de provincies mogelijk de verklaring dat de rapporten van de Rekenkamer vaak uit de planning lopen. De Rekenkamer geeft het volgende hier over aan. De Rekenkamer wil geen fouten hebben in het rapport en zet veel energie in het naar boven halen van relevante gegevens. De Rekenkamer geeft als oorzaak van de vertraging aan vaak meer tijd kwijt te zijn met het opvragen en achterhalen van de gewenste informatie bij de provincies. Het komt wel eens voor dat de provincies niet de juiste informatie kan leveren en dat de Rekenkamer zelf bij de provincie op zoek gaat naar deze informatie. Ook dit kost veel extra tijd. Daarbij merkt de Rekenkamer op dat in de evaluatie van 2008 werd gesteld dat de Rekenkamer vaak bleef hangen op de boodschap dat relevante informatie bij de provincie ontbreekt en dat door een aantal Statenleden toen het verzoek is gedaan om ‘een spade dieper’ te gaan. In die evaluatie is dan ook de volgende aanbeveling geformuleerd: ‘Het valt zeer te overwegen meer werk te maken van onderzoek naar doeltreffendheid en doelmatigheid (en dan niet alleen informatie over …)’. 14 48128

Daarnaast stelt de Rekenkamer zeer hoge kwaliteitseisen aan de rapporten. Woorden kunnen het verschil maken in de landing van de boodschap. Het MT heeft drie beslismomenten in het proces: bij de onderzoeksopzet, de Nota van bevindingen en het eindrapport. De bestuurder-directeur en directieleden lezen het rapport integraal. Daarnaast is er afhankelijk van de complexiteit van een onderzoek intercollegiale toetsing door middel van een presentatie in een zogenoemd onderzoeksoverleg. In de paragrafen hierna gaan we per onderzoeksfase dieper in op de werkwijze van de Rekenkamer en de meningen hierover. 6.1 Oriëntatie en programmering (1) In deze fase13 oriënteert de Rekenkamer zich op mogelijke thema’s en onderwerpen die kunnen worden onderzocht en die in het onderzoeksprogramma opgenomen kunnen worden. De input voor mogelijke onderzoekonderwerpen komt op vier manieren binnen bij de Rekenkamer: 

Suggesties van de programmaraad.



Verzoekonderzoeken PS.



Suggesties van Statenleden.



Suggesties van derden.

Uiteraard heeft de Rekenkamer ook zelf ideeën voor te onderzoeken onderwerpen. Op basis van al deze inbreng wordt een snelle scan gedaan, vervolgens een prioritering en risicoanalyse. De risicoanalyse gaat in op de volgende aspecten: rol van de provincie, actualiteit, politiekmaatschappelijke relevantie, financieel belang en geschiktheid voor rekenkameronderzoek. Dit leidt tot een longlist van onderwerpen. Vervolgens wordt een onderbouwd voorstel in de vorm van een shortlist opgesteld die voorgelegd wordt aan de programmaraad voor advies en prioritering. De Rekenkamer stelt daarna het onderzoeksprogramma vast en bepaalt hoe zij haar middelen daarvoor inzet. Bij de selectie van uiteindelijke onderwerpen voor onderzoek maakt de Rekenkamer een bewuste afweging tussen de inzet van middelen en de verwachte baten op basis van de wettelijke taak, haar beleidsvisie en de volgende criteria: 1. Aanzienlijk maatschappelijk / politiek-bestuurlijk en/of financieel belang. 2. Verbeterpotentieel. 3. Kans op resultaat. 4. Impact. De door de Rekenkamer geselecteerde onderzoeksonderwerpen worden opgenomen in het onderzoeksprogramma dat deel uitmaakt van de programmabegroting.

13

Handboek onderzoeksproces Randstedelijke Rekenkamer. 15

48128

Zoals aangegeven kunnen Statenleden via de Programmaraad suggesties voor onderzoek doen. Ongeveer de helft van de Statenleden maakt hier geen gebruik van, zo blijkt uit de enquête onder PS. In onderstaande grafiek is weergegeven hoeveel procent van de Statenleden onderwerpen voor onderzoek hebben aangedragen bij de Programmaraad.

Statenleden dienen soms ook rechtstreeks verzoeken voor onderzoek bij de Rekenkamer. Dit komt incidenteel voor en in zo’n geval verwijst de Rekenkamer hen naar de Programmaraad. Twee keer per jaar neemt de Rekenkamer de stand van zaken van de lopende onderzoeksprogrammering met de programmaraad door en wordt er van gedachten gewisseld over onderzoeksthema’s voor de komende periode en de gewenste richting van die onderzoeken. Begin 2012 is in afstemming met de Programmaraad besloten om in de begroting op te stellen in mei geen uitgebreid onderzoeksprogramma op te nemen voor het jaar daarop. De te onderzoeken onderwerpen worden nu in november bepaald en vervolgens via een begrotingswijziging in de begroting verwerkt. Op deze manier wordt beter aangesloten op de wens van de Programmaraad om de onderzoeken beter aan te laten sluiten op de actuele ontwikkelingen. Daarnaast maakt de Rekenkamer zo nodig ruimte in haar programma, om capaciteit beschikbaar te hebben om onderzoeken die in de loop van het jaar opkomen te kunnen uitvoeren. Meningen over de oriëntatie en programmering Uit de enquête, de groepsgesprekken met Statenleden en de gesprekken met de griffiers komt naar voren dat Statenleden vinden dat ze voldoende mogelijkheden hebben om hun wensen voor onderzoeken kenbaar te maken. Het tweejaarlijkse overleg tussen de Rekenkamer en de Programmaraad, waarin de onderzoeksprogrammering aan de orde komt, verloopt volgens alle betrokkenen naar tevredenheid. Over de mate waarin er rekening wordt gehouden met hun wensen van Statenleden zijn de Statenleden kritischer. 40% van de Statenleden vindt dat de Rekenkamer voldoende rekening houdt met hun wensen, circa 40% antwoordt neutraal en 20% is het hier niet mee eens. Statenleden zouden meer actuele en meer voor hun provinciespecifieke onderwerpen van onderzoek willen. De mogelijkheden van de Rekenkamer om flexibel op onderwerpen in te springen is, hoewel er meer vrije ruimte in de begroting is dan voorheen, volgens Statenleden nog te beperkt.

16 48128

Uit de gesprekken met bestuurders en ambtenaren komt naar voren dat zij in principe geen of een beperkte rol voor zich weggelegd zien voor het aandragen van onderwerpen. De mening van deze gesprekspartners is dat het aandragen van suggesties voor onderzoek primair bij de politiek ligt en dat de Rekenkamer onafhankelijk haar onderzoeksprogramma moet vaststellen. De Rekenkamer constateert dat ze meer feeling wil hebben met de onderzoeken waar Statenleden behoefte aan hebben en zoekende is naar mogelijkheden om de binding met Statenleden te vergroten. Een directe oproep aan de Statenleden met het verzoek om met onderwerpen voor onderzoek te komen, werd door de Programmaraad niet gewaardeerd. 6.2 Opzet van onderzoek en uitwerking (2&3) Na selectie van de onderwerpen voor onderzoek maakt de Rekenkamer een onderzoeksopzet. Om de precieze invalshoek te bepalen, worden hiervoor op hoofdlijnen documenten bestudeerd en vinden er enkele oriënterende gesprekken plaats. Dit leidt tot een onderzoeksopzet waarin de achtergrond en aanleiding, vraagstellingen en aanpak van het onderzoek worden opgenomen. De onderzoeksopzet wordt toegestuurd aan PS, GS en aan degenen die ambtelijk eindverantwoordelijk zijn voor het onderwerp. Voorheen was er geen overleg met Statenleden over de onderzoeksopzet. Om de aansluiting van de onderzoeken bij de provincies te verbeteren, is er voor gekozen om de onderzoeksopzetten met de Staten te bespreken. Afhankelijk van het onderwerp en de wens van de Staten wordt de onderzoeksopzet door de Rekenkamer sinds midden 2009 toegelicht en getoetst in een commissievergadering van de Staten. In dit overleg kunnen Statenleden suggesties voor wijzigingen doen. Sinds begin 2012 geeft de Rekenkamer een schriftelijke terugkoppeling aan PS van de aanpassingen op de onderzoeksopzet, die naar aanleiding van de commissiebehandelingen zijn gedaan. Na vaststelling van de onderzoeksopzet begint de Rekenkamer met de feitelijke uitvoering van het onderzoek. In een startbijeenkomst wordt het beoordelingskader besproken met ambtenaren van de provincie om feedback te ontvangen en te vernemen wat er in algemene zin bij de gesprekspartners ‘leeft’ over het onderwerp. In de onderzoeksfase vindt de bestudering van documenten plaats, worden gegevens verzameld en worden interviews gehouden. De feiten die het onderzoek oplevert, worden vastgelegd in een conceptrapportage, de zogenoemde Nota van bevindingen. Meningen over opzet van onderzoek en uitwerking Statenleden stellen het feit dat de Rekenkamer de onderzoeksopzet met hen bespreekt op prijs. Echter ze geven hierbij tevens aan dat de uitwerking van de onderzoeken niet altijd is wat ze er van hadden gehoopt. Reacties van Statenleden op de voorgestelde onderzoeksopzet worden volgens Statenleden niet of beperkt meegenomen in de definitieve onderzoeksopzet. Uit de casestudie blijkt ook dat dit niet altijd gebeurt, zoals bij de onderzoeken naar Jeugdzorg en Subsidies. Uit de gesprekken met de Rekenkamer komt naar voren dat de onderwerpen die worden aangedragen door Statenleden vaak een breed karakter hebben en dat de doorvertaling naar een werkbare onderzoeksopzet nog een hele slag is. Omdat de Rekenkamer veel onderzoeken voor vier provincies doet is het niet altijd mogelijk om met specifieke wensen van Statenleden rekening te houden. Ook zijn er soms wensen vanuit de Staten die leiden tot een aanzienlijke uitbreiding van de onderzoeken, hetgeen niet past binnen het budget (bijvoorbeeld juist meer verdiepende cases onderzoeken).

17 48128

Ook uit de gesprekken met bestuurders en ambtenaren komt naar voren dat de uitwerking van de onderzoeken niet altijd goed aansluit bij de dagelijkse praktijk van de provincie. Net als ook de Statenleden, geven ze aan dat de Rekenkamer in hun ogen vaak een wat ‘enge’, technocratische methode van onderzoek kiest. De wijze van onderzoeken is vooral gericht op het kwantificeren en meetbaar maken van effecten. Dit leidt er volgens het merendeel van deze gesprekspartners toe dat de onderzoeken soms te ver van de praktijk komen te staan waardoor er minder met de conclusies en aanbevelingen gedaan kan worden. Een voorbeeld hiervan was het subsidieonderzoek. Met name de reacties op, de selectie van, de gevalstudies waren niet allemaal positief. Andere gesprekspartners geven aan dat ze juist waarderen dat de Rekenkamer heel feitelijk te werk gaat. Dit maakt het mogelijk om zoveel mogelijk te objectiveren en het komt de vergelijkbaarheid tussen de vier provincies ten goede. 6.3 Hoor en wederhoor en rapportage en publicatie (4&5) Hoor en wederhoor Om na te gaan of de feiten kloppen, wordt de Nota van bevindingen voorgelegd aan de ambtelijk eindverantwoordelijken. De Rekenkamer verwerkt de ambtelijke reactie en beargumenteert wat wel en niet wordt overgenomen. Vervolgens stelt de Rekenkamer een Bestuurlijke Nota op, met daarin de conclusies van het onderzoek en aanbevelingen voor de provincie. Deze Nota wordt voor bestuurlijk wederhoor toegezonden aan GS. De bestuurlijke reactie van GS op de conclusies en aanbevelingen wordt integraal opgenomen in het rapport, zo nodig voorzien van een nawoord van de Rekenkamer. De hoor en wederhoorfase geschiedt altijd conform de afgesproken procedures zo blijkt uit de documentstudie, de casestudie en de gesprekken. Meningen over hoor en wederhoor Betrokkenen zijn tevreden over de wijze waarop dit gebeurt. Er is een goede en zorgvuldige afstemming tussen provincie en Rekenkamer en de afgesproken reactie termijnen, al hoewel vaak kort, zijn reëel en worden bijna altijd gehaald. Daarnaast blijkt uit de groepsgesprekken met Statenleden en griffiers dat er verschillend wordt gedacht over de huidige invulling van het bestuurlijk wederhoor. Sommigen vinden het prima zoals het nu gaat, anderen zouden graag een aparte nota van GS willen zien waarin een reactie wordt gegeven op het Rekenkamer rapport. Het rapport inclusief reactie van GS wordt dan in de Statencommissie besproken. Hierdoor zou de rol van de rapporten in het debat kunnen worden vergroot. Rapportage en publicatie (5) De Rekenkamer maakt het definitieve rapport openbaar door toezending aan PS en GS en een persbericht. Ook wordt het rapport samen met het persbericht op de website geplaatst. GS voorziet de rapporten van een zienswijze waarin ze aangeeft wat ze met de conclusies en aanbevelingen van het rapport gaat doen en vervolgens wordt het rapport, inclusief de reactie van GS en zo nodig een nawoord van de Rekenkamer, naar de Staten gestuurd. Vervolgens wordt het rapport door PS behandeld, waarbij ook de bestuurlijke reactie van GS wordt betrokken. De Rekenkamer geeft een toelichting voorafgaand aan de behandeling. Recentelijk voegt de Rekenkamer, om de leesbaarheid te vergroten, aan het rapport een vijf-minuten versie toe.

18 48128

Meningen over de rapportages en publicatie Zowel uit de gesprekken, de casestudies als uit de enquête onder Statenleden komt naar voren dat de rapporten van de Rekenkamer van goede kwaliteit zijn. In onderstaande grafiek is de mening van Statenleden weergegeven over verschillende aspecten van de rapporten. De onderzoeksrapporten hebben in de ogen van de meeste Statenleden een heldere structuur, duidelijke conclusies en aanbevelingen, een goede leesbaarheid en de aanpak is goed beschreven.

In hoeverre bent u het eens met de onderstaande stellingen? De onderzoeksrapporten hebben een heldere structuur

6%

De onderzoeksrapporten hebben duidelijke conclusies en aanbevelingen

81%

13%

73%

13% 14%

De onderzoeksrapporten zijn goed leesbaar

6%

De aanpak (onderzoeksmethode) van het onderzoek is goed beschreven… De conclusies en aanbevelingen zijn concreet en uitvoerbaar

72%

22%

12%

65%

23% 30% 22%

48%

0% 10% 20% 30% 40% 50% 60% 70% 80% 90% (zeer) mee eens

neutraal

(zeer) mee oneens

Tegelijkertijd komt in de groepsgesprekken met Statenleden en gesprekken met bestuurders en ambtenaren naar voren dat, hoewel de rapporten goed zijn, de conclusies en aanbevelingen niet vaak tot nieuwe inzichten leiden. Uit de grafiek hierboven blijkt dat ongeveer de helft van de Statenleden (48%) van mening is dat de conclusies en aanbevelingen concreet en uitvoerbaar zijn. Gesprekspartners van de provincies geven aan dat mede door de wijze waarop de onderzoeken worden ingestoken, de conclusies en aanbevelingen vaak voorspelbaar zijn. Daarnaast komt in de gesprekken naar voren dat in de aanbevelingen vaak het ‘provinciespecifieke’ ontbreekt. Gevolg hiervan is dat de conclusies en aanbevelingen ‘makkelijk’ zijn over te nemen door GS en de rapporten voor Statenleden vaak niet als politiek instrument kunnen worden gebruikt. Conclusies en aanbevelingen kunnen ook beter aansluiten op de actualiteit binnen de provincie. 7. Doorwerking van de Rekenkamer: instrumenteel en conceptueel Het primaire doel van de Rekenkamer is volgens het merendeel van de gesprekspartners uit de provincies het versterken van de rol van Provinciale Staten. De Rekenkamer ziet haar rol breder, namelijk het verbeteren van het functioneren van het ‘provinciaal bestuur en de daarmee verbonden organen’. De Rekenkamer werkt voor PS en via PS ook voor GS en de ambtelijke organisatie.

19 48128

De rapporten van de Rekenkamer zijn voor de Statenleden input om de kaderstellende en controlerende rol te versterken. Wanneer de aanbevelingen uit een rekenkamerrapport door het College van Gedeputeerde Staten worden overgenomen en opgevolgd, is er sprake van instrumentele doorwerking. Naast de instrumentele doorwerking onderscheiden wij het begrip conceptuele doorwerking. Hiervan is sprake wanneer de rapporten van de Rekenkamer leiden tot een politiek debat, de conclusies en aanbevelingen in een breder perspectief worden geplaatst dan alleen het onderzoeksobject of de aanwezigheid van de Rekenkamer als zodanig effect heeft op de reguliere beleidsprocessen. Er is met andere woorden meer oog voor de doelmatigheid, doeltreffendheid en rechtmatigheid van beleid hetgeen zich onder meer uit in een sterkere invulling van de kaderstellende en controlerende rol van Provinciale Staten dan voorheen. Meningen over doorwerking van de Rekenkamer Op basis van de gesprekken met de vertegenwoordigers van de provincies en casestudy kan gesteld worden dat in bijna alle gevallen de conclusies en aanbevelingen van de Rekenkamer door GS worden overgenomen. Deels is dit ook een gevolg van de soms wat algemeen geformuleerde conclusies en aanbevelingen Ook blijkt uit de gesprekken dat daar waar de conclusies en aanbevelingen op onderdelen niet worden overgenomen, wijkt GS gemotiveerd af en weten ze daar PS vaak ook van te overtuigen, zoals onder andere in het subsidieonderzoek en het onderzoek naar Jeugdzorg. De Rekenkamer heeft volgens Statenleden toegevoegde waarde voor hun functioneren als Statenlid. Bijna 70% van de Statenleden is het eens met deze stelling, zo blijkt uit de onderstaande grafiek.

De Rekenkamer is van toegevoegde waarde voor mijn functioneren als Statenlid. Totaal

69%

11%

Noord-Holland

20% 83%

9% 9%

Flevoland

77%

12% 12%

Zuid-Holland

18%

Utrecht

59% 23% 56%

6% 0%

39%

10%

20%

(zeer) mee eens

30%

40% Neutraal

50%

60%

70%

80%

90%

(zeer) mee oneens

20 48128

Statenleden van de provincie Utrecht zijn het meest kritisch over de toegevoegde waarde van de Rekenkamer. Uit de grafiek hierboven blijkt dat 56% van de Utrechtse Statenleden vindt dat de Rekenkamer toegevoegde waarde heeft en ruim 39% geeft aan het met deze stelling mee (zeer) oneens en 6% neutraal te zijn. Uit de gesprekken met vertegenwoordigers van de provincie Utrecht komt als verklaring voor deze kritische houding naar voren dat er onder de respondenten relatief veel nieuwe Statenleden in Utrecht zijn; nieuwe Statenleden zijn nog minder bekend met de rapporten en de Rekenkamer, hebben er nog minder vaak gebruik van kunnen maken en zijn daarom wellicht kritischer. Statenleden zien de Rekenkamer primair als instrument van de Staten om hun controlerende rol, en in minder mate hun kaderstellende rol, te versterken. 62% van de Statenleden is het (zeer) eens met de stelling dat de Rekenkamer haar controlerende rol versterkt, zo blijkt uit de volgende grafiek.

De Rekenkamer versterkt mijn positie als Statenlid in de uitoefening van mijn controlerende rol

Totaal

15%

Flevoland

62% 23% 77%

12% 12%

Noord-Holland

71%

17% 13%

Utrecht

56%

6%

39%

Zuid-Holland

48%

26% 26% 0%

20%

(zeer) mee eens

40% neutraal

60%

80%

100%

(zeer) mee oneens

21 48128

Met de stelling dat de Rekenkamer de positie van Statenleden in de uitoefening van hun kaderstellende rol versterkt is iets meer dan de helft (52%) van de Statenleden het (zeer) mee eens, zo blijkt uit onderstaande grafiek. Opvallend is dat Zuid-Hollandse en Utrechtse Statenleden kritischer zijn over de versterking van de positie van Statenleden, zowel in de uitoefening van hun controlerende als hun kaderstellende rol. Als verklaring voor deze kritischer houding wordt in de groepsgesprekken met Statenleden van de provincie Zuid-Holland aangegeven dat, hoewel Statenleden de onderwerpen van onderzoek goed vinden, ze zich vaak niet in de doorvertaling naar het onderzoek kunnen vinden. De onderzoeken worden naar hun mening te ‘eng’ ingestoken door een te grote nadruk op de kwantificeerbaar- en meetbaarheid van de onderzoeksonderwerpen. Dit maakt dat de Statenleden er vervolgens, in hun politieke functie uitoefening, minder mee kunnen. Statenleden in Utrecht missen in de onderzoeken de aansluiting met de actualiteit in de provincie.

De Rekenkamer versterkt mijn positie als Statenlid in de uitoefening van mijn kaderstellende rol Totaal

52%

19%

Noord-Holland

30% 59%

18% 23%

Flevoland

6%

Zuid-Holland

46% 42%

13%

Utrecht

44% 44%

11% 0%

59%

35%

10%

(zeer) mee eens

20%

30% neutraal

40%

50%

60%

70%

(zeer) mee oneens

Hoewel de waarde van de rapporten voor Statenleden als instrument om hun kaderstellende en controlerende rol te vervullen, wel door het grootste deel van de Statenleden wordt ervaren, spelen de rapporten van de Rekenkamer over het algemeen geen belangrijke rol in het politieke debat volgens Statenleden. Uit de documentstudie en gesprekken komt naar voren dat GS vaak alle conclusies en aanbevelingen overneemt. De rapporten worden in de commissies bediscussieerd en afhankelijk van de uitkomst van de discussie en de provinciale werkwijze wordt het rapport wel of niet in de PS-vergadering geagendeerd, waarbij het rapport soms alleen als hamerstuk – en dus zonder verder politiek debat - wordt geagendeerd.

22 48128

Tegelijkertijd geven andere gesprekspartners van de provincies aan dat Statenleden meer gebruik van de rapporten zouden kunnen maken; bijvoorbeeld door meer te sturen op de wijze waarop de aanbevelingen zullen worden overgenomen, inclusief planning en terugkoppeling naar PS, en ook te controleren of de aanbevelingen daadwerkelijk zijn doorgevoerd. Ook kunnen Statenleden meer gebruik maken van de onderzoeksresultaten voor meer algemene leerpunten en voor andere dossiers. 8. Draagvlak voor de Rekenkamer Er is draagvlak voor de Rekenkamer zo blijkt uit de gesprekken en uit de enquête. Uit geen van de gesprekken of de enquête is gebleken dat het voortbestaan van de Rekenkamer ter discussie staat. Ook de huidige vorm, waarbij de vier provincies gezamenlijk een Rekenkamer hebben staat niet ter discussie. Meerwaarde van een gezamenlijke Rekenkamer is volgens betrokkenen dat er meer kwaliteit en professionaliteit mogelijk is dan wanneer alle vier de provincies een eigen Rekenkamer hebben. De Rekenkamer is een waardevol instituut en heeft, volgens een aantal gesprekspartners, alleen al door haar bestaan meerwaarde. Het feit dat de Rekenkamer een onderzoek kán instellen, houdt GS al scherper. Kanttekening is wel dat provincies over meer instrumenten beschikken om de doeltreffendheid en doelmatigheid te onderzoeken. Statenleden beoordelen de Rekenkamer als een waardevol instituut. Bijna 70% van de Statenleden is het eens met de stelling dat de Rekenkamer een waardevol instituut is, zo blijkt uit onderstaande grafiek. Wat opvalt, is dat de Statenleden van de provincie Utrecht kritischer zijn dan de Statenleden van de drie andere provincies. 26% van de Statenleden van de provincie Utrecht antwoordt ‘neutraal’ en 26% ‘mee oneens’ op de stelling of de Rekenkamer een waardevol instituut is.

De Rekenkamer is een waardevol instituut Totaal

68%

17% 15%

Zuid-Holland

76%

14% 10%

Noord-Holland

75%

13% 13%

Flevoland

12%

71%

18%

Utrecht

47%

26% 26% 0%

10%

20%

(zeer) mee eens

30%

40%

neutraal

50%

60%

70%

80%

90%

(zeer) mee oneens

23 48128

Uit de gesprekken met ambtelijke en bestuurlijke vertegenwoordigers van de provincies blijkt dat ze weinig tot geen zicht hebben op de verhouding tussen budget en resultaten van de Rekenkamer. Verklaring hiervoor is dat de begroting van de Rekenkamer voor zienswijze aan PS wordt voorgelegd en niet in ambtelijke of bestuurlijke zin wordt beoordeeld. Op basis van de gesprekken komt het beeld naar voren dat er geen discussie is over het budget van de Rekenkamer. Over de verhouding tussen ‘geld en opbrengsten’ zijn Statenleden in meerderheid positief. Ruim een derde van de Statenleden geeft aan dat ze van mening is dat er geen goede verhouding is tussen het budget van de Rekenkamer en de resultaten, zo blijkt uit onderstaande grafiek. De Staten van de provincie Noord-Holland zijn het meest positief in vergelijking met de drie andere provincies. Een mogelijke verklaring hiervoor is uit de gesprekken niet naar voren gekomen. In Utrecht en Flevoland is rond de 40% van de Statenleden het (zeer) oneens met de stelling dat er een goede verhouding is tussen het budget en resultaten. Verklaring hiervoor is volgens de gesprekspartners dat in beide provincies er in de Staten is discussie geweest over de hoogte van de provinciale bijdrage aan de Rekenkamer. De moties, die pleiten voor een overleg over de verlaging van het budget, hebben echter uitsluitend als overweging de verminderde inkomsten van de provincie en de noodzaak tot bezuinigen. De verhouding ‘geld en opbrengsten’ is in de moties geen overweging. De Statenleden van de provincie Zuid-Holland zijn het meest kritisch over de verhouding tussen het budget en de resultaten. Als verklaring hiervoor dragen de Statenleden in het groepsgesprek aan dat ze vooral kritisch zijn over de wijze waarop de onderzoeksonderwerpen worden uitgewerkt. De resultaten zijn daardoor in hun ogen voor hen minder bruikbaar. Wat daarnaast opvalt, is dat in alle provincies relatief veel Statenleden ‘neutraal’ hebben geantwoord. Als verklaring uit de groepsgesprekken met Statenleden wordt de onbekendheid met het budget van de Rekenkamer onder Statenleden genoemd.

Er is een goede verhouding tussen het budget van de Rekenkamer en de resultaten (onderzoeksrapporten); de Rekenkamer levert waar voor haar geld 33% 32% 36%

Totaal

Noord-Holland

19%

57%

24%

Utrecht

28%

Flevoland

27%

33% 39% 33% 40%

6%

Zuid-Holland

44% 0%

10% (zeer) mee eens

20% neutraal

30%

40%

50%

50%

60%

(zeer) mee oneens

24 48128

De Rekenkamer heeft zich volgens gesprekspartners de afgelopen jaren ontwikkeld naar een volwassen organisatie die een goede kwaliteit levert. Een aantal gesprekspartners ziet een ontwikkeling van de Rekenkamer naar een ‘lerende Rekenkamer’. De onderzoeken die de Rekenkamer doet zijn de laatste periode meer gericht op het inzichtelijk maken van leerpunten voor het provincie bestuur en minder gericht op het afrekenen van bestuurders. Een voorbeeld van een ‘lerend’ onderzoek is het onderzoek naar de nieuwe wijze van begroten van de provincie Flevoland. Echter niet alle gesprekspartners zijn het hier mee eens. Andere gesprekspartners, zowel bestuurlijk, ambtelijk als politiek, geven aan dat ze een tendens waarnemen dat de Rekenkamer zich meer op het ‘politieke vlak’ gaat bevinden. Volgens deze gesprekspartners zou de Rekenkamer zich meer alleen bij de feiten, en de wettelijke kaders, moeten houden en zich in hun conclusies en aanbevelingen niet te veel in het politieke domein moeten treden. Hierbij noemen ze ook de wijze van publicatie van de rapporten van de Rekenkamer. Deze is in de ogen van meerdere gesprekspartners, zowel bestuurlijk, ambtelijk als politiek, in een aantal gevallen erg tendentieus geweest, voorbeelden hiervan zijn het subsidieonderzoek en het onderzoek naar jeugdzorg. 9. Opvolging aanbevelingen eerdere evaluatie In het rapport Evaluatie Randstedelijke Rekenkamer (december 2008) zijn zes aanbevelingen opgenomen die het functioneren van de Rekenkamer zouden moeten optimaliseren. Deze aanbevelingen zijn door de Rekenkamer grotendeels opgevolgd. Hieronder wordt per aanbeveling aangegeven hoe deze opgevolgd is. Verbreding van de onderzoeksthema’s De aanbeveling was meer het accent te leggen op doeltreffendheid en doelmatigheid in plaats van steeds de aandacht te richten op de techniek in het beleidsproces tussen GS en PS. Op basis van de onderzochte cases constateren we dat hieraan gevolg is gegeven. De Rekenkamer heeft deze evaluatieperiode ook de beleidsthema’s verbreed. Zoals eerder in het rapport is weergegeven, voert de Rekenkamer een derde deel van de onderzoeken uit naar het bestuur en middelen van de provincies, maar de andere twee derde is verspreid over andere beleidsthema’s. De invalshoek van de onderzoeken zelf is ook beleidsinhoudelijker en meer gericht op doeltreffendheid. Flexibilisering van het programmeermodel De aanbeveling hield in de capaciteitsinzet te verschuiven van grote onderzoeken naar meer ad-hoc onderzoeken. Gezien de toename van het aantal provinciespecifieke onderzoeken is hieraan gevolg gegeven. Flexibilisering van het begrotingsproces De Rekenkamer heeft het begrotingsproces geflexibiliseerd. Naast het opstellen van een eerste, globale begroting in mei, wordt deze nu aan het einde van jaar geactualiseerd in de vorm van een begrotingswijziging. Daarbij wordt er een vrije ruimte opgenomen in het programma, om capaciteit beschikbaar te hebben om onderzoeken die in de loop van het jaar opkomen ook te kunnen uitvoeren.

25 48128

Technische aanpassing reglement van orde zodat er geen dubbelingen zijn met de gemeenschappelijke regeling De gemeenschappelijke regeling en het reglement van orde vertonen nog steeds dubbelingen. Standpuntbepaling over de on/wenselijkheid van hoor en wederhoor bij GS bij onderzoeken op verzoek van PS De Rekenkamer heeft naar aanleiding van de discussie over het bestuurlijk wederhoor een notitie opgesteld waarin een alternatief gepresenteerd is. De Rekenkamer heeft als alternatief voorgesteld dat GS alleen een reactie geven als zij daartoe een concrete aanleiding hebben. In de vergadering van de Programmaraad is vervolgens besloten dat de huidige werkwijze reeds tot positieve resultaten leiden en dat de huidige werkwijze voortgezet wordt. Uitvoering onderzoek naar opvolging aanbevelingen Rekenkamer De Rekenkamer beoogt ten minste één opvolgingsonderzoek per jaar uit te voeren. In 2010, 2011 en 2012 zijn doorwerkingsonderzoeken uitgevoerd. 10. Conclusies Op basis van de bevindingen zoals geschetst in dit hoofdstuk worden de volgende conclusies getrokken: 1. De Rekenkamer is georganiseerd volgens het zogenoemde directeursmodel. Behalve de bestuurder-directeur telt de organisatie elf medewerkers. De Rekenkamer is organisatorisch ondergebracht bij de provincie Flevoland. De verantwoordelijkheden binnen de Rekenkamer zijn helder belegd. De wijze waarop en aan wie de Rekenkamer verantwoording aflegt over haar activiteiten (anders dan alleen het jaarverslag) niet. 2. Zowel bestuurders, ambtenaren als Statenleden zien de Rekenkamer primair als instrument van PS om hun controlerende rol te versterken. De Rekenkamer ziet zichzelf ook als instrument voor PS en via PS voor bestuur en de ambtelijke organisatie. 3. Dat de Rekenkamer enkele jaren geleden haar strategie (van buiten naar binnen, innovatiever en meerjarige politiek/bestuurlijke context) heeft aangepast, wordt ook breed ervaren. Zo zoekt de Rekenkamer volgens het merendeel van de betrokkenen meer contact met zowel bestuur, politiek als ambtenaren. Dat neemt niet weg dat de contacten nog verder geoptimaliseerd kunnen worden. De Statenleden ervaren in meerderheid voldoende mogelijkheden om onderzoeksonderwerpen aan te dragen. Desalniettemin is er kritiek op de vertaling van de onderwerpen in een onderzoeksdesign en is de actualiteit van de onderzoeken een bron van discussie. Dat de Rekenkamer innovatiever is gaan werken, wordt in algemene zin herkend. Innovatie in het type onderzoeken kan nog verbeteren. 4. In totaal zijn er de afgelopen vier jaar 22 onderzoeken uitgevoerd. Hoewel de Rekenkamer diverse typen onderzoek uitvoert, lag de nadruk de afgelopen jaren sterk op ex post evaluaties. Het merendeel van de onderzoeken werd in alle vier de provincies uitgevoerd. In de onderzoeksperiode zijn negen provinciespecifieke onderzoeken verricht, waarvan vier voor de provincie Noord-Holland. De omvang van de provinciespecifieke onderzoeken is verschillend.

26 48128

5. Over de verdeling tussen provinciespecifieke en benchmarkonderzoeken wordt wisselend gedacht. Statenleden zien graag op maat gesneden onderzoeken aansluitend op de actuele situatie in de provincie. De bestuurders en ambtenaren waarderen juist de vergelijkende onderzoeken. De wijze waarop de onderzoeken over de provincies worden verdeeld, is niet inzichtelijk. Er wordt door de Rekenkamer wel door de jaren heen rekening gehouden met een evenredige spreiding over de provincies van de onderzoekscapaciteit ten behoeve van provinciespecifieke onderzoeken. 6. Behalve de bestuurder-directeur telt de Rekenkamer twee directieleden, twee projectleiders en zes onderzoekers. Gemiddeld genomen hebben de medewerkers een direct productieve bezetting van 60%. In de regel werken de onderzoekers aan één project. 7. De organisatie wordt als goed georganiseerd ervaren, zij het dat buiten de Rekenkamer de taakverdeling tussen de bestuurder-directeur en de directieleden en tussen de directieleden onderling niet voor een ieder helder is. Ook twijfelen Statenleden aan de efficiëntie van de Rekenkamer. Er is veel waardering voor de open en constructieve houding van de huidige bestuurder-directeur. 8. De financiële bijdrage van de provincies aan de Rekenkamer varieert naar rato van de som van de belastingcapaciteit en de uitkering uit het Provinciefonds. Het totaalbudget van de Rekenkamer bedraagt € 1.552.600,-. Per jaar worden hiervoor gemiddeld dertien rapporten opgesteld. Over zowel de begroting als de jaarrekening van de Rekenkamer wordt zelden gedebatteerd. Onduidelijk is wie zich verantwoordelijk voelt voor de Rekenkamer als instituut. De bestuurder-directeur wordt door PS benoemd. Er wordt geen (jaarlijks) functioneringsgesprek gevoerd met de bestuurder-directeur. De bestuurder-directeur heeft geen klankbord of aanspreekpunt met wie zij zaken over de Rekenkamer in algemene zin kan bespreken. 9. Het onderzoeksproces dat de Rekenkamer volgt, is vastgelegd in een uitgebreid Handboek. Over de methodologische en inhoudelijke kwaliteit van de onderzoeken is men in de regel positief. Wel worden de procedures af en toe als (te) zwaar en tijdrovend ervaren. 10. Over de inventarisatie van onderwerpen en de uiteindelijke onderwerpkeuze bestaat veel tevredenheid. Statenleden kunnen hun wensen langs diverse kanalen kenbaar maken. Hoewel de mening over de mate waarin rekening gehouden wordt met hun wensen varieert, wordt de relevantie van de onderzoeksonderwerpen breed onderschreven. Dit neemt niet weg dat de Rekenkamer de binding met de Statenleden zou willen vergroten. 11. Hoewel de onderwerpkeuze positief wordt beoordeeld, is er kritiek op de uitwerking van de onderzoeksvragen. De Rekenkamer maakt daarin keuzes die zowel de Statenleden, de bestuurders als de ambtelijke organisatie niet altijd aanspreken. De onderzoeken sluiten – zo is hun kritiek – vaak niet aan bij de provinciale situatie en zijn ‘technocratisch’ van karakter. Dat de Rekenkamer de onderzoeksopzetten in commissievergaderingen bespreekt, doet daar niets aan af. 12. De kwaliteit van de rapporten wordt in de regel als goed beoordeeld. De conclusies en aanbevelingen daarentegen eerder als voorspelbaar en algemeen.

27 48128

13. De aanbevelingen worden in de regel overgenomen door GS. De instrumentele doorwerking van de rapporten is daarmee hoog hetgeen niet wegneemt dat de rapporten nauwelijks een rol spelen in het politieke debat. 14. De Rekenkamer heeft volgens het merendeel van de Statenleden toegevoegde waarde voor hun functioneren. Met name hun controlerende rol wordt versterkt. Voor wat betreft de versterking van de kaderstellende rol lopen de meningen uiteen en verschillen de oordelen tussen de provincies. 15. De meerderheid van de Statenleden beoordeelt de Rekenkamer als een waardevol instituut. In de provincie Utrecht is dat de helft.

28 48128

Deel 2: Evaluatie van de Programmaraad

1. Inleiding Eind 2004 is de Verordening van de Programmaraad Randstedelijke Rekenkamer vastgesteld door de Provinciale Staten van Noord-Holland, Zuid-Holland, Flevoland en Utrecht. In de Verordening wordt de Programmaraad als volgt gedefinieerd: ‘Het adviesorgaan voor de Provinciale Staten gezamenlijk en afzonderlijk van de provincies Flevoland, Utrecht, Noord-Holland en Zuid-Holland en de Randstedelijke Rekenkamer’. De Verordening gaat verder in op de taakstelling, samenstelling en werkwijze van de Programmaraad. Verder bepaalt de Verordening dat de Programmaraad periodiek – twee jaar na de benoeming van nieuwe leden – dient te worden geëvalueerd. Voorliggend hoofdstuk gaat in op de uitkomsten van de evaluatie. Achtereenvolgens beschrijven we de organisatie, werkwijze en het takenpakket van de Programmaraad. Daarbij maken wij steeds het onderscheid tussen de Verordening, de praktijk (vooral afgeleid uit de vergaderverslagen) en de meningen van de betrokkenen. We ronden af met de opvolging van de aanbevelingen uit de vorige evaluatie (2008) en een serie conclusies op basis van de bevindingen. 2.

Organisatie van de Programmaraad

Wat zegt de Verordening?14 Iedere provincie vaardigt minimaal twee en maximaal drie Statenleden af om zitting te nemen in de Programmaraad. Deze bestaat derhalve uit acht à twaalf deelnemers. In principe is de zittingsduur vier jaar (de reguliere statenperiode) en kan een lid eenmaal worden herbenoemd. Uiteraard is een tussentijdse benoeming mogelijk. Daarin wordt dan voorzien door de provincie waarvoor de vacature geldt. Overigens hoeven de leden niet noodzakelijkerwijs uit de kring van de participerende provincies te komen, iedere deelnemer mag maximaal één buitenlid aanwijzen. De Programmaraad wijst zelf zijn voorzitter aan. De ondersteuning wordt verzorgd door een ambtelijk secretaris. De Programmaraad vergadert twee maal per jaar. Op verzoek van minimaal de helft van de leden of de Rekenkamer kan een tussentijdse vergadering worden ingelast. De vergaderingen zijn besloten, de eventuele adviezen en de verslagen daarentegen zijn openbaar. De Programmaraad is vrij in het regelen van zijn vergaderorde. De verordening voorziet in een vergoeding voor de voorbereiding en het bijwonen van de vergaderingen en voor de reiskosten voor de leden van de Programmaraad, zoals in onderstaand citaat is weergegeven: Artikel 5 Vacatiegelden en reiskosten De leden van de programmaraad ontvangen een vergoeding voor de voorbereiding en het bijwonen van de vergaderingen en voor de reiskosten op grond van de Verordening geldelijke voorzieningen staten- en commissieleden van de deelnemer die hen benoemd heeft. 15

14

Verordening Programmaraad Randstedelijke Rekenkamer.

15

Verordening Programmaraad Randstedelijke Rekenkamer 29

48128

De situatie in de praktijk Op dit moment bestaat de Programmaraad uit twaalf leden. Bovendien zijn er per provincie drie plaatsvervangende leden benoemd. Dit met uitzondering van de provincie Utrecht. Deze provincie kent vier plaatsvervangende leden. De deelnemers en hun plaatsvervangers zijn verdeeld over de diverse politieke partijen. In de regel gaat het om de grotere partijen. Het kandideren van de (plaatsvervangende) leden verloopt conform de procedure zoals die ook voor andere commissies geldt. Lidmaatschap van de Programmaraad wordt politiek niet heel relevant gevonden; het lidmaatschap leeft niet heel erg bij de Statenleden. In de periode voor 2011 vervulde de provincie Flevoland de rollen van voorzitter en ambtelijk secretaris. Sinds mei 2011 is mevrouw Vlam (provincie Utrecht) voorzitter van de raad. Het secretariaat wordt vervuld door de heer Poort (griffie Utrecht). De voorzitter is in de vergadering van mei 2011 door de Programmaraad zelf benoemd. De Programmaraad vergadert twee maal per jaar op het kantoor van de Rekenkamer. In de regel zijn per provincie doorgaans twee leden (of eventueel hun plaatsvervangers) aanwezig. Ook levert iedere provincie ambtelijke ondersteuning. In de praktijk is dat een vertegenwoordiger van de griffie. Vanuit de Rekenkamer participeert het management in de overleggen. De afgelopen jaren is één keer een extra vergadering ingelast (in 2009). De aanleiding daarvoor blijkt niet uit de verslagen. Meningen over de organisatie van de Programmaraad De wijze waarop de Programmaraad is georganiseerd staat niet ter discussie. De leden vinden de organisatie goed werkbaar. Per provincie is een (informele) ‘sub-programmaraad’ ingesteld (met uitzondering van Noord-Holland) ter voorbereiding van de vergaderingen van de Programmaraad. Niet in alle provincies vinden de vergaderingen ‘fysiek’ plaats. Soms zijn de contacten voornamelijk per e-mail. Ook Statenleden zijn tevreden over de Programmaraad. Over alle deelnemende provincies heen bezien, deelt rond de 70% van de Statenleden de stelling dat de Programmaraad van toegevoegde waarde voor hen is (‘zeer mee eens’ en ‘mee eens’ opgeteld). Grote verschillen tussen de provincies treden niet op.

30 48128

De programmaraad heeft toegevoegde waarde voor de Provinciale Statenleden Totaal Flevoland

75%

25%

0%

Noord-Holland

70%

22%

9%

6%

Zuid-Holland

67%

22%

11%

Utrecht

71%

24%

67%

17% 17% 0%

10%

20%

(zeer) mee eens

30% neutraal

40%

50%

60%

70%

80%

(zeer) mee oneens

3. Takenpakket van de Programmaraad Wat zegt de Verordening? De Verordening geeft de volgende opsomming van de taken van de Programmaraad: 









Geven van gevraagd en ongevraagd advies over en naar aanleiding van het onderzoeksprogramma van de Rekenkamer aan de deelnemers. Adviseren van de Rekenkamer bij de voorbereiding van het onderzoeksprogramma. Op verzoek van de Rekenkamer adviseren over voorgenomen onderzoeken en/of de wijze van uitvoering van een onderzoek. Zorgen voor afstemming tussen de deelnemers onderling en voor een consistente communicatie tussen de deelnemers enerzijds en de Rekenkamer anderzijds. Geven van advies met betrekking tot de op te stellen profielschets bij een voorgenomen benoeming van een bestuurder/directeur.

De Verordening vermeldt daarbij expliciet dat de Programmaraad ‘voortdurend de onafhankelijkheid van de Rekenkamer’ bewaakt.

31 48128

De situatie in de praktijk Uit de vergaderverslagen komt naar voren dat de Programmaraad zich primair bezig houdt met het geven van advies op de onderzoeksprogrammering. De onderwerpkeuze is een standaard agendapunt dat iedere vergadering terugkomt. De Rekenkamer presenteert een groslijst met selectie van mogelijke onderzoeksonderwerpen die langs allerlei lijnen is verzameld. Deze lijst wordt – tezamen met eventuele suggesties vanuit de Staten of van een lid van de Programmaraad zelf – bediscussieerd waarna in de Programmaraad een advies tot stand komt over de prioritering en de programmering. De Rekenkamer is immers uiteindelijk onafhankelijk in haar keuze over de onderwerpen. Voor 2011 vond in diverse vergaderingen discussie plaats over de richting van het onderzoek. De voorgestelde onderwerpen zijn namelijk vaak zo breed dat een nadere inkadering en afbakening noodzakelijk is. De Rekenkamer presenteert dan in de regel een mogelijke invulling van het onderzoek, inclusief een onderzoeksopzet waarover vervolgens discussie plaats vindt. Sinds het aantreden van de ‘nieuwe’ Programmaraad lijkt dit niet veel meer te gebeuren. De onderzoeksopzetten (met daarin de inhoudelijke keuzes) worden nu besproken in de betreffende Statencommissie. Over lopende en afgeronde onderzoeken vindt weinig discussie plaats. Het ‘onderhanden werk’ wordt kort doorgenomen maar inhoudelijke discussies over conclusies en aanbevelingen blijven achterwege. Concrete adviezen op deze punten worden door de Programmaraad niet gegeven. Uit de vergaderverslagen van de afgelopen jaren komt naar voren dat de Programmaraad af en toe kritisch is op de output van de Rekenkamer. Dat ligt overigens met nadruk niet zozeer op het functioneren van de Rekenkamer zelf maar volgt vooral uit discussies over onder meer de aanbevelingen uit de eerdere evaluatie (2008), de vertaling van de uitkomsten van de landelijke evaluatie inzake Rekenkamers (ministerie van BZK, 2011) naar de eigen situatie, het aantreden van nieuwe leden en de voorbereidingen voor de huidige evaluatie. Diverse malen is gesproken over de procedures, de behandeling van de rapporten, het meer betrekken van de Statenleden en de timing van de rapporten. In Zuid-Holland heeft de griffier in het verleden enkele keren namens de ZuidHollandse leden van de Programmaraad een behandeladvies geschreven voor de commissie van de Staten. Ook het gegeven dat de Programmaraad de schakel vormt tussen de Provinciale Staten van de diverse provincies en de Rekenkamer komt bij tijd en wijle in de notulen terug. De manier waarop daar concreet invulling aan gegeven wordt, is niet beschreven. Zoals uit één van de verslagen van de Programmaraad (19 mei 2011) naar voren komt zijn, in de ogen van de leden van de Programmaraad, de ambassadeurs van de Rekenkamer bij de Staten en vormen zij de linking pin. De wijze waarop deze rol invulling krijgt, is verder niet bediscussieerd. Ten tijde van het vertrek van de vorige bestuurder-directeur en het aanstellen van de nieuwe heeft de Programmaraad geadviseerd over de profielschets. Ook werd de Programmaraad geïnformeerd over de selectieprocedure.

32 48128

Meningen over het takenpakket van de Programmaraad Over de mate waarin de Programmaraad de bovengenoemde taken daadwerkelijk oppakt, lopen de beelden uiteen. De Programmaraad zelf is van mening dat zij deze taken naar behoren invult. De Statenleden weten hen doorgaans te vinden met bijvoorbeeld onderzoeksuggesties en opmerkingen en zij koppelen zelf de resultaten van overleggen en dergelijke terug. Opvallend is wel dat de Programmaraad in 2008 (naar aanleiding van de evaluatie) en in 2010 constateerde dat de rol van de Programmaraad als verbinding tussen de Staten en de Rekenkamer verder versterkt kan worden. Zoals hiervoor beschreven geeft de Programmaraad kritische signalen vanuit de Staten door aan de Rekenkamer. Dan gaat het bijvoorbeeld om de planning en timing van rapporten, soort onderzoeken, onderwerpkeuze en dergelijke. De Rekenkamer pakt dat onvoldoende op in de ogen van de Programmaraad. In grote lijnen onderschrijven de Statenleden het beeld van de Programmaraad16. Gemiddeld genomen stelt twee derde van de Statenleden via de Programmaraad voldoende input te kunnen geven voor de onderwerpkeuze door de Rekenkamer. Een even groot deel is van mening dat de adviserende rol van de Programmaraad op dit punt goed uit de verf komt. Aan de andere kant stelt gemiddeld ruim een kwart van de Statenleden de adviezen niet te kennen (Noord-Holland 44%, Flevoland 8%, Zuid-Holland 23% en Utrecht 36%). Dit wordt in verschillende provincies veroorzaakt door de relatief veel nieuwe leden die de enquête hebben ingevuld. Op basis van de gesprekken met Statenleden hebben wij begrepen dat het heel goed kan dat iemand als individueel nieuw Statenlid in twee jaar niet op de hoogte raakt van de adviezen van de Programmaraad omdat het niet de eigen portefeuille raakt.

De programmaraad vervult op een goede wijze haar adviestaak ten aanzien van de onderwerpkeuze van de onderzoeken van de Rekenkamer Totaal

9%

Utrecht

8%

Zuid-Holland

75% 17%

10%

20%

(zeer) mee eens

16

63%

31%

6% 0%

67%

25%

8%

Noord-Holland

69%

25%

6%

Flevoland

68%

23%

30% neutraal

40%

50%

60%

70%

80%

(zeer) mee oneens

De betreffende tabellen zijn opgenomen in bijlage 7. 33

48128

Op de vragen of de Programmaraad zorg draagt voor een consistente communicatie tussen PS en de Rekenkamer en zorgt voor voldoende afstemming tussen de afzonderlijke Staten van de vier provincies wordt minder positief en sterk wisselend geantwoord. In Utrecht zijn de Statenleden hierover overwegend positief. In de andere provincies antwoordt rond een vijfde tot circa een derde van de geënquêteerden positief. Opvallend is de omvang van de categorie ‘neutraal’. Met uitzondering van Utrecht is dat het meest gegeven antwoord. Op basis van de gesprekken met de Statenleden blijkt dat veel Statenleden geen scherp beeld hebben van deze taak van de Programmaraad en daarom deze vraag neutraal hebben beantwoord. In de groepsgesprekken kregen de enquête-uitkomsten verdere inkleuring. De gesproken Statenleden uit Utrecht en Zuid-Holland waren overwegend positief over de rol van de Programmaraad. De Statenleden kennen de afgevaardigden en weten hen zo nodig te vinden en te voeden. Ook de terugkoppeling loopt in hun ogen goed. De Programmaraadsleden informeren hun fractiegenoten tijdens reguliere overleggen. In Zuid-Holland speelt ook de griffie een rol in het communiceren van de uitkomsten van de vergadering richting fracties die geen afgevaardigde in de Programmaraad hebben. De Statenleden uit Flevoland zijn kritischer. Uit het gesprek met Statenleden komt naar voren dat ze in Flevoland afgestapt zijn van de commissiestructuur. Dit heeft als gevolg dat de mondelinge terugkoppeling in de commissie er nu niet meer is. Daar is nog niet iets anders voor in de plek gekomen. Statenleden geven aan dat ze graag actiever geïnformeerd willen worden over onder andere de onderwerpkeuze. De griffiers zijn meer uitgesproken in hun oordeel. Zij stellen vast dat de Programmaraad nog niet optimaal als verbindende schakel opereert. Daarbij gaat het niet zozeer om het inventariseren en inbrengen van onderzoeksonderwerpen. Die lijn is op orde. De leden van de Programmaraad bereiden zich wat dat betreft doorgaans goed voor. Wat in de ogen van de griffiers beter kan, is met name de terugkoppeling van de uitkomsten van de Programmaraad naar de Staten. De ‘terugweg’, zoals dat in één van de gesprekken werd genoemd. De griffiers stellen vast de Programmaraad weinig betrokken is bij de uitvoering van de projecten. Zij wijten dit aan de lage frequentie van de vergaderingen waardoor deze zelden goed aansluiten op de planning en fasering van de onderzoeken. Inhoudelijk ingaan op de onderzoeken heeft dan weinig zin. Een oplossing zou zijn de frequentie van de vergaderingen op te schroeven en bijvoorbeeld tussentijds bij een provincie te overleggen. De Programmaraad is daar echter op tegen. De belasting voor de leden wordt dan voor hen eenvoudigweg te groot. Bovendien worden sinds kort de onderzoeksopzetten (met daarin de inhoudelijke keuzes) besproken in de betreffende Statencommissie. Volgens de geïnterviewde Statenleden en de Programmaraad is dit ook wenselijk omdat daar de inhoudelijk deskundigen zitten. De Rekenkamer tenslotte ziet een verbetering in het functioneren van de Programmaraad in de afgelopen jaren maar stelt tegelijkertijd dat de ambassadeursfunctie geoptimaliseerd kan worden. Voor de Rekenkamer is het niet altijd duidelijk wat het mandaat van de leden is en of de leden de vergaderingen voorbereiden met en terugkoppelen naar hun betreffende Staten. Het contact met de Programmaleden beperkt zich tot de vergaderingen. Tussentijds contact vindt zelden plaats. Verder concentreert de Programmaraad zich in de ogen van de Rekenkamer op de programmering en minder op andere onderwerpen zoals tussentijdse feedback over de uitvoering van onderzoeken of het richting geven aan onderzoeksthema’s. Zo bezien vindt de Rekenkamer de input van de Programmaraad met uitzondering van de programmering mager. 34 48128

4.

Opvolging aanbevelingen eerdere evaluatie

In het rapport Evaluatie Programmaraad (december 2008) zijn acht aanbevelingen opgenomen die het functioneren van de Programmaraad zouden moeten optimaliseren. Hieronder passeren deze aanbevelingen en de reactie daarop van de Programmaraad (verslag van 18 november 2008) kort de revue. Belangrijke kanttekening hierbij is dat de leden van de Programmaraad tijdens de bespreking van het rapport (november 2008) allen aangeven de conclusies van de toenmalige evaluatie te onderschrijven. Voor veel van de huidige leden van de Programmaraad waren de aanbevelingen niet bekend. 1. Benoeming van de voorzitter van de Programmaraad door de vier PS’en zodat de functie meer politieke betekenis krijgt De Programmaraad zag de meerwaarde van deze aanbeveling niet in en ervaart de huidige situatie niet als belemmerend. De zittende raad deelt deze mening. De huidige voorzitter is dan ook door de Programmaraad zelf aangewezen. 2. Systematische agendering van de onderzoeksprogrammering in de Staten en de commissies. De onderzoeksprogrammering is een verantwoordelijkheid van de Rekenkamer zelf. Deze wordt ter kennisgeving aan de commissies toegestuurd. Staten kunnen eventueel een zienswijze indienen. Dit is conform de huidige situatie. 3. Oormerking van een deel van het Rekenkamerbudget ten behoeve van specifiek onderzoek te bepalen door de respectievelijke Provinciale Staten. De Programmaraad oordeelde in 2008 dat dit de onafhankelijkheid van de Rekenkamer zou ondermijnen. Een opdrachtgever-opdrachtnemer relatie werd als onwenselijk ervaren. De afgelopen jaren heeft de Rekenkamer capaciteit gereserveerd voor zogenoemde verzoekonderzoeken vanuit PS. Daarvan zijn er ook enkele uitgevoerd. Daarmee is deze aanbeveling feitelijk wel opgevolgd. 4. Het toewijzen van een grotere – procedurele – rol aan de griffies bij de signalering van onderzoekswensen en bij de behandeling van rapporten in de Staten. De Programmaraad ervoer de ondersteuning vanuit de griffiers ten tijde van de vorige evaluatie als voldoende. Men was van mening dat de verantwoordelijkheid ten aanzien van deze punten bij de Statenleden zelf ligt. Blijkbaar kreeg het standpunt van de Programmaraad dus niet overal navolging. 5. Onderzoeksrapporten voorzien van een advies van de Programmaraad. De Programmaraad oordeelde hierover verdeeld omdat niet duidelijk was of het om een procedureel of politiek advies zou gaan. Daarbij werd opgemerkt dat een advies interessant kan zijn wanneer (politieke) verbanden gelegd zouden kunnen worden. In de praktijk is deze aanbeveling niet opgevolgd. De zittende Programmaraad ziet dat overigens – evenals de gesproken Statenleden – niet als hun taak. De betreffende commissies gaan daar in hun ogen over. Zoals eerder opgemerkt schreef Zuid-Holland de griffier in het verleden namens de Programmacommissie een behandeladvies voor de betreffende commissie. 35 48128

6. Opname in de vergadercyclus van overlegmomenten zonder de aanwezigheid van de Rekenkamer. De vorige Programmaraad was van mening dat juist in de onderlinge communicatie geïnvesteerd zou moeten worden. Deze aanbeveling is dan ook niet opgevolgd. De huidige Programmaraad ziet de meerwaarde van deze aanbeveling ook niet. Het aantal vergaderingen is te beperkt. 7. De leden van de Programmaraad dienen tezamen de verschillende provinciale beleidsvelden te vertegenwoordigen. Met als argument dat de Programmaraad de nadelen in de samenstelling niet herkende en dat Statenleden een eigen verantwoordelijkheid hebben in het voeden van de Programmaraad is deze aanbeveling terzijde geschoven. De huidige Programmaraad wijst op de behandeling van onderzoeksopzetten en rapporten in de commissies. Daarmee vervalt de meerwaarde van de aanbeveling. 8. Regelmatige informatievoorziening door de Programmaraad aan de Staten. De informatievoorziening zou zich volgens de Programmaraad moeten richten op lopende onderzoeken. De Rekenkamer is in dat geval aan zet. Dit is nu niet anders. Overigens heeft de Rekenkamer hierin initiatief genomen door de onderzoeksopzetten aan de commissies voor te leggen.

36 48128

5.

Conclusies

Op basis van de bevindingen zoals geschetst in dit hoofdstuk kunnen de volgende conclusies worden getrokken: 1. De organisatie en werkwijze van de Programmaraad is conform de Verordening. 2. De Programmaraad heeft volgens alle betrokkenen een meerwaarde bij de totstandkoming van de onderzoeksprogrammering. Op dit gebied is de Programmaraad beter gaan functioneren. 3. De adviesrol bij de ontwikkeling van de onderzoeksopzetten en de uitvoering van onderzoeken komt niet goed uit de verf. De vraag is wel of dat een taak is die de Programmaraad inhoudelijk in kan vullen. De vergaderfrequentie behoeft dan wel aanpassing. Onderzoeksopzetten worden tegenwoordig besproken met de Statencommissie met de inhoudelijk deskundigen. Mogelijk kunnen procedurele adviezen (zoals opgesteld door de griffier van Zuid-Holland namens de Zuid-Hollandse leden van de Programmaraad) wel een meerwaarde hebben. 4. Er is veel onduidelijkheid over de taak ‘afstemming tussen de deelnemers onderling en consistente communicatie tussen de deelnemers en de Rekenkamer’. Deze taak wordt ook wel de ambassadeursfunctie of linking pin genoemd. De functies worden niet optimaal ingevuld en door betrokkenen anders gepercipieerd. De verwachtingen op dit punt lopen uiteen. De Programmaraad verzamelt en bundelt weliswaar de input uit de Staten (niet over de gehele linie overigens) maar lijkt weinig terug te geven. De input van de Programmaraad gaat bijna uitsluitend over de programmering, terwijl in de ogen van sommige betrokkenen de ambassadeursfunctie breder kan worden opgevat. Daarbij is het wel de vraag of de Programmaraadsleden – mede gezien de beperkte vergaderfrequentie – dusdanig ingevoerd zijn in het ’instituut Rekenkamer’ dat ze deze functie ook waar kunnen maken. 5. De aanbevelingen uit 2008 zijn formeel allemaal met redenen omkleed niet opgevolgd. Materieel gezien heeft een aantal toch uitvoering gekregen.

37 48128

Slotanalyse, conclusies en aanbevelingen

1. Inleiding In dit hoofdstuk formuleren we een antwoord op de onderzoeksvragen. We trekken conclusies over de effectiviteit en de efficiëntie van de Randstedelijke Rekenkamer, de factoren die daarop van invloed zijn en formuleren een aantal aanbevelingen om de effectiviteit en efficiëntie te optimaliseren. We adresseren daarbij in de meeste gevallen de Rekenkamer. Daar waar dat anders is, hebben we dat duidelijk aangegeven. Verder gaan we in op het functioneren van de Programmaraad en de bijdrage die deze levert aan de effectiviteit van de Rekenkamer. Daarmee brengen we deel 1 en deel 2 van het rapport met elkaar in verbinding. We baseren ons daarbij op de uitkomsten van het onderzoek zoals die in de voorgaande hoofdstukken zijn beschreven. 2.

Functioneren van de Rekenkamer

De eerste onderzoeksvraag is beschrijvend van karakter en luidde als volgt. Hoofdvraag 1 Functioneert de Randstedelijke Rekenkamer, onder meer in het kader van hetgeen hierover in de Gemeenschappelijke Regeling is opgenomen, naar behoren? a)

Draagt de Rekenkamer bij aan het verbeteren van het functioneren van het provinciaal bestuur en het versterken van de publieke verantwoording?

b)

Vult de Rekenkamer haar rol met betrekking tot het uitvoeren van onafhankelijk en kwalitatief hoogwaardig onderzoek goed in?

c)

Is er sprake van wisselwerking tussen de Randstedelijke Rekenkamer en de vier betrokken provincies (College van GS, ambtelijke organisatie/contactpersoon Rekenkamer, Programmaraad en PS) en zo ja, hoe functioneert deze?

Uitvoeren van onafhankelijk en kwalitatief hoogwaardig onderzoek (onderzoeksvraag b) In het Handboek Onderzoeksproces Randstedelijke Rekenkamer is vastgelegd langs welke lijnen – vanaf oriëntatie en programmering tot aan de afronding van de rapporten – de Rekenkamer opereert. De Rekenkamer hanteert diverse kanalen om tot de jaarlijkse programmering van onderzoeken te komen. Statenleden kunnen suggesties doen (al dan niet via de Programmaraad), de Programmaraad wordt om input gevraagd en de Rekenkamer zelf oriënteert zich op mogelijke onderzoeksonderwerpen In het laatste geval benadrukken ze dat de onafhankelijkheid van de Rekenkamer niet ter discussie staat en dat ze zich er zeer van bewust zijn dat de Rekenkamer een instrument is van PS. Tot slot kan PS een gericht verzoek om een onderzoek indienen. De suggesties worden gebundeld, geanalyseerd en beoordeeld met als resultaat een long list met onderwerpen die wordt besproken met de Programmaraad. Mede op basis van de inbreng van de Programmaraad maakt de Rekenkamer de onderzoeksprogrammering definitief.

38 48128

Over de mogelijkheden om onderzoeksuggesties in te brengen zijn Statenleden en griffiers positief. De mate waarin hun suggesties gehonoreerd worden, valt in hun optiek echter tegen. Statenleden hebben een voorkeur voor meer actuele en provinciespecifieke onderwerpen. Tegelijkertijd doen ze in de optiek van de Rekenkamer niet vaak suggesties voor onderzoek. Bovendien lenen de suggesties die gedaan zijn zich niet altijd voor een Rekenkameronderzoek of kan de Rekenkamer er niet goed mee uit de voeten. De Rekenkamer zoekt dan ook juist naar wegen om meer (goed toepasbare) input van de Statenleden te krijgen. Conclusie

17

De Rekenkamer gebruikt meerdere kanalen om tot een long list van mogelijk te onderzoeken onderwerpen te komen. Mede op basis van de inbreng van de Programmaraad dikt de Rekenkamer deze lijst in en stelt ze het onderzoeksprogramma vast. Statenleden zijn daarbij van mening dat ze in voldoende mate suggesties doen, maar dat de Rekenkamer die niet altijd honoreert. De Rekenkamer is juist van mening dat alle suggesties serieus beoordeeld worden, maar zich niet altijd lenen voor een onderzoek door de Rekenkamer. Hoewel er af en toe wat kritiek klinkt, zijn alle partijen tevreden over de uiteindelijke onderzoeksprogrammering. Aanbeveling aan de Rekenkamer



De inventarisatie van te onderzoeken onderwerpen door de Rekenkamer op zichzelf behoeft geen aanpassing. Dit neemt niet weg dat de input en de verwerking daarvan aan kwaliteit kan winnen. Zorg – door bijvoorbeeld te werken met een eenvoudig standaardformulier – voor beter onderbouwde, iets verder uitgewerkte en meer ingekleurde suggesties vanuit de Staten. Vraag bijvoorbeeld naar beleidsterrein, beleidsmatige inkadering, onderwerp, centrale vraagstelling, hoofdvragen en de planning. Het is dan aan de Rekenkamer om zorgvuldig en zo nodig persoonlijk terug te koppelen wat met de suggesties is gedaan.

Aanbeveling aan de Statenleden



Wees preciezer in de onderzoeksuggesties die aan de Rekenkamer aangeboden worden. Volsta niet met het noemen van brede onderwerpen maar kader deze in langs de hierboven genoemde lijnen.



Accepteer dat de Rekenkamer niet alle onderzoeksuggesties over kan nemen. Dat is niet per definitie onwil. Niet alleen is de capaciteit beperkt, ook de vaststelling dat niet alle suggesties zich lenen voor een Rekenkameronderzoek kan juist zijn.

Hetzelfde beeld keert terug bij de beoordeling van de onderzoeksopzetten. Hoewel de onderwerpkeuze als zodanig onderschreven wordt, is er soms kritiek op de operationalisatie van de centrale vraag en de uitwerking daarvan in het onderzoek. Zo wordt de vraagstelling in de ogen van een deel van de Statenleden teveel verengd of verkeerd gericht. De onderzoeksdesigns zijn teveel vergelijkend van karakter en de normenkaders ziet men – wellicht ook door het benchmarkkarakter van de onderzoeken – als te technisch en theoretisch. De onderzoeken sluiten onvoldoende aan bij hun behoefte en de complexe werkelijkheid binnen de eigen provincie, zo is de beleving.

17

Deze conclusie grijpt terug op deelconclusie 3 uit paragraaf 10 (deel 1) 39

48128

Dat de onderzoeksopzetten sinds kort besproken worden in commissieverband – waarover men overigens positief oordeelt – doet daar niets aan af. Ook hier geldt dat de Statenleden desondanks vinden dat er te weinig van hun inbreng terugkomt in de definitieve opzet. Statenleden zijn in dit geval van mening dat de Rekenkamer waardevolle suggesties naast zich neerlegt. Datzelfde geldt overigens voor de bestuurders. De Rekenkamer daarentegen zegt de input van de Statenleden en de bestuurders wel degelijk op prijs te stellen en zoveel mogelijk te honoreren, maar inderdaad niet aan alle wensen kan voldoen. Soms is eenvoudigweg niet duidelijk wat er precies wordt bedoeld, ook komt het voor dat wensen tegenstrijdig zijn of niet goed zijn te vertalen in onderzoeksopzetten. Feit is dat het lastig is om alle betrokkenen tevreden te stellen. Wij stellen vast dat een onderzoek in de ene provincie op prijs gesteld wordt, maar tegelijkertijd in een andere provincie minder goed wordt ontvangen. Een verklaring hiervoor kan het benchmarkkarakter van veel onderzoeken zijn. Dat wat in de ene provincie speelt, hoeft in de andere niet even relevant te zijn. Ook leidt dat mogelijk tot normenkaders die vanuit vergelijkend perspectief logisch zijn, maar in de praktijk niet optimaal aansluiten bij de provinciale context.

Conclusie

18

Hoewel de onderwerpkeuze als zodanig niet ter discussie staat, ontmoet de uitwerking van de onderzoeksvragen en de onderzoeksopzetten kritiek. Door – in de ogen van een substantieel deel van de Statenleden, griffiers en bestuurders – de afbakening en vaak vergelijkende en mechanische toepassing van modellen verliezen de onderzoeken aan relevantie en gebruikswaarde. Ze sluiten onvoldoende aan bij de specifieke context van de provincie. Aanbevelingen aan de Rekenkamer / discussiepunten voor de Statenleden



Kies niet automatisch voor brede benchmarkonderzoeken in alle provincies maar beperk de vergelijking in voorkomende gevallen tot bijvoorbeeld een deel van de betrokken provincies. Zoek wanneer dat meerwaarde heeft naar vergelijkingen met een provincie buiten de Randstad. Heb daarbij oog voor de beleidsmatige context. Wanneer een dossier bijvoorbeeld onlangs is geactualiseerd of daarvoor op de rol staat, is een onderzoek niet altijd relevant voor die provincie.



Maak meer vrije onderzoeksruimte beschikbaar per provincie en experimenteer met kleinere, provinciespecifieke onderzoeken. Geef de Programmaraadsleden de opdracht om suggesties hiervoor in hun Staten te inventariseren en maak de programmering zo meer ‘provinciespecifiek’.



Geef meer achtergrond bij de gemaakte keuzes bij de operationalisatie van de onderwerpen en de vertaling daarvan in een onderzoeksopzet. Ga daarbij expliciet in op de overwegingen om voor een bepaalde invulling te kiezen. Zorg met andere woorden voor een uitgebreidere startnotitie. Maak verder gebruik van de inbreng van Statenleden (door een aantal in deze fase gericht te raadplegen) en vraag de ambtelijke organisaties om input.



Benut vervolgens de startnotitie om met de (vak)commissies van de Staten in gesprek te gaan over het onderzoeksonderwerp, de opzet en het doel van het onderzoek. Zorg daarbij samen met de Programmaraadsleden en de griffie voor een goede voorbereiding van deze gesprekken.

18

Deze conclusie borduurt voort op de deelconclusies 3, 5, 9, 10 en 11 (paragraaf 10, deel 1) 40

48128



Beoordeel de inbreng van de Statenleden, griffiers en bestuurders niet puur vanuit onderzoeksmatig en methodologisch perspectief. Bedenk dat er een verschil is tussen de ‘onderzoekersrationaliteit’ en de ‘politieke rationaliteit’. Die werelden passen niet altijd naadloos op elkaar. Dit betekent overigens niet dat een onderwerp per definitie in de volle breedte onderzocht moet worden. Soms kan dat simpelweg niet. Aan de andere kant dient het ‘politieke perspectief’ niet uit het oog verloren te worden en kan dat in sommige gevallen doorwerken in de onderzoeksopzet. Zo moeten beleidsmatige verschillen tussen provincies kunnen leiden tot uiteenlopende accenten in het onderzoek.

Voor wat betreft de methodologische kwaliteit en de onafhankelijkheid van de onderzoeken geldt dat daar niets op valt af te dingen. De Rekenkamer is zeer zorgvuldig in de voorbereidingen en ontwerp van de onderzoeken. De inhoudelijke kwaliteit en onafhankelijkheid van de Rekenkamer wordt door een ieder zo ervaren. Wij zien dat ook terug in de onderzoeken/cases die we hebben bestudeerd. De Rekenkamer investeert veel tijd en energie om de gewenste informatie te vergaren. Niet zelden leidt dat tot een uitloop van de planning, waarbij ook de vraag aan de orde is of de uiteindelijke boodschap van de Rekenkamer hier uiteindelijk ook aan kracht wint. In paragraaf 3 gaan we verder in op de werkwijze van de Rekenkamer. 19

Conclusie

De kwaliteit van de onderzoeken wordt door een ieder onderschreven. De Rekenkamer pleegt veel inspanningen om ook de laatste informatie te verzamelen en te verwerken. De planning wordt hierdoor niet altijd gerealiseerd. De vraag is in hoeverre dit van invloed is op de ‘hardheid’ van de uiteindelijke conclusies en aanbevelingen. Aanbeveling aan de Rekenkamer



Weeg per onderzoek goed af in welke mate de extra inspanningen een positieve invloed hebben op de ‘hardheid’ van de conclusies en aanbevelingen. Wanneer dat het geval is, zet dan door. Zo niet, overweeg het hiaat het hiaat te laten. Experimenteer hiermee en evalueer per opdracht of – achteraf bezien – het juiste besluit is genomen.

De hoor en wederhoorprocedure verloopt naar tevredenheid van alle betrokkenen. Een centraal aanspreekpunt is benoemd in de ambtelijke organisaties die deze fase coördineert. De uitkomsten van het hoor en wederhoor zijn integraal onderdeel van het eindrapport dat aan PS wordt gestuurd. Het politieke debat in PS blijft mede om die reden vaak achterwege. Alles is immers al belicht en de posities zijn bepaald. Behalve het rapport stuurt de Rekenkamer in de regel ook een persbericht uit om de resultaten breed over het voetlicht te brengen. Daar waar de rapporten als genuanceerd en gebalanceerd worden ervaren, zijn de meningen over de persberichten kritischer. Zowel Statenleden als bestuurders zijn van oordeel dat de persberichten de rapporten niet altijd recht doen. Om publicitaire aandacht te trekken, zijn ze soms in hun ogen nodeloos scherp en te selectief.

19

Deze conclusie is een uitwerking van deelconclusie 9 (paragraaf 10, deel 1) 41

48128

20

Conclusie

De hoor en wederhoorprocedure verloopt goed. De vraag is wel of de huidige vormgeving van de procedure het voeren van een inhoudelijk debat over de rapporten prikkelt. Over de persberichten zijn zowel Statenleden als bestuurders kritischer. Los van de vraag of de Rekenkamer sowieso persberichten zou moeten verspreiden doen ze onvoldoende recht aan de balans die in de rapporten wel wordt getroffen. Aanbevelingen aan de Rekenkamer / Discussiepunt voor de Statenleden



Experimenteer met andere vormen van bestuurlijk hoor en wederhoor en verbreed het ‘repertoire’ door bijvoorbeeld het bestuurlijke hoor en wederhoor niet in het rapport op te nemen maar door dat anders te organiseren. Laat het College van GS bijvoorbeeld op het rapport reflecteren tijdens een commissie- of plenaire Statenvergadering. Overweeg bij ieder rapport welke vorm het beste past. Dat kan per provincie variëren.



Heroverweeg de opzet van de persberichten. De Rekenkamer heeft weliswaar een rol in de publieke verantwoording, de vraag is of die langs deze lijn invulling dient te krijgen en het juiste effect sorteert. Beperk de persberichten in elk geval sec tot de bevindingen.

Bijdrage aan het verbeteren van het provinciaal bestuur en de publieke verantwoording (onderzoeksvraag a) De rapporten van de Rekenkamer worden besproken in commissieverband. De aanbevelingen worden in de regel zonder veel discussie overgenomen. Daarmee rest GS – voor zover dat al niet is toegezegd in de fase van bestuurlijk hoor en wederhoor – niets anders dan de aanbevelingen in de praktijk te brengen. De ambtelijke organisatie krijgt opdracht de aanbevelingen te implementeren en zegt ook hun voordeel ermee te doen. In veel gevallen ziet men de meerwaarde ook in. Wel stellen bestuurders en ambtenaren niet per definitie direct te starten met de implementatie, maar in voorkomende gevallen ‘het natuurlijke moment’ af te wachten. Kortom, in instrumentele zin leiden de rapporten tot een verbetering van het provinciale bestuur. Of de Rekenkamer ook in conceptuele zin doorwerking heeft, is de vraag. Dan gaat het erom dat de aanwezigheid van de Rekenkamer als zodanig de kwaliteit van de reguliere beleidsprocessen positief beïnvloedt. Bovendien dient de controlerende en kaderstellende rol van PS structureel versterkt te worden en de individuele onderzoeken te overstijgen. Hoewel het merendeel van de Statenleden de Rekenkamer van toegevoegde waarde vindt en van mening is dat de controlerende rol is versterkt, stellen wij vraagtekens bij de conceptuele doorwerking van het instituut. De afzonderlijke onderzoeken hebben effect en dragen op die onderwerpen bij aan de verbetering van het provinciaal bestuur. Tegelijkertijd stellen we vast dat politieke debatten over de rapporten nagenoeg niet gevoerd worden en dat de lessen die de Rekenkamer formuleert – volgens de gesproken Statenleden – weinig toepassing vinden op andere beleidsterreinen.

20

Dit is een verdere uitwerking van de deelconclusies 12 en 13 (paragraaf 10, deel 1) 42

48128

Door dieper door te vragen en eventueel vervolgvragen te stellen over de implementatie van de aanbevelingen kunnen Statenleden er meer uithalen. Terugkerende bevindingen (over bijvoorbeeld de wijze van informatievoorziening vanuit GS) kunnen op thema’s ingebracht worden waar de Rekenkamer geen onderzoek naar heeft gedaan. Een constatering die overigens ook in de landelijke evaluatie gedaan is en dus zeker niet uniek is voor de Randstedelijke Rekenkamer. Voor wat betreft de publieke verantwoording geldt dat de Rekenkamerrapporten openbaar zijn en door middel van persberichten worden aangekondigd. Daarmee draagt de Rekenkamer bij aan publieke verantwoording. De vraag daarbij is wel in hoeverre het ‘publiek’ ook daadwerkelijk kennis neemt van de rapporten en welke verwachtingen van de Rekenkamer op dit punt gerechtvaardigd zijn. Conclusie

21

De instrumentele doorwerking van de Rekenkamer is hoog. De conclusies en aanbevelingen worden in de regel overgenomen door GS en door de organisatie uitgevoerd. Zo bezien draagt de Rekenkamer bij aan het verbeteren van het provinciaal bestuur. De toegevoegde waarde van de Rekenkamer wordt door het merendeel van de Statenleden dan ook onderschreven. De conceptuele doorwerking kan geoptimaliseerd worden. De lessen uit de rekenkamerrapporten vinden geen bredere toepassing dan het onderzochte onderwerp en inhoudelijke debatten over de rapporten vinden nauwelijks plaats. De vraag is overigens wel of dit de Rekenkamer is aan te rekenen. De rapporten van de Rekenkamer zijn openbaar en worden besproken in PS. Een ieder kan daar kennis van nemen. In die zin draagt de Rekenkamer bij aan de publieke verantwoording. Aanbeveling aan de Rekenkamer



Het vergroten van de conceptuele doorwerking kan mogelijk worden gestimuleerd door een andere vorm van bestuurlijk hoor en wederhoor. Daarvoor hebben we eerder een aanbeveling opgesteld.

Aanbeveling aan de Statenleden



Verder staan vooral de Statenleden zelf hiervoor aan de lat. In onderlinge debatten en gesprekken met de Rekenkamer kunnen zij verkennen op welke wijze dit is te realiseren, wat de wederzijdse verwachtingen zijn en hoe de Rekenkamer dit kan faciliteren. Betrek daarbij expliciet de leden van de Programmaraad en de griffiers. Op de mogelijke rol van de Programmaraad gaan we later in.

21

Dit gaat om een uitwerking van deelconclusie 14 (paragraaf 10, deel 1) 43

48128

Positionering en wisselwerking (onderzoeksvraag c) De Randstedelijke Rekenkamer is een onlosmakelijk onderdeel van het politieke bestel. De Rekenkamer is weliswaar onafhankelijk maar het feit dat de rekenkamerrapporten politieke gevolgen kunnen hebben, betekent dat ze een rol spelen in het publieke domein. De Rekenkamer adresseert immers zowel PS, het College van GS als het ambtelijk apparaat met haar conclusies en aanbevelingen. Een goede positionering en wisselwerking met al deze partijen is dan ook noodzakelijk om effectief te kunnen opereren. Om constructieve relaties tot stand te kunnen brengen, dient er voor alle betrokken partijen duidelijkheid te zijn en een gedeeld inzicht te bestaan over de verantwoordelijkheden en de identiteit van de Rekenkamer en de onderlinge belangen. Wanneer er niet op grote lijnen overeenstemming is over deze punten, ontstaat vanzelf discussie over het takenpakket en de invulling daarvan. Verantwoordelijkheden De Rekenkamer is een autonoom instituut dat zelf haar programmering vaststelt en werkwijze bepaalt. Tegelijkertijd werkt de Rekenkamer zoals ze zelf zegt “voor PS en via PS ook voor GS en de ambtelijke organisatie”. Er liggen derhalve relaties die raken aan elkaars verantwoordelijkheid, maar die tegelijkertijd niet goed zijn uitgekristalliseerd. Zo legt de Rekenkamer weliswaar op financieel gebied verantwoording af. Tegelijkertijd leidt dat niet tot inhoudelijke debatten en ervaren de Statenleden – door de figuur van de gemeenschappelijke regeling – weinig beïnvloedingsmogelijkheden. Ook inhoudelijke reflectie op de Rekenkamer vindt – los van de periodieke evaluatie – formeel niet plaats. Een functioneringsgesprek met de bestuurder-directeur wordt bijvoorbeeld niet gevoerd. De Programmaraad die zich primair richt op de programmering is weliswaar een waardevol instrument maar vervult niet de functie die op voorhand was voorzien (schakel tussen PS en Rekenkamer). De rolopvatting, de kennis van het instituut ‘rekenkamer‘ en de vergaderfrequentie zijn te beperkt om te spreken van een ‘linking pin’ of ambassadeur. In paragraaf 4 komt dit uitgebreider aan de orde. De Rekenkamer zoekt ook naar een goede modus op dit gebied. De onafhankelijkheid versus het zo goed mogelijk bedienen van de Statenleden zijn twee zaken die zich in de praktijk blijkbaar moeilijk laten rijmen. Overigens onderschrijven de meeste Statenleden en ook de griffiers dat de Rekenkamer zich veel inspanning getroost om verbindingen met de Statenleden te leggen en constateren ze dat daarin zeker resultaat is geboekt. Hun input wordt gevraagd bij de programmering, de onderzoeksopzetten worden besproken en de Rekenkamer neemt ook initiatieven om de rapporten inhoudelijk zo goed mogelijk te laten landen (vijf-minuten versies). Verder experimenteert de Rekenkamer met andere vormen van onderzoek en neemt het aantal ‘verzoekonderzoeken’ toe. De Rekenkamer kruipt met andere woorden zoveel mogelijk op de Statenleden maar ondervindt tegelijkertijd in haar optiek weinig respons.

44 48128

Ook richting bestuurders en de ambtelijke organisaties heeft de Rekenkamer de banden aangehaald de laatste jaren. Zo zijn er periodiek overleggen waarin de organisaties elkaar – los van lopende onderzoeken – treffen. In onze gesprekken ervoeren we ook hier de spanning tussen onafhankelijkheid en betrokkenheid. Zo ervaren de meeste gesprekspartners toch schroom om bijvoorbeeld onderzoeksonderwerpen aan te dragen, terwijl dat in onze optiek meerwaarde kan hebben. De onafhankelijkheid is hier in onze optiek niet in het geding. Datzelfde geldt voor de bespreking van de onderzoeksopzetten. Aangezien het bestuur en de ambtelijke organisaties met de aanbevelingen aan de slag moeten, is het raadzaam om – meer dan nu het geval lijkt te zijn – hun suggesties mee te nemen in de besluitvorming over de onderwerpkeuze en de vertaling daarvan in een onderzoeksopzet. Dit met een scherp oog voor mogelijke politieke kleuring en de onafhankelijkheid van de Rekenkamer uiteraard. Identiteit Dat de Rekenkamer een onafhankelijk instituut is dat ten dienste staat van PS, wordt breed onderschreven. Datzelfde geldt voor de in beginsel constructieve basishouding van de Rekenkamer. Het uiteindelijke doel is de verbetering van het provinciaal bestuur en niet zozeer het afrekenen van bestuurders en/of de organisaties. Zo bezien constateren we dat er sprake is van een gedeeld beeld van de identiteit van de Rekenkamer. Tegelijkertijd stelt men vraagtekens bij de grote focus van de Rekenkamer op de methodologische en inhoudelijke kwaliteit van de onderzoeken. Daar waar de Rekenkamer grote waarde hecht aan deze punten, mag het in de ogen van de bestuurders en Statenleden af en toe best anders. Minder benchmarkonderzoeken, meer ruimte voor maatwerk en minder focus op het volledig vullen van de onderzoeksmodellen. Dat betekent nadrukkelijk niet dat de onderzoeken niet op feiten moeten berusten en inhoudelijk juist moeten zijn. Integendeel, deze punten staan buiten kijf. Ieder onderzoek is echter omgeven door onzekerheid. In die zin is een onderzoek nooit af. Door duidelijk aan te geven wat onderzocht is, welke bronnen zijn gebruikt, wat feiten en meningen van de gesprekspartners zijn en wat de analyse van de Rekenkamer is, kunnen in onze optiek ook kleinere onderzoeken (van bijvoorbeeld 20 à 25 onderzoeksdagen) Rekenkamerwaardig zijn. Belangen De Rekenkameronderzoeken worden in de regel als ‘veilig’ en politiek niet altijd relevant ervaren. Dat komt soms door de timing maar vaak ook door de onderwerpkeuze. Statenleden stellen dan ook – zoals eerder opgemerkt – vraagtekens bij de uitwerking van de gekozen onderwerpen. Zij zijn van mening dat de Rekenkamer meer onderzoek naar politiek relevante dossiers zou mogen doen. Daarbij gaat het overigens nadrukkelijk niet om het innemen van een politieke positie door de Rekenkamer, maar wel om het objectief weergeven van bijvoorbeeld de provinciale beleidsruimte of een feitelijke schets van het beleidsproces. Zo bezien kan de Rekenkamer meer oog hebben voor de belangen en wensen van de Statenleden. Sommige bestuurders zijn van mening dat de Rekenkamer zich bewuster zou kunnen zijn van de belangen van de gedeputeerden. In hun ogen gaat het dan vooral om een zorgvuldige en uitgebalanceerde communicatie over de onderzoeksuitkomsten. De in hun ogen wat tendentieuze persberichten of discutabele selectie van te onderzoeken cases draagt daar niet bij aan het schetsen van een evenwichtig beeld. 45 48128

Positionering en wisselwerking Wanneer we dit doortrekken naar de positionering en wisselwerking stellen we vast dat de Rekenkamer de afgelopen jaren forse stappen heeft gemaakt. De Rekenkamer heeft beduidend meer oog voor zowel de Statenleden, de bestuurders als de ambtelijke organisaties. Er is sprake van meer wisselwerking, zij het dat die in de ogen van alle betrokkenen nog beter kan. Voor wat betreft de bestuurders en de ambtelijke organisatie geldt dat dit een situatie is die zich nog moet zetten. In onze optiek is vooral de Rekenkamer hier aan zet. Wat de Statenleden aangaat, kan de Rekenkamer door een receptievere en flexibelere opstelling de wisselwerking verder versterken. De grootste winst is in onze ogen echter te behalen bij de Statenleden zelf. Door een scherper oog te hebben voor de (on)mogelijkheden van de Rekenkamer en zich bewust te zijn van de soms lastige positie ervan, kunnen ze zelf ook meer investeren in de relatie en de wisselwerking versterken.

Conclusie

22

De positionering van de Rekenkamer is sterk verbeterd de afgelopen jaren. De Rekenkamer is dichter naar de Statenleden toegekomen en heeft periodiek – los van lopende onderzoeken – contact met bestuurders en de ambtelijke top. Toch blijft het – gegeven de onafhankelijke positie van de Rekenkamer – zoeken naar de optimale lijn van verantwoording richting PS. Ook het vinden van de balans tussen onafhankelijkheid en betrokkenheid richting bestuur en ambtelijke organisatie is een belangrijke opgave. In de relatie PS – Rekenkamer valt nog veel winst te boeken. De rol van de Rekenkamer daarin is echter beperkt. Het instituut loopt in onze optiek tegen de grenzen aan van wat redelijkerwijs mogelijk is en verwacht mag worden. Dit neemt niet weg dat de Rekenkamer met nog meer begrip kan opereren en de aansluiting verder kan versterken door de dialoog met Statenleden te blijven zoeken. De grootste winst is echter te behalen bij de Statenleden zelf. Ook van hen mogen inspanningen verwacht worden om de Rekenkamer optimaal te laten functioneren. Daarbij gaat het bijvoorbeeld om het zich verdiepen in de (on)mogelijkheden van het instituut, aandragen van suggesties en het scherper reflecteren op de conclusies en aanbevelingen. Richting bestuurders en ambtelijke organisatie kunnen de banden verder worden aangehaald. Door bewuster de bestuurlijke en organisatorische belangen een plaats te geven in de afwegingen kan de Rekenkamer haar positionering verder versterken. Aanbeveling aan de Rekenkamer 

Blijf investeren in de relatie met PS. Zoek naar een wijze om niet alleen financieel maar periodiek (bijvoorbeeld tweejaarlijks) ook inhoudelijk samen te reflecteren op de onderwerpkeuze, de onderzoeksopzetten, wijze van rapporteren, de opstelling en het functioneren van de directeur-bestuurder.

22

Deze conclusie stoelt grotendeels op de deelconclusies 1, 2, 8 en 15 (paragraaf 10, deel 1) 46

48128

Aanbeveling aan de Statenleden 

De Programmaraad heeft een belangrijke rol in deze. Dit vraagt wel om een wezenlijk andere rolinvulling en tijdsbesteding van de leden. Wij zien voor hen een belangrijke taak in de periodieke reflectie op het instituut ‘rekenkamer’ in zijn algemeenheid en het functioneren van de directeur-bestuurder in het bijzonder. Voor dat laatste ligt een speciaal overleg van de Programmaraad waarvoor iedere provincie een programmaraadslid afvaardigt in de rede. Dit betekent overigens dat de gemeenschappelijke regeling aanpassing behoeft.



Zoek actief het College van GS en de ambtelijke organisatie op. Neem hun input en belangen serieus zonder de eigen onafhankelijkheid uit het oog te verliezen.

3.

Efficiëntie van de Rekenkamer

De tweede onderzoeksvraag was als volgt geformuleerd: Hoofdvraag 2 Is de efficiency van de Randstedelijke Rekenkamer voldoende? a)

Is de efficiency van de Randstedelijke Rekenkamer (verhouding beschikbaar gesteld budget versus gerealiseerde producten en de wensen en taakstelling bij de oprichting ervan) naar behoren?

Voor wat betreft de vraag naar de efficiëntie van de Rekenkamer is het allereerst van belang om vast te stellen of de Rekenkamer effectief is en meerwaarde heeft. Wanneer dat niet het geval zou zijn, is de organisatie immers per definitie niet doelmatig. Eerder hebben we geconstateerd dat de instrumentele doorwerking hoog is, dat de toegevoegde waarde van de Rekenkamer door een meerderheid wordt ervaren en dat de Rekenkamer een bijdrage levert aan het versterken van de kaderstellende rol van de Statenleden. Daarmee is aan de eerste randvoorwaarde voldaan. Vervolgens is de vraag aan de orde of de Rekenkamer met dezelfde middelen meer onderzoek had kunnen doen of – anders geformuleerd – met minder middelen dezelfde output had kunnen realiseren. Daarvoor gaan we achtereenvolgens verder in op de verhouding tussen begroting en output, de organisatie van de Rekenkamer en de werkwijze. De totale jaarlijkse begroting van de Rekenkamer bedraagt € 1.552.600,-. Wanneer we dit bedrag afzetten tegen het gemiddeld aantal onderzoeken (13) dat de Rekenkamer jaarlijks uitvoert, leert een eenvoudige rekensom dat een onderzoek gemiddeld € 119.000,- kost. Een harde norm, om te beoordelen of dit veel of weinig is, ontbreekt. Ook is het niet per definitie efficiënter om de onderzoeken eenvoudigweg op de markt uit te zetten. Dat doet weer af aan de kennisopbouw en het relatiebeheer. Wel is de vraag of de gemiddelde opdrachtsom teruggebracht kan worden. Daarop gaan we hieronder in.

47 48128

Wanneer we de organisatie onder de loep nemen, blijkt dat de gemiddelde direct productieve bezetting 60% bedraagt. Het grootste deel van deze uren besteden medewerkers aan het werken aan onderzoeken. Een klein deel van de tijd wordt besteed aan oriëntatie-onderzoeken en beleidsveldonderzoeken. De drie directieleden hebben een substantieel lagere bezetting (45%) dan de onderzoekers (77%). Deze bezettingspercentages zijn in onze optiek te laag. De hoge overhead is daar in onze optiek debet aan. De Rekenkamer telt een bestuurder-directeur en twee directieleden die beduidend minder productief zijn. Deze directeuren sturen een organisatie van zeven uitvoerende medewerkers aan (waarvan twee projectleiders). Hoewel daar geen harde normen voor zijn, is de directie in onze optiek te ‘zwaar’ en verliest de Rekenkamer daardoor aan doelmatigheid. Dit nog los van de onduidelijke taakverdeling tussen de directieleden. Tot slot is de werkwijze van belang. De Rekenkamer opereert conform een omvangrijk Handboek waarin de verschillende processtappen uitgebreid zijn toegelicht. De kwaliteit en zorgvuldigheid van het proces en de uiteindelijke rapporten staan bij de Rekenkamer – geheel terecht overigens – voorop. Volgens een aantal betrokkenen verliest de Rekenkamer echter soms de balans uit het oog. De Rekenkamer besteedt bijzonder veel tijd aan het verzamelen en analyseren van ook het laatste restje materiaal. Daarvoor is enerzijds waardering, anderzijds is het de vraag in hoeverre dat doorwerkt in de conclusies en aanbevelingen. Bovendien wordt er relatief veel tijd besteed aan het mee- en tegenlezen van rapporten. Een stap die mogelijk ook eenvoudiger ingericht kan worden.

Conclusie

23

In lijn met de vorige evaluatie stellen we vast dat de Rekenkamer door de afzonderlijke provincies wordt gewaardeerd, zinnige taken verricht en niet excessief veel geld kost. Aan de andere kant is de efficiëntie niet optimaal. De organisatie is topzwaar, de bezetting is gemiddeld genomen te laag en de nadruk op kwaliteit en volledigheid in de onderzoeken slaat soms door waardoor de inspanningen niet meer in verhouding staan tot de opbrengsten. Aanbevelingen aan de Rekenkamer



Neem de onderzoeksprocedure onder de loep. Zorg voor een balans tussen zorgvuldigheid en meeropbrengst. Daarbij gaat het niet alleen om de diepgang en volledigheid van de onderzoeken maar ook om de waarborgen die in de procedure zijn ingebakken. Bepaal van geval tot geval of de procedures van ‘a-tot-z’ doorlopen moeten worden en wat een reële tijdsbesteding per onderdeel is.



Zoek naar praktische aanknopingspunten om het directe bezettingspercentage van het uitvoerend apparaat van de rekenkamer te verhogen. Denk daarbij aan een andere inrichting van de werkprocessen zodat de interne afstemming minder tijd kost en de verhouding tussen leidinggevend en uitvoerend personeel meer in balans wordt gebracht. Hanteer daarbij een brede blik en neem ook de externe processen mee (bijvoorbeeld de aanwezigheid bij overleggen en vergaderingen).

23

Deze conclusie borduurt verder op de deelconclusies 4, 6 en 7 (paragraaf 10, deel 1) 48

48128

4.

Functioneren van de Programmaraad

De derde hoofdvraag had betrekking op de Programmaraad en luidde als volgt: Hoofdvraag 3 In welke mate richt de Programmaraad zich op de taakstelling, draagt zij bij aan haar rol als communicatieschakel naar PS en draagt de Programmaraad bij aan de effectiviteit van de Rekenkamer? a)

In hoeverre beantwoordt het functioneren van de Programmaraad aan de taakstelling?

b)

Wat is de bijdrage van de Programmaraad aan de effectiviteit van de Randstedelijke Rekenkamer?

De Programmaraad – waarin per provincie meerdere Statenleden zitting hebben – heeft een adviserende rol voor de Staten afzonderlijk en gezamenlijk en voor de Rekenkamer. In de praktijk wordt de Programmaraad ook wel getypeerd als linking pin tussen PS en Rekenkamer of als ambassadeur van de Rekenkamer. Volgens de Verordening adviseert de Programmaraad onder andere over de onderzoeksprogrammering, voorgenomen onderzoeken en de uitvoering van onderzoeken. Ook draagt de Programmaraad bij aan een consistente communicatie tussen de deelnemende provincies en de Rekenkamer. De Programmaraad komt twee maal per jaar bijeen. Tijdens deze bijeenkomsten wordt voornamelijk gediscussieerd over de onderzoeksprogrammering. Over de inrichting en uitkomsten van onderzoeken wordt doorgaans in globale zin gesproken. De Statencommissies staan daarvoor aan de lat volgens de Programmaraads- en Statenleden. Zowel de Programmaraadsleden als de Statenleden zijn tevreden over het functioneren van de Programmaraad. De Rekenkamer daarentegen heeft hogere verwachtingen van de Programmaraad. Los van onduidelijkheden rond het mandaat van de leden, krijgt met name de ambassadeursfunctie in de ogen van de Rekenkamer onvoldoende invulling. Duidelijk is dat de rol van de Programmaraad in de loop der jaren is verengd tot ‘adviseur op de programmering’. De andere taken uit de Verordening (met uitzondering van de advisering bij het opstellen van de profielschets van de bestuurder-directeur) komen niet goed van de grond. Enerzijds is dat te wijten aan de vergaderfrequentie anderzijds zien de huidige leden ook geen bredere rol voor zichzelf weggelegd. De inhoudelijke bespreking van de onderzoeksopzetten en uitkomsten vindt elders plaats en de schakelfunctie wordt in hun optiek goed ingevuld. Het is overigens ook de vraag of er meer van de leden verwacht mag worden. Hun tijdsbesteding is beperkt, terwijl ze – zeker bij aanvang – nog bekend moeten raken met de Rekenkamer als organisatie en de werkwijze ervan. Zeker met twee vergaderingen per jaar is het dan lastig om snel inhoudelijk goed zicht te krijgen op het instituut en als ‘ambassadeur’ te gaan fungeren. Dit nog los van de vraag wat deze rol precies inhoudt. De verwachtingen daarover lopen uiteen. Dit neemt niet weg dat de zichtbaarheid van de Programmaraadsleden binnen hun eigen Staten geoptimaliseerd kan worden. Statenleden vertrouwen hun Programmaraadsleden de rol van ‘adviseur’ meer dan toe. Wel zouden ze actiever door hen geïnformeerd willen worden over onder andere de onderzoeksprogrammering en de behandeling/agendering van rapporten.

49 48128

Conclusie De rolopvatting van de Programmaraad is in de praktijk beperkter dan wat uit de Verordening naar voren komt. De huidige Programmaraad beperkt zich tot de advisering op de onderzoeksprogrammering. Een logische afbakening van het takenpakket gezien de beperkte vergaderfrequentie. Ook de zichtbaarheid van de Programmaraadsleden binnen de eigen Staten is niet optimaal waardoor het functioneren als ‘linking pin’ onvoldoende uit de verf komt. Aanbevelingen aan de Statenleden / Programmaraad



Definieer en expliciteer de ambassadeursfunctie. De verwachtingen over de invulling van deze rol verschillen sterk tussen de Rekenkamer en de Programmaraadsleden. Licht daarom – in samenspraak met PS en de Rekenkamer – het takenpakket door en beoordeel de haalbaarheid ervan. In onze optiek heeft de Programmaraad een belangrijke rol bij de reflectie op het instituut Rekenkamer (zie hiervoor de eerdere aanbevelingen), de onderwerpkeuze, de opzet van de onderzoeken, het voorbereiden van de behandeling van de rapporten en het aanjagen van het politieke debat. Een provinciespecifieke aanpak en gerichte inspanningen van de Programmaraadsleden liggen daarbij voor de hand. De zichtbaarheid van de leden en hun inhoudelijke kennis van het opereren van de Rekenkamer moet met andere woorden worden vergroot.



Mocht de Programmaraad deze rollen niet waar kunnen maken, beleg ze dan elders. Borg dan bijvoorbeeld de inhoudelijke inbreng op de onderzoeksopzetten en de rapporten langs andere lijnen (wellicht via klankbordgroepen).



Het is zowel aan de Rekenkamer als aan de Programmaraad om bovenstaande punten te vertalen in aanpassingen van de Verordening en die aan de afzonderlijke staten voor te leggen.

50 48128

Bijlage 1 Onderzoeksverantwoording

48128

Bijlage 1 – Onderzoeksverantwoording Het onderzoeksproces van de evaluatie is in vier fasen opgedeeld. Onderstaand figuur geeft in het kort de verschillende fasen weer.

Fase 1 Oriëntatiefase

Fase 2 Onderzoeksfase

Fase 3 Verdieping

Fase 4 Analyse en Rapportage

• Startbijeenkomst • Vaststelling analysekader en enquête Staten • Oriënterende interviews

• Enquête onder Statenleden • Casestudies • Analyse documenten • Interviews Programmaraad en Rekenkamer • Groepsinterviews Statenleden • Interviews met GS, directie en griffiers • Analyse van kwantitatieve en kwalitatieve uitkomsten • Conceptrapportage (BC, RK, Programmaraad) • Eindrapportage

Oriëntatiefase In de oriëntatiefase hebben wij gesprekken gevoerd met de secretaris van de Programmaraad en de bestuurder-directeur van de Rekenkamer. In deze gesprekken zijn onder meer de opzet, de accenten van het onderzoek, het analysekader, de planning en de rol van de begeleidingscommissie besproken. In deze eerste fase zijn het analysekader en de enquête opgesteld en door de begeleidingscommissie vastgesteld. Onderzoeksfase In de onderzoeksfase is de enquête onder de Statenleden uitgezet, zijn documenten geanalyseerd en zijn de casestudies uitgevoerd. Enquête In fase twee hebben wij de enquête uitgezet onder Statenleden. De enquête is tot stand na een bijeenkomst met de begeleidingscommissie. De onderwerpen die aan bod zijn gekomen zijn: 

Organisatie en werkwijze van de Rekenkamer en Programmaraad.



Producten en functioneren Rekenkamer en Programmaraad.



Doorwerking.

48128

1

De enquête is naar alle Statenleden van de vier provincies gestuurd. De Statenleden hebben een email ontvangen met inloggegevens en een link naar de vragenlijst. De periode om de enquête in te vullen was vier weken. De respons van de enquête is 47%. De respons was het hoogst in NoordHolland en het laagst in Utrecht.

Responspercentages Totaal Zuid-Holland Utrecht Noord-Holland Flevoland 0%

10%

20%

30%

40%

50%

60%

70%

Daar waar de uitkomsten van alle vier de provincies bij elkaar zijn opgeteld, zijn de enquêteresultaten gewogen naar het totaal aantal zetels per provincie. Dit om er voor te zorgen dat een hogere respons van een kleinere provincie niet onevenredig doorwerkt in de totaalscores (zie onderstaande tabel). Respons (abs)

Uitgestuurd

Respons % Evenredige Verhouding responsverdeling uitgestuurd

Wegingsfactor

Flevoland

17

39

44%

18,5051

20%

1,089

Noord-Holland

30

55

55%

26,09694

28%

0,870

Utrecht

19

47

40%

22,30102

24%

1,174

Zuid-Holland

27

55

49%

26,09694

28%

0,967

Totaal

93

196

47%

93

100%

1,000

In elke provincie zijn de respondenten goed gespreid over alle politieke partijen (zie bijlage 7). De spreiding in de respons komt redelijk goed overeen met werkelijke spreiding. Ruim 40% van de respondenten was in de vorige periode (2007-2011) ook Statenlid. Dit percentage varieert van 26% in Utrecht tot 52% in Zuid-Holland (zie onderstaande figuur). Hiermee geven de uitkomsten van de enquête een goed beeld van de meningen die leven onder Statenleden.

48128

2

Was u ook in de periode 2007-2011 lid van Provinciale Staten? 80% 70% 60% 50% 40% 30% 20% 10% 0%

ja nee

Casestudie Op basis van de bestudeerde documenten is een afweging gemaakt voor een aantal cases voor de verdiepende casestudie. Er zijn in totaal vier cases onderzocht. De cases zijn geselecteerd op basis van de volgende criteria: 









Thema: de publicaties van de Rekenkamer betreffen verschillende thema’s. Wij hebben getracht om zowel ruimtelijke/fysieke thema’s als ook sociale thema’s aan bod te laten komen. Meerdere provincies: we hebben cases genomen die de Rekenkamer voor meerdere provincies heeft uitgevoerd. Omvang onderzoek: er is ook gekeken naar de spreiding van onderzoeken. Hiermee doelen we op de omvang in termen van geld en inzet die door de Rekenkamer zijn ingezet voor de uitvoering van een onderzoek. Politieke gevoeligheid: de cases zijn ook geselecteerd op basis van gevoelige politieke onderwerpen, zo zijn er cases geselecteerd die wat meer politiek gevoelig lagen. Enige spreiding in de tijd.

Op basis van deze criteria zijn de volgende cases bestudeerd: 

Jeugdzorg: Kind centraal of cijfers centraal (2010).



Vitaal Platteland (2011).



Doeltreffendheid subsidies (2012).



Nazorg restverontreiniging bodemsanering (2012/2013).

48128

3

Per casestudie is een beknopte documentstudie uitgevoerd. Voor de beoordeling van de cases is gebruikt gemaakt van de volgende meetlat24: Meetlat casestudie Toegankelijkheid: hebben de rapporten een heldere structuur en duidelijke boodschap? Wordt tekst ondersteund door grafieken en illustraties? Is er duidelijk onderscheid tussen feiten en oordelen? Wordt vakjargon zoveel mogelijk vermeden? Betrouwbaarheid: goede beschrijving van de aanpak, verantwoording selectie van het onderwerp, bronvermelding, alle feiten worden vermeld (zowel positief als negatief). Goede onderbouwing: bevindingen sluiten aan bij onderzoeksvragen, onderbouwde conclusies, aandacht voor achtergronden en oorzaken die samenhangen met de bevindingen, verantwoording over weging en oordeelsvorming, aanbevelingen en aannames zijn uitgelegd. Bruikbaarheid: aanbevelingen zijn toegespitst op de specifieke situatie en uitvoerbaar en concreet, aanbevelingen zijn gericht op verbetering en zo geformuleerd dat ze de discussie in de staten stimuleren.

Als verdieping zijn vier telefonische interviews afgenomen met een beleidsmedewerker wiens dossier door de Rekenkamer is onderzocht. Verdieping In de derde fase zijn verdiepende interviews gehouden bij de Rekenkamer, Programmaraad en bij de provincies met een gedeputeerde, een directielid en een griffier. Daarnaast heeft per provincie een groepsgesprek plaatsgevonden met Statenleden. De selectie van de interviewpartners is afgestemd met de begeleidingscommissie. Voor de groepsgesprekken met Statenleden is door ons een selectie gemaakt waarbij er van elke partij een Statenlid is geselecteerd en daar waar er meerdere Statenleden waren is er ad random een Statenlid geselecteerd. Voor een overzicht van geïnterviewde personen zie hieronder. Analyse en rapportage In de fase analyse en rapportage is de rapportage opgesteld. De rapportage is voor hoor en wederhoor teruggelegd bij de directeur van de Rekenkamer en voorzitter en secretaris van de Programmaraad.

24

Op basis van Kwaliteitshandvest Rekenkamers, 20 juni 2012.

48128

4

Gesprekspartners Randstedelijke Rekenkamer Naam

Functie

A. Hoenderdos

Bestuurder-directeur

A. Wiggers

Directielid

G. Molenaar

Directielid

Groepsgesprek met alle overige medewerkers

Provincie Flevoland Naam

Functie

M. Witteman

Gedeputeerde

H. Dekker

Hoofd Concerncontrol

R. Kalk

Griffie

Provincie Noord-Holland Naam

Functie

E. Post

Gedeputeerde

P. Oudega

Plaatsvervangend directielid

W. Grimbergen

Griffier

Provincie Utrecht Naam

Functie

R. van Lunteren

Gedeputeerde

H. Goedhart

Provinciesecretaris

R. Andringa

Directeur Beleid en Uitvoering

R. Poort

Griffie

Provincie Zuid-Holland Naam

Functie

R. van der Sande

Gedeputeerde

R. van der Helm

Waarnemend provinciesecretaris

F. Kas

Griffie

Groepsgesprek Programmaraad Naam

Provincie

I. Joosse

Flevoland

H. van Straaten

Noord-Holland

E. Schuringa

Zuid-Holland

A. Vlam

Utrecht

Groepsgesprek Statenleden Flevoland

48128

5

Naam

Partij

Dhr. Kunst

D’66

Dhr. Bosma

VVD

Dhr. Van Wieren

CDA

Mevr. Boode

PvdA

Dhr. Geersing

ChristenUnie

Groepsgesprek Statenleden Noord-Holland Naam

Partij

Dhr. Van Liere

PvdD

Dhr. Annaert

VVD

Dhr. Versteeg

PvdA

Mevr. Zaal - huidig programmaraadslid

D’66

Dhr. Jongsma

ChristenUnie-SGP

Groepsgesprek Statenleden Utrecht Naam

Politiek partij

Mevr. Smit

VVD

Dhr. Buiting

CDA

Dhr. Dercksen

PVV

Dhr. Kiliç

PvdA

Mevr. Mineur

SP

Mevr. Versteeg

D’66

Groepsgesprek Statenleden Zuid-Holland Naam

Partij

Dhr. Van Santen

VVD

Mevr. Kip

CDA

Mevr. Branderhorst

PvdA

Mevr. Meurs

D66

Mevr. De Zoete

CU

48128

6

Bestudeerde documenten algemeen 

Jaarstukken Rekenkamer 2009-2012.



Begroting Rekenkamer 2009-2012.



Kwaliteitshandvest Rekenkamer.



Gemeenschappelijke Regeling.



Reglement van Orde.



Handboek onderzoeksproces Randstedelijke Rekenkamer.



Voorbeeld urenregistratie Rekenkamer.



Voorbeeld kwartaalrapportage Rekenkamer.



Voorbeeld planning Rekenkamer.



Functiebeschrijvingen.



Programmering Rekenkamer 2009-2012.



Missie en strategie Rekenkamer 2009.



Verslagen vergaderingen Programmaraad 2009-2012.



Verordening Programmaraad.

Bestudeerde documenten casestudie Per case zijn de volgende documenten bestudeerd: 

Onderzoeksopzet.



Behandeling onderzoeksopzet in vakcommissie per provincie.



Nota van bevindingen.



Rapport.



Behandeling rapport in vakcommissie en plenair PS per provincie.



Persbericht.



Vijf-minuten versie.

48128

7

Bijlage 2 Leden begeleidingscommissie

48128

Bijlage 2 – Leden begeleidingscommissie 

De heer Heemskerk (Statenlid Zuid-Holland, plv. lid Programmaraad, tevens voorzitter begeleidingscommissie).



Mevrouw Boelhouwer (Statenlid Utrecht, plv. lid Programmaraad).



Mevrouw Grooten (Statenlid Noord-Holland, plv. lid Programmaraad).



De heer Van Ravenzwaaij (Statenlid Flevoland, plv. lid Programmaraad).



De heer Poort (griffie Utrecht en secretaris Programmaraad).

48128

1

Bijlage 3 Overzicht onderzoeken van de Rekenkamer 2009-2012

48128

Bijlage 3 – Overzicht onderzoeken van de Rekenkamer 2009-2012 Onderwerp

Publicatiedatum

Provincies

Aantal rapporten

2012 Nazorg bij restverontreiniging na bodemsanering

27 nov. 2012

Flevoland

1

Evaluatie doeltreffendheid provinciale subsidies

10 okt. 2012

alle provincies

5

Duurzaam inkopen en aanbesteden

11 april 2012

alle provincies

4

Beoordeling doelstellingen begroting 2012

4 april 2012

Flevoland

1

(On)verantwoord wachten op jeugdzorg

13 maart 2012

alle provincies

1

Inzicht in doeltreffendheid van subsidies

6 maart 2012

alle provincies

4

Wieringerrandmeer gestrand

31 jan. 2012

Noord-Holland

1

Beoordeling stand van zaken aanpak beleidsinformatie jeugdzorg Noord-Holland

18 nov. 2011

Noord-Holland

1

Beoordeling doelstellingen conceptbegroting 2012

24 okt. 2011

Zuid-Holland

1

Vaart maken bij tegenwind - onderzoek naar de Versnellingsagenda provincie Utrecht

14 juni 2011

Utrecht

1

Doorwerking onderzoek Kind centraal of cijfers centraal

31 mei 2011

Noord-Holland

1

Vitaal platteland

29 maart 2011

alle provincies

4

Provinciaal economisch beleid

4 jan. 2011

alle provincies

4

Regie op herstructureren bedrijventerreinen

4 jan. 2011

alle provincies

4

Validatie Terugblik collegeperiode 2007-2011

4 jan. 2011

Zuid-Holland

1

Reserves juist bestemd?

26 aug. 2010

alle provincies

4

Doorwerking Grip op grote Projecten

18 mei 2010

alle provincies

4

Kind centraal of cijfers centraal?'

4 jan. 2010

alle provincies

4

Beheer en uitvoering concessies openbaar vervoer

30 sep. 2009

alle provincies

4

Onderhoud onderbouwd

15 juni 2009

alle provincies

4

Pilot herschrijven programmaplan begroting 2009

30 maart 2009

Noord-Holland

1

Het Groene Hart - Een haalbare kaart?

16 maart 2009

Noord-Holland, Utrecht, Zuid-Holland

1

25

2011

2010

2009

25

In 2011 is los van de onderzoeken een ‘Bloemlezing uit bijna zes jaar onderzoeken’ opgesteld, dit betrof een

samenvatting van het door de Rekenkamer uitgevoerde onderzoek sinds de oprichting t.b.v. de nieuwe Statenleden. Dit rapport is in deze evaluatie niet meegenomen als ‘onderzoek’ van de Rekenkamer.

48128

Bijlage 4 Analysekader

48128

Bijlage 4 – Analysekader Analysekader gemeenschappelijke regeling Thema

Aspecten

Bron

Strategie

Ambitie en doelen (zowel op papier als feitelijk)  ‘lerende rekenkamer’ (continue verbetering)  (af)rekenkamer

Dossierstudie / Interviews

Verantwoordelijkheden en takenpakket

Dossierstudie

Samenstelling, taakverdeling en functioneren (zowel op papier als feitelijk)  Bestuurder-directeur en directie  Uitvoerend apparaat  Meerwaarde van het directeursmodel

Dossierstudie / Interviews

Budget (begroting en rekening)  Onderscheid in type kosten (direct en indirect)

Dossierstudie

Algemeen  Borging Goed Bestuur (kwaliteitshandvest)

Interviews

Programmering (zowel op papier als feitelijk)  Proces (van long list naar short list naar concreet onderzoek)  Criteria (verdeling over thema’s en provincies, wel/niet politiek gevoelig enz.)  Communicatie over de onderzoeksprogrammering en de onderzoeksopzetten

Dossierstudie / Interviews / Cases / Enquête

Onderzoeksproces (zowel op papier als feitelijk)  Inzicht in de planning  Methodologische kwaliteit  Transparantie van het proces (onderzoeksprotocol / onderzoeksplan / startnotitie)  Verslaglegging tijdens het onderzoek

Dossierstudie / Interviews / Cases / Enquête

Vormgeving ambtelijk en bestuurlijk hoor en wederhoor

Dossierstudie / Interviews / Cases

Proces van aanbieding Provinciale Staten

Dossierstudie / Interviews / Cases

Openbaarmaking: communicatie (onder andere persberichten)

Dossierstudie / Interviews / Cases

Relatie met Provinciale Staten / Programmaraad  Verantwoordingslijnen  Rol van de jaarplannen en jaarverslagen  Beoordeling Rekenkamer en bestuurder-directeur  Begrip voor de wederzijdse posities, rollen en verantwoordelijkheden  Wisselwerking met de vier provincies

Interviews / Enquête

Organisatie

Werkwijze

Positionering

48128

1

Thema

Producten

Efficiëntie

Doorwerking

Overig

Aspecten

Bron

Relatie met Colleges van Gedeputeerde Staten  Begrip voor de wederzijdse posities, rollen en verantwoordelijkheden  Wisselwerking met de vier provincies

Interviews

Politieke sensitiviteit  Onderwerpkeuze  Procesgang en werkwijze  Timing en bruikbaarheid van de rapporten  Positionering t.o.v. PS en de Colleges

Interviews / / Enquête

Aantal en typering rapporten  ex ante evaluaties  ex post evaluaties  verkenningen / inventarisaties  opvolgingsonderzoeken  verzoeken

Dossierstudie / Interviews

Kwaliteit van de rapporten (toegankelijk, betrouwbaar, onderbouwd en bruikbaar)

Cases / Interviews / / Enquête

Doorwerking rapporten  Behandeling in PS  Doorwerking in beleid

Cases / Interviews / Enquête

Verhouding overhead en productie

Dossierstudie / Interviews

Toegevoegde waarde rapporten in relatie tot het budget

Interviews / Enquête

Interne en externe samenwerking

Dossierstudie / Interviews

Behandeling van rapporten in PS (commissie), politiek debatten, PS-besluiten en moties

Dossierstudie / Interviews / Cases

Collegebesluiten, nota’s en notities

Dossierstudie / Interviews / Cases

Bijdrage aan kaderstellende en controlerende rol PS

Interviews / Enquête

Draagvlak voor de rekenkamer

Interviews / Enquête

Implementatie aanbevelingen evaluatie 2008 Dossierstudie / Interviews  Verbreding van de onderzoeksthema’s  Flexibilisering van het programmeermodel  Flexibilisering van het begrotingsproces  Technische aanpassing reglement van orde zodat er geen dubbelingen zijn met de gemeenschappelijke regeling  Standpunt bepaling over de on/wenselijkheid van hoor en wederhoor bij GS bij onderzoeken op verzoek van PS  Uitvoering onderzoek naar opvolging aanbevelingen Rekenkamer Mogelijkheden aanpassing gemeenschappelijke regeling Interviews

48128

2

Analysekader Programmaraad Thema

Aspecten

Bron

Taken

Verantwoordelijkheden en takenpakket (zowel op papier als feitelijk)

Dossierstudie / Interviews

Organisatie

Samenstelling / verloop

Dossierstudie

Zittingsduur en benoeming

Dossierstudie / Interviews

Taakverdeling (zowel op papier als feitelijk)

Dossierstudie / Interviews

Vacatiegelden en reiskosten

Dossierstudie

Wijze waarop (zowel op papier als feitelijk) advisering plaats vindt over:  Het onderzoeksprogramma  Voorgenomen onderzoeken  Opzet en uitvoering van onderzoeken

Dossierstudie / Interviews

Wijze van afstemming tussen Programmaraad en de vier Provinciale Staten

Dossierstudie / Interviews / Enquête

Wijze waarop zorg is gedragen voor consistente communicatie tussen Rekenkamer en de vier Provinciale Staten

Dossierstudie / Interviews / Enquête

Praktisch: vergaderschema, opkomst en verslaglegging

Dossierstudie / Interviews

Programmaraad versus Provinciale Staten  Schakel tussen rekenkamer en PS  Relatie met griffiers  Afstemming  Wijze van verantwoording

Interviews / Enquête

Programmaraad versus Rekenkamer  Betrokkenheid / invloed versus autonomie Rekenkamer  Wijze van verantwoording  Toegevoegde waarde

Interviews

Adviezen van de Programmaraad  Karakter van de adviezen  Kwaliteit, transparantie en bruikbaarheid  Aandacht voor politieke sensitiviteit  Focus op doelmatigheid  Focus op doorwerking

Dossierstudie / Interviews

Werkwijze

Positionering

Producten

48128

3

Thema

Aspecten

Bron

Overig

Implementatie aanbevelingen evaluatie 2008  Benoeming van de voorzitter van de Programmaraad door de vier PS'en zodat de functie meer politieke betekenis krijgt.  Systematische agendering van de onderzoeksprogrammering in de Staten en de commissies.  Oormerking van een deel van het Rekenkamerbudget ten behoeve van specifiek onderzoek te bepalen door de respectievelijke Provinciale Staten.  Het toewijzen van een grotere - procedurele - rol aan de griffies bij de signalering van onderzoekwensen en bij de behandeling van rapporten in de Staten.  Onderzoekrapporten voorzien van een advies van de Programmaraad.  Opname in de vergadercyclus van overlegmomenten zonder aanwezigheid van de Rekenkamer.

Interviews

Mogelijkheden aanpassing verordening

Interviews

48128

4

Bijlage 5 Onderzoeksproces Rekenkamer

48128

Bijlage 5 – Onderzoeksproces Rekenkamer26

26

Handboek onderzoeksproces Randstedelijke Rekenkamer.

48128

1

Bijlage 6 Enquête Statenleden

48128

Bijlage 6 – Enquête Statenleden De vier Randstadprovincies hebben besloten om het functioneren van de Randstedelijke Rekenkamer en de programmaraad Randstedelijke Rekenkamer te evalueren. Om een goed en breed beeld van het functioneren van de Rekenkamer en de programmaraad te krijgen, wordt u als Provinciale Statenlid gevraagd uw mening hierover te geven. De uitkomsten van deze enquête worden per provincie in een bijeenkomst met een vertegenwoordiging vanuit uw Staten besproken en verdiept. De resultaten zullen vertrouwelijk worden behandeld en de analyses zijn niet tot individuele personen te herleiden. 1. Van welke Provinciale Staten bent u lid?    

Flevoland Noord-Holland Utrecht Zuid-Holland

2. Periode lidmaatschap PS 

Was u ook in de periode 2007-2011 lid van Provinciale Staten? o Ja o Nee

3. Voor welke partij zit u in de Provinciale Staten? 4. Programmaraad De volgende vragen gaan over de programmaraad:   

Ik ben lid van de programmaraad (toelichting: leden en plv leden van de programmaraad krijgen niet de vragen over de programmaraad vragen 5 + 6) Ik ben plaatsvervangend lid van de programmaraad Ik ben geen lid van de programmaraad

5. Heeft u onderwerpen aangedragen voor onderzoek bij de programmaraad? o

Ja

o

Nee

o

Weet niet

6. In hoeverre bent u bekend met de adviezen van de programmaraad aan de Rekenkamer?   

Ik ben niet bekend met de adviezen van de programmaraad aan de Rekenkamer. Ik ben bekend met de adviezen van de programmaraad aan de Rekenkamer. Ik ben bekend met de adviezen en geef via de leden van de programmaraad input voor hun adviezen aan de Rekenkamer.

48128

1

7. Functioneren programmaraad Vijfpuntsschaal: zeer mee eens, mee eens, neutraal, mee oneens, zeer mee oneens + geen mening De volgende stellingen gaan over de wijze waarop de programmaraad haar taken uitvoert.       

De programmaraad vervult op een goede wijze haar adviestaak ten aanzien van de onderwerpkeuze van de onderzoeken van de Rekenkamer. Via de programmaraad heb ik voldoende mogelijkheden om input te geven voor het onderzoeksprogramma van de Rekenkamer. Ik word door de programmaraad voldoende geïnformeerd over de adviezen die zij geeft aan de Rekenkamer over de onderwerpkeuze van het onderzoeksprogramma. De programmaraad zorgt voor een consistente communicatie tussen PS en de Rekenkamer. De programmaraad zorgt voor voldoende afstemming tussen de Provinciale Statenleden van de vier provincies onderling. De programmaraad heeft toegevoegde waarde voor het functioneren van de Rekenkamer. De programmaraad heeft toegevoegde waarde voor de Provinciale Statenleden.

8. Programmering van de Rekenkamer Vijfpuntsschaal: zeer mee eens, mee eens, neutraal, mee oneens, zeer mee oneens + geen mening De volgende stellingen gaan over de mate waarin u invloed heeft op de onderwerpen van de onderzoeken die door de Rekenkamer worden uitgevoerd. Onderwerpkeuze       

De onderwerpkeuze van de onderzoeken vindt op transparante wijze plaats. De Rekenkamer betrekt Statenleden actief bij de onderwerpkeuze van onderzoeken. Ik heb als Statenlid voldoende mogelijkheden om mijn wensen ten aanzien van onderwerpen bij de Rekenkamer kenbaar te maken. Ik heb onderwerpen voor onderzoek aangedragen bij de Rekenkamer. De Rekenkamer houdt voldoende rekening met de wensen van Statenleden ten aanzien van de onderwerpkeuze van onderzoeken. De Rekenkamer speelt bij haar onderwerpkeuze flexibel in op actuele zaken. De Rekenkamer onderzoekt voor Provinciale Staten relevante onderwerpen.

Onderzoeksopzet   

De Rekenkamer betrekt Statenleden actief bij de onderzoeksopzet van onderzoeken. Ik heb als Statenlid voldoende mogelijkheden om mijn wensen ten aanzien van de onderzoeksopzet voor onderzoeken bij de Rekenkamer kenbaar te maken. Ik heb input geleverd voor een onderzoeksopzet van de Rekenkamer.

48128

2

9. In welke mate heeft u gebruik gemaakt van de rapporten van de Rekenkamer? Hieronder ziet u de rapporten die in de afgelopen vier jaar door de Rekenkamer zijn gepubliceerd. Geef aan in welke mate u bekend bent met deze rapporten. Antwoordcategorieën:    

Het rapport is mij onbekend. Het rapport is mij bekend maar ik heb het rapport niet gelezen. Het rapport is mij bekend en ik heb het rapport gelezen. Het rapport is mij bekend, ik heb het gelezen en heb het gebruikt in de uitoefening in mijn rol als lid van Provinciale Staten.

9a. Wat vond u het beste rapport? (aanvinken op lijst met rapporten) 10. Kwaliteit van de Rekenkamerrapporten Vijfpuntsschaal: zeer mee eens, mee eens, neutraal, mee oneens, zeer mee oneens + geen mening        

De onderzoeksrapporten hebben een heldere structuur. De onderzoeksrapporten zijn goed leesbaar. De aanpak (onderzoeksmethode) van het onderzoek is goed beschreven en onderbouwd. De onderzoeksrapporten hebben duidelijke conclusies en aanbevelingen. De bevindingen in de rapporten sluiten aan op de onderzoeksvragen. De conclusies in de rapporten zijn gebaseerd op de bevindingen. De conclusies en aanbevelingen zijn concreet en uitvoerbaar. De conclusies en aanbevelingen stimuleren de discussie in Provinciale Staten.

11. Publicatie van de rapporten Vijfpuntsschaal: zeer mee eens, mee eens, neutraal, mee oneens, zeer mee oneens + geen mening    

De Rekenkamer heeft een goed gevoel voor timing; de rapporten komen op een passend moment. Ik ben tevreden over de wijze waarop de rapporten aan PS worden aangeboden. Ik ben tevreden over de wijze waarop de rapporten in PS worden behandeld. Ik ben tevreden over de wijze waarop de Rekenkamer de publiciteit zoekt bij de openbaarmaking van haar rapporten, bijvoorbeeld door persberichten.

12. Bijdrage van de Rekenkamer aan functioneren van Provinciale Staten Vijfpuntsschaal: zeer mee eens, mee eens, neutraal, mee oneens, zeer mee oneens + geen mening In hoeverre bent u het eens met onderstaande stellingen?     

De Rekenkamer is van toegevoegde waarde voor mijn functioneren als Statenlid. De rapporten van de Rekenkamer hebben een belangrijke rol in het politieke debat in de Provinciale Staten. De Rekenkamer begrijpt de behoefte van de provinciale Statenleden. De Rekenkamer versterkt mijn positie als Statenlid in de uitoefening van mijn controlerende rol. De Rekenkamer versterkt mijn positie als Statenlid in de uitoefening van mijn kaderstellende rol.

48128

3

  

De Rekenkamer heeft toegevoegde waarde voor Gedeputeerde Staten en daarmee voor de verbetering van de werking van het ambtelijk apparaat. Er is een goede verhouding tussen het budget van de Rekenkamer en de resultaten (onderzoeksrapporten); de Rekenkamer levert ‘waar voor haar geld’. De Rekenkamer is een waardevol instituut.

13. Tot slot Zijn er onderwerpen die u hebt gemist of waar u nog iets over wilt opmerken in het kader van dit onderzoek? Zo ja, dan kunt u dat hieronder kwijt:

Bedankt voor uw medewerking!

48128

4

Bijlage 7 Enquêteresultaten

48128

Bijlage 7 – Enquêteresultaten

Verdeling over de partijen Noord-Holland VVD

6

PvdA

8

PVV

1

CDA

3

SP

3

D66

4

GroenLinks

2

Partij voor de dieren

1

Ouderenpartij N-H

1

Totaal

30

Verdeling over de partijen Zuid-Holland VVD

6

PvdA

4

PVV

1

CDA

4

SP

1

D66

4

GroenLinks

3

ChristenUnie en SGP

3

Partij voor de Dieren

1

Totaal

27

Verdeling over de partijen Flevoland VVD

6

PvdA

3

PVV

2

SP

1

ChristenUnie

1

D66

2

SGP

1

Partij voor de Dieren Totaal

48128

1 17

1

Verdeling over de partijen Utrecht VVD

3

PvdA

1

CDA

1

D66

4

PVV

4

GroenLinks

3

SP

1

ChristenUnie

1

Partij voor de Dieren

1

Totaal

19

90% 80% 70% 60%

lid van de programmaraad

50% 40%

plaatsvervangend lid van de programmaraad

30%

geen lid van de programmaraad

20% 10% 0%

48128

2

100% 90% 80% 70% 60% 50% 40% 30% 20% 10%

Ik ben niet bekend met de adviezen van de programmaraad aan de Rekenkamer Ik ben bekend met de adviezen van de programmaraad aan de Rekenkamer Ik ben bekend met de adviezen en geef via de leden van de programmaraad input

0%

Heeft u onderwerpen voor onderzoek aangedragen bij de programmaraad? 100% 90% 80% 70% 60% 50% 40% 30% 20% 10% 0%

48128

Ja Nee Weet ik niet

3

De programmaraad vervult op een goede wijze haar adviestaak ten aanzien van de onderwerpkeuze van de onderzoeken van de Rekenkamer. Totaal

Zuid-Holland

Zeer mee eens Mee eens

Utrecht

Neutraal Mee oneens

Noord-Holland

Zeer mee oneens

Flevoland 0%

20%

40%

60%

80%

100%

Via de programmaraad heb ik voldoende mogelijkheden om input te geven voor onderwerpen van onderzoek van de Rekenkamer. Totaal Zeer mee eens

Zuid-Holland

Mee eens Utrecht

Neutraal

Noord-Holland

Mee oneens Zeer mee oneens

Flevoland 0%

48128

20%

40%

60%

80%

100%

4

Ik word door de programmaraad voldoende geïnformeerd over de adviezen die zij geeft aan de Rekenkamer over de onderwerpkeuze Totaal Zeer mee eens

Zuid-Holland

Mee eens Utrecht

Neutraal

Noord-Holland

Mee oneens

Flevoland

Zeer mee oneens 0%

20%

40%

60%

80%

100%

De programmaraad zorgt voor een consistente communicatie tussen PS en de Rekenkamer. Totaal Zeer mee eens

Zuid-Holland

Mee eens Utrecht

Neutraal

Noord-Holland

Mee oneens Zeer mee oneens

Flevoland 0%

20%

40%

60%

80%

100%

De programmaraad zorgt voor voldoende afstemming tussen de rovinciale Statenleden van de vier provincies onderling. Totaal

Zeer mee eens

Zuid-Holland

Mee eens

Utrecht

Neutraal

Noord-Holland

Mee oneens

Flevoland

Zeer mee oneens 0%

48128

20%

40%

60%

80%

100%

5

De programmaraad heeft toegevoegde waarde voor het functioneren van de Rekenkamer. Totaal Zeer mee eens

Zuid-Holland

Mee eens Utrecht

Neutraal

Noord-Holland

Mee oneens

Flevoland

Zeer mee oneens 0%

20%

40%

60%

80%

100%

De programmaraad heeft toegevoegde waarde voor de Provinciale Statenleden. Totaal Zeer mee eens

Zuid-Holland

Mee eens Utrecht

Neutraal Mee oneens

Noord-Holland

Zeer mee oneens

Flevoland 0%

20%

40%

60%

80%

100%

De onderwerpkeuze van de onderzoeken vindt op transparante wijze plaats Totaal Zeer mee eens

Zuid-Holland

Mee eens Utrecht

Neutraal

Noord-Holland

Mee oneens Zeer mee oneens

Flevoland 0%

48128

20%

40%

60%

80%

100%

6

De Rekenkamer betrekt Statenleden actief bij de onderwerpkeuze van onderzoeken. Totaal Zeer mee eens

Zuid-Holland

Mee eens Utrecht

Neutraal

Noord-Holland

Mee oneens Zeer mee oneens

Flevoland 0%

20%

40%

60%

80%

100%

Ik heb als Statenlid voldoende mogelijkheden om mijn wensen ten aanzien van onderwerpen bij de Rekenkamer kenbaar te maken. Totaal Zeer mee eens

Zuid-Holland

Mee eens

Utrecht

Neutraal

Noord-Holland

Mee oneens

Flevoland

Zeer mee oneens 0%

20%

40%

60%

80%

100%

Heeft u onderwerpen aangedragen voor onderzoek bij de Rekenkamer? 100% 80% 60% 40% 20% 0%

48128

Ja Nee

7

De Rekenkamer houdt voldoende rekening met de wensen van Statenleden ten aanzien van de onderwerpkeuze van onderzoeken. Totaal Zeer mee eens

Zuid-Holland

Mee eens Utrecht

Neutraal

Noord-Holland

Mee oneens Zeer mee oneens

Flevoland 0%

20%

40%

60%

80%

100%

De Rekenkamer speelt bij haar onderwerpkeuze flexibel in op actuele zaken Totaal Zeer mee eens

Zuid-Holland

Mee eens Utrecht

Neutraal

Noord-Holland

Mee oneens Zeer mee oneens

Flevoland 0%

20%

40%

60%

80%

100%

De Rekenkamer onderzoekt voor Provinciale Staten relevante onderwerpen. Totaal Zeer mee eens

Zuid-Holland

Mee eens Utrecht

Neutraal

Noord-Holland

Mee oneens Zeer mee oneens

Flevoland 0%

48128

20%

40%

60%

80%

100%

8

De Rekenkamer betrekt Statenleden actief bij de onderzoeksopzet van onderzoeken Totaal Zeer mee eens

Zuid-Holland

Mee eens Utrecht

Neutraal

Noord-Holland

Mee oneens Zeer mee oneens

Flevoland 0%

20%

40%

60%

80%

100%

Ik heb als Statenlid voldoende mogelijkheden om mijn wensen ten aanzien van de onderzoeksopzet bij de Rekenkamer kenbaar te maken. Totaal Zeer mee eens

Zuid-Holland

Mee eens Utrecht

Neutraal

Noord-Holland

Mee oneens

Flevoland

Zeer mee oneens 0%

20%

40%

60%

80%

100%

Ik heb input geleverd voor een onderzoeksopzet van de Rekenkamer. Totaal Zeer mee eens

Zuid-Holland

Mee eens Utrecht

Neutraal

Noord-Holland

Mee oneens Zeer mee oneens

Flevoland 0%

48128

20%

40%

60%

80%

100%

9

Heeft u onderwerpen voor onderzoek aangedragen bij de programmaraad? 100% 80% 60% 40%

Ja

20%

Nee

0%

Weet ik niet

De onderzoeksrapporten hebben een heldere structuur Totaal Zuid-Holland

Zeer mee eens Mee eens

Utrecht

Neutraal Noord-Holland

Mee oneens

Flevoland 0%

20%

40%

60%

80%

100%

De onderzoeksrapporten zijn goed leesbaar. Totaal Zeer mee eens

Zuid-Holland

Mee eens Utrecht

Neutraal Mee oneens

Noord-Holland

Zeer mee oneens

Flevoland 0%

48128

20%

40%

60%

80%

100%

10

De aanpak (onderzoeksmethode) van het onderzoek is goed beschreven en onderbouwd. Totaal Zeer mee eens

Zuid-Holland

Mee eens Utrecht

Neutraal

Noord-Holland

Mee oneens Zeer mee oneens

Flevoland 0%

20%

40%

60%

80%

100%

De onderzoeksrapporten hebben duidelijke conclusies en aanbevelingen. Totaal Zeer mee eens

Zuid-Holland

Mee eens Utrecht

Neutraal Mee oneens

Noord-Holland

Zeer mee oneens

Flevoland 0%

20%

40%

60%

80%

100%

De bevindingen in de rapporten sluiten aan op de onderzoeksvragen. Totaal Zeer mee eens

Zuid-Holland

Mee eens Utrecht

Neutraal

Noord-Holland

Mee oneens Zeer mee oneens

Flevoland 0%

48128

20%

40%

60%

80%

100%

11

De conclusies in de rapporten zijn gebaseerd op de bevindingen. Totaal Zeer mee eens

Zuid-Holland

Mee eens Utrecht

Neutraal

Noord-Holland

Mee oneens Zeer mee oneens

Flevoland 0%

20%

40%

60%

80%

100%

De conclusies en aanbevelingen zijn concreet en uitvoerbaar. Totaal Zeer mee eens

Zuid-Holland

Mee eens Utrecht

Neutraal Mee oneens

Noord-Holland

Zeer mee oneens

Flevoland 0%

48128

20%

40%

60%

80%

100%

12

Inzicht in doeltreffendheid van subsidies (2012 (on)verantwoord wachten op jeugdzorg (2012) Duurzaam inkopen en aanbesteden (2012)

Ik heb het rapport niet gelezen

Handreiking evaluatie doeltreffendheid provinciale… Doorwerking onderzoek Kind centraal of cijfers centraal… Regie op herstructureren bedrijventerreinen (2011) Provinciaal economisch beleid (2011)

Ik heb het rapport gelezen en gebruikt in de uitoefening van mijn rol als lid van Provinciale Staten

Vitaal platteland - Leefbaarheid en sociaal economische… Kind centraal of cijfers centraal (2010) Doorwerking Grip op grote Projecten (2010) Reserves juist bestemd? (2010) Onderhoud onderbouwd (2009)

Ik heb het rapport gelezen

Het Groene Hart, een haalbare kaart (2009) Beheer en uitvoering concessies openbaar vervoer (2009)

0% 10% 20% 30% 40% 50% 60% 70% 80% 90%

De conclusies en aanbevelingen stimuleren de discussie in Provinciale Staten. Totaal Zeer mee eens

Zuid-Holland

Mee eens Utrecht

Neutraal

Noord-Holland

Mee oneens Zeer mee oneens

Flevoland 0%

48128

20%

40%

60%

80%

100%

13

De Rekenkamer heeft een goed gevoel voor timing; de rapporten komen op een passend moment. Totaal Zeer mee eens

Zuid-Holland

Mee eens Utrecht

Neutraal

Noord-Holland

Mee oneens Zeer mee oneens

Flevoland 0%

20%

40%

60%

80%

100%

Ik ben tevreden over de wijze waarop de rapporten aan PS worden aangeboden. Totaal Zeer mee eens

Zuid-Holland

Mee eens Utrecht

Neutraal

Noord-Holland

Mee oneens Zeer mee oneens

Flevoland 0%

20%

40%

60%

80%

100%

Ik ben tevreden over de wijze waarop de rapporten in PS worden behandeld. Totaal Zeer mee eens

Zuid-Holland

Mee eens Utrecht

Neutraal

Noord-Holland

Mee oneens Zeer mee oneens

Flevoland 0%

48128

20%

40%

60%

80%

100%

14

Ik ben tevreden over de wijze waarop de Rekenkamer de publiciteit zoekt bij de openbaarmaking van haar rapporten, bijvoorbeeld door persberichten. Totaal Zeer mee eens

Zuid-Holland

Mee eens Utrecht

Neutraal

Noord-Holland

Mee oneens Zeer mee oneens

Flevoland 0%

20%

40%

60%

80%

100%

De Rekenkamer is van toegevoegde waarde voor mijn functioneren als Statenlid. Totaal Zuid-Holland

Zeer mee eens Mee eens

Utrecht

Neutraal Mee oneens

Noord-Holland

Zeer mee oneens

Flevoland 0%

48128

20%

40%

60%

80%

100%

15

De rapporten van de Rekenkamer hebben een belangrijke rol in het politieke debat in de Provinciale Staten. Totaal Zeer mee eens

Zuid-Holland

Mee eens Utrecht

Neutraal

Noord-Holland

Mee oneens Zeer mee oneens

Flevoland 0%

20%

40%

60%

80%

100%

De Rekenkamer begrijpt de behoefte van de Provinciale Statenleden. Totaal Zeer mee eens

Zuid-Holland

Mee eens Utrecht

Neutraal

Noord-Holland

Mee oneens Zeer mee oneens

Flevoland 0%

20%

40%

60%

80%

100%

De Rekenkamer versterkt mijn positie als Statenlid in de uitoefening van mijn controlerende rol. Totaal Zeer mee eens

Zuid-Holland

Mee eens Utrecht

Neutraal

Noord-Holland

Mee oneens Zeer mee oneens

Flevoland 0%

48128

20%

40%

60%

80%

100%

16

De Rekenkamer versterkt mijn positie als Statenlid in de uitoefening van mijn kaderstellende rol. Totaal Zeer mee eens

Zuid-Holland

Mee eens Utrecht

Neutraal

Noord-Holland

Mee oneens Zeer mee oneens

Flevoland 0%

20%

40%

60%

80%

100%

De Rekenkamer heeft toegevoegde waarde voor Gedeputeerde Staten en daarmee voor de verbetering van de werking van het ambtelijk apparaat. Totaal Zeer mee eens

Zuid-Holland

Mee eens Utrecht

Neutraal

Noord-Holland

Mee oneens

Flevoland

Zeer mee oneens 0%

20%

40%

60%

80%

100%

Er is een goede verhouding tussen het budget van de Rekenkamer en de resultaten (onderzoeksrapporten); de Rekenkamer levert “waar voor haar geld”. Totaal Zeer mee eens

Zuid-Holland

Mee eens Utrecht

Neutraal

Noord-Holland

Mee oneens Zeer mee oneens

Flevoland 0%

48128

20%

40%

60%

80%

100%

17

De Rekenkamer is een waardevol instituut. Totaal Zuid-Holland

Zeer mee eens Mee eens

Utrecht

Neutraal Mee oneens

Noord-Holland

Zeer mee oneens Flevoland 0%

48128

20%

40%

60%

80%

100%

18