005

Spoor financieel management en prestatiemeting

De praktijk van performance audit: een drielandenstudie

Miekatrien STERCK Veerle CONINGS Dr. Vital PUT Prof. Dr. Geert BOUCKAERT

Rapport 2006 D2006/10106/005 Algemeen secretariaat - Steunpunt Beleidsrelevant onderzoek BESTUURLIJKE ORGANISATIE VLAANDEREN E. VAN EVENSTRAAT 2 C - B-3000 LEUVEN – BELGIE www.steunpuntbov.be

2

Inhoudstafel

Inhoudstafel HOOFDSTUK 1. Inleiding ......................................................................................... 5 1.1. Probleemstelling ........................................................................................................................... 5 1.2. Types van externe audit ............................................................................................................... 7 1.3. Definitie van performance audit .................................................................................................... 8 1.4. Het proces van performance audit................................................................................................ 9 1.5. Literatuur over performance audit............................................................................................... 11 1.6. Onderzoeksdesign ...................................................................................................................... 11

HOOFDSTUK 2. Performance audit in de Nederlandse Algemene Rekenkamer25 2.1. Wettelijk mandaat ....................................................................................................................... 25 2.2. Organisatie.................................................................................................................................. 29 2.3. Proces van performance audit.................................................................................................... 32 2.4. Auditproducten............................................................................................................................ 37 2.5. Methoden en technieken ............................................................................................................ 44 2.6. Impact van performance audit .................................................................................................... 48

HOOFDSTUK 3. Performance audit in het National Audit Office van het Verenigd Koninkrijk................................................................................................ 51 3.1. Wettelijk mandaat ....................................................................................................................... 51 3.2. Organisatie.................................................................................................................................. 56 3.3. Proces van performance audit.................................................................................................... 61 3.4. Auditproducten............................................................................................................................ 69 3.5. Methoden en technieken ............................................................................................................ 73 3.6. Impact van performance audit .................................................................................................... 77

HOOFDSTUK 4. Performance audit in de Canadese rekenkamer ...................... 81 4.1. Wettelijk mandaat ....................................................................................................................... 81 4.2. Organisatie.................................................................................................................................. 85 4.3. Proces van performance audit.................................................................................................... 89 4.4. Auditproducten............................................................................................................................ 98 4.5. Impact van performance audit .................................................................................................. 103

HOOFDSTUK 5. Conclusie................................................................................... 105 5.1. Vergelijking van praktijken in performance audit, in internationaal perspectief........................ 105 5.2. Evoluties in performance audit ................................................................................................. 118 5.3. Agenda voor de toekomst......................................................................................................... 122

Referenties ............................................................................................................ 125 Steekproef performance audit rapporten documentenanalyse........................ 131 Lijst met figuren.................................................................................................... 133 Lijst met tabellen .................................................................................................. 135 Over de auteurs .................................................................................................... 137 Overzicht publicaties ........................................................................................... 139

3

Hoofdstuk 1: Inleiding

HOOFDSTUK 1. Inleiding 1.1. Probleemstelling 1. Heeft beleid effect? Bereiken we het effect op een efficiëntie manier? Er is een internationale tendens naar 'evidence-based policy' of beleid gebaseerd op resultaten. Daarenboven worden overheden steeds meer genoodzaakt aandacht te besteden aan de kosten en de budgettaire impact van beleidskeuzes. Er is dus nood aan informatie om na te gaan of overheidsmaatregelen daadwerkelijk het beoogde doel bereiken, of dit op een efficiënte wijze gebeurt en of men hierover transparant communiceert. 2. Waar audit traditioneel focuste op de wettigheid van de uitgaven en de overeenstemming van de rekeningen met de rapporteringsvereisten, is er sinds de jaren ’70 een brede internationale trend om ook de zuinigheid, de efficiëntie en de effectiviteit van de overheidsuitgaven te onderzoeken. Dit noemt men performance audit of value-for-money audit. 3. Rekenkamers hebben een dubbele missie. Enerzijds, spelen ze de rol van parlementaire waakhond en ondersteunen ze de wetgevende macht in haar controle op de uitvoerende macht. Anderzijds, spelen rekenkamers een verbeterrol: de audits moeten leiden tot een beter werkende overheid. 4. Hiertoe verrichten ze drie types van audit (zie Tabel 1-1): -

Financiële audit: geeft de overheid juiste en volledige financiële informatie aan het Parlement?

-

Rechtmatigheidsaudit1: zijn de overheidsuitgaven en –inkomsten in overeenstemming met de wet?

-

Performance audit: bereikt de overheid haar doelstellingen op een efficiëntie en zuinige wijze en legt ze hierover correct verantwoording af aan het parlement?

5. Zowel in de versterking van de parlementaire controle als in het verbeteren van de werking van de overheid kunnen performance audits een belangrijke rol spelen.

1

Synoniemen zijn wettigheidsaudit en compliance audit

5


Financiële audit Doel

Frequentie

Rechtmatigheidsaudit

Performance audit

Onderzoeken of de Nagaan of de handelingen rekeningen een getrouw van de overheid wettig zijn beeld geven van de financiële werkelijkheid

Beoordeling van de drie “E’s”: economy of zuinigheid, efficiëntie en effectiviteit

Beoordelen van de kwaliteit van de interne controlesystemen

Trend naar 4de environment milieubewustzijn

Jaarlijks

Jaarlijks Bij uitgaven (Vb. visum)

E: of

Niet periodiek; kadert meestal in een bepaalde programmering

Ad hoc Invalshoek

Organisatie die rekening Verschillende invalshoeken Verschillende aflegt mogelijk: instrument, invalshoeken mogelijk: een organisatie, een uitgave,… organisatie, een Overheid als geheel instrument, een project, een maatschappelijk probleem

Onderzoeks- Het boekhoudsysteem object

Kennisbasis

Boekhouden

Overheidshandelingen die De organisatie geregeld zijn door De resultaten rechtsregels (aankopen, subsidiëren, innen van Het prestatiemeet-systeem belastingen, personeel aanwerven, …) Recht

Bestuurskunde, organisatieleer, sociologie, …

Tabel 1-1 Kenmerken van financiële audit, rechtmatigheidsaudit en performance audit.

5. Een aantal landen speelden een pioniersrol op het vlak van performance audit. In de late jaren ’50 besteedde de Canadese Rekenkamer al aandacht aan performantie. In de jaren ’60 volgden de Amerikaanse en de Zweedse rekenkamers. De Nederlandse Algemene Rekenkamer kreeg in 1976 het wettelijke mandaat om de drie E’s te beoordelen, maar verrichtte hier voorheen al onderzoek naar (Dolmans, 1989; Stevers, 1979, Van der Doelen & Leeuw, 1991). Het National Audit Office kreeg pas in 1983 het wettelijke mandaat om performance audits uit te voeren. Dit was echter de wettelijke bevestiging van een bestaande praktijk (Dewar, 1997: 322-323; White & Hollingsworth, 1999: 41). 6. Pollitt en Bouckaert beschreven de internationale evoluties in audit als volgt (2004: 73). In een eerste stadium focussen rekenkamers op de traditionele financiële audit en rechtmatigheidsaudit. In een tweede stadium worden daaraan elementen van performance audit en evaluatie toegevoegd. In een derde stadium, tenslotte, is de performance audit geïnstitutionaliseerd als een volwaardige auditactiviteit. De meerderheid van de rekenkamers in Europa (vb. Frankrijk, Duitsland, Nederland, Denemarken, Zweden, Noorwegen, Finland …) en de Angelsaksische landen (vb. Australië, Verenigde Staten, Verenigd Koninkrijk, …) hebben echter naast het auditen van de rekeningen ook

6


het wettelijke mandaat om performantie te toetsen. Ook in Zuid-Europa (vb. Italië, Portugal, Spanje, …) en Centraal- en Oost-Europa (vb. Bulgarije, Estland, Tsjechië, Hongarije, …) zijn er verschillende landen waar rekenkamers het wettelijke mandaat hebben om performance audits uit te voeren. Ook in Aziatische landen zoals Japan, India en Zuid-Korea hebben rekenkamers een value-for-money audit mandaat. Met uitzondering van Zuid-Afrika, komt performance audit in Afrika nog nauwelijks voor. Dit geldt ook voor het Midden-Oosten.

1.2. Types van externe audit 1. Men onderscheidt drie modellen om de externe audit te organiseren: het Westminster model, het Napoleontisch model en het collegemodel. De vraag rijst wat de impact is van de verschillende types op de praktijk van performance audit. 2. Het Westminster model is gekenmerkt door een sterke focus op de financiële verantwoording ten aanzien van het Parlement en de efficiëntie waarmee de administratie deze middelen gebruikt heeft, centralisatie van de macht in handen van de Auditor-General, sterke voorwaarden voor onafhankelijkheid en een belangrijke rol voor de Public Accounts Committee. Het Westminster model komt voor in het Verenigd Koninkrijk en de andere Commonwealth landen en in Denemarken en Ierland. 3. Het Napoleontische model focust op de rechterlijke functie. Landen als België, Frankrijk en Italië hebben een rekenhof. In dit systeem worden ambtenaren immers persoonlijk aansprakelijk gesteld indien er niet-geautoriseerde betalingen gebeuren. Naast de rechterlijke functie, heeft het hof ook een sterke controlefunctie op de uitgaven. Sommige van de rekenhoven oefenen namelijk ook een ex ante controle uit, bijvoorbeeld Portugal en Italië. Het Napoleontisch model werd traditioneel gekenmerkt door een focus op de wettigheid van de uitgaven. Dit is echter in evolutie. Rekenkamers kunnen het mandaat krijgen om performance audits uit te voeren, zoals gebeurd is in België en Frankrijk en de exante controles kunnen worden afgebouwd. 4. In het collegemodel wordt de rekenkamer geleid door een bestuur dat collectief beslissingen neemt. Aan het hoofd van het college staat een voorzitter. Dit type vinden we terug in Nederland, Duitsland, Japan en Zweden. Er is geen rechterlijke bevoegdheid. De rekenkamer rapporteert aan de Commissie Financiën in het parlement. Op dit vlak zijn er sterke gelijkenissen met het Westminster type. De focus van de audits varieert van financiële audit tot performance audit. Hiermee samenhangend zijn er ook verschillen in de professionele achtergrond van de auditors.

7


1.3. Definitie van performance audit 1. INTOSAI2 definieert performance audit als volgt: performance audit betreft de audit van de zuinigheid, de efficiëntie en de effectiviteit en behelst de audit van -

de zuinigheid waarmee de administratie gevoerd wordt en de toepassing van de principes en praktijken van goed beheer,

-

de efficiëntie waarmee de personele, financiële en andere middelen worden gebruikt. Dit omvat ook de beoordeling van informatiesystemen, prestatie-indicatoren en monitoringsystemen en procedures die de geauditeerde entiteit ontwikkelt om de geïdentificeerde onvolkomenheden te verhelpen, en

-

de effectiviteit van de prestaties, het verband met de realisatie van de doelstellingen van de geauditeerde entiteit en de vergelijking van de actuele impact met de bedoelde impact (vertaling, INTOSAI, 1998, § 1.0.40).

2. Put (2005: 35) definieerde performance audits als: -

empirische onderzoeken,

-

die plaatsvinden nadat beleidsbeslissingen zijn genomen (ex-post, retrospectief),

-

die gesteund zijn op een professionele methodologie,

-

waarbij een beoordeling wordt gegeven van -

de resultaten van het overheidsbeleid in de samenleving (de prestaties van de overheid en de effecten daarvan),

-

de voorwaarden binnen de overheid om deze resultaten te realiseren (een goed management en een goed beleid),

-

de verantwoordingsinformatie over de resultaten van beleid door ministers aan het parlement;

die uitgevoerd worden door onafhankelijke en onpartijdige auditors die bijzondere bevoegdheden hebben om hun taak te kunnen uitoefenen;

-

en waarbij de onderzoeksresultaten leiden naar een publieke rapportering die bestemd is voor het parlement en die deel uitmaakt van de democratische parlementaire controle op de regering.

3. Een synoniem voor performance audit is value-for-money audit. In Nederland maakt men een onderscheid

tussen

doelmatigheidsonderzoeken,

die

gericht

zijn

op

efficiëntie

en

doeltreffendheidonderzoeken die vooral kijken naar effectiviteit. In België spreekt men van de controle op de goede besteding van de rijksgelden. Het Belgische Rekenhof gebruikt het begrip doelmatigheidscontrole als koepelbegrip voor onderzoeken naar zuinigheid, efficiëntie en effectiviteit (Rekenhof, 2005). Operationele audit betreft de audit van interne controle systemen en heeft dus een beperktere betekenis. De term operationele audit is dan ook meer gangbaar in het domein van interne audit.

2

International Organization of Supreme Audit Institutions

8


1.4. Het proces van performance audit 1. Het performance audit proces bestaat uit de volgende stappen (zie Figuur 1-1): -

Auditplanning

-

Onderzoeksvoorstel

-

Uitwerken van de audit

-

Rapportering

-

Nazorg

1. Planning

2. Voorstel

3. Uitvoering

4. Rapport

5. Nazorg

Figuur 1-1 De fasen in het performance audit proces

2. In de fase van de auditplanning worden de onderwerpen van de audits geselecteerd. De rekenkamer kan in principe onafhankelijk beslissen welke onderwerpen zij wenst te onderzoeken. In een aantal landen heeft het parlement echter ook de mogelijkheid om verzoekonderzoeken aan te vragen. Zo bijvoorbeeld zijn 90% van de onderzoeken van het Amerikaanse Government Accountabilty Office uitgevoerd op vraag van het Congres (GAO, 2003). In sommige landen kan ook de regering de rekenkamer om een onderzoek vragen. Bij de auditplanning kunnen externe actoren geconsulteerd worden zoals het parlement en de geauditeerde organisaties. De planning kan echter ook volledig intern verlopen zonder consultatie van externen. De auditplanning wordt dan ook niet in alle gevallen publiek kenbaar gemaakt. 3. Om de auditplanning te kunnen opstellen is het noodzakelijk zicht te krijgen op de evoluties en risico’s

in

verschillende

beleidsdomeinen.

Hiertoe

worden

verschillende

informatiebronnen,

bijvoorbeeld beleidsnota’s, strategische plannen, mediaberichten en statistieken systematisch opgevolgd. Dit noemt men het monitoringproces. 4. Vervolgens worden op basis van een aantal selectiecriteria de auditonderwerpen gekozen. Hierbij kan men verschillende selectiecriteria hanteren, zoals: -

aanwijzingen van problemen ( bijvoorbeeld indicaties van inefficiëntie, ineffectiviteit, zwak management),

-

het financiële belang (hoe belangrijk is het domein op budgettair gebied? hoeveel besparingen zijn mogelijk?),

-

de toegevoegde waarde (is er al onderzoek naar dit onderwerp uitgevoerd?),

-

de interesse van het parlement (is het onderwerp relevant voor parlementsleden?), en

9


-

de haalbaarheid (zijn er voldoende middelen, expertise en informatie beschikbaar?).

De selectie van de onderwerpen kan ook aangestuurd worden vanuit een meerjarig strategisch plan waarin prioriteiten worden geformuleerd betreffende beleidsdomeinen en types van audit. 5. De tweede fase van het performance audit proces bestaat uit het uitwerken van het onderzoeksvoorstel. Het onderzoeksvoorstel dient enerzijds als kwaliteitswaarborg en autorisatieinstrument binnen de rekenkamer. Anderzijds gebruikt men het als communicatie-instrument naar de geauditeerde. Een onderzoeksvoorstel kan uit de volgende elementen bestaan: -

de afbakening van het onderzoek,

-

de formulering van de onderzoeksvragen,

-

de bepaling van de methoden en technieken van dataverzameling en analyse,

-

de normen waaraan de feiten getoetst zullen worden,

-

de organisatie, de planning en de kostprijs van het onderzoek,

-

de publicatiestrategie, en

-

de te verwachten effecten.

6. Na de selectie van het onderwerp en het uitschrijven van het onderzoeksvoorstel, kan de uitvoering van de audit beginnen. Het onderzoeksproces bestaat uit het uitwerken van de instrumenten voor gegevensverzameling, de daadwerkelijke gegevensverzameling, de kwantitatieve en/of kwalitatieve analyses van de data, de toetsing van de feiten aan de normen en het formuleren van aanbevelingen. De performance audits worden meestal uitgevoerd door teams, waarin ook externen kunnen betrokken worden. Bij de uitvoering van het onderzoek is de interactie met de geauditeerde cruciaal. Er moeten immers praktische afspraken gemaakt worden over de toegang tot informatie, er moeten inspanningen geleverd worden om een goede werkrelatie op te bouwen en om eventuele weerstanden weg te werken. 7. De rapportage van de performance audits kan op verschillende wijzen gebeuren. Meestal worden de resultaten van de performance audits in afzonderlijke rapporten gepubliceerd. Soms worden een aantal performance audits gebundeld in één gezamenlijk rapport. De performance audit rapporten hebben meestal de volgende structuur: -

samenvatting van het rapport,

-

achtergrondinformatie over het thema,

-

informatie over de audit,

-

bevindingen, conclusies en aanbevelingen, en

-

reactie van de geauditeerde.

8. De rapporteringsprocedure verschilt van systeem tot systeem. In het Napoleontische model bespreekt de rekenkamer het draftrapport met de geauditeerde administratie om zeker te zijn van de juistheid en de volledigheid van de feiten. De bevoegde minister krijgt de kans om te reageren op de conclusies en aanbevelingen. De rekenkamer stuurt het rapport naar het parlement, meestal meer specifiek de commissie bevoegd voor financiën. In het Angelsaksische model, streeft men naar een consensus met de geauditeerde organisatie, zowel over de feiten als over de presentatie van de feiten. Dit noemt men de clearance procedure. Vervolgens wordt het rapport overgemaakt aan de

10


Public Accounts Committee (PAC) van het Parlement en wordt gepubliceerd. Na de hoorzittingen over het rapport, publiceert het PAC een eigen rapport met aanbevelingen. Hierop formuleert de regering dan een antwoord. 9. De nazorg is de laatste stap in het performance audit proces. Wanneer het rapport is gepubliceerd, is het proces nog niet afgelopen. Het kan besproken worden in de Commissie Financiën, maar soms ook in de vakcommissies. Soms is er ook media-aandacht voor de rapporten, al dan niet gezocht door de rekenkamer. Er wordt steeds meer aandacht besteed aan de opvolging van de aanbevelingen. Er worden ook interne en externe evaluaties van het audit proces gemaakt om lessen te trekken naar de toekomst. De performance audits kunnen ook resulteren in nevenproducten zoals best practice guides, de organisatie van conferenties of het publiceren van artikelen. Dit alles om de resultaten verder te verspreiden.

1.5. Literatuur over performance audit 1. Het wetenschappelijk onderzoek naar performance audit focust zich in eerste instantie op het beschrijven en exploreren van de praktijk van performance audits. Een eerste type van literatuur beschrijft het mandaat en de rollen van rekenkamers, wat zowel in single casestudies (English, 2003; Gunvaldsen & Karlsen, 1999; Leeuw, 1999), als in multiple case studies (Barzelay, 1997; Pollitt, 1999; Gray, Jenkins & Segsworth, 2002; Azuma, 2003; Schwartz, 1991). Een tweede type van literatuur beschrijft de verschilpunten en gelijkenissen tussen performance audit en beleidsevaluatie (Pollitt & Summa, 1997a). De institutionele omgeving blijkt een van de meest essentiële verschilpunten te zijn tussen audit en evaluatie, wat een impact heeft op de doelstellingen, de rapportering en de onderzoeksprogrammering. De vraag rijst in welke mate de verschillen tussen audit en evaluatie aan het vervagen zijn. Barzelay stelde bijvoorbeeld dat de meeste vormen van performance audit eigenlijk types van evaluatie zijn (Barzelay, 1997). 2. In tweede instantie is er de wetenschappelijke literatuur die audithervormingen poogt te verklaren. Een aantal auteurs bestudeerden de implementatie van managementhervormingen binnen rekenkamers als gevolg van New Public Management (English, 2003; Wilkins, 1995; Pollitt en Summa, 1997b; Funnel, 2003) en de hiermee gepaard gaande conflicten (Pallot, 2003; Funnel, 1997; Funnel, 2003).

1.6. Onderzoeksdesign

1.6.1. Onderzoeksvragen 1. De doelstelling van dit rapport is de praktijk van performance audit in drie rekenkamers in kaart te brengen en te vergelijken. Pollitt en anderen ontwikkelden een model om de praktijk van performance audit in kaart te brengen (Figuur 1-2) (1999). Dit model illustreert de verschillende stappen in het

11


proces van performance audit van de programmering tot de rapportering (box 4 tot en met box 10). Daarnaast brengt het model ook een aantal factoren in kaart die een impact hebben op het proces van performance audit: -

de grondwettelijke positie en het mandaat van de rekenkamer (box 2),

-

de competenties van het personeel (box 3),

-

algemene standaarden van performance audit (box 5),

-

de interactie tussen de rekenkamer en de geauditeerde en andere stakeholders (box 7),

-

de impact van de rekenkamer op de omgeving (regering, administratie, parlement, media, publieke opinie, …) (box 11),

-

de impact van de omgeving (regering, administratie, parlement, media, publieke opinie, …) op de rekenkamer (box 12)

5. Performance audit methods standards criteria

2. Statutory powers

4. Performance audit programme (selection of topics)

1. SAI

3. Staff skills

6. Performance audit studies in the field

8. Clearance process

9. Approval within SAI at top level

7. Specific interactions with audited bodies and other stakeholders

12. Impacts and influence of governments, parliaments, media (etc.) on SAI's

10. Performance audit 'products' (reports, etc.)

11. Impacts and influence of reports: on governments on parliaments on media and public opinion

Figuur 1-2 Proces van performance audit (Pollitt et. al., 1999: 8) 2. Het Britse Department of International Development ontwikkelde een checklist om rekenkamers te evalueren (2005). In dit model worden factoren voor excellentie geformuleerd in 8 domeinen: de wettelijke positie, het leiderschap en de strategie, governance, de personele middelen, de nietpersonele middelen, de audit methodologie en het bereiken van de resultaten (zie Tabel 1-2).

12


Kerngebieden Organisatie

Wettelijk mandaat

Leiderschap en strategie

Management Middelen

Governance Personele middelen Niet-personele middelen

Processen

Audit methoden

Externe relaties

Outcomes

Resultaten

Factoren voor excellentie -

Onafhankelijkheid

-

Audit opdracht

-

Toegangsbevoegdheid

-

Rapportage

-

Visie

-

Strategie

-

Prioritisering

-

Interne communicatie

-

Verantwoording

-

Behoorlijk bestuur

-

Rekrutering en behoud

-

Kwalificaties en vorming

-

Financiën

-

Gebouwen

-

Voorzieningen en materiaal

-

Informatica

-

Kennis

-

Gestandaardiseerde aanpak

-

Relaties met andere auditors

-

Kwaliteitsgaranties

-

Communictaiebleid

-

Reputatie

-

Samenwerking met geauditeerden

-

Samenwerking met parlement

-

Tijdigheid

-

Monitoring en nazorg

Tabel 1-2 Checklist voor de evaluatie van rekenkamers (Department for International Development, 2005: 28) 3. De checklist die we in dit onderzoek gebruiken richt zich specifiek op het proces en de inbedding van performance audit en bestaat uit de volgende basisonderzoeksvragen: -

Hoe is performance audit ingebed in het wettelijke mandaat?

-

Hoe is de organisatie afgestemd op de performance audit?

-

Hoe verloopt het proces van performance audit?

-

Welke auditproducten levert de rekenkamer af?

-

Welke methoden en technieken gebruikt de rekenkamer in de performance audits?

-

Wat is de impact van performance audits?

13


Wettelijk mandaat 1. Ondanks het feit dat rekenkamers over de hele wereld performance audits kunnen uitvoeren, zijn er toch verschillen in het wettelijke mandaat tussen landen. Hoe ver reikt het wettelijke mandaat van rekenkamers om performance audits uit te voeren? Hoe is de reden van bestaan gedefinieerd in de wet? Ten eerste bekijken we het institutionele mandaat. Welke organisaties kan de rekenkamer auditen (departementen, openbare instellingen, overheidsbedrijven)? Kan zij enkel de administraties auditen of heeft ze ook de bevoegdheid om ministers de auditen? 2. Ten tweede onderzoeken we het materiële mandaat van rekenkamers. Hebben ze het mandaat om de kwaliteit van niet-financiële informatie te beoordelen? Kunnen ze zowel zuinigheid, efficiëntie als effectiviteit beoordelen? Het mandaat om effectiviteit te toetsen houdt echter niet in dat men de beleidskeuzes die op politiek niveau genomen zijn in vraag kan stellen. Het is dus cruciaal om de grenzen van het materieel mandaat af te toetsen. Acht de auditorganisatie zich bijvoorbeeld bevoegd om uitspraken te doen over de kwaliteit van regelgeving of over de verdeling van bevoegdheden tussen verschillende bestuursniveaus? Kan de rekenkamer oordelen over de keuze van beleidsinstrumenten (gegeven de doelstellingen) of over de adequaatheid van beleidsdoelstellingen (in vergelijking met de maatschappelijke problematiek waarop het beleid betrekking heeft)? 3. Ten derde bekijken we de toegangsbevoegdheid van de rekenkamer. Kan de rekenkamer op afdwingbare wijze informatie opvragen en zo ja, bij welke organisaties? Om haar taak te kunnen uitoefenen, heeft een rekenkamer in principe toegangsbevoegdheid tot alle nodige documenten. Soms kan het nodig zijn dat de rekenkamer informatie opvraagt bij gesubsidieerde private organisaties of private contractanten in geval van outsourcing. Het is echter ook mogelijk dat de rekenkamer geen toegang heeft tot bepaalde gegevens, bijvoorbeeld om redenen van nationale veiligheid.

Wettelijk mandaat -

Welke overheidsregulering bestaat er over externe audit?

-

Hoe is de reden van bestaan gedefinieerd in het mandaat van de auditorganisatie: wat is haar wettelijke opdracht?

-

Welke bevoegdheden heeft de rekenkamer: organiek / institutioneel? Wie kan / mag zij auditeren (departementen, openbare instellingen, overheidsbedrijven, …)? Is er een “follow-the-money” – mandaat?

-

Hoe ziet het materiële mandaat eruit? Welke aspecten mag zij beoordelen? Kan zij toetsen aan de 3 E's (economy, efficiëntie en effectiviteit)? Indien de auditorganisatie niet bevoegd is om effectiviteit rechtstreeks te beoordelen: hoe komt dit?

-

Welke onderzoeksbevoegdheden heeft de instelling? Van wie mag zij welke informatie opvragen ? Zijn er overheidsgegevens waartoe zij geen toegang heeft? Box 1-1 Onderzoeksvragen over het wettelijke mandaat van rekenkamers.

14


Organisatie 1. Hoe organiseren rekenkamers zich om performance audits uit te voeren? In welke mate leidt een wijziging in het mandaat van rekenkamers ook tot een verandering in de organisatiestructuur? In het tweede deel van de onderzoekschecklist gaan we in op de organisatiestructuur, het personeelsbeleid, de prestatiemeetsystemen en de kwaliteitscontrole. Box 1-2 geeft een overzicht van de onderzoeksvragen over de organisatie van performance audit.

Organisatie -

Hoe is de rekenkamer georganiseerd? Op basis van welke principes is de auditinstelling gestructureerd: volgens producten (types audit), volgens beleidsdomeinen, matrixorganisatie…? Op welke manier is performance audit organisatorisch ingebed: zijn er aparte afdelingen voor performance audit? … )

-

Wie doet performance audit? Welke vooropleiding hebben performance auditors (juridisch, accountancy, sociaal-wetenschappelijk, ….)?

-

Welke opleidingen zijn voorzien (intern / extern)?

-

in welke mate wordt beroep gedaan op outsourcing?

-

Bestaan er binnen de rekenkamer systemen om de performantie te meten?

-

Hoe wordt de kwaliteit van de audits gewaarborgd? Box 1-2 Onderzoeksvragen over de organisatie van performance audit.

Het proces van doelmatigheid 1. Hoe verloopt het proces van performance audit in de praktijk? Welke verschillen zijn er tussen rekenkamers in de indeling van het auditproces? Het derde deel van de onderzoekschecklist beslaat de verschillende stappen in het proces van performance audit, van de planning tot de nazorg (zie Box 1-3).

Het proces van performance audit Auditplanning: -

Worden er ook onderzoeken uitgevoerd op verzoek van parlement?

-

Op welke wijze worden onderwerpen geselecteerd? Wordt de selectie van onderwerpen aangestuurd via een expliciet strategisch kader? Wat is de inhoud van deze strategie?

-

Is er een systematische monitoring van de te controleren domeinen? Hoe is de monitoring georganiseerd?

-

Welke selectiecriteria worden gehanteerd

15


-

Wie stelt de onderwerpen voor? Is er voorafgaandelijk overleg met de opdrachtgever over het onderzoeksprogramma (met het parlement voor externe audit)? Is er voorafgaandelijk overleg met de te auditeren organisaties?

-

Wordt de onderzoeksplanning al dan niet kenbaar gemaakt buiten de auditorganisatie?

-

Wordt de effectiviteit van de selectie geëvalueerd?

Onderzoeksvoorstel -

Uit welke elementen bestaat het onderzoeksvoorstel?

-

Wordt het onderzoeksvoorstel gecommuniceerd aan de geauditeerde?

-

Worden externen betrokken bij het uitwerken van onderzoeksvoorstellen?

Uitvoering van de audit -

Hoe is de uitvoering van de audit georganiseerd? Hoe worden auditteams samengesteld?

-

Worden externen betrokken bij de uitvoering: is er een begeleidingscomité met externen, worden sommige activiteiten uitbesteed?

Rapportering -

Welke procedures bestaan er in verband met rapportering? Is er een tegensprekelijke procedure met de geauditeerde administratie en/of met de regering?

-

Op welke manier worden rapporten gepubliceerd: al of niet aparte publicaties per onderzoek, vormgeving, publiek toegankelijk...?

Nazorg -

Welke nazorg wordt geboden aan de geauditeerde? (bijv. adviesverlening bij de implementatie van aanbevelingen)

-

Hoe worden de auditresultaten gecommuniceerd naar de media?

-

Is er een bespreking in het parlement en zo ja, in welke parlementaire commissie?

-

Wordt een onderzoek na afloop geëvalueerd?

-

Worden aanbevelingen systematisch opgevolgd?

Box 1-3 Onderzoeksvragen over het proces van performance audit.

Auditproducten 1. Verschillende rekenkamers hebben het mandaat om performance audits uit te voeren, maar het type en het volume van performance audits kan wel verschillen tussen landen. In het vierde deel van de onderzoekschecklist gaan we na hoe belangrijk het aandeel is van performance audit in de totale auditactiviteit. Box 1-4 geeft een overzicht van de onderzoeksvragen over de auditproducten.

16


Auditproducten -

Welke types audit worden uitgevoerd? (performance audit, wettigheidsonderzoek, financiële audit) Tot welke producten leidt dit?

-

Wat is het aandeel van performance audit in de totale auditactiviteit (aantal rapporten / jaar, % financiële middelen, % personeel, …)?

-

Op welke aspecten van performantie zijn de auditrapporten gefocust: beleid – beheer –prestaties –effecten –verantwoording? Box 1-4 Onderzoeksvragen over de auditproducten

Aan de hand van een analyse van 15 recente performance auditrapporten van de drie rekenkamers beschrijven we het verschil in focus van de performance audits. Vellen de rapporten een oordeel over de geleverde prestaties en de bereikte effecten of beoordelen ze enkel de achterliggende voorwaarden op het vlak van beheer en beleid die nodig zijn om de prestaties en effecten te realiseren? Performance audits kunnen ook de verantwoording aan het parlement beoordelen. In welke mate komt dit voor? Tabel 1-3 geeft schematisch het analysekader voor categorisering van de focus van de normering in performance auditrapporten. We lichten de begripsdefiniëring hierna toe.

Beheer

Management Primair proces Organisatiestructuur Middelenmanagement Personeel Marketing Reguleringsmanagement Samenwerking

Beleid

Beleidskader Reglementair kader: weten regelgeving Institutioneel kader: taakverdeling Budgettair kader

Prestaties Effecten Verantwoording Tabel 1-3 Analysekader voor de inhoud van performance auditrapporten

17


3. De categorie beheer heeft betrekking op het gedrag van de overheidsmanager. Wat speelt zich op managementvlak af binnen de organisatie? De categorie beheer bestaat uit verschillende subcategorieën: het management in algemene zin3, het primaire proces4, het middelenmanagement5, de organisatiestructuur6, het personeelsbeheer7, de marketing8, het reguleringsmanagement9 en de samenwerking10. 6. De begripscategorie beleid heeft betrekking op de normen over de omkadering voor het functioneren van de organisatie. We denken onder meer aan reglementen, budgetten en beleidsdoelstellingen. We stippen hierbij uitdrukkelijk aan dat het gaat om het normeren van het gedrag van politici. De aanbeveling tot gedragswijziging duidt dan op de verantwoordelijkheid van politici in het bepalen, wijzigen of bijstellen van onder meer de beleidsdoelstellingen, de beleidsinstrumenten en de financiële middelen. De diagnose gaat uit van de context waarbinnen de politici hun rol moeten spelen. Hierbij stippen we aan dat het onderscheid tussen beleid en beheer niet als een absoluut duaal gegeven moet geïnterpreteerd worden. Het spreekt voor zich dat het opdelen van verantwoordelijkheden voor politici, dan wel ambtenaren de mogelijkheid tot interferenties niet uitsluit. Het beleidsniveau wordt verder opgedeeld in volgende subcategorieën: het beleidskader11, het reglementaire kader12, het institutioneel kader13 en het budgettaire kader14.

3

Management heeft betrekking op het aansturen en opvolgen van primaire processen en het middelenmanagement. Normeringen die verwijzen naar het strategische plan, prestatiemeetsystemen, monitoring en voortgangsbewaking zijn voorbeelden van normeringen over het management. 4 Primair proces slaat op het voortbrengen van de prestatie (product of dienst) die naar buiten gaat. Primaire processen duiden in essentie op de kerntaken van de overheidsorganisatie. 5 Normen over middelenmanagement zijn gericht op het ondersteunen van het primaire proces en het management en kunnen aangeduid worden met het acroniem PIOFHA (personeel, informatie, organisatie, financiën, huisvesting, automatisering). Deze definitie breiden wij uit met aspecten van middeleninfrastructuur. We onttrekken ervan echter de aanbevelingen over het personeelsproces. 6 Organisatiestructuur slaat op de verdeling van taken en de coördinatie van deze taken binnen de organisatie. 7 Aanbevelingen over personeel hebben zowel betrekking op het personele proces (ter ondersteuning van het primaire proces en het management) als op de personele structuur (personeelsbestand met een bepaalde omvang, deskundigheid, cultuur, …). 8 Marketing slaat op het voorlichtingsbeleid dat de organisatie voort ten aanzien van haar klanten. 9 Reguleringsmanagement is een element van het reglementaire kader, en gaat in op de manier waarop de organisatie het kunnen uitvoeren van de weten regelgeving in de praktijk mogelijk maakt. 10 Samenwerking gaat over de relaties tussen de actoren, betrokken in het ten uitvoering brengen van het beleid. 11 De normering over het beleidskader gaat in op de beleidstheorie en de informatie die het beleid onderbouwt (ex ante) of evalueert (ex post). Het beleid is maar effectief als er een causaal verband bestaat tussen beleidsdoelstellingen, beleidsinstrumenten en beleidseffecten; kortom, als het beleid steunt op een juiste beleidstheorie. Ook normen over de kwaliteit van de beleidsinformatie vallen onder deze subcategorie. Is er een goed uitgebouwde diagnose van de problematiek, is de keuze van het beleidsinstrument gemotiveerd? Het zijn deze vragen die de auditor tracht te normeren. 12 Normen over het reglementaire kader gaan in op het wettelijke kader en de reglementaire bepalingen waarbinnen overheidsorganisaties handelen. De reglementaire bepalingen kunnen gaan over beheersmatige aspecten zoals begrotingsrecht, overheidsopdrachten, ambtenarenrecht en statutaire regelgeving, of over aspecten van inhoudelijke aard. 13 Het institutionele kader gaat over de wijze waarop taken zijn verdeeld tussen overheidsorganisaties en/of private organisaties, en de wijze waarop wordt samengewerkt (overlapping, hiaten, onsamenhangendheid, verkokering), de taakverdeling tussen het ambtelijke en het politieke niveau (bijvoorbeeld bij beleidsvoorbereiding en aansturing van en toezicht op administraties). 14 Vaststellingen over het budgettaire kader beoordelen hoeveel geld er beschikbaar is voor het beleid vanuit de begroting en het vermogen. Ze normeren het budgettaire systeem: gaat het om een één- of meerjarenfinanciering, is er afstemming tussen de financiële cyclus en de beheerscyclus, is er sprake van een kasboekhouding of een bedrijfseconomische boekhouding?

18


9. Normen over prestaties hebben betrekking op de samenleving. Overheid en samenleving worden met elkaar verbonden vanuit de overheidsprestaties. Prestaties, zoals toegekende subsidies of uitgevoerde inspecties, zijn geen doel op zich. Ze worden ingezet om maatschappelijke doelstellingen (zoals het verminderen van de jeugdwerkloosheid, of het aanbieden van betaalbare gezondheidszorg voor iedereen) te bereiken. Prestaties bekijken we vanuit de invalshoeken: omvang, bereik, doorlooptijd, kwaliteit en kostprijs. 10. Normen over effecten verwijzen naar de functionaliteit van het gevoerde beleid voor de samenleving. Effectiviteit slaat op het bereiken van de doelstellingen van het beleid (doelbereiking), dankzij het beleid (doeltreffendheid). De bereikte effecten kunnen in de audit gekoppeld worden aan de kostprijs (kosteneffectiviteit). Ook kunnen de neveneffecten onderzocht worden. Deze normen hebben betrekking op de samenleving. 11. Normen over verantwoordingsinformatie verwijzen naar de informatie over het presteren van de overheid. Het gaat bij verantwoordingsinformatie om informatie die het parlement ontvangt van de regering.

Methoden en technieken 1. De invoering van performance audits heeft geleid tot een uitbreiding van de methoden en technieken die auditors gebruiken. In het vijfde deel van de onderzoekschecklist brengen we dit in kaart (zie Box 1-5).

Onderzoeksvragen over methoden en technieken -

Welke handleidingen, procedures… bestaan in verband met performance audit en waarop hebben deze betrekking?

-

Wordt ondersteuning geboden via intranet? Welke informatie is beschikbaar (informatie uit vorige onderzoeken, normendatabank….)?

-

Wordt enkel informatie verzameld bij de overheid of ook bij particulieren?

-

Wat zijn de belangrijkste bronnen van normen?

-

Welke types van onderzoeksdesign worden gebuikt?

-

Welke methoden worden gebruikt om data te verzamelen?

-

Welke methoden worden gebruikt om data te analyseren? Box 1-5 Onderzoeksvragen over methoden en technieken van performance audit.

2. We onderzoeken de methodologische ondersteuning die auditors krijgen, maar ook het daadwerkelijke gebruik van verschillende onderzoeksdesigns, dataverzamelingsmethoden en technieken van data-analyse. Hiertoe analyseren we een recente steekproef van 15 audit rapporten per rekenkamer.

19


3. Bij het ontwikkelen van het onderzoeksdesign moet men in de eerste plaats afbakenen op welke periode de audit betrekking heeft. Men kan nagaan wat de veranderingen zijn tussen de situatie voor en na een bepaalde beleidsmaatregel. Dit noemt men een voor- en nameting. Men kan ook enkel na gaan welke wijzigingen er zijn opgetreden na de beleidsmaatregel. Dat noemen we een nameting. Op de tweede plaats moet men beslissen of er gewerkt wordt met een controlegroep. Dit betekent dat men een groep die blootgesteld is aan een beleidsmaatregel gaat vergelijken met een groep waarop de beleidsmaatregel geen betrekking had, de controlegroep. Op de derde plaats moet men beslissen of men vergelijkingen gaat maken, met andere organisaties of in de tijd. 4. Als methoden van dataverzameling onderscheiden we de documentenanalyse15, het interview16, de survey17, de observatie18 en de expert opinie19 (zie Tabel 1-4).

Documentenanalyse en data-analyse

Primaire data

Interview

Individueel

Secundaire data

Focus groep Observatie

Participerende observatie Mystery shopping

Survey Expert opinie Tabel 1-4 Methoden van dataverzameling in performance audits. 15

In de analyse van documenten onderscheiden we primaire data en secundaire data. Onder secundaire data verstaan we documenten die binnen de organisatie gebruikt worden en die niet ontwikkeld zijn voor onderzoeksdoeleinden. Dit omvat weten regelgeving, jaarverslagen, begrotingen, strategische plannen, databanken van de geauditeerde organisatie, dossiers van de geauditeerde organisatie,…Het kan interessant zijn om op basis van statistieken aanwezig in de geauditeerde organisaties nieuwe analyses te ondernemen (NAO & Audit Scotland, X). Onder secundaire data begrijpen we gegevens over de organisatie of over het thema die verzameld zijn voor onderzoeksdoeleinden, zowel door de organisatie zelf als door andere actoren. Voorbeelden hiervan zijn officiële statistieken, vakliteratuur, audits en evaluatieonderzoeken en onderzoeksrapporten. 16 Interviews kunnen zowel individueel als in groep verlopen. Een groepsinterview noemt men ook wel een focusgroep. Indien in de performance audit rapporten interviews vermeld werden, maar niet expliciet gesteld werd dat er groepsinterviews uitgevoerd werden, dan hebben we deze gecodeerd als individuele interviews. Men kan zowel gestructureerde, semi-gestructureerde als open interviews houden. 17 De survey of vragenlijst wordt hoofdzakelijk gebruikt om speciefieke en gedetailleerde informatie te verzamelen bij een groep mensen of organisaties (Office of the Auditor General of Canada, 1994: 29). Het kan zowel gaan om postenquêtes, telefonische enquêtes, face-to-face surveys of vragenlijsten die per e-mail of op het Internet ingevuld worden. De surveys worden meestal afgenomen bij de geauditeerde organisaties, maar kunnen ook een ruimere populatie betreffen. 18 Observatie kan de auditor een genuanceerder inzicht verschaffen in de actuele situatie en kan de bevindingen geloofwaardiger maken (Office of the Auditor General of Canada, 1994). Men kan een veldbezoek uitbrengen en aan participerende observatie doen. Een andere techniek van observatie is mystery shopping. Mystery Shopping beoogt de daadwerkelijke dienstverlening vanuit het oogpunt van de klant of bezoeker te beoordelen. De Mystery Shopper of Guest doet zich voor als klant en observeert het volledige dienstverleningsproces, of een gedeelte daarvan. Dit kan zowel door ter plaatse te gaan of door contact op te nemen met de betrokken dienst via telefoon, e-mail, … 19 Wanneer in een performance audit conclusies getoetst worden door externe deskundigen, spreken we van het gebruik van de expert opinie. Deskundigen worden geselecteerd op basis van hun professionele kwalificaties en ervaring in het veld. Expert opinies vomren een belangrijke bron van informatie bij de beoordeling van zaken die zeer moeilijk objectief te kwantificeren zijn (Office of the Auditor General of Canada, 1994).

20


5. Na de dataverzameling volgt de data-analyse. Hierbij maken we ten eerste het onderscheid tussen kwantitatieve en kwalitatieve methoden. Binnen het kwantitatief onderzoek maken we het verschil tussen univariate en multivariate analysemethoden. Ten tweede onderscheiden we beschrijvende analyses en verklarende analyses.

Impact van performance audit 1. Tenslotte hebben we ook aandacht voor de impact van performance audits (zie Box 1-6). Waartoe leiden de aanbevelingen van performance auditors? Ten eerste gaan we na welke informatie rekenkamers zelf verzamelen over hun impact. Ten tweede bekijken we of er externe evaluaties bestaan van de impact van performance audits.

Impact van performance audit -

Welke interne informatie bestaat er over de impact, neveneffecten… van performance audit?

-

Welke externe informatie bestaat er over de performantie van de rekenkamer (peer reviews, evaluaties ….)? Box 1-6 Onderzoeksvragen over de impact van performance audit.

1.6.2. Methodologie

Algemeen 1. Het onderzoek is gebaseerd op een kwalitatieve analyse van drie cases: de Nederlandse Algemene Rekenkamer, het Britse National Audit Office en het Canadese Office of the Auditor General. De cases die we geselecteerd hebben zijn landen met een gevestigde traditie van performance audit. Het gaat om Rekenkamers met een geïnstitutionaliseerde opdracht tot het uitvoeren van Performance Audits. Om over voldoende variatie te beschikken tussen de cases zijn er onder andere verschillen in de bestuursvorm (college versus auditor general) en in het materiële mandaat (al dan niet effectiviteitstoets). Tabel 1-5 geeft een overzicht van de kenmerken van de drie cases die de basis vormden voor de selectie.

21


Algemene

National Audit

Office of the

Rekenkamer

Office

Auditor General of Canada

Datum wettelijk mandaat

1976

1983

1977

Materieel mandaat: wat kan

Zuinigheid

Zuinigheid

Zuinigheid

de rekenkamer auditen?

Efficiëntie

Efficiëntie

Efficiëntie

Effectiviteit

Effectiviteit

College

Comptroller and

performance audit

Bestuursvorm

Auditor General

Auditor General Tabel 1-5 Caseselectie: kenmerken van de AR, het NAO en het OAG.

2. De dataverzameling gebeurde ten eerste aan de hand van primaire documenten zoals wetgeving, jaarverslagen, handleidingen en auditrapporten. In het kader van de primaire dataverzameling hebben we ook diepte-interviews gevoerd met personeelsleden van de drie rekenkamers. Daarnaast hebben we ook van elke rekenkamer 15 performance auditrapporten uit de periode 2003-2005 geanalyseerd (we gaan dieper in op de gehanteerde methodologische onderbouw in 1.6.2.2. Ten tweede hebben we secundaire documenten geanalyseerd, zoals wetenschappelijke literatuur en peer reviews.

Documentenanalyse 1. Met de documentenanalyse willen we enerzijds nieuwe gegevens verzamelen over de focus van de performance audits data aanreiken die voortbouwen op de data uit het proefschrift ‘Normen in performance audits van rekenkamers. Een casestudy bij de Algemene Rekenkamer en het National Audit Office (Put, 2005)’. Anderzijds willen we met deze documentenanalyse indicaties krijgen van de in performance audits gehanteerde methoden en technieken. 2. Om een beeld te krijgen van de normen die Rekenkamers gebruiken, selecteerden we voor de drie onderzochte cases - Office of the Auditor General of Canada, Algemene Rekenkamer en National Audit Office - telkens vijftien performance audit rapporten. Deze rapporten hebben betrekking op de jaren 2003, 2004 en 2005 (zie p. 131 voor een lijst van de rapporten). Op deze manier willen we het actuele karakter van de conclusies benadrukken. Dt betekent dat we 31.3% (15/48) van de performance audit rapporten van de Algemene Rekenkamer uit de periode 2003-2005 bestudeerden. Voor het NAO bedraagt het aandeel 8.7% (15/172). Van het Office of the Auditor General of Canada bekeken we 25% van de performance audits uit de periode 2003-2005.

22


3. De selectie van performance auditrapporten gebeurde op basis van de samenvatting van alle rapporten uit deze periode en/of de samenvatting die te vinden is op de websites van de rekenkamers en op basis van informatie uit de methodologische bijlage, indien deze aanwezig is de rapporten. 4. Het in kaart brengen van alle types van normen vraagt om een doelgerichte steekproef. Deze methode van steekproeftrekking is wat Patton ‘maximum variation (heterogenity) sampling’ noemt (Patton, 2002). 5. Om de focus te bepalen van de rapporten namen we enkel die conclusies in het performance auditrapport in ogenschouw waarin de rekenkamer een beoordeling of normering verwoordt. Het gaat bovendien om die conclusies die door de Rekenkamer in het performance audit rapport getoetst worden. Het gaat dus niet om vaststellingen, wel om beoordelingen door de rekenkamer; de conclusies bevatten hierbij een duidelijke normering. 6. De in de performance auditrapporten getoetste normen, methoden en technieken werden toegewezen aan de begrippencategorieën van de uitgewerkte analysekaders. Om de analysekaders voor inhoud en methoden en technieken op hun volledigheid uit te testen, en om afwijkingen in codeergedrag tussen codeurs te vermijden werden ex nunc controles ingevoerd. Dit leidde tot een fijnstelling van de begrippendefinities en de analysekaders. Zo kwamen de drie codeurs tot een punt waarop verdere fijnstelling niet meer nodig was. 7. Het is niet de bedoeling een nauwkeurige kwantificering te geven van de frequentie waarmee normen en methodologieën worden gehanteerd. We hebben de bedoeling een indicatie te geven van de types normering en de gehanteerde methoden en technieken.

23

Hoofdstuk 2: Performance audit in de Nederlandse Algemene Rekenkamer

HOOFDSTUK 2. Performance audit in de Nederlandse Algemene Rekenkamer 2.1. Wettelijk mandaat

2.1.1. Wetgeving 1. De Algemene Rekenkamer werd opgericht in 1814. Het bestaan van de Algemene Rekenkamer is verankerd in artikel 76 van de Grondwet dat stelt dat de Algemene Rekenkamer belast is met het onderzoek van de ontvangsten en uitgaven van het Rijk. De Grondwet regelt de benoeming en het ontslag van het college dat de Algemene Rekenkamer leidt. De grondwettelijke verankering van de Algemene Rekenkamer moet haar onafhankelijkheid garanderen (Box 2-1).

Artikel 76 De Algemene Rekenkamer is belast met het onderzoek van de ontvangsten en uitgaven van het Rijk. Artikel 77 1. De leden van de Algemene Rekenkamer worden bij koninklijk besluit voor het leven benoemd uit een voordracht van drie personen, opgemaakt door de Tweede Kamer der Staten-Generaal. 2. Op eigen verzoek en wegens het bereiken van een bij de wet te bepalen leeftijd worden zij ontslagen. 3. In de gevallen bij de wet aangewezen kunnen zij door de Hoge Raad worden geschorst of ontslagen. 4. De wet regelt overigens hun rechtspositie. Artikel 78 1. De wet regelt de inrichting, samenstelling en bevoegdheid van de Algemene Rekenkamer. 2. Bij de wet kunnen aan de Algemene Rekenkamer ook andere taken worden opgedragen. Box 2-1 De Algemene Rekenkamer in de Nederlandse Grondwet (Ministerie van Binnenlandse Zaken en Koninkrijksrelaties, 2002: 19-20).

2. Volgens artikel 78 van de Grondwet moet de inrichting, de samenstelling en de bevoegdheid van de Algemene Rekenkamer bij wet bepaald worden. In 1976 werd het mandaat van de Algemene Rekenkamer wettelijk bepaald in de Comptabiliteitswet. De Algemene Rekenkamer kreeg zo ook expliciet het mandaat om performance audits uit te voeren. De Comptabiliteitswet werd over de jaren heen verschillende keren gewijzigd. In 1989 bijvoorbeeld, werd het mandaat van de Algemene Rekenkamer uitgebreid met de inspectie van welzijnswerk en gesubsidieerde instellingen. In 1992 werd het mandaat om performance audits uit te voeren meer in detail bepaald in de Comptabiliteitswet. De laatste wijziging in Comptabiliteitswet relevant voor de Algemene Rekenkamer

25


dateert van 2002. Vanaf 1 mei 2002 kan ze direct bij de ontvangers van subsidies van de Europese Unie controleren of de subsidies juist zijn besteed (Comptabiliteitswet 2001, art. 91 en 92).

2.1.2. Reden van bestaan 1. De Algemene Rekenkamer heeft een dubbele reden van bestaan. Ten eerste staat de Algemene Rekenkamer het parlement bij in haar controle op de regering. Ten tweede heeft de Algemene Rekenkamer de ambitie om de werking van de overheid te verbeteren. Deze dubbele bestaansreden vinden we terug in de missie van de Algemene Rekenkamer (Box 2-2).

“De Algemene Rekenkamer heeft als doel het rechtmatig, doelmatig, doeltreffend en integer functioneren van het Rijk en de daarmee verbonden organen te toetsen en te verbeteren. Daarbij toetst zij ook de nakoming van verplichtingen die Nederland in internationaal verband is aangegaan. Zij voorziet daartoe de regering, de Staten-Generaal en degenen die verantwoordelijk zijn voor de gecontroleerde organen van op onderzoek en onderzoekservaring gebaseerde informatie. Deze informatie bestaat uit onderzoeksbevindingen, oordelen en aanbevelingen over organisatie, beheer en beleid en is in beginsel publiek toegankelijk.

Daarnaast is het haar verantwoordelijkheid om een bijdrage te leveren aan goed openbaar bestuur door kennisuitwisseling en samenwerking in binnen- en buitenland.

Kwaliteit, betrouwbaarheid en bruikbaarheid ziet de Algemene Rekenkamer als belangrijkste kenmerken van haar producten. Onafhankelijkheid, doelmatigheid en doeltreffendheid zijn de belangrijkste kenmerken van haar werkwijze.

De Algemene Rekenkamer beoogt een transparante organisatie te zijn die voortdurend in de kwaliteit van haar medewerkers en methoden investeert.

Box 2-2: De missie van de Algemene Rekenkamer.

2. Uit interviews blijkt dat de Algemene Rekenkamer het parlement als de belangrijkste doelgroep aanziet. Het beoordelen van de verantwoording die de minister aflegt aan het parlement wordt gezien als de cruciale taak van de Algemene Rekenkamer (Put, 2005: 144). De Algemene Rekenkamer heeft de keuze gemaakt om het beleid van de minister als uitgangspunt voor haar performance audits te nemen.

De

Algemene

Rekenkamer

blijkt

dus

verantwoordingslogica dan door een verbeterlogica.

26

eerder

geleid

te

worden

door

een


2.1.3. Toepassingsgebied

of

organieke

afbakening:

waar

mag

men

onderzoeken? 1. De Algemene Rekenkamer beschikt over onderzoeksbevoegdheden bij ministeries, intern verzelfstandigde agentschappen en extern verzelfstandigde agentschappen of Rechtspersonen met een Wettelijke Taak (RWT’s).20 2. “Richtinggevend voor het onderzoek van de Algemene Rekenkamer is de bestuurlijke verantwoordelijkheid van bewindspersonen en besturen van instellingen die met de rijksoverheid verbonden zijn (Algemene Rekenkamer, 2003b: 11).” “Als geld met bepaalde doelen van het Rijk naar een instelling stroomt, dan is de Algemene Rekenkamer bevoegd te onderzoeken wat er met deze geldstroom gebeurt. Bij rechtspersonen met een wettelijke taak beperkt de bevoegdheid van de Algemene Rekenkamer zich tot datgene wat met die wettelijke taak te maken heeft (Algemene Rekenkamer, 2003b: 12).” 3. Het gaat niet enkel om de rijksoverheid, maar ook om zelfstandige organisaties die met publiek geld een publieke taak uitvoeren en bij particulieren, bedrijven en overheden die Europese subsidies ontvangen (Algemene Rekenkamer, 2005c: 7). Ook hier is de centrale vraag of het overheidsgeld rechtmatig en doelmatig is besteed. 4. Daarnaast besteedt de Algemene Rekenkamer aandacht aan meer recente vormen van financiële relaties

tussen

het

Rijk

en

bedrijven.

Dit

betreft

onder

meer

publiekprivate

samenwerkingsverbanden zoals bij de aanleg en het beheer van wegen. Hierbij gaat de aandacht van de Algemene Rekenkamer niet alleen uit naar wettigheid en efficiëntie, maar ook naar de verdeling van risico's tussen overheid en bedrijven.

2.1.4. Materiële afbakening van het concept performance audit : wat mag men onderzoeken? 1. De algemene onderzoeksbevoegdheden van de Algemene Rekenkamer bestaan uit: -

het gevoerde financiële beheer en materieelbeheer,

-

de ten behoeve van financieel beheer en materieelbeheer bijgehouden administraties en de centrale administratie van de Schatkist van het Rijk,

-

de financiële informatie in de jaarverslagen en het financiële jaarverslag van het Rijk,

-

de departementale saldibalansen en de saldibalans van het Rijk, en

-

De totstandkoming van de informatie over het gevoerde beleid en de bedrijfsvoering (Comptabiliteitswet 2001, artikel 82 en 83).

20 Rechtspersonen met een wettelijke taak zijn extern verzelfstandigde agentschappen met een eigen rechtspersoonlijkheid.

27


2. De Algemene Rekenkamer controleert jaarlijks of het binnenkomende geld, zoals belastingen, premies en heffingen volgens de regels is geïnd en of het uitgaande geld besteed is aan de doelen waarvoor het volgens de begroting bestemd was. Het gaat daarbij om een bedrag van ongeveer 250 miljard euro aan inkomsten en ongeveer hetzelfde bedrag aan uitgaven. Daarnaast moet de Algemene Rekenkamer op grond van de wet de jaarverslagen van de ministeries beoordelen (Algemene Rekenkamer, X). 3. De Algemene Rekenkamer beschikt dus ook over het mandaat om de kwaliteit van de verantwoordingsinformatie te onderzoeken. Deze beoordeling heeft vooral betrekking op de inhoud van deze informatie. De controle op de geldigheid en juistheid van de informatie is in eerste instantie de verantwoordelijkheid van de departementale audit diensten. 4. De Algemene Rekenkamer onderzoekt ook de doeltreffendheid en doelmatigheid van het gevoerde beleid en de doelmatigheid van het financieel en het materieelbeheer, de daartoe bijgehouden administraties en de organisatie van het Rijk (Comptabiliteitswet 2001, artikel 85). “Wanneer beleid doeltreffend is, betekent dit dat de door de overheid getroffen maatregelen de gewenste gevolgen hebben in de maatschappij. Wanneer beleid doelmatig is, hadden de beleidseffecten niet met de inzet van minder middelen gerealiseerd kunnen worden of hadden er niet méér effecten verwezenlijkt kunnen worden met dezelfde inzet van middelen (Algemene Rekenkamer, 2004a: 10).” 5. Hoe ver gaat het mandaat van de Algemene Rekenkamer om doelmatigheid en doeltreffendheid te onderzoeken? Waar liggen de grenzen van performance audit? De Algemene Rekenkamer kan de efficiëntie en effectiviteit van het beleid onderzoeken, maar mag de beleidskeuzes zelf niet in vraag stellen. Dit is geen makkelijke evenwichtsoefening. Het toetsen van effectiviteit zou ook politiek gevoelig kunnen zijn. De Algemene Rekenkamer zelf blijkt hier echter goed mee om te kunnen. “In interviews met medewerkers van de Algemene Rekenkamer wordt de politieke gevoeligheid van het effectiviteitsonderzoek als minder relevant vermeld. Dit zou nauwelijks meespelen (Put, 2005: 128).” In haar nieuwe onderzoeksstrategie benadrukt de Algemene Rekenkamer ook het belang om te zoeken naar verklaringen voor het gebrek aan efficiëntie en effectiviteit. De Algemene Rekenkamer stelt in haar handleiding doelmatigheids- en doeltreffendheidsonderzoek dat één van de verklaringen voor het niet bereiken van de effecten van beleid, ligt in het inzetten van de verkeerde beleidsinstrumenten. Hiermee geeft ze duidelijk aan dat de analyse van de beleidsinstrumenten ook tot haar bevoegdheden hoort. De Algemene Rekenkamer kan ook beleidsmaatregelen al in de fase van de ontwikkeling bestuderen. Vanaf het moment dat een beslissing met financiële implicaties is genomen, kan de Algemene Rekenkamer een onderzoek starten. De materiële afbakening van het concept performance audit is dus eerder breed. 6. De Algemene Rekenkamer erkent wel dat een aantal effectmetingen zeer moeilijk realiseerbaar blijven. Een voorbeeld hiervan was het onderzoek naar de preventie van het uitgangsgeweld. De centrale vraag in dit onderzoek was of convenanten van de gemeenten met andere partijen het uitgaansgeweld kon terug dringen. Dit is echter zeer moeilijk meetbaar aangezien ook andere

28


maatregelen zoals de invoering van cameratoezicht een impact hebben op het uitgaansgeweld (Algemene Rekenkamer, 2005c).

2.1.5. Toegang tot informatie 1. De Algemene Rekenkamer heeft een ruime toegangsbevoegdheid tot overheidsinformatie. “De Algemene Rekenkamer is bevoegd, voor zover zij een en ander nodig acht voor het uitoefenen van haar taak, bij alle dienstonderdelen van het Rijk alle goederen, administraties, documenten en andere informatiedragers op door haar aan te geven wijze te onderzoeken (Comptabiliteitswet 2001, artikel 87).” Ministers zijn gehouden desgevraagd de inlichtingen te verstrekken die de Algemene Rekenkamer voor haar taak nodig acht. De Algemene Rekenkamer mag ook inlichtingen inwinnen bij particuliere organisaties die een Europese subsidie ontvangen en bij rechtspersonen met een wettelijke taak (Comptabiliteitswet 2001, artikel 91 en 92). Indien de zorg voor een administratie aan een derde wordt uitbesteed, dan is de Algemene Rekenkamer bevoegd om een onderzoek in te stellen.” 2. Zijn er ook overheidsgegevens waartoe de toegang beperkt is? Wanneer de belangen van de staat onevenredig geschaad kunnen worden door openbaarmaking, dan kan de Rekenkamer verzocht worden informatie vertrouwelijk te behandelen (de Vries, 2000: 36). Alle informatie met betrekking tot de begrotingsartikelen Geheim worden opgevraagd door de president van de Algemene Rekenkamer in eigen persoon. De president is ten aanzien van deze gegevens verplicht tot geheimhouding.

2.2. Organisatie

2.2.1. Organisatiestructuur 1. Aan de leiding van de Algemene Rekenkamer staat een college bestaande uit drie leden (Comptabiliteitswet 2001, art. 70, 1ste lid). Een van deze drie wordt bij koninklijk besluit benoemd tot president van de Algemene Rekenkamer. Het college beslist bij meerderheid van stemmen. Wanneer de stemmen staken, beslist de stem van de president (Comptabiliteitswet 2001, artikel 78). Het college is politiek evenwichtig samengesteld (Pollitt et al, 1999: 227). Naast de drie reguliere collegeleden zijn er twee collegeleden in buitengewone dienst. 2. De ambtelijke leiding is in handen van de secretaris die bij koninklijk besluit benoemd wordt. “Het College opereert vanuit het beginsel van collegiaal bestuur. Dat neemt niet weg dat elk van de Collegeleden als rapporteur optreedt voor een deel van de onderzoeksbureaus van de Algemene Rekenkamer. Deze onderzoeksbureaus zijn verdeeld over drie onderzoeksdirecties. Daarnaast is er een Stafdirectie Bedrijfsvoering en een Stafdirectie Beleid en Communicatie. De vijf directeuren vormen, samen met de secretaris, het managementteam, dat verantwoordelijk is voor de kwaliteit van de ambtelijke organisatie en het onderzoek. Figuur 2-1 illustreert het organogram van de Algemene Rekenkamer. De Algemene Rekenkamer is dus georganiseerd volgens beleidsdomeinen en niet

29


volgens producttypes. Er is een aparte afdeling voor de rijksbrede performance audits, maar alle andere vormen van performance audit zijn ingebed in de onderzoeksbureaus die per beleidsdomein georganiseerd zijn.

College

Secretaris

Stafdirectie Beleid en Communicatie

Stafdirectie Bedrijfsvoering

Onderzoeksdirectie II

Onderzoeksdirectie III

Onderwijs, Cultuur en Wetenschap

Publiek-private sector

Volksgezondheid, Welzijn, Sport en Zorg

Sociale zaken en Werkgelegenheid en Sociale Zekerheid

Economische Zaken en Landbouw, natuur en Voedselkwaliteit

Bureau Verkeer en Waterstaat Volkshuisvesting, Ruimtelijke Ordening en Milieubeheer

Rijksbreed Europees en Doelmatigheidsonderzoek

Bureau Financiën

Bureau Financieel Beheer en Informatisering

Bureau Binnenlandse Zaken Koninkrijksrelaties, Justitie en Politie

Bureau Buitenlandse Zaken en Defensie

,

,

Onderzoeksdirectie I

Figuur 2-1 Organogram van de Algemene Rekenkamer (Algemene Rekenkamer, 2005c: 13). 3. In 2004 werkten er in de onderzoeksdirecties 215 personen, waar er in de stafdirecties 75 personen te werk gesteld waren (Algemene Rekenkamer, 2005c: 47). 45% van de beschikbare capaciteit wordt ingezet voor directe activiteiten; dit zijn alle werkzaamheden die leiden tot een extern product en het monitoren van de beleidsterreinen (Algemene Rekenkamer, 2005c: 49).

30


2.2.2. Personeel 1. Bij de Algemene Rekenkamer werkten in 2004 ongeveer 320 voltijdse equivalenten. De totale personeelsomvang is gedaald van 358 medewerkers in 2002 naar 334 medewerkers in 2004 (Algemene Rekenkamer, 2005c: 47). Omwille van besparingen zal het personeelsbestand terug gebracht worden naar een 300-tal voltijdse equivalenten, mede door middel van vervroegde pensioneringen. 2. De audits van de Algemene Rekenkamer worden uitgevoerd door interdisciplinaire teams. Onderzoekers worden zowel ingezet in performance audits als rechtmatigheidsonderzoeken. Ook projectleiders moeten zowel in staat zijn een performance audit als een rechtmatigheidsonderzoek te leiden. Vanaf het einde van de jaren ’80 ontstond er een trend om meer sociale wetenschappers aan te trekken, in het bijzonder bestuurskundigen en politologen (Interview Algemene Rekenkamer, oktober 2004). Daarnaast werken er vooral economen, accountants en juristen. 3. Het selectiebeleid van de Algemene Rekenkamer is gericht op het rekruteren van jonge generalisten via campus recruitment. Deze worden dan intensief opgeleid tot auditeurs. Ze krijgen een interne opleiding van één jaar om vertrouwd te raken met de aanpak van de Algemene Rekenkamer. Jaarlijks lopen ook ongeveer dertig studenten stage bij de Algemene Rekenkamer. Het gaat vooral over studenten bestuurskunde, economie, politicologie en sociologie.

2.2.3. Prestatiemeetsystemen 1. De invoering van een centraal systeem voor planning en tijdsverantwoording, genaamd Artemis heeft

geleid

tot

een

verbetering

van

de

informatievoorziening

over

prestaties.

Het

prestatiemeetsysteem van de Algemene Rekenkamer is geënt op de strategie. De auditactiviteiten bestaan uit twee pijlers: het functioneren van het openbaar bestuur en het presteren van het openbaar bestuur. Per pijler bakent de Algemene Rekenkamer effectdoelstellingen, prestatiedoelstellingen en projecten af. Men plant per project hoeveel dagen het zal kosten en men volgt op hoe lang de uitvoering duurt. Men heeft ook berekend wat de kostprijs in euro is van één dag projectwerk. Hierbij worden de indirecte kosten echter niet toegerekend aan de projecten. De tijdsspanne tussen de geplande en de gerealiseerde publicatiedatum van de rapporten wordt ook opgevolgd. De Algemene Rekenkamer rapporteert over het aantal keer dat haar rapporten gedownload werden. Aldus stelt ze een topvijf op van de meest geraadpleegde onderzoeksrapporten en de meest geraadpleegde achtergrondstukken en handreikingen. In tegenstelling tot andere rekenkamers stuurt de Algemene Rekenkamer niet op de aanbevelingsratio (aantal aanvaarde aanbevelingen). Het argument hiervoor is dat dit zou kunnen leiden tot het formuleren van gemakkelijk haalbare aanbevelingen. 2. Om de kwaliteit en betrouwbaarheid van haar onderzoek te garanderen, heeft de Algemene Rekenkamer een eigen gedragscode opgesteld. Alle interne procedures van de Algemene Rekenkamer staan beschreven in het handboek van de Algemene Rekenkamer Handar. In 2006

31


vormt de Algemene Rekenkamer het onderwerp van een internationale peer review door buitenlandse zusterorganisaties.

2.3. Proces van performance audit 1. Het proces van performance audit binnen de Algemene Rekenkamer bestaat uit de volgende stappen: -

keuze van de onderzoeksonderwerpen,

-

onderzoeksvoorstel,

-

uitvoering van het onderzoek,

-

rapportage en publicatie, en

-

nazorg.

Figuur 2-2 illustreert in detail het proces van performance audit bij de Algemene Rekenkamer. De gemiddelde doorlooptijd van een performance audit, van planning tot en met rapportage neemt ongeveer anderhalf jaar in beslag. In wat volgt bespreken we de verschillende fasen in dit proces.

Figuur 2-2 Onderzoeksslang Algemene Rekenkamer (Algemene Rekenkamer, 2003a)

32


2.3.1. Planning: selectie van onderwerpen voor audits 1.

De

missie

en

strategie

van

de

Algemene

Rekenkamer

sturen

de

selectie

van

onderzoeksonderwerpen. Het beleidskader van de Algemene Rekenkamer vormt het kader voor het bepalen van het jaarlijkse werkprogramma. Op basis van het onderzoeksprogramma wordt vervolgens een operationeel jaarplan uitgetekend. 2. Artikel 90 van de Comptabiliteitswet stelt dat de Algemene Rekenkamer bepaalde onderzoeken kan instellen op verzoek van elk van de beide kamers van de Staten-Generaal. In principe is ze niet verplicht in te gaan op vragen van kamerleden of ministers. Toch voert de Algemene Rekenkamer elk jaar een beperkt aantal verzoekonderzoeken uit. 3. De Algemene Rekenkamer is recent ook gestart met het uitvoeren van kortere onderzoeken die buiten het reguliere werkprogramma vallen, de zogenaamde flashonderzoeken. Zo bijvoorbeeld, publiceerde de Algemene Rekenkamer in september 2004 een onderzoek naar de beloning van de hogere ambtenaren van het Ministerie van Onderwijs, Cultuur en Wetenschappen, uitgevoerd op verzoek van de minister van Onderwijs, Cultuur en Wetenschappen, naar aanleiding van een anonieme brief van ambtenaren van haar ministerie over misstanden bij beloningen van hogere ambtenaren.

Monitoring 1. De Algemene Rekenkamer monitort de belangrijke ontwikkelingen om binnen het strategisch kader tot de juiste onderwerpkeuzes te komen. Dit doet ze onder meer aan de hand van schriftelijke bronnen (parlementaire stukken en ambtelijke nota’s, vakliteratuur, de media), maar ook aan de hand van gesprekken met ambtenaren en universiteiten. Elk onderzoeksbureau monitort zijn eigen beleidsdomein op een geïntegreerde wijze voor rechtmatigheidsonderzoek en performance audit. Elke medewerker zou in principe 10% van zijn tijd aan monitoring moeten besteden (Put, 2005: 43). In de praktijk dreigt echter het gevaar dat de monitoring verdrongen wordt door de tijdsdruk om rapporten en onderzoeken af te ronden. 2. “In 2004 heeft de Algemene Rekenkamer onderzocht hoe dit monitoringsysteem verder geprofessionaliseerd kan worden. Verbeterpunten zijn: het duiden van de ontwikkelingen en het beter ontsluiten van deze kennis en informatie binnen de organisatie. Er is geëxperimenteerd met andere producten, zoals een ‘issuematrix’ waarop ontwikkelingen kunnen worden gescoord op hun potentiële maatschappelijke gevolgen. Deze nieuwe werkwijze wordt verder geïntroduceerd en uitgebreid met een geïntegreerde risicoanalyse: de onderkende issues worden dan afgezet tegen de (potentiële) risico’s die door middel van onderzoek beoordeeld kunnen worden (Algemene Rekenkamer, 2005c: 10).”

33


Strategische sturing 1. De strategie 2004-2009 van de Algemene Rekenkamer bestaat uit twee grondpijlers. Ten eerste kijkt de Algemene Rekenkamer naar het functioneren van het openbaar bestuur. Het gaat dan over de verantwoording van ministers aan de Tweede kamer, de verantwoording van de overheid en van instellingen die een band hebben met de overheid en het toezicht van de overheid op de naleving van de wet door instellingen en burgers. Ten tweede bestudeert de Algemene Rekenkamer ook het presteren van het openbaar bestuur. Het gaat dan over de aansluiting tussen beleid en uitvoering: ‘wordt beleid waartoe besloten is uitgevoerd?’, ‘wordt het beleid goed uitgevoerd?’ en ‘leidt het beleid tot de bedoelde resultaten?’ (Algemene Rekenkamer, 2003f). “Een belangrijk verschil met de vorige strategie is dat het onderzoek begint met de analyse van het maatschappelijke probleem en niet met een analyse van het beleid, de al dan niet beschikbare beleidsinformatie of een specifiek beleidsinstrument (Algemene Rekenkamer, 2004c: 3). De Algemene Rekenkamer werkt minder in een omgeving van ‘splendid isolation’, maar overlegt nu veel vaker met ministeries om problemen te detecteren. Dit maakt het mogelijk om responsiever te werken. 2. Performance audit bevindt zich grotendeels in de tweede pijler. Hierbij richt de Algemene Rekenkamer zich op terreinen die betrekking hebben op basisvoorzieningen voor de burgers, namelijk: -

publieke voorzieningen, in het bijzonder zorg, onderwijs, werk en inkomen,

-

veiligheid, in het bijzonder veiligheid op straat, terrorismebestrijding en voedselveiligheid, en

-

duurzame ontwikkeling, meer specifiek duurzame energie, duurzaam gebruik van natuurlijke hulpbronnen en biodiversiteit.

Selectiecriteria 1. De selectie van onderwerpen gebeurt op basis van volgende criteria -

maatschappelijke meerwaarde;

-

een complexe beleidsketen;

-

er is sprake van risico’s;

-

het gaat om een terrein waar de Algemene Rekenkamer unieke bevoegdheden heeft;

-

het betreft een structurele interventie;

-

er is een aanzienlijk financieel belang mee gemoeid.

Naarmate deze criteria meer op een onderwerp van toepassing zijn, komt het meer in aanmerking onderzocht te worden (Algemene Rekenkamer, 2005c). 2. Vervolgens moet men beslissen welk type van doelmatigheids- of doeltreffendheidsonderzoek men zal voeren (zie 2.1.4). Onderzoek naar doelrealisatie is vooral belangrijk wanneer er onduidelijkheid of schijnduidelijkheid heerst over de vraag of de gestelde doelstellingen gerealiseerd zijn. Dit geldt eveneens voor onderzoek naar doelgroepbereik. Wanneer er gerede twijfel is of belangrijke voorlichtingscampagnes of regelingen hun doelgroep bereiken, is het nodig een onderzoek

34


te voeren naar het doelgroepbereik. Doeltreffendheidsonderzoek of effectiviteitsonderzoek dat verder gaat dan het bewerken van bestaande beleidsinformatie doet de Algemene Rekenkamer alleen zelf -

als het van groot maatschappelijk en/of financieel belang is om te weten of het betreffende beleid tot resultaten leidt,

-

als dit niet op basis van bestaande beleidsinformatie is te beantwoorden,

-

als het niet te verwachten valt dat het betreffende ministerie of anderen hier op afzienbare termijn gedegen onderzoek naar laten doen; en

-

als de Algemene Rekenkamer in staat is om het nodige onderzoek uit te voeren (Algemene Rekenkamer, 2003b: 26).

De Algemene Rekenkamer verricht alleen een onderzoek naar de doelmatigheid van beheer -

als een bepaalde vraag rond mogelijke efficiëntiewinst van groot belang is,

-

als er terzake onvoldoende beleidsinformatie beschikbaar is,

-

als niemand anders daar op korte termijn voor zal zorgen, en de Algemene Rekenkamer dit wel kan (Algemene Rekenkamer, 2003b: 28).

3. De onderzoeksplanning wordt jaarlijks kenbaar gemaakt door de publicatie van het werkprogramma van de Algemene Rekenkamer. 4. De effectiviteit van de selectie wordt niet geëvalueerd.

2.3.2. Uitwerken van een onderzoeksvoorstel voor elke audit 1. “Voor alle onderzoeken die binnen de Algemene Rekenkamer worden uitgevoerd, moet van tevoren een onderzoeksvoorstel worden gemaakt. Aan de hand van dat onderzoeksvoorstel neemt het College een beslissing over het al dan niet uitvoeren van onderzoek. Het onderzoeksvoorstel is niet alleen bedoeld voor intern gebruik, maar dient tevens een extern doel. Nadat het College het onderzoeksvoorstel heeft goedgekeurd worden de gecontroleerde instanties geïnformeerd over het onderzoek (Algemene Rekenkamer, 2004b).” 2. Het onderzoeksvoorstel dient zo beknopt mogelijk te zijn. Het moet de volgende elementen bevatten: -

-

belang van het onderzoek: o

kader voor het onderzoek: verwijzing naar de strategie en het werkprogramma

o

beschrijving van het onderwerp,

o

relevantie van het onderzoek,

o

reactie van de gecontroleerden,

uitwerking en opzet: o

doelen probleemstelling,

o

begrippen en normen,

o

onderzoeksvragen,

o

onderzoeksontwerp,

o

verwachte resultaten en publicatievorm,

35


-

-

-

planning en kosten: o

organisatie en aanduiding projectleider

o

kosten: aantal onderzoeksdagen en inhuur van expertise

o

oplevering: projectplanning

risico’s en kwaliteitsborging: o

risico’s: bruikbaarheid, onderbouwing en kosten en planning,

o

kwaliteitsborging: strategische en technische productkwaliteit en proceskwaliteit

voorstel: o

positief voorstel: samenvatting van het beoogde onderwerp, de te verwachten resultaten, de kosten en doorlooptijd en de risico’s

o

negatief voorstel: samenvatting van het beoogde onderwerp, de redenen om het onderzoek niet uit te voeren, leereffecten en voorstel.

-

bijlagen: o

aankondiging onderzoek bij gecontroleerden: onderzoeksontwerp, probleemstelling, te hanteren normen en wegingsfactoren, wijze van gegevensverzameling en planning,

o

verantwoording voorbereidingsfase, en

o

verslag driehoeksoverleg.

2.3.3. Uitvoering van de audit 1. De audits worden uitgevoerd door interdisciplinaire teams, geleid door een projectleider. In een aantal gevallen kan er worden gewerkt met een begeleidingscommissie. In een efficiëntieonderzoek, bijvoorbeeld, is het aangewezen een begeleidingscommissie samen te stellen met personen uit de geauditeerde instelling om te komen tot een juiste definitie van prestaties en effecten (Algemene Rekenkamer, 2003b). 2. De Algemene Rekenkamer besteedt nauwelijks taken uit bij de uitvoering van de audits. Er wordt uitzonderlijk wel samengewerkt met externe deskundigen.

2.3.4. Rapportering 1. Alvorens de onderzoeksrapporten te publiceren, houdt de Algemene Rekenkamer een tegensprekelijk debat met de geauditeerde organisatie en de bevoegde minister. De bevindingen worden bediscussieerd met de geauditeerde organisatie om te garanderen dat de informatie in het rapport correct is. De verantwoordelijke minister krijgt twee maanden de tijd om een reactie te formuleren op het rapport. Deze reactie wordt ook opgenomen in het rapport. Indien het rapport besproken wordt in de Staten-Generaal dan wordt de betrokken minister gevraagd verantwoording af te leggen. 2. Per performance audit wordt een apart rapport gepubliceerd. Alle doelmatigheidsrapporten worden gerapporteerd aan de Staten-Generaal en zijn publiek toegankelijk.

36


3. In de periode voor, na en tijdens de verkiezingen publiceert de Algemene Rekenkamer geen performanve audit rapporten (Algemene Rekenkamer, 2004f). 4. Om de rapportering te verbeteren ontwikkelde de Algemene Rekenkamer een handleiding rapporteren en een schrijfwijzer. Daarnaast organiseert ze schrijftrainingen.

2.3.5. Nazorg 1. De Algemene Rekenkamer heeft een traditie om performance audit te valoriseren aan de hand van rapporten en handreiking. De Algemene Rekenkamer wil in de toekomst echter meer aandacht besteden aan nazorg door contacten te leggen met beleidsmedewerkers, te participeren aan expertmeetings en door lidmaatschap van audit comités. 2. Bij de publicatie van een rapport, verspreidt de Algemene Rekenkamer ook een persbericht. 3. De rapporten van de Algemene Rekenkamer worden besproken in de inhoudelijke vakcommissies van de Tweede Kamer. De Commissie voor de Rijksuitgaven fungeert als schakel tussen de Algemene Rekenkamer en de vakcommissies van de Tweede Kamer. Alle rapporten van de Algemene Rekenkamer gaan via de Commissie voor de Rijksuitgaven naar de betrokken vakcommissie (Algemene Rekenkamer, 2006: 76). 4. Elk projectteam wordt verwacht een zelfevaluatie uit te voeren na afloop van het onderzoek. Hiertoe heeft de Algemene Rekenkamer een checklist ontworpen die naar de volgende elementen kijkt: -

de strategische productkwaliteit (bijvoorbeeld de timing van de audit, de inschatting van de effecten, de inpasbaarheid in de algemene aanpak van de rekenkamer, de beleidsrelevantie, ….)

-

de technische productkwaliteit (bijvoorbeeld de conformiteit van het onderzoek met het onderzoeksvoorstel, de weging van standaarden, de definitie van begrippen, …), en

-

de kwaliteit van het proces (bijvoorbeeld de relatie met de geauditeerde organisatie, de taakverdeling binnen het team, de expertise van het auditteam, …) (Algemene Rekenkamer, X) .

5. In het rapport “Terugblik 2005; 11 onderzoeken nader beschouwd” gaat de Algemene Rekenkamer na wat de effecten zijn van de doelmatigheids- en doeltreffendheidsonderzoeken. Per onderzoek worden de aanbevelingen getoetst aan de toezeggingen en realisaties van de minister. Vervolgens krijgt de bevoegde minister de kans om hierop te reageren. Tot slot wordt er een overzichtstabel opgenomen met de al dan niet opgevolgde aanbevelingen.

2.4. Auditproducten

2.4.1. Types audit

37


1. De Algemene Rekenkamer voert zowel rechtmatigheidsonderzoeken uit als performance audits. Tabel 2-1 geeft een overzicht van de verschillende types audits van de Algemene Rekenkamer. Onder de pijler functioneren van het openbaar bestuur kijkt de Algemene Rekenkamer naar de manier waarop ministers zich verantwoorden tegenover de Tweede Kamer en naar de wijze waarop instellingen die gesubsidieerd worden door de Rijksoverheid verantwoording afleggen over de besteding van het publieke geld. Het gaat dan zowel over het onderzoek naar de kwaliteit van de begroting en verantwoording als over de kwaliteit van de ketens van toezicht en verantwoording. Ook het onderzoek naar de niet-financiële informatie behoort tot deze categorie. Onder de pijler ‘presteren van het openbaar bestuur’ ofwel ‘aansluiting tussen beleid en uitvoering’ onderzoekt de Algemene Rekenkamer de prestaties en effecten van de overheid. Onder deze noemer vallen de onderzoeken naar de efficiëntie en effectiviteit van de overheid ofwel de performance audits. Terrein

Effectdoelstellingen

Prestatiedoelstellingen

Aantal gerealiseerde projecten

Functioneren Systematisch openbaar

bijdragen

bestuur

verbetering

Rijk verantwoord 2003 aan Rapporten

bij

1 de

24

de

1

Rechtmatigheidsonderzoeken

2

en jaarverslagen 2003

verantwoording

Staat

van

beleidsinformatie 2004

Sluitend

maken EU-trendrapport 2004

ketens van toezicht Verantwoording en toezicht en verantwoording

1 1

bij Rechtspersonen met een Wettelijke Taak , deel 4 Rechtmatigheidsonderzoeken

Presteren

Aansluiting

openbaar

beleid en uitvoering voorzieningen

bestuur

van Onderzoek

naar

publieke

7 3

Onderzoek naar veiligheid

2

Onderzoek naar duurzame

1

ontwikkeling Diverse

1

doelmatigheidsonderzoeken Totaal

44 Tabel 2-1 Types audit rapporten (Algemene Rekenkamer, 2005c: 9)

2. De traditionele rechtmatigheidsonderzoeken nemen een groot deel van de middelen van de Algemene Rekenkamer in beslag. Hiervoor steunt de Algemene Rekenkamer op het werk van de departementale audit diensten. In totaal besteedde de Algemene Rekenkamer 58.6 % van haar onderzoekstijd aan rechtmatigheidsonderzoeken, het rapport bij het financiële verslag van het Rijk en

38


de rapporten bij de Jaarverslagen van de ministeries en andere organisaties (Algemene Rekenkamer, 2005c: 9). 3. In 2004 voerde de Algemene Rekenkamer 7 onderzoeken uit naar de aansluiting van beleid en uitvoering (zie Tabel 2-2). Het gemiddeld totale aantal dagen besteed aan één onderzoeksproject bedroeg 233 dagen. Ter vergelijking, er werd gemiddeld 313 dagen besteed aan één project rechtmatigheidsonderzoek. De Algemene Rekenkamer beschouwt het onderzoek naar de kwaliteit van de niet-financiële informatie als een onderzoek naar verantwoording en toezicht. Dit project vergde 1034 dagen. De Algemene Rekenkamer publiceerde in 2004 ook 24 rapporten bij de jaarverslagen. Dit nam gemiddeld 207 dagen per rapport in beslag.

Onderzoeken naar het presteren van de

Aantal dagen besteed

overheid gerealiseerd in 2004

aan het onderzoek

Zorg voor verslaafden

761

Bemiddeling en reïntegratie van werklozen

553

Opvang zwerfjongeren 2004

57

Beveiliging militaire objecten

256

Convenanten uitgaansgeweld

697

Groene stroom

486

Beslistermijnen, waar blijft de tijd?

222

Tabel 2-2 Aantal dagen besteed aan onderzoeken naar het presteren van de overheid gerealiseerd in 2004 (Algemene Rekenkamer, 2005c: 29). 4. Men onderscheidt een viertal varianten van performance audit: -

analyse van de mate van doelrealisatie (d.i. een vergelijking van de feitelijk ontstane maatschappelijke situatie en de beoogde maatschappelijke situatie, zonder echter een causaal verband te leggen),

-

analyse van de mate van doelgroepbereik (d.i. een analyse van de wijzigingen in het gedrag van de doelgroep),

-

analyse van de doeltreffendheid of effectiviteit van beleid (moeilijkheden hierbij zijn de lange termijn effecten en de externe factoren), en

-

analyse van de doelmatigheid van beheer (Algemene Rekenkamer, 2003b).

5. Sinds 1985 voert de Algemene Rekenkamer ook rijksbrede performance audits uit. De eerste rijksbrede performance audit bekeek het functioneren van de departementale accountantdiensten. Sindsdien is het belang van rijksbrede performance audits alleen maar toegenomen. Er is een apart

39


onderzoeksbureau voor opgericht en er worden ongeveer drie tot vier rijksbrede performance audits per jaar uitgevoerd. Recente voorbeelden zijn het onderzoek naar de staat van de beleidsinformatie en het subsidieonderzoek.

2.4.2. Structuur en inhoud van de rapporten: documentenanalyse 1. De rapporten van de Algemene Rekenkamer zijn doorgaans opgebouwd volgens de volgende structuur: -

samenvatting van het rapport,

-

inleiding en achtergrondinformatie,

-

bevindingen en conclusies,

-

aanbevelingen,

-

reactie van de minister,

-

nawoord van de Algemene Rekenkamer, en

-

bijlagen. Focus Performance Audit AR

14 12 10 8 6 4 2 0 Beheer

Beleid

Prestaties

Effectiviteit

Verantwoording

Figuur 2-3 Focus van een selectie van 15 performance audits van de Algemene Rekenkamer uit de periode 2003-2005.

2. We hebben een analyse gemaakt van 15 performance audit rapporten van de Algemene Rekenkamer uit de periode 2003-2005. De rapporten blijken vooral aandacht te besteden aan de voorwaarden waaraan de overheid moet voldoen om de beoogde outputs en de effecten te realiseren. In 13 van de 15 rapporten die we onderzochten, beoordeelde de Algemene Rekenkamer het beleidskader. Het beleidskader heeft betrekking op de normen over de omkadering voor het functioneren van de organisatie. We denken onder meer aan reglementen, budgetten en beleidsdoelstellingen. De Algemene Rekenkamer blijkt vooral de voorwaarden op het vlak van beleid

40


te onderzoeken, maar heeft ook veel aandacht voor beheersaspecten. In 11 van de 15 onderzochte rapporten beoordeelt de Algemene Rekenkamer beheersmatige aspecten. Het gaat dan om de organisatie-eigen normen. Wat speelt zich af in enge zin binnen de organisatie?

Normering over beleid 1. Wanneer de Algemene Rekenkamer uitspraken doet over beleid, waarover gaat het dan? Wat de onderzoeken met een beleidsfocus betreft heeft de Algemene Rekenkamer vooral aandacht voor het beleidskader en voor de taakverdeling tussen actoren. Daarnaast doet de Algemene Rekenkamer ook uitspraken over de weten regelgeving. Er worden minder beoordelingen gegeven van het budgettaire kader. 2. In eerste instantie beoordeelt de Algemene Rekenkamer het beleidskader. Het beleidskader betreft de beleidstheorie en de informatie die het beleid onderbouwt (ex ante) of evalueert (ex post). Enkele voorbeelden. In haar rapport over wonen, zorg en welzijn van ouderen oordeelt de Algemene Rekenkamer bijvoorbeeld dat de “doelstellingen van het rijksbeleid betreffende wonen en zorg voor ouderen onvoldoende specifiek zijn en dat de beoogde effecten onvoldoende geconcretiseerd zijn (Algemene Rekenkamer, 2003c: 63). In het rapport “Convenanten uitgaansgeweld” oordeelt de Algemene Rekenkamer dat de ministers van Binnenlandse Zaken en Koninkrijksrelaties en van Justitie geen inzicht hebben in de omvang van het uitgaansgeweld. “Hierdoor kunnen ze een eventuele verbetering op deze voor de hand liggende maatstaf voor veiligheid niet vaststellen. De ministers hebben ook geen andere maatstaven voor de veiligheid in uitgaansgebieden benoemd (Algemene Rekenkamer, 2004d: 40).” In een aantal gevallen doet de Algemene Rekenkamer ook duidelijk uitspraken over de keuze van de beleidsinstrumenten en doelgroepen. In haar rapport preventieve gezondheidszorg stelt ze bijvoorbeeld: “Groepen in de Nederlandse samenleving met een lage sociale status roken gemiddeld veel en bewegen gemiddeld weinig. Echter, bij de onderzochte programma’s is er vrijwel niet één die specifiek op deze groepen is gericht en van de overige programma’s is niet bekend in hoeverre zij effectief zijn voor deze groepen (Algemene Rekenkamer, 2003d: 41). 3. Een tweede belangrijk aspect van de normering over beleid is de taakverdeling tussen actoren. Het gaat dan over de wijze waarop taken zijn verdeeld tussen overheidsorganisaties en/of private organisaties en over de taakverdeling tussen het ambtelijke en het politieke niveau (bijvoorbeeld bij beleidsvoorbereiding en aansturing van en toezicht op administraties). In 8 van de 15 rapporten van de Algemene Rekenkamer die we onder de loep namen, werd een beoordeling gemaakt van de taakverdeling. In haar rapport over bodemsanering, stelt de Algemene Rekenkamer voor om de verdeling van verantwoordelijkheden voor de bodemsaneringsoperatie tussen het Ministerie van Volkshuisvesting, Ruimtelijke Ordening en Milieu en de decentrale overheden te herzien (Algemene Rekenkamer, 2005d: 8). 4. Een derde aspect van de normering over beleid, betreft de weten regelgeving waarbinnen overheidsorganisaties handelen. De reglementaire bepalingen kunnen gaan over beheersmatige aspecten zoals begrotingsrecht, overheidsopdrachten, ambtenarenrecht en statutaire regelgeving, of

41


over aspecten van inhoudelijke aard. In 4 van de 15 rapporten uit de steekproef, gaf de Algemene Rekenkamer een oordeel over de weten regelgeving. In de studie over het toezicht op de luchtverkeersleiding stelt ze bijvoorbeeld dat er een gebrek is aan een politiek gelegitimeerde veiligheidsnormering voor het luchtverkeersleidingproces. In het onderzoek naar de visumverlening concludeert de Algemene Rekenkamer dat de weten regelgeving in Schengenverband dusdanig geformuleerd is dat Schengenlanden verschillende interpretaties kunnen hanteren en dat de Schengenregelgeving in Nederland nog onvoldoende is uitgewerkt (Algemene Rekenkamer, 2003e: 68). 5. Slechts in één rapport van de 15 geselecteerde teksten, beoordeelt de Algemene Rekenkamer het budgettaire kader waarbinnen de organisaties opereren. Dit was het geval in het onderzoek naar de zorg voor verslaafden. Een van de conclusies van deze audit was namelijk dat de financiering van de verslavingszorg kritisch bekeken moet worden en men moet toewerken naar een eenduidige financiering met eenduidige verantwoordingseisen (Algemene Rekenkamer, 2004e: 65).

Normering over beheer 1. Wanneer de Algemene Rekenkamer uitspraken doet over beheer, waar heeft ze het dan over? De onderzoeken met een focus op beheer, kijken in de eerste plaats naar de vereisten van management in het algemeen. De Algemene Rekenkamer beoordeelt dan of er voldoende instrumenten aanwezig zijn om de primaire processen aan te sturen en op te volgen. Zo heeft de Algemene Rekenkamer aanbevolen aan het Ministerie van Verkeer en Waterstaat om prestatie-indicatoren op te stellen om Luchtverkeersleiding Nederland op te volgen (Rapport “Toezicht op de Luchtverkeersleiding Nederland”. In haar rapport “Gezondheidszorg” stelt de Algemene Rekenkamer dat er te weinig informatie verzameld wordt over de effectiviteit en efficiëntie van de programma’s die moeten aanzetten tot meer beweging (Algemene Rekenkamer, 2003d). 2. Naast managementaspecten, is er ook veel aandacht voor samenwerking tussen actoren, binnen het kader van de bestaande taakverdeling. In het rapport “Visumverlening in Schengenverband”, bijvoorbeeld, beoordeelt de Algemene Rekenkamer de samenwerking tussen de verschillende actoren in de visumketen, het Ministerie van Buitenlandse Zaken, de Immigratie- en Naturalisatiedienst en de Visadienst van het Ministerie van Justitie, de Vreemdelingendiensten, het Ministerie van Defensie en de Zeehavenpolitie. Een ander voorbeeld is het rapport “Toezicht op de Luchtverkeersleiding”. Hierin concludeert de Algemene Rekenkamer dat de informatie-uitwisseling tussen de twee diensten van het Ministerie van Verkeer en Waterstaat die namens de minister toezicht houden op Luchtverkeersleiding Nederland onvoldoende is. 3. Middelenmanagement komt aan bod in drie van de 15 onderzochte rapporten van de Algemene Rekenkamer. Zo stelt ze in haar rapport “ICT bij de politie” dat er te weinig financieel inzicht is in de ICT-kosten van de politie. In twee rapporten beoordeelt de Algemene Rekenkamer het primaire proces. Zo stelde de Algemene Rekenkamer dat ministeries een analyse zouden moeten uitvoeren van de behandelprocessen van beslissingen om de knelpunten vast te stellen (Rapport “Beslistermijnen. Waar blijft de tijd?). In dit rapport oordeelt de Algemene Rekenkamer ook over de

42


organisatiestructuur.

Ze stelt

namelijk dat

uitvoeringsorganisaties de organisatie van

het

behandelproces zodanig zouden moeten inrichten dat zijn onder uiteenlopende omstandigheden, ook bij piekbelasting erin slagen binnen de wettelijke termijnen te beslissen (Algemene Rekenkamer, 2004g: 53). Het is opmerkelijk dat het aspect organisatie slechts in 1 van de 15 onderzochte rapporten aan bod kwam. Dit gold ook voor een aantal andere aspecten van beheer, zoals organisatie, personeel, marketing en reguleringsmanagement.

Normering van prestaties en effecten 1. De Algemene Rekenkamer onderscheidt prestaties of outputs en effecten als volgt. “Prestaties zijn toe te rekenen aan het handelen van de minister of de Rechtspersoon met een Wettelijke Taak terwijl op effecten ook andere factoren van invloed zijn (Algemene Rekenkamer, 2004a: 11).” Ook in het interne beleid zoals het personeelsbeleid onderscheidt de Algemene Rekenkamer prestaties en effecten. 2. In enkele rapporten onderzocht de Algemene Rekenkamer of de prestaties bereikt werden, namelijk of de overheid het volume aan goederen en diensten dat ze beoogde af te leveren, ook daadwerkelijk en op een kwaliteitsvolle wijze heeft gerealiseerd.21 Zo onderzocht de Algemene Rekenkamer

in

welke

mate

wettelijke

beslistermijnen

gerespecteerd

werden

(Rapport

“Beslistermijnen. Waar blijft de tijd?”). Dit onderzoek bevat zowel een beoordeling van de overeenstemming van de praktijk met de wetgeving als een beoordeling van de kwaliteit van de geleverde prestaties. Wanneer de overheid beslissingen neemt, zorgt ze er dan ook voor dat deze binnen een realistische en passende termijn gebeuren? Een ander voorbeeld is het onderzoek “Handhaven en gedogen” waarin de Algemene Rekenkamer tekorten vaststelde bij de handhaving van leeftijdsgrenzen voor de verstrekking van alcohol en tabaksproducten, de handhaving van de externe veiligheid bij het vervoer van gevaarlijke stoffen en de handhaving van het verbod op bedrijfsmatige hennepteelt. 3. In een aantal rapporten toetst de Algemene Rekenkamer zelfs aan het bereiken van de effecten.22 In het rapport “Convenanten uitgaansgeweld” bijvoorbeeld, stelt de Algemene Rekenkamer zich de vraag of het aantal geweldsincidenten in gemeenten gedaald is door het afsluiten van convenanten. In dit onderzoek richt ze zich dus op de effecten van het beleid in de maatschappij en de toewijsbaarheid hiervan aan de beleidskeuzes. Een ander voorbeeld is de studie naar de effecten van het energiebesparinsgsbeleid in de glastuinbouw. Hierin stelde de Algemene Rekenkamer onder andere vast dat “de inzet van de fiscale beleidsinstrumenten die gebruikt worden bij investeringen in energiebesparende technieken zicht niet doorvertaalt naar een aantoonbare verlaging van het energiegebruik per eenheid product. Daarom zou men zich in de toekomst niet enkel moeten richten op de stimulering van de energiebesparende opties, maar ook aan het gedrag van tuinders en het

21 Bijvoorbeeld in de rapporten “Zorg voor verslaafden” (2004), “Beslistermijnen. Waar blijft de tijd?” (2003) en “Handhaven en gedogen” (2005). 22 Bijvoorbeeld in de rapporten “Convenanten uitgaangsgeweld” (2004), “Groene stroom” (2004) en “Effectiviteit energiebesparinsgbeleid in de glastuinbouw” (2003).

43


feitelijk nuttige gebruik van energiebesparende opties binnen de bedrijven (Algemene Rekenkamer, 2003f: 58).”

Normering van verantwoording 1. In slechts 2 van de 15 onderzochte studies deed de Algemene Rekenkamer een uitspraak over de wijze waarop verantwoording is afgelegd aan het Parlement. In het rapport “Voortgang bodemsanering” bijvoorbeeld, beveelt de Algemene Rekenkamer aan om meer informatie aan de Kamer te verschaffen over de knelpunten binnen de bodemsanerinsgoperatie en eventuele oplossingen,

de

bijdrage

van

de

meerjarenprogramma’s

aan

de

realisatie

van

de

bodemsaneringsdoelstellingen en de gevolgen van eventuele wijzigingen van doelstellingen en beleid voor de bodemsaneringsoperatie (Algemene Rekenkamer, 2005d: 8).

2.5. Methoden en technieken 1. De Algemene Rekenkamer publiceert verschillende interne handleidingen ter ondersteuning van haar personeel. Voorbeelden hiervan zijn: -

Interne handleiding metaonderzoek,

-

Interne handleiding normen en begrippen,

-

Handleiding Basisonderzoek Bedrijfsvoering, en

-

Handleiding onderzoek naar doelmatigheid en doeltreffendheid.

2. De Handleiding onderzoek naar doelmatigheid en doeltreffendheid uit 2003 schetst het kader waarbinnen de Algemene Rekenkamer performance audits uitvoert, beschrijft de kernbegrippen van doelmatigheids- en doeltreffendheidsonderzoek en laat zien welke keuzen men kan maken bij het opzetten van zo’n onderzoek (Algemene Rekenkamer, 2003b). Deze handleiding bevat de volgende elementen: -

algemeen kader doelmatigheids- en doeltreffendheidsonderzoek,

-

onderzoeksobject en onderzoeksvarianten,

-

dataverzameling en –analyse,

-

analyse van beleidsdoelen en beleidsinformatie,

-

onderzoek naar doelrealisatie en doelgroepbereik,

-

onderzoek naar doeltreffendheid,

-

onderzoek naar doelmatigheid.

3. De performance audits worden gepland aan de hand van een centraal systeem genaamd Artemis. 4. Op het intranet van de Algemene Rekenkamer is er een kenniscentrum doelmatigheids- en doeltreffendheidsonderzoek. Daarop vinden auditeurs bijvoorbeeld het materiaal van de cursus methoden en technieken en de strategienota van de Algemene Rekenkamer voor doelmatigheids- en doeltreffendheidsonderzoek.

44


5. De Handleiding “Onderzoek naar doelmatigheid en doeltreffendheid” van de Algemene Rekenkamer geeft een overzicht van de verschillende dataverzamelingsmethoden die gebruikt kunnen worden in de performance audit (zie Tabel 2-3). Bureauonderzoek

Veldonderzoek /

Survey en experiment

casestudy Beschrijvende

X

X

X

X

X

uitspraken Uitspraken

over

samenhang Causale uitspraken

X

Tabel 2-3 Overzicht van dataverzamelingsmethoden voor verschillende doeleinden (Algemene Rekenkamer, 2003b: 34). 6. Uit onderzoek blijkt dat documentenanalyse, interviews en analyse van secundaire data de meest gebruikte dataverzamelingsmethoden zijn. Ook surveys en steekproeven worden regelmatig gebruikt. (Pollitt et al, 1999: 129). De methoden en technieken die de Algemene Rekenkamer gebruikt zijn niet drastisch veranderd zijn van de jaren ’80 tot de jaren ‘90. In de jaren ’90 werden wel een aantal nieuwe methoden ingevoerd zoals casestudies, diepte-interviews en interviews met experten. 7. Om de consequentie van de normering te garanderen, zijn alle normen die gebruikt worden in performance audits gecodificeerd in een digitale normendatabank. Elk onderzoeksteam is verplicht deze te raadplegen als het een onderzoeksvoorstel opstelt en aan te vullen als het onderzoek afgerond is (Algemene Rekenkamer, 2003b). 8. De bronnen van normen blijken bijna altijd officiële bronnen te zijn, zoals regelgeving en parlementaire stukken. “Uit gesprekken met medewerkers van de Algemene Rekenkamer blijkt dat naast de officiële bronnen de Algemene Rekenkamer zelf ook een belangrijke rol speelt in het formuleren van normen. In feite zijn heel wat normen een product van eigen makelij: heel wat normen komen tot stand op basis van gezond verstand, consensus binnen de Algemene Rekenkamer over wat belangrijk is en overleg met de geauditeerde over deze normen (Put, 2005: 168).” 9. De Algemene Rekenkamer heeft een algemene toegangsbevoegdheid tot overheidsinformatie. De Algemene Rekenkamer kan ook informatie verzamelen bij particulieren. Meer en meer gebruikt de Algemene Rekenkamer ook informatie van externe experten. Zij verlenen hun medewerking vaak zonder vergoeding.

10. We hebben 15 recente rapporten van de Algemene Rekenkamer geanalyseerd om na te gaan welke methoden en technieken hoofdzakelijk gebruikt worden. Ten eerste hebben we gekeken naar het onderzoeksdesign van de performance audits (zie Figuur 2-4). Een eerste element van het onderzoeksdesign betreft het tijdstip van de meting. Hier stelden we vast dat de meerderheid van de rapporten die we analyseerden opgebouwd waren volgens een nameting. In twee rapporten was er

45


sprake van een voor- en nameting. In het rapport ‘Convenanten uitgaansgeweld’, bijvoorbeeld ging men aan de hand van een voor- en nameting na wat de effecten waren van het afsluiten van convenanten op het uitgaansgeweld. Een tweede element van het onderzoeksdesign is de mate van vergelijking. Is er een vergelijking in de tijd of tussen organisaties? In 6 van de 15 rapporten werden er vergelijkingen gemaakt in de tijd. In het rapport ‘personeelsvoorziening krijgsmacht’ bijvoorbeeld, onderzocht de Algemene Rekenkamer het personeelsbeleid in de periode januari tot oktober 2003. Eerder had de rekenkamer ook al onderzoek gedaan naar de personeelsvoorziening in 2000 en 2001. Het onderzoek uit 2003 was opgezet als een nulmeting voor verder onderzoek naar het personeelsbeleid 1 of 2 jaar later.

11. In 7 van de 15 rapporten werden verschillende organisaties vergeleken. Zo vergeleek de Algemene Rekenkamer in haar rapport ‘Lokaal veiligheidsbeleid’ 6 gemeenten. In haar rapport ‘Handhaven

en

gedogen’

maakte

de

Algemene

Rekenkamer

een

vergelijking

van

de

handhavingsinspanningen op 7 beleidsterreinen.

Onderzoeksdesign

15 12 9 6 3 0

AR

Voor- en nameting Nameting Vergelijking in tijd

Voormeting Controlegroep Vergelijking tussen organisaties

Figuur 2-4: Onderzoeksdesign in een selectie van 15 performance audits van de AR (20032005).

12. Welke technieken van dataverzameling gebruikt de Algemene Rekenkamer hoofdzakelijk? Figuur 2-5 illustreert dit. In het merendeel van de studies uit de steekproef, verzamelde de Algememe Rekenkamer

haar

data

aan

de

hand

van

documentenanalyse

en

interviews.

Wat

de

documentenanalyse betreft, ging het hoofdzakelijk over primaire data (9 van de 15 studies), maar ook secundaire data werden gebruikt (6 van de 15 studies). De interviews verliepen meestal individueel. Slechts in 1 studie organiseerde de Algemene Rekenkamer een focusgroep. In een aantal studies, werkte de Algemene Rekenkamer met een survey. Zo stuurde de Algemene Rekenkamer in de studie

46


‘ICT bij de politie” schriftelijke vragenlijsten naar alle regionale korpsen en het Korps Landelijke Politiediensten. De Algemene Rekenkamer hield bijvoorbeeld ook een enquête onder glastuinbouwers voor de audit ‘Effectiviteit energiebesparingsbeleid in de glastuinbouw’. In geen enkele van de studies van de Algemene Rekenkamer uit onze steekproef, werd de techniek van participerende observatie of mystery shopping vermeld. Consultatie met derden, hoofdzakelijk experts vormt een aanvullende vorm van dataverzameling. Bijvoorbeeld in de studie ’Toezicht op Luchtverkeersleiding Nederland’ ging

de

Algemene

Rekenkamer

niet

enkel

praten

met

de

vertegenwoordigers

van

de

luchtverkeersleiding en het Ministerie van Verkeer en Waterstaat, maar ook met actoren uit de omgeving zoals de Raad voor Transportveiligheid, KLM, Schiphol en Eurocontrol.

Dataverzameling

15

12

9

6

3

0 AR

Analyse van documenten en data Survey Consultatie met derden

Interview Observatie

Figuur 2-5 Technieken van dataverzameling in een selectie van auditrapporten van de Algemene Rekenkamer uit de periode 2003-2005.

13. Welke technieken van data-analyse gebruikt de Algemene Rekenkamer hoofdzakelijk? Figuur 2-6 illustreert dit. De studies van de Algemene Rekenkamer zijn hoofdzakelijk kwalitatief en beschrijvend. Een aantal audits bevatten wel kwantitatieve analyses (6 op 15 onderzochte rapporten). Het merendeel hiervan betreffen univariate analyses, maar in twee studies voerde de Algemene Rekenkamer ook multivariate analyses uit, bijvoorbeeld in de audit ‘Convenanten uitgaansgeweld’.

47


Data-analyse

15

12

9

6

3

0 AR

Kwantitatief

Kwalitatief

Beschrijvend

Verklarend

Figuur 2-6 Technieken voor data-analyse in een selectie van auditrapporten van de Algemene Rekenkamer uit de periode 2003-2005.

2.6. Impact van performance audit Er bestaat over het algemeen zeer weinig onderzoek naar de impact van performance audits. We onderscheiden enerzijds de informatie van de Algemene Rekenkamer zelf en anderzijds externe informatie over de impact van performance audits.

2.6.1. Informatie van de Algemene Rekenkamer 1. Wat is de impact van de publicaties van de Algemene Rekenkamer? Leiden de aanbevelingen ook tot concrete acties in de praktijk? De Algemene Rekenkamer heeft in 2004 een nieuw systeem ingevoerd voor het opvolgen van haar aanbevelingen en de hierop volgende toezeggingen van ministers. Zo onderzoekt de Algemene Rekenkamer elk jaar de impact van een aantal publicaties uit het verleden. “De Algemene Rekenkamer monitort over een langere periode - zonodig vijf jaar of langer - of ministeries haar aanbevelingen opvolgen en hun toezeggingen nakomen. Zij voert daarvoor niet

alleen

gesprekken

met

ambtenaren,

maar

steunt

ook

zoveel

mogelijk

op

de

(voortgangs)informatie van de ministeries zelf (Algemene Rekenkamer, 2005b: 1).”

2. In het rapport “Terugblik 2005; 11 onderzoeken nader beschouwd” gaat de Algemene Rekenkamer na wat de effecten zijn van de doelmatigheids- en doeltreffendheidsonderzoeken. Per onderzoek worden de aanbevelingen getoetst aan de toezeggingen en realisaties van de minister. Vervolgens krijgt de bevoegde minister de kans om hierop te reageren. Tot slot wordt er een overzichtstabel opgenomen met de al dan niet opgevolgde aanbevelingen, waarvan een voorbeeld in Figuur 2-7.

48


Aanbevelingen De minister van BZK: toezichthouder opdracht geven om de ontwikkelingen op het vlak van de informatieuitwisseling te volgen en hierover te rapporteren

Opgevolgd

Toelichting

+

KLPD: informatiesysteem voor het onderwerp terrorisme ontwikkelen

+/-

Systeem ontwikkeld, wettelijke grondslag nog niet aanwezig

De minister van BZK: nagaan of de zorgvuldigheid voldoende dienstbaar is aan de ook noodzakelijke slagvaardigeid bij beslissingen over beveiliging van personen en/of objecten

+/-

Opzet stelsel gewijzigd, de werking is bij de Algemene Rekenkamer nog niet bekend

-

De minister heeft besloten dit niet uit te voeren

De minister van BZK: nagaan of landelijk bijgehoduen kan worden of maatregelen uit het handboek veiligheidsbeleid bij de regionale politiekorpsen zijn ingevoerd

Figuur 2-7 Overzicht wel/niet opgevolgde aanbevelingen per medio maart 2005 voor het onderzoek “Uitwisseling van opsporings- en terrorisme-informatie” (Algemene Rekenkamer, 2005b: 30). 3. De conclusie van Terugblik 2005 was dat de ministers overwegend de gedane toezeggingen zijn nagekomen en actie hebben ondernomen. Zo bijvoorbeeld rapporteerde de Algemene Rekenkamer dat er initiatieven zijn genomen om de kwaliteit van de informatievoorziening te verbeteren, om de kwaliteit van de begrotingen te verbeteren en om het inzicht in de doelstellingen en prestaties van beleid te verbeteren (Algemene Rekenkamer, 2005c). Slechts in het geval van het onderzoek naar de effectiviteit van het energiebesparingsbeleid in de glastuinbouw bleek er veel discussie te bestaan en hebben de aanbevelingen van de Algemene Rekenkamer nog niet geleid tot acties.

2.6.2. Externe informatie over de impact van performance audit 1. De impact van de performance audits van de Algemene Rekenkamer is niet uitgebreid behandeld in wetenschappelijk onderzoek. 2. Dolmans (1978) voerde een studie uit over de aandacht die het parlement besteedt aan de opmerkingen van de Algemene Rekenkamer, voor onderzoeken uit de periode 1978-1982. 3. De Vries (2000) deed een onderzoek naar de effecten van performance audit van de Algemene Rekenkamer, aan de hand van een kwalitatief onderzoek van drie onderzoeksrapporten (uit de jaren ’80 en begin jaren ’90), vanuit het perspectief van de betrokken actoren. 4. Van der Meer (1999) voerde een studie uit naar de impact van twee rapporten van de Algemene Rekenkamer. Een eerste case betrof een audit uit 1987 over de aankoop van 24 Lynx helikopters voor de Nederlandse marine. Een tweede case betrof een audit uit 1987 van de prestaties van

49


Nederlandse musea op het vlak van culturele conservatie en dienstverlening aan het publiek, alsook de kwaliteit van het beheer van de musea. 5. Van den Broek en Rozendal (2000) bespraken de impact van één performance audit uitgevoerd door de Algemene Rekenkamer. Het ging om een audit waaruit bleek dat de effectiviteit van een verlaging van sociale zekerheidsbijdragen, bedoeld om tewerkstelling te creëren voor lageinkomensgroepen, zeer beperkt was. De bevoegde minister betwistte de methodologische kwaliteit van het onderzoek en pakte later uit met een ander onderzoek waaruit bleek dat de maatregel wel effectief was. Maar ook deze studie was betwistbaar. Uiteindelijk bleef alles zoals het was, geen van beide studies had impact op de politieke besluitvorming. 6. Bemelmans-Videc (2002) stelt dat de Algemene Rekenkamer een prominente rol speelt in het evaluatiegebeuren in Nederland, enerzijds omdat zij zelf evalueert, anderzijds omdat zij via haar audits een cruciale rol heeft gespeeld in de institutionalisering van de evaluatiefunctie bij de centrale overheid in Nederland. In het artikel worden heel wat uitspraken gedaan over de impact van de audits van de Algemene Rekenkamer. Of deze uitspraken gesteund zijn op empirisch bewijs is minder duidelijk.

50

Hoofdstuk 3: Performance audit in het National Audit Office

HOOFDSTUK 3. Performance audit in het National Audit Office van het Verenigd Koninkrijk 3.1. Wettelijk mandaat

3.1.1. Historisch overzicht 1. Pas in 1860 werden de eerste stappen ondernomen om de financiële verantwoording ten opzichte van het parlement uit te bouwen, ondanks het feit dat het parlement al eeuwenlang de bevoegdheid had om de begroting te autoriseren. De Exchequer and Audit Department Act 1866 vereiste dat alle departementen rekeningen zouden opmaken en laten auditen. De Comptroller and Auditor General had zowel de bevoegdheid voor het auditen van de rekeningen als voor de verstrekking van overheidsgeld van de Bank of England aan de departementen. 2. Volgens Pollitt, verwijzend naar Normanton, zou de Comptroller and Auditor General zich al in de jaren 1880 bezig gehouden hebben met onderzoek naar de zuinigheid en de efficiëntie van de overheidsuitgaven, hiertoe aangespoord door het Public Accounts Committee van het House of Commons. Sinds 1945 is het belang van performance audit sterk toegenomen, zowel qua schaal als qua dekkingsgraad. Dit kan verklaard worden door de sterke groei van de overheidssector sinds WO II. Tussen het begin van de jaren ’50 en 1983 publiceerde het Exchequer and Audit Department ongeveer 1000 value-for-money rapporten ondanks het feit dat performance audit nog niet tot de statutaire bevoegdheden hoorde (Pollitt et al, 1999 verwijzend naar Dewar, 1991). 3. Op het einde van de jaren ’70 kwam er vanuit verschillende parlementaire commissies kritiek op het audit systeem van de publieke sector zowel, omwille van het gebrek aan een wettelijke regeling van de value-for-money audit als omwille van het gebrek aan onafhankelijkheid. “The Comptroller and Auditor General did not have specific statutory authority to carry out value-for-money examinations, instead doing them with support of the Public Accounts Committee. His reports were published as part of departmental accounts or as memoranda to the Public Accounts Committee, with legislation precluding him from reporting at any time other then when the accounts were laid before the House (Pollitt, e.a., 1999).”

4. In 1981 verrichte het Public Accounts Committee een onderzoek naar de rol van de Comptroller and Auditor General en formuleerde een aantal aanbevelingen waaronder de wettelijke regeling van de value-for-money audit. Dit resulteerde in 1983 in de goedkeuring van de National Audit Act 1983 die de Comptroller and Auditor General de wettelijke bevoegdheid geeft om te onderzoeken of de overheidsuitgaven op een zuinige, efficiënte en effectieve wijze gebeuren. De Comptroller and Auditor General is een onafhankelijke ambtenaar in dienst van het House of Commons die in zijn taak wordt bijgestaan door het National Audit Office. 5. Waar in de beginjaren de focus vooral lag op efficiëntie en effectiviteit, besteedt het NAO sinds de late jaren ’80 ook aandacht aan de kwaliteit van de dienstverlening en sinds het midden van de jaren

51


’90 aan corporate governance (Pollitt et al, 1999). De werkwijze van het NAO werd sinds de jaren ’90 ook steeds professioneler, onder andere door het perfectioneren van de lay-out van de rapporten en de presentatie van gegevens, door de rapporten te laten reviewen door academische experts en door de ontwikkeling van degelijke en innovatieve onderzoeksmethoden (Pollitt et al, 1999). 6. In 2000 kondigde de Chief Secretary to the Treasury aan een onderzoek te laten uitvoeren naar de audit en verantwoording van de centrale overheid. Dit leidde tot het rapport “Holding to account. The review of audit and accountability for central government” of het Sharman Report, verwijzend naar de voorzitter van het projectteam, Lord Sharman (2001). Een aantal aanbevelingen van het Sharman rapport werden door de regering aanvaard en dit leidde tot de volgende aanpassingen in het werk van het NAO: -

uitbreiding van de bevoegdheden van de Comptroller and Auditor General met de audit van 20 extern verzelfstandigde agentschappen of Non-Departmental Public Bodies (NDPB’s) die vroeger door private auditeurs werden ge-audit,

-

uitbreiding van de bevoegdheden van de Comptroller and Auditor General met de validering van prestatiemeetsystemen ter opvolging van de Public Service Agreements (PSA’s23),

-

uitbreiding van het recht op toegang tot informatie van de Comptroller and Auditor General tot alle overheidsinstellingen, en

-

toename van het aandeel uitbestede financiële audits tot een gemiddelde van 25%.

7. Tabel 3-1 geeft ter samenvatting een kort overzicht van de historische evolutie van audit in het Verenigd Koninkrijk.

Initiatief

Datum

Doelstellingen

Committee on Public Accounts

1861

-

Oprichting Committee on Public Accounts in het House of Commons.

Exchequer and Departments Act 1866

1866

-

De Comptroller and Auditor General is bevoegd voor de audit van de rekeningen en voor de verstrekking van overheidsgeld. Alle departementen zijn verplicht appropriation accounts op te maken en te laten auditen door de Comptroller and Auditor General. De Comptroller and Auditor General wordt bijgestaan door het Exchequer and Audit Department.

Audit

-

Exchequer and Departments Act 1921

National Audit Act 1983

Audit

1921

-

De Comptroller and Auditor General moet niet langer elke transactie onderzoeken, maar kan steunen op de departementale controlesystemen en enkel een steekproef van transacties onderzoeken.

1983

-

De Comptroller and Auditor General is een onafhankelijke ambtenaar in dienst van het House of Commons. Het National Audit Office ondersteunt de Comptroller and Auditor General in de uitoefening van zijn functies. De Comptroller and Auditor General kan onderzoeken

-

23

Dit is een overeenkomst tussen HM Treasury en het departement over de beleidsdoelstellingen die gerealiseerd moeten worden.

52


Government Resources Accounts Act 2000

and

2000

-

Government’s Acceptance of the Lord Sharman Report “Holding to account. Review of Audit and Accountability for Central Government”

2001

-

voeren naar de zuinigheid, efficiëntie en effectiviteit waarmee de middelen ingezet werden. De Public Accounts Commission wortd opgericht met als opdracht het toezicht op het National Audit Office. Invoering van boekhouding.

-

accrual-gebaseerde

begroting

en

Audit van 20 Non-Departmental Public Bodies, Toegang tot alle organisaties die publieke diensten leveren. Validering van prestatiemeetsystemen ter opvolging van de Public Service Agreements (PSA’s). Grotere uitbesteding van financiële audit (25%).

Tabel 3-1 Historisch overzicht externe audit Verenigd Koninkrijk.

3.1.2. Wetgeving Exchequer and Audit Departments Act 1866 Exchequer and Audit Departments Act 1921 National Audit Act 1983 Government Resources and Accounts Act 2000

3.1.3. Reden van bestaan 1. De National Audit Act 1983 reflecteert duidelijk de dubbele missie van het NAO. Enerzijds is het de bedoeling om de parlementaire controle en het toezicht op de uitgaven van publiek geld te versterken. Anderzijds is er ook een verbeterrol weggelegd voor het NAO: de ambitie is de efficiëntie en effectiviteit van de overheid te promoten. “The National Audit Act 1983 has been enacted “to strengthen Parliamentary control and supervision of expenditure of public money by making provisions for the appointment and status of the Comptroller and Auditor General, establishing a Public Accounts Commission and a National Audit Office and for promoting economy, efficiency and effectiveness in the use of such money by government departments and other authorities and bodies (National Audit Act 1983).”


of

organieke

afbakening:

waar

mag

men

onderzoeken? 1. De focus van het National Audit Office ligt op de controle op departementen en agentschappen, niet zozeer op de controle op ministers (Put, 2005: 5). De National Audit Act 1983 stelt: “The Comptroller and Auditor General may carry out examinations into the economy, efficiency and effectiveness with which any department, authority or other body to which this section applies has used its resources in discharging its functions (National Audit Act 1983 art. 6, 1ste lid).”

53


De externe audit heeft dus betrekking op de zuinigheid, efficiëntie en effectiviteit waarmee de middelen ingezet worden door de departementen, de agentschappen en de andere organisaties die door de auditor onderzocht mogen worden, maar niet door de ministers. Het zijn dus ook ambtenaren die verantwoording moeten afleggen tijdens de hoorzittingen van het Public Accounts Committee. 2. De Comptroller and Auditor General kan de zuinigheid, efficiëntie en effectiviteit bij de uitvoering van de begroting onderzoeken bij de volgende instellingen: -

departementen, agentschappen (vb. Food Standards Agency), commissies (vb. Electoral Commission) en parlementaire instellingen24,

-

National Assembly of Wales,

-

een 600 tal instellingen van de National Health Service 25,

-

andere rechtspersonen of overheidsinstanties die onderworpen zijn aan de audit of de inspectie door de Comptroller and Auditor General in gevolge een verordening of wet,

-

andere rechtspersonen of overheidsinstanties die onderworpen zijn aan de audit of de inspectie door de Comptroller and Auditor General in gevolge een overeenkomst tussen de instelling en de minister,

-

een 3000 tal andere instellingen die hoofdzakelijk (voor meer dan 50%) met overheidsgeld werken en waarvan de leden benoemd zijn namens de Kroon, met uitzondering van een aantal Nationalised Industries en Public Authorities zoals de British Airways Board en de British Railway Board. 26 Echter, sinds kort kan het NAO wel performance audits uitvoeren bij de BBC (zie 3.1.5).

3. Als antwoord op het Lord Sharman rapport werd in 2002 beslist dat de Comptroller and Auditor General ook bevoegd zou worden voor de audit van 20 extern verzelfstandigde agentschappen, de zogenaamde Non-Departmental Public Bodies (NDPB’s) die voorheen geaudit werden door private auditeurs. Voorbeelden zijn de Housing Corporation en het Environment Agency (NAO, 2003a: 14). 4. The Comptroller and Auditor General is niet bevoegd om uitgaven te verbieden, toeslagen op te leggen of bestraffende maatreglen te nemen.

3.1.5. Materiële afbakening van het concept performance audit : wat mag men onderzoeken? 1. Volgens de National Audit Act 1983 kan de Comptroller and Auditor General onderzoek doen naar de zuinigheid, efficiëntie én effectiviteit waarmee de middelen besteed worden.

24

Het gaat dus

“Any department which is required to prepare resource accounts under section 5 of the Government Resources

and Accounts Act 2000 (= “A Government department for which an estimate is approved by the House of Commons”). 25

Any body required to keep accounts under section 98 of the National Health Service act 1977 or section 86 of the National Health Service (Scotland) Act 1978” 26 “If the Comptroller and Auditor General has reasonable cause to believe that any authority or body (…) has in any of its financial years received more than half of its income from public funds he may carry out an examination into the economy, efficiency and effectiveness (…) (sectie 7(1).”

54


over een volledig performance audit mandaat. Dit geeft de Comptroller and Auditor General echter niet de bevoegdheid om de waarde van de beleidsdoelstellingen van de onderzochte instellingen in vraag te stellen: “this shall not be construed as entitling the Comptroller and Auditor General to question the merits of the policy objectives (National Audit Act 1983, section 6(2) and section 7(2).”

2. Voor rechtspersonen of overheidsinstanties die als gevolg van een verordening, een wet of een overeenkomst tussen de instelling en een minister onderworpen zijn aan de audit van de Comptroller and Auditor General (National Audit Act 1983 sectie 6) geldt dat de bevoegdheden van de Comptroller and Auditor General beperkt kunnen worden tot bepaalde aspecten. Zo is er bijvoorbeeld een overeenkomst dat het NAO een aantal reviews kan uitvoeren bij de British Broadcasting Corporation (BBC) over welbepaalde aspecten, onder andere de investering van de BBC in Freeview27 (British Broadcasting Corporation, 2004). 3. In opvolging van de conclusies van het Lord Sharman Rapport 2001 over audit en verantwoording in de centrale overheid werd beslist dat de Comptroller and Auditor General ook bevoegd wordt voor de audit van de prestatiemeetsystemen die de Public Service Agreement Targets ondersteunen. De doelstelling was dat de systemen ten minste om de drie jaar ge-audit worden, wat overeenkomt met de periode waarvoor de Public Service Agreement Targets worden afgesloten. In 2003 ontwikkelde het NAO de methodologie voor deze audits. In 2004, beoordeelde het National Audit Office in 7 departementen en in de interdepartementale Sure Start Unit, de datasystemen die ontwikkeld zijn om de Public Service Agreements 2003-2006 ondersteunen. In 2005, worden in de resterende departementen de datasystemen van de Public Service Agreement Targets 2003-06 ge-audit (NAO, 2005a).

3.1.6. Toegang tot informatie 1. De Comptroller and Auditor General kan op elk moment toegang eisen tot alle documenten van de onderzochte departementen en instellingen die hij/zij als noodzakelijk beschouwt om het onderzoek uit te voeren. De Comptroller and Auditor General kan ieder die deze documenten in zijn bezit heeft of er verantwoordelijk voor is, om meer informatie of om uitleg vragen. “The Comptroller and Auditor General shall have a right of access at all reasonable times to all such documents as he may reasonably require for carrying out any examination and shall be entitled to require from any person holding or accountable for any such document such information and explanation as are reasonably necessary for that purpose. This applies only to documents in the custody or under the control of the department, authority or body to which the examination relates (National Audit Act 1983, section 8).”

2. De toegang tot informatie van de Comptroller and Auditor General heeft enkel betrekking op de documenten die onder de controle vallen van het departement, het agentschap of elke andere organisatie waarop de audit betrekking heeft.

27

Freeview is een digitale televisie en radio dienst opgestart in 2002.

55


3. Als gevolg van het Lord Sharman report werd beslist dat de Comptroller and Auditor General de wettige toegang krijgt tot alle instellingen die gefinancierd worden door departementen en extern verzelfstandigde agentschappen, de zogenaamde NDPB’s. Voorbeelden hiervan zijn private contractanten, treinmaatschappijen, huisvestingsmaatschappijen en gesubsidieerde organisaties (NAO, 2003a: 14). 4. In het Verenigd Koninkrijk is naast het National Audit Office, ook nog de Audit Commission actief, die verantwoordelijk is voor de externe audit van lokale overheden en instellingen van de gezondheidszorg in Engeland en Wales. Er zijn gebieden waarop de bevoegdheden van het NAO en de Audit Commission overlappen wat kan leiden tot problemen. “Separate entities can promote a healthy rivalry and creative tension between the audit bodies and innovation in audit methodologies. However, they can also lead to inconsistencies in the nature and scope of audit services, especially given the frequently changing institutional framework for the provision of public goods and services (Bowerman et al, 2003: 1). “

3.2. Organisatie

3.2.1. Organisatiestructuur 1. De Comptroller and Auditor General staat aan het hoofd van het National Audit Office en wordt bijgestaan door de Deputy Comptroller and Auditor General. Het NAO is georganiseerd volgens beleidsdomeinen. Er zijn zes operationele eenheden, elk geleid door een Assistant Auditor General, die zowel performance audits als financiële audits uitvoeren. Er zijn ook enkele ondersteunende teams, zoals het value-for-money development team. Figuur 3-1 illustreert het organogram van het NAO.

56


Comptroller & Auditor General

Deputy Comptroller & Auditor General

Assistant Auditor General Corporate Policy Central Finance Inland Revenue Customs & Excise Regulation Performance Measurement DTI & Regulators International Development Trade, Industry & Science

Assistant Auditor General Training and Development HRM Environment, Food and Rural Affairs Cabinet Office Home Office Parliament and Justice Transport Home affairs NDPB's

Assistant Auditor General Communication & Information Health Work & Pensions Welfare, Work & education IT Audit Education

Assistant Auditor General IT Resource Center Facilities Management International relations & Business International audits Culture, Media, Sports & Devolution Lottery Financial audit Support Team Auditor General Wales Value for money audit

Assistant Auditor General Defense Overseas Services PFI PPP

Assistant Auditor General Finance Better Public Services Value for Money Audit Development Office of the Deputy Prime Minister Value for Money Audit

Figuur 3-1 Organogram van het National Audit Office.

3.2.2. Personeel 1. Het NAO heeft ongeveer 800 personeelsleden. Tabel 3-2 illustreert de verdeling van de voltijdse equivalenten over de verschillende activiteiten. Bijna de helft van alle personeelsleden wordt ingezet voor de certifiëring van de rekeningen en de rapportage hierover worden. Ongeveer een vierde van de personeelsleden werkt aan performance audits. 2000-2001

2001-

2002-

2003-

(FTE)

2002

2003

2004

(FTE)

(FTE)

(FTE)

Certifiëring van en rapportage over de rekeningen

425

397

397

371

Performance audit

190

199

203

204

Onderzoek en rapportage risco’s in financiële systemen

35

46

57

65

105

105

106

166

2

2

2

2

757

749

765

808

en vermogen en onregelmatigheden Andere werkzaamheden voor het Parlement en de burger Comptroller functie Totaal

Tabel 3-2 Aantal fulltime personeelsleden verdeeld over de activiteiten van het NAO (NAO, 2002; NAO, 2003b; NAO, 2004).

57


2. De financiële auditeurs van het NAO zijn universitair geschoold en zijn gekwalificeerd als professionele accountants. Van de 800 personeelsleden van het National Audit Office zijn er meer dan 500 professionele boekhouders. Ze behaalden hun graad bij erkende accountantsinstellingen zoals het Institute of Chartered Accountants in England and Wales, het Chartered Institute of Public Finance and Accountancy, het Chartered Institute of Public Finance and Accountancy, de Association of Chatered Certified Accountants, het Chartered Institute of Management Accountants en de Association of Accounting Technicians. Het NAO rekruteert ook jaarlijks ongeveer 40 stagiair boekhouders. 3. Voor de value-for-money audits worden ook niet-boekhoudkundigen aangeworven zoals sociale wetenschappers en economisten. De overgrote meerderheid van de performance auditors heeft echter een accountantsachtergrond. Er is geen specifiek beleid voor de werving en selectie van performance

auditors.

Voor

bepaalde,

zeer

technische

onderzoeken

worden

specialisten

aangeworven op tijdelijke basis. “Study teams increasingly contracted in specialist consultancy assistance to help with their work, while specialists in operational research, evaluation or economic skills, or with expertise in subjects such as health or defence were recruited to the NAO’s permanent staff to supplement the predominantly accounting background of most audit staff (Pollitt et.al., 1999).

4. De National Audit Act 1983 bepaalt dat de functie van Comptroller and Auditor General onverenigbaar is met een functie binnen de uitvoerende macht. Dit geldt ook voor de functies binnen het NAO. “Neither the Comptroller and Auditor General nor any member of the staff of the National Audit Office shall be regarded as holding office under Her Majesty or as discharging any functions on behalf of the Crown (National Audit Act 1983).”

5. Het personeel van het NAO wordt aangemoedigd om postacademische vorming te volgen. Het NAO biedt permanent een groot pakket aan vorming aan, deels gegeven door personeelsleden en deels uitbesteed. Het gaat bijvoorbeeld om opleidingen over methodologie, rapportering en projectmanagement (NAO, 2003c). 6. Wat is het beleid rond uitbesteding van het NAO? 15 tot 20% van de financiële audits werden uitgevoerd door private ondernemingen. Als gevolg van het Lord Sharman Rapport werd beslist om deze proportie op te voeren tot 25 %. In vrijwel elke performance audit wordt beroep gedaan op externe experten, bijvoorbeeld in de vorm van een panel. Met drie organisaties is er een meer permanent samenwerkingsverband: -

MORI (Market & Opinion Research International), een privaat onderzoeksbureau, waarop vooral beroep wordt gedaan voor de uitvoering van surveys,

-

PriceWaterhouseCoopers, een consultant,

-

RAND Europe, een private onderzoeksorganisatie.

58


3.2.3. Prestatiemeetsystemen 1. Het National Audit Office voert een algemene economische boekhouding en begroting in overeenstemming met de Government Resources and Accounts Act 2000. 2. Om haar prestaties op te volgen gebruikt het NAO een aantal indicatoren (zie Tabel 3-3). Deze indicatoren hebben vooral betrekking op haar prestaties en de effecten, eerder dan op de ingezette middelen en de processen. Voorbeelden van prestaties die opgevolgd worden, zijn het aantal rapporten en het aantal geaudite rekeningen en de waarde van de ge-audite inkomsten en uitgaven. Voorbeelden van effectindicatoren zijn de waarde van besparingen en veranderingen in procedures als gevolg van een audit. Om het beheer van het NAO op te volgen berekent men de verhouding van de jaarlijkse besparingen als gevolg van audits tot de jaarlijkse kosten van het NAO. De norm is dat het NAO voor elk pond dat het kost minstens acht pond moet opleveren.

Activiteit Value-for-money audit

Indicator Aantal rapporten

Prestatie Gemiddeld 60 per jaar

Nominale waarde van 482 miljoen £ in 2003 besparingen als gevolg van de VFM audit Financiële audit

Aantal rekeningen

geaudite 550

Waarde van de 700 miljard £ geaudite inkomsten en uitgaven Beheer

Verhouding van de Meer dan jaarlijkse besparingen besparingen per als gevolg van audits tot kosten de jaarlijkse kosten van het NAO

8£ 1£

Tabel 3-3 Voorbeelden van prestatie-indicatoren van het National Audit Office (NAO, 2004)

3. Het NAO heeft een eigen systeem van interne kwaliteitscontrole ontwikkeld (NAO, 2003g) . Het systeem bestaat uit een set van vragen per fase in het auditproces die positief moeten beantwoord worden door de auditor vooraleer over te gaan tot de volgende stap. Dit bestaat uit 5 kwaliteitdrempels die gehaald moeten worden doorheen het proces van performance audit: -

Kwaliteitsdrempel 1: “Are you ready to proceed?” o

Is het onderwerp nu aan de orde?

o

Welke outputs verdient het onderwerp?

o

Hoe verhouden de baten van het onderzoek zich tot de kosten?

59


-

o

Is er een coherente en relevante set van kwesties?

o

Is er een robuuste en praktisch haalbare methodologie?

o

Zijn de juiste vaardigheden aanwezig om het onderzoek uit te voeren?

o

Is er duidelijkheid over de kostprijs van het onderzoek?

o

Is er duidelijkheid over de tijdsplanning van de performance audit?

o

Is er steun van het geauditeerd departement?

o

Zijn de risico’s beheersbaar?

o

Hoe kan je de resultaten van de performance audit communiceren?

o

Is er een data structuur om het bewijsmateriaal en de kerndocumenten te beheren?

Kwaliteitsdrempel 2: “Have you derived clear, compelling messages supported by the evidence?” o

Is er voldoende, relevant en betrpuwbaar bewijsmateriaal om elke kwestie te documenteren?

o

Is het materiaal volledig geanalyseerd en geïnterpreteerd?

o

Heb je de kern conclusies van de audit geïdentificeerd en zijn deze gestaafd met bewijsmateriaal?

o

Komen de bevindingen overeen met deze van andere stakeholders en experts?

o

Is de boodschap die uit het onderzoek naar boven komt, overeengekomen met de geauditeerde? Indien niet, is er dan een strategie om de onenigheden op te lossen?

o -

Is er een overeengekomen structuur voor het draft-rapport?

Kwaliteitsdrempel 3: “Are you ready to clear the draft report?” o

Is er een duidelijk en bondig ontwerprapport dat de hoofdboodschap overbrengt?

o

Reflecteert de samenvatting van het rapport de toon en de bevindingen van het hoofdrapport?

o

Zijn de aanbevelingen duidelijk gefomuleerd en gebaseerd op bewijsmateriaal en vormen ze toegevoegde waarde?

o

Houdt het rapport steek voor de lezer?

o

Is het rapport in overeenstemming met de NAO standaarden van lengte en stijl?

o

Is er voldoende gebruik gemaakt van het voorstellen van resultaten aan de hand van grafieken en het opnemen van bijkomende informatie in appendices?

o -

Is al het ondersteunend materiaal geproduceerd?

Kwaliteitsdrempel 4: “Are you ready to spread the message?” o

Is het ontwerp-rapport naar de geauditeerde organisatie gestuurd om de accuraatheid van de feitengegevens na te gaan?

o

Hebben derden de kans gekregen om het ontwerprapport te becommentariëren?

o

Is de duidelijkheid, coherentie, structuur en beknoptheidvan het ontwerrapport overeind gebleven tijdens de clearance procedure?

-

o

Presenteerrt het draft-rappport professioneel en attractief?

o

Is de fysieke productie van het rapport goed georganiseerd?

o

Is er een up-to-date communicatieplan?

o

Worden er acties ondernomen om de bevindingen te verspreiden en op te volgen?

Kwaliteitsdrempel 5: “Have you learnt and disseminated the lessons?” o

60

Zijn alle stappen van de interne en externe kwaliteitscontrole doorlopen?


o

Zijn de lessen die uit het onderzoek getrokken kunnen worden geïdentificeerd en duidelijk gecommuniceerd?

o

Zijn de bestaande impacts van het onderzoek geïdentificeerd en zijn de mechanismen ingesteld om de potentiële impacts op te volgen?

o

Zijn de kerndocumenten van de studie opgelijst en bekend gemaakt als corporate documenten?

3.3. Proces van performance audit 1. Tabel 3-4 stelt de stappen in het performance auditproces in het National Audit Office voor (NAO, 2003d: 5). Identificeren

van

Planning

topics Kiezen van onderwerpen voor onderzoek Het uitwerken van het concept van het onderzoek (onderzoeksvragen,

methoden,

organisatie,

tijdschema…) Onderzoek

Het

daadwerkelijk

uitvoeren

van

het

onderzoek

(verzamelen en analyseren van gegevens, managen van het onderzoeksproject….) Drafting

Uitschrijven van een draft rapport.

Clearance

Overleg met de geauditeerde om overeenstemming te bereiken over de rapportering.

Publicatie

Het

rapport

gaat

naar

het

parlement

en

wordt

gepubliceerd. Committee of Public Accounts

Het PAC houdt hoorzittingen over de meeste rapporten, waarbij de verantwoordelijke topambtenaren worden ondervraagd. Het PAC publiceert daarna zijn eigen rapport, met aanbevelingen.

Antwoord van de regering

De

regering

publiceert

zijn

antwoord

op

de

aanbevelingen van het PAC, in de vorm van een Treasury memorandum. Follow up

Het NAO volgt de implementatie van haar aanbevelingen en deze van het PAC op. Tabel 3-4 Het proces van performance audit in het NAO.

61


3.3.1. Planning: selectie van onderwerpen voor audits 1. De meeste performance audits worden uitgevoerd op initiatief van het NAO. Soms vragen ook parlementsleden of de voorzitter van het Public Accounts Committee om een bepaald onderwerp te onderzoeken (NAO, 2003d: 16). 2. Elk jaar voert de NAO een proces van strategische planning uit. Elke afdeling moet een vastgelegd aantal performance audits uitvoeren. Het personeel van elke afdeling formuleert voorstellen (wat aantallen betreft wordt gestreefd naar 2 x het aantal vastgelegde audits) en dient een programma in bij de Comptroller and Auditor General, die uiteindelijk beslist (NAO, 2001a). Strategische plannen moeten een weerspiegeling zijn van de doelstellingen, middelen, assumpties in het Corporate Plan, dat de Public Accounts Committee jaarlijks goedkeurt.

Monitoring 1. Onderwerpen voor onderzoek worden geïdentificeerd op basis van systematische monitoring (NAO, 1997a: 1-6; NAO, 2003d: 16-18). Dit houdt in dat regelmatig informatie wordt verzameld over de departementen : hun doelstellingen, activiteiten, organisatie, nieuwe initiatieven, resources, prestatiemeting, … Hiervoor wordt gebruik gemaakt van informatie afkomstig van de departementen (strategische plannen, prestatie-informatie, statistieken, rekeningen…), universitair onderzoek, de gespecialiseerde pers, parlementaire debatten, interne informatie (uit financiële audit, vroegere rapporten, …). 2. Naast geschreven bronnen zijn er ook persoonlijke contacten met de belangrijkste spelers: personeel in de departementen, organisaties die cliënten van overheidsdiensten vertegenwoordigen, academische experts, secretarissen van parlementaire commissies,… Monitoring vergt een aanzienlijke tijdsinvestering.28 Deze fase is binnen het NAO weinig geformaliseerd, de concrete invulling hangt af van de individuele auditeurs.

Strategische sturing 1. Een aantal strategische krachtlijnen zijn terug te vinden in het Corporate Plan 2004-2006 van het NAO: “Studies selected for value for money examination are designed to: -

lead to reports on ways of achieving better services to the public by focusing on the results achieved; follow up previous National Audit Office and Committee of Public Accounts reports to ensure that action promised by departments and agencies has been taken;

-

identify the scope for improving economy, efficiency and effectiveness through analysis of inputs, processes and programme outputs;

-

review managerial operations which have a material effect on achieving value for money;

-

support well thought through risk-taking and innovation and identify and promote good practice so that experience can be shared and risks minimised;

28

schatting 10 à 15 % van de middelen (Interview NAO, oktober 2003).

62


-

examine the acquisition of assets and services, joint ventures and other forms of commercialisation, and the redeployment and disposal of assets so that best value is promoted and achieved;

-

deliver beneficial impacts, including financial savings (NAO, 2003a).”

2. De belangrijkste criteria om prioriteiten te stellen tussen de verschillende voorstellen voor onderzoek zijn (NAO, 1997a: 20-21): -

de belangrijkste zorg is accountability ten aanzien van het parlement - en finaal de belastingbetaler - om te verzekeren dat de publieke middelen goed worden aangewend. Wanneer accountability wordt bedreigd is de prioriteit van het onderwerp groot.

-

hoe groter de bijdrage kan zijn aan verbeteringen, des te hoger is de prioriteit van het onderwerp.

-

om evenwichtig te zijn moet het jaarlijkse onderzoeksprogramma bestaan uit gelijke aantallen: o

rapporten waar er een risico is op fraude en onregelmatigheden,

o

opvolgingsrapporten waarin memoranda van de Treasury, naar aanleiding van aanbevelingen van de Public Accounts Committee, worden opgevolgd,

o

rapporten over de gewone managementactiviteiten van departementen (bijv. aankopen, projectmanagement, kwaliteit van de dienstverlening, ...). Een aantal onderzoeken moet in het bijzonder aandacht besteden aan financiële baten (NAO, 1997a: 20). Een van de doelstellingen van het NAO is om 8 pond te besparen voor elke pond dat het NAO kost. Dit impliceert echter niet dat elke performance audit moet leiden tot direct meetbare financiële baten.

o

rapporten over nieuwe, belangrijke initiatieven van de regering.

Selectiecriteria 1. Onderzoeken worden geselecteerd op basis van volgende criteria (NAO, 1997a: 7-21; NAO, 2001a): -

het risico dat zuinigheid, efficiëntie en effectiviteit niet worden bereikt. Indicaties hiervoor zijn bijv. : sterk toenemende uitgaven, trends in de prestaties vergeleken met hun doelstellingen en benchmarks, projecten die hun budget en planning overschrijden, klachten over de kwaliteit van de dienstverlening, …..

-

het financiële belang (de hoeveelheid geld) dat gemoeid is met het onderwerp. Bij kleine bedragen moet er een andere belangrijke factor zijn, zoals bijv. een grote publieke gevoeligheid of veel klachten van klanten van een dienst, voordat een onderzoek wordt overwogen.

-

is het onderwerp actueel en mag het op belangstelling rekenen van het parlement (dit kan blijken uit indicatoren zoals het aantal parlementaire vragen, vermeldingen in debatten, brieven van parlementsleden aan de Comptroller and Auditor General,…), van de media, academici ….. Bij de beoordeling van de actualiteit van een onderwerp moet rekening worden gehouden met het tijdsverloop tussen het kiezen van een onderwerp en de publicatie van een rapport.

-

de toegevoegde waarde : kan er iets nieuws gezegd worden, dat niet eerder werd gezegd (onderwerpen waarover nog niet eerder onderzoek werd gedaan, nieuwe gegevens, nieuwe programma's, …. ).

-

de haalbaarheid van het onderzoek: de nodige deskundigheid, middelen… om het onderzoek succesvol uit te voeren

63


-

de verbeterbaarheid: de mogelijkheid om aanbevelingen te formuleren die kunnen bijdragen aan verbeteringen

Inhoud van een voorstel voor onderzoek 1. In een voorstel voor een onderzoek komen volgende elementen aan bod (NAO, 1997a: 23): -

achtergrondinformatie over het onderwerp (doelstellingen van de betrokken organisatie, politieke context, vroegere behandeling van het onderwerp door het NAO en de Public Accounts Committee),

-

doelstellingen van het voorgestelde onderzoek,

-

de afbakening van het onderwerp en de onderzoeksvragen die aan bod zullen komen,

-

de benadering die zal gehanteerd worden en de technieken die hierbij gebruikt worden,

-

de waarschijnlijke impact van een rapport, inclusief potentiële financiële baten,

-

interesse van het parlement,

-

de mening van de te auditeren organisatie over het voorstel,

-

de nodige middelen en de voorziene timing voor het onderzoek, en

-

wie de studie zal doen.

Besluitvorming 1. Elk jaar voert het NAO een proces van strategische planning uit. Elke afdeling moet een vastgelegd aantal performance audits uitvoeren. Het personeel van elke afdeling formuleert voorstellen (wat aantallen betreft wordt gestreefd naar 2 x het aantal vastgelegde audits) en dient een programma in bij de Comptroller and Auditor General, die uiteindelijk beslist. Hij houdt hierbij rekening met de visie van de Public Accounts Committee (NAO, 2001b). 2. Het NAO bespreekt de voorstellen voor onderzoek met de geauditeerde (NAO, 2003d: 18). Na afloop van het planningsproces laat de Comptroller and Auditor General de Accounting Officers29 weten welke onderzoeken gepland zijn (NAO, 1997a: 19).

3.3.2. Uitwerken van een onderzoeksvoorstel voor elke audit 1. De functie van een onderzoeksvoorstel is (NAO, 1997b: 37): -

te bevestigen dat een onderzoek is aangewezen (haalbaar is, toegevoegde waarde biedt,…),

-

te fungeren als een planningdocument voor de uitvoering van het onderzoek.

2. Volgens de handleiding onderzoeksvoorstellen moeten volgende elementen aan bod komen (NAO, 1997b: 37-39).

29

Dit is de meest senior manager.

64


1. Welk domein willen we -

Een beschrijving van de achtergrond van het onderzoek (zoals de

onderzoeken ?

activiteiten van de geauditeerde, inkomsten en uitgaven, de doelstellingen en de ingezette beleidsinstrumenten, de rol van de belangrijkste belanghebbenden…). -

Vroegere behandeling van het onderwerp door het NAO en de Public Accounts Committee.

-

Inschatting van de te verwachten belangstelling van het parlement.

2.

Wat

zijn

de -

onderzoeksvragen ?

De keuze van de juiste onderzoeksvragen is cruciaal voor de relevantie van het onderzoek. Zij moeten gebaseerd zijn op een brede analyse van het onderwerp.

-

Afbakening van de studie in termen van betrokken organisaties en andere

belanghebbende

partijen

(cliënten,

professionele

organisaties,…). 3. Hoe zullen we een -

Methodologie: wijze van gegevens verzamelen, beschikbaarheid

antwoord krijgen op onze

van bronnen, beschrijving van technieken om de data te

onderzoeksvragen?

analyseren, … -

Normen.

-

Wijze waarop de onderzoeksresultaten zullen gepresenteerd worden in het rapport.

4. Welke middelen zijn -

De nodige deskundigheid moeten worden aangegeven en ook

nodig om het onderzoek

hoe deze zal verworven worden (met inbegrip van het inschakelen

uit te voeren ?

van consultants, academici…). -

5.

Welke

antwoorden -

kunnen we verwachten ?

De timing en een gedetailleerd budget. De

te

verwachten

conclusies

en

aanbevelingen

worden

weergegeven. -

Er moet aangegeven worden welke financiële baten dit kan opleveren, en hoe deze zullen gekwantificeerd worden.

6. Consultatie met de te -

Het rapport moet aangeven hoe de te auditeren organisatie werd

auditeren organisatie

geconsulteerd en wat hun visie is. Eventuele meningsverschillen moeten nadrukkelijk vermeld worden.

Tabel 3-5 Elementen van een onderzoeksvoorstel van het National Audit Office.

3. In de nieuwe handleiding performance audit (NAO, 2003d) komen dezelfde elementen terug, maar wordt dieper ingegaan op het analyseren en beheren van risico’s eigen aan een audit en wordt ook verwacht dat reeds in een vroeg stadium wordt nagedacht over de manier waarop de resultaten van de audit het best gecommuniceerd worden. Voor het uitwerken van de onderzoeksvragen heeft het NAO een methodiek uitgewerkt, de “Issue Analysis Dinner Party” (IADPTM), waarbij een probleemstelling voor een audit op een gestructureerde wijze wordt vertakt in meer gedetailleerde onderzoeksvragen (NAO, 2003e). In het kader van het streven om de doorlooptijd van de audits in te

65


korten wordt in deze nieuwe handleiding ook gesteld dat uitgebreide onderzoeksvoorstellen eerder uitzondering dan regel moeten zijn (NAO, 2003d: 36). 4. Tijdens het uitwerken van het onderzoeksvoorstel moet er permanent contact zijn met de geauditeerde. Volgens de handleiding dienen volgende punten bediscussieerd te worden (NAO, 1997b: 35): de focus van het onderzoek, de reden waarom het onderzoek wordt uitgevoerd, de onderzoeksvragen, de normen (het is wenselijk hieromtrent overeen te komen), de beschikbaarheid en betrouwbaarheid van de gegevens die nodig zijn, de methodologie, het personeel en de consultants die worden betrokken in de studie, de te verwachten conclusies en aanbevelingen en de planning. Uit interviews met personeelsleden van het NAO blijkt dat de bespreking vooral betrekking heeft op de hoofdlijnen van het onderzoek: de belangrijkste onderwerpen die aan bod komen, de methoden, de planning. Er is bijvoorbeeld geen gedetailleerde bespreking van de normen die in een onderzoek zullen gebruikt worden. 5. De onderzoeksvoorstellen worden door de directeurs via de Assistant Auditor Generals overgemaakt aan de Comptroller and Auditor General voor goedkeuring.

3.3.3. Uitvoering van de audit 1. Performance audits worden veelal uitgevoerd door een team van drie personen, waaronder de directeur (die tegelijkertijd aan 4 of 5 audits kan participeren), en nemen tussen de 12 tot 18 maanden in beslag vanaf het uitwerken van het onderzoeksvoorstel tot de publicatie, waarvan 6 tot 9 maanden veldwerk (Pollitt et. Al., 1999: 115) en 2 tot 3 maanden voor de clearanceprocedure (interview NAO 15/10/2003). In de nieuwe handleiding performance audit van het NAO (2003d) wordt veel aandacht besteed aan het verkorten van deze doorlooptijden, o.m. door een sterker projectmanagement. 2. Het NAO doet in sterke mate beroep op outsourcing, zowel voor financiële audit als voor performance audit. Dit biedt de mogelijkheid specifieke expertise in te brengen, de eigen methoden en kosten te vergelijken met de privé-sector en pieken en dalen in het werkvolume op te vangen (NAO, 2001b). In 2002-03 werd zelfs een volledig onderzoek, Getting the Evidence: Using Research in Policy Making, uitbesteed aan RAND Europe (NAO, 2003a: 18). Het toenemende belang van outsourcing blijkt ook uit Tabel 3-6.

66


1999-2000 £ 000 Directe

2000-2001

%

£ 000

34.251 85.3

2001-2002 %

2002-2003 £ 000

2003-2004

%

£ 000

%

£ 000

%

35 041

84.5

36 321

85

38 257

83.4 41 808

79.8

6 452

15.5

6 426

15

7 632

16.6 10 569

20.2

PersoneelsKosten Consultants 5.888 Totaal

14.7

40 139

41 493

42 747

45 889

52 377

Tabel 3-6 Uitbestedingsbeleid van het National Audit Office (NAO, 2001b; NAO, 2002; NAO, 2003b; NAO 2004)

3.3.4. Rapportering 1. Het rapport volgt een clearance procedure, waarbij de geauditeerde, en eventueel ook derde partijen, de gelegenheid krijgen hun commentaar te geven op het draft rapport. Het NAO moet, sinds 1986, zowel wat betreft de feiten als de presentatie van de feiten tot een akkoord komen met de Accounting Officer, dit om te vermijden dat de Public Accounts Committee moet bemiddelen tussen de Comptroller and Auditor General en de geauditeerde over betwiste feiten (Keen, 1999). Als er meningsverschillen blijven dan worden deze vermeld in het rapport, met toelichting van de reden (NAO, 2003d: 13). Als er overeenstemming is over drafreport wordt het goedgekeurd door de Comptroller and Auditor General. 2. Het rapport wordt vervolgens overgemaakt aan de Public Accounts Committee. Nadat deze hoorzittingen heeft gehouden met de verantwoordelijke ambtenaren, waar ook de Comptroller and Auditor General en de personeelsleden van het NAO bij aanwezig zijn, brengt de Public Accounts Committee zijn eigen rapport met aanbevelingen uit. 3. De regering publiceert een antwoord op het rapport van het PAC, normaal binnen de 2 maanden, waarin ze uiteenzet welke acties zij heeft genomen of zal ondernemen om aan elk van deze aanbevelingen tegemoet te komen. Wanneer de regering bepaalde aanbevelingen niet accepteert legt zij uit waarom, en de zaak kan later opnieuw worden behandeld door het PAC. Het antwoord van de regering wordt voorbereid door de Treasury en gebeurt in de vorm van een Treasury memorandum. 4. Soms wordt een rapport, met het akkoord van het PAC, overgemaakt en besproken in een andere Commissie, bevoegd voor het beleidsdomein waarover het rapport gaat (NAO, 2003d: 14). 5. In verkiezingsperiodes blijft het NAO zijn rapporten publiceren maar zal het controversiële onderwerpen vermijden. De performance audits van het NAO worden gepubliceerd in de vorm van afzonderlijke rapporten. Vóór 1983, d.w.z. voor de National Audit Act waarin het NAO in zijn huidige vorm werd opgericht, werd over performance audits gepubliceerd samen met de rekeningen die werden geauditeerd (Pollitt et. al., 1999: 152-153).

67


6. In de periode van april 2003 tot maart 2004 publiceerde het NAO 60 rapporten per jaar, dit is ook één van de strategische doelstellingen (NAO, 2004: 32-34). Rapporten van het NAO hebben veelal de volgende structuur: -

een samenvatting,

-

achtergrondinformatie,

-

bevindingen en conclusies, veelal gestructureerd rond de belangrijkste onderzoeksvragen, en

-

bijlagen (waarvan methodologie een vast onderdeel is).

7. De Comptroller and Auditor General definieerde begin jaren ’90 de criteria voor een goed audit rapport als volgt (Pollitt et al, 1999): “The report should succeed at the Public Accounts Committee, it should go to the heart of the matter, it should say something new, it can not be political in the sense of encouraging party divisions at the PAC hearings, it should be understandable by people who do not know anything about the subject, it should be relevant to departments in managing in the real world, it should be interesting and significant to the media and it should be valuable and defensible to knowledgeable outsiders”.

8. In de handleiding performance audit van het NAO worden volgende vuistregels opgesomd om tot een goed rapport te komen (NAO, 2003d: 22): -

kort (maximum 40 pagina’s + bijlagen) en “pittig” zijn,

-

een samenvatting bevatten (van maximum 5 pagina’s) met de kernboodschap,

-

conclusies en aanbevelingen vloeien op logische wijze voort uit de bevindingen,

-

een logische structuur die de lezer gemakkelijk door de inhoud leidt,

-

eenvoudig woordgebruik, technisch jargon wordt zoveel mogelijk vermeden,

-

gemakkelijk te interpreteren tekeningen, tabellen en grafieken brengen het onderwerp tot leven, en

-

het gebruik van foto’s.

Uit het onderzoek van Pollitt en anderen (1999: 160-161) bleek dat voor NAO’s topmanagement een goed audit rapport ook moet uitpakken met een innovatieve onderzoeksmethodologie en een duidelijke, professionele presentatie van de gegevens. 9. Er wordt zeer veel aandacht besteed aan de vormgeving van de rapporten: de rapporten bevatten veel foto’s, grafische voorstellingen, kleur… om ze aantrekkelijk te maken voor de lezer. Om de vormgeving van de rapporten te verzorgen wordt beroep gedaan op een intern design team en externe firma’s (Whitehouse, 2002: 4). 10. Naast afzonderlijke rapporten publiceert het NAO ook een aantal compendiumpublicaties: - Sinds 1991 publiceert het NAO jaarlijks een “Major Projects Report”, waarin de (aankoop)projecten van het Ministerie van Defensie van het voorbije jaar worden beoordeeld. - Sinds 2003 kreeg het NAO ook de taak om jaarlijks een aantal Regulatory Impact Assessments (RIAs) te beoordelen. Een eerste rapport verscheen in 2004 (Evaluation of Regulatory Impact Assessments Compendium Report 2003-04, 2004, 44 p.)

68


- Sinds 2003 onderzoekt het NAO ook de kwaliteit van de informatiesystemen ontwikkeld om de Public Service Agreements op te volgen. In 2005 verscheen een eerste rapport hierover (Public Service Agreements: Managing Data Quality - Compendium Report 2004-05, 2005, 30 p.)

3.3.5. Nazorg 1. Elk rapport is vergezeld van een persbericht en enkele dagen voor het rapport wordt gepubliceerd contacteert het communicatieteam van het NAO journalisten die wellicht interesse hebben in het rapport, om hen te briefen. Voor rapporten die op een grotere belangstelling kunnen rekenen kan een persconferentie worden gehouden. Het communicatieteam kijkt ook naar mogelijkheden voor de directeur van een onderzoek om op de radio of TV te spreken over het rapport. Alle directeurs krijgen een training in presentatievaardigheden (Whitehouse, 2002: 3). 2. Na de beëindiging van een performance audit worden er 4 types van beoordeling uitgevoerd (NAO, 2003d: 25-26): -

Na de publicatie van een rapport maakt het communicatieteam een kort rapport over de mediaaandacht die een rapport ontving (Whitehouse, 2002: 3).

-

Sinds 1993 wordt elk onderzoek na afloop extern geëvalueerd. Aanvankelijk gebeurde dat door academici van de Brunel University en momenteel gebeurt het door de London School of Economics (Pollitt et. al., 1999: 161). De evaluatie heeft betrekking op de beschrijving van de bestuurlijke context, de structuur en redactie van het rapport, de aanwezigheid van een degelijke samenvatting, het gebruik van grafieken en statistieken, de beschrijving van de bedoeling van het rapport, de methodologie, de conclusies en aanbevelingen. Deze evaluatie wordt ook ter beschikking gesteld van de geauditeerde organisatie.

-

Ook aan de geauditeerde organisaties wordt feedback gevraagd via een schriftelijke vragenlijst, aangevuld met een gesprek.

-

Het auditteam voert een evaluatie uit, en steunt hierbij ook op de drie bovenvermelde elementen, om lessen te trekken voor toekomstige audits.

3. Na publicatie van het rapport kan het onderzoeksteam verder debat stimuleren door een conferentie of workshop te organiseren, te publiceren in tijdschriften (NAO, 2003d: 24). 4. De impactmeting is een vast onderdeel van elke audit (NAO, 2003d: 24-25). Hierop wordt verder ingegaan onder punt 3.6.

3.4. Auditproducten

3.4.1. Types audit 1. Het National Audit Office (NAO) verricht zowel financiële audits als performance audits. Het NAO ondersteunt ook de parlementaire commissies of select committees bij de beoordeling en inschatting

69


van de begrotingsvoorstellen van de regering. Tabel 3-7 geeft een overzicht van de verdeling van de financiële middelen over de verschillende activiteiten van het NAO. Hieruit blijkt dat bijna 40% van de middelen gaat naar de certificering van de rekeningen en de rapportage hierover. Ongeveer een derde van de middelen wordt besteed aan performance audit. Daarnaast voert het NAO ook onderzoek naar de risco’s in financiële systemen en vermogen en onregelmatigheden en verricht het ondersteunende taken voor het parlement. Doelstellingen van het NAO

2003-2004 Netto gebruik van middelen (%)

Certifiëring van en rapportage over de rekeningen

38.7

Performance audit

33.2

Onderzoek en rapportage risco’s in financiële

11.8

systemen en vermogen en onregelmatigheden Andere werkzaamheden voor het Parlement en de

15.9

burger Comptroller functie

0.3

Tabel 3-7 Verdeling van de middelen van het NAO over de verschillende activiteiten.

2. De output van de financiële audit is de certificatie van de rekeningen: het NAO beoordeelt de rekeningen op hun juistheid en wettigheid. Het NAO audit ongeveer 550 rekeningen per jaar (NAO, 2004). In 2003-2004 werd 700 miljard £ aan uitgaven en inkomsten financieel geaudit (NAO, 2004). De financiële audit van het NAO heeft betrekking op de rekeningen van departementen, uitvoerende agentschappen, andere publieke instellingen, internationale agentschappen en een 3000-tal andere instellingen

die

werken

met

overheidsgeld,

zoals

universiteiten

en

scholen,

huisvestingsmaatschappijen en agentschappen van de National Health Service. In het kader van de financiële audit onderzoekt het NAO ook de kwaliteit van het financiële management en de mate van corporate governance (NAO, 2002: 7). 3. De performance audit of value-for-money (VFM) audit is een onderzoek naar de zuinigheid, efficiëntie en effectiviteit waarmee de middelen aangewend worden. Een performance audit resulteert in een onderzoeksrapport met de belangrijkste bevindingen en aanbevelingen. Het NAO publiceert gemiddeld 60 onderzoeksrapporten per jaar. In het kader van performance audits onderzoekt het NAO sinds 2003 ook de geldigheid en de betrouwbaarheid van prestatiemeetsystemen. Het betreft de meetsystemen die ontwikkeld werden om de Public Service Agreements (= overeenkomst tussen departement en HM Treasury betreffende de doelstellingen die het departement moet bereiken met de toegewezen middelen) op te volgen. Tot performance audit behoort ook het onderzoek naar de kwaliteit van Regulatory Impact Assessments. 4. Naast de performance audit rapporten leiden deze audits ook tot andere producten: -

Good practice guides zoals

70


o

“Choosing the right FABRIC. A Framework for Performance Information”, 2001 (gepubliceerd in samenwerking met HM Treasury, het Office for National Statistics, het Cabinet Office en de Audit Commission),

o

“Getting Value for Money from Procurement. How auditors can help”, 2002 (gepubliceerd in samenwerking met het Office of Government Commerce),

o

“Setting Key Targets for Executive Agencies: A Guide”, 2003 (gepubliceerd in samenwerking met HM Treasury en het Cabinet Office),

o

“Improving Service Delivery – How Auditors can help”, 2003 (gepubliceerd in samenwerking met HM Treasury),

-

o

“Improving and reviewing government forms, a practical guide”, 2003, en

o

“Tackling external fraud”, 2004. (gepubliceerd in samenwerking met HM Treasury),

Op de website van het NAO wordt het magazine “FOCUS” gepubliceerd, waarin good practices worden belicht.

-

Over verschillende performance audit rapporten werden conferenties georganiseerd (bijv. over het rapport The Management and Control of Hospital Acquired Infection in Acute NHS Trusts in England)

-

Internationale vergelijkingen maken veelal deel uit van een performance audit rapport, maar ze worden ook apart gepubliceerd om discussie over de relatieve performantie van het Verenigd Koninkrijk

t.o.v.

andere

landen

aan

te

moedigen

(NAO,

2003d).

Bijv. International Education Comparisons: A Compendium of published information on educational provision and achievement in 10 countries (2003), International Health Comparisons: A Compendium of published information on healthcare systems, the provision of health care and health achievement in 10 countries (2003)

3.4.2. Structuur en inhoud van de rapporten 1. De performance audit rapporten van het National Audit Office focussen in eerste instantie op de voorwaarden die noodzakelijk zijn om de gewenste prestaties en effecten te kunnen leveren. Hierbij kijkt het National Audit Office vooral naar beheersmatige aspecten eerder dan naar beleidsmatige condities. Men gaat dus sterk uit van een causaal verband tussen goed beheer een het bereiken van de gewenste doelstellingen. We hebben 15 performance audits van de Algemene Rekenkamer uit de periode 2003-2005 bestudeerd. Figuur 3-2 toont de verschillende elementen die het National Audit Office in deze rapporten beoordeelde. Onmiddellijk valt de aandacht voor goed beheer op. Dit kwam immers aan bod in alle geselecteerde rapporten.

71


15

12

9

6

3

0 Beheer

Beleid

Prestaties

Effectiviteit

Verantwoording

Figuur 3-2 Focus van een selectie van 15 performance audits van het National Audit Office uit de periode 2003-2005.

Normering van beheer 1. Wanneer het National Audit Office uitspraken doet over beheersmatige aspecten, waarover gaat het dan precies? De onderzoeken met een focus op beheer, kijken in de eerste plaats naar de vereisten van management in het algemeen. Het National Audit Office beoordeelt dan of er voldoende instrumenten aanwezig zijn om de primaire processen aan te sturen en op te volgen. Zo stelde het National Audit Office in het rapport “Improving School attendance in England” dat er betere systemen moeten ontwikkeld worden om de afwezigheid van leerlingen te registreren en op te volgen.

Normering van beleid 1. In geen enkele van de 15 studies uit onze steekproef, besteedde het NAO aandacht aan het beleidskader als voorwaarde om de gewenste prestaties en effecten te leveren.

Normering van prestaties en effecten 1. In een derde van de audtis uit onze steekproef ging het NAO na of de overheidsdiensten de beoogde prestaties leveren. Voorbeelden zijn de rapporten “Returning Failed Asylum Applicants”, “London Undergroud PPP: Where they Good Deals?” en “Warm Front: Helping to Combat Fuel Poverty”. 2. Er zijn ook onderzoeken waar het National Audit Office uitspraken doet over de effecten van het beleid. In het onderzoek “Reducing vehicle crime” bijvoorbeeld gaat het na of het aantal

72


autodiefstallen gedaald is en of dit te wijten is aan de genomen beleidsmaatregelen (National Audit Office, 2005b). Het rapport “Improving School Attendance in England” onderzocht de absentie op school.

Normering van verantwoording In geen enkele van de 15 studies uit de steekproef, besteedde het NAO aandacht aan de verantwoording.

3.5. Methoden en technieken 1. Het personeel beschikt over een groot aantal handleidingen om het werk te ondersteunen. De basishandleiding voor performance audit is het Value for Money Handbook. A guide for building quality into VFM examinations (NAO, 2003d), deze handleiding is de opvolger van de handleiding Value for money Handbook uit 1997. Daarnaast zijn er vele handleidingen over bepaalde specifieke aspecten van performance audit, bijvoorbeeld: -

Collecting, analysing and presenting data. How software can help (1996),

-

Benchmarking. How benchmarking can help in value-for-money examinations (1997),

-

Designing value-for-money studies. A guide (1997),

-

Picking the winners. A guide to value-for-money study selection (1997),

-

Performance measurement. What to look for in value-for-money studies (1998)

Deze handleidingen worden ook in beperkte mate extern verspreid (bijvoorbeeld aan universiteiten). 2. Het NAO beschikt naast de basissoftware (Excell, Access, PowerPoint,…), ook over gespecialiseerde software voor zowel kwantitatieve analyse (SPSS,…) als kwalitatieve analyse (NVivo, ATLAS…..) (NAO, 1996) (vfuture, 2003). 3. Een database over performance audit (value-for-money database) bevat informatie over vroegere onderzoeken: de gehanteerde onderzoeksvragen, methoden, consultants waarop een beroep werd gedaan, belangrijkste aanbevelingen en impact van het onderzoek (NAO, 1997b: 9). 4. Het NAO hanteert een ruime waaier aan onderzoeksmethoden en is zeer innovatief op dat vlak. Tabel 3-8 geeft de evolutie weer in de onderzoeksmethoden. Method

1980's

1990's

Documentenanalyse

86

137

Interviews

86

137

Analyse van secundaire data

25

19

Surveys

6

44

73


Observatie van activiteiten/ site visit

27

47

Correspondentie met geauditeerde

-

-

Benchmarking / interne vergelijkingen

-

5

Internationale vergelijkingen

7

14

Cases

13

34

Statistische analyses

1

14

Consultatie met derden/experten

15

78

Modellering

-

2

Diepte-interviews

-

6

20

27

Interviews met experten

-

-

Focusgroepen

-

4

86

137

Steekproef

No. of reports examined

Tabel 3-8 Onderzoeksmethoden van het NAO (Pollitt et.al., 1999: 129). 5. In vergelijking met de jaren '90 is in de periode 2000-2003 het gebruik van internationale vergelijkingen en van surveys sterk toegenomen. In vrijwel elk onderzoek wordt gebruik gemaakt van een panel met experten (afkomstig uit de publieke sector, universiteiten, de consultingsector, professionele organisaties….). Er wordt ook gestreefd naar een grotere inzet van kwalitatieve onderzoeksmethoden (Interviews NAO oktober 2003), zoals focus groepen.30 6. Het NAO verzamelt de informatie die ze nodig heeft zowel bij de geauditeerde organisaties als bij particulieren (bijvoorbeeld klanten, huisartsen, bedrijven…). Bij particulieren heeft het NAO geen afdwingbare toegang tot informatie, zoals bij de publieke organisaties, maar niettemin is de medewerking zeer groot. Het verzamelen van gegevens bij particulieren vond ingang bij performance audits die gefocust waren op de kwaliteit van de dienstverlening (om de tevredenheid van klanten te meten) en is nu een ingeburgerde praktijk die ook voor andere aspecten wordt gebruikt. 7. Het NAO gaf in 1997 volgende opsomming van bronnen van normen (NAO, 1997b: 12-13): “Criteria should, where possible, be based on widely accepted standards, norms or targets eg:

30

-

legislation;

-

departmental regulations and guidance;

-

professional standards;

-

performance objectives and targets;

-

management practices accepted by the department; and

-

contractual requirements.”

Zie bijv. Performance Management - Helping to Reduce World Poverty, 2002, Ship Surveys and Inspections,

2001, Compensating Victims of Violent Crime, 2000, Supporting Innovation : Managing Risk in Government Departments, 2000, Purchasing Professional Services, 2001, Better Public Services through e-government, 2002, Progress in making E-Services Accessible to all - Encouraging use by older people, 2003, Warm Front : Helping to Combat Fuel Poverty, 2003

74


In deze opsomming zijn, behoudens de “professionele standaarden”, vooral bronnen terug te vinden die van de overheid zelf uitgaan. Het NAO baseert zich hoofdzakelijk op officiële bronnen (Put, 2005: 6). Volgens interviews met personeel van het NAO zouden ook de vakliteratuur en de externe specialisten die worden ingeschakeld in het onderzoek een belangrijke rol spelen. Het NAO heeft nog geen project ondernomen om de normen die ze al heeft gebruikt te synthetiseren en codificeren. 8. We hebben 15 recente rapporten van het NAO geanalyseerd om na te gaan welke methoden en technieken hoofdzakelijk gebruikt worden. Ten eerste hebben we gekeken naar het onderzoeksdesign van de performance audits. Een eerste element van het onderzoeksdesign betreft het tijdstip van de meting. Hier stelden we vast dat de meerderheid van de rapporten die we analyseerden opgebouwd waren volgens een nameting. In drie rapporten was er sprake van een voor- en nameting, bijvoorbeeld in het rapport “Improving School Attendance in England” en het rapport “Reducing Vehicle Crime”. In 7 van de 15 rapporten maakte het NAO een vergelijking in de tijd. In 8 van de 15 rapporten vonden we een vergelijking tussen verschillende organisaties.

Onderzoeksdesign

15

12

9

6

3

0 NAO

Voor- en nameting Controlegroep

Voormeting Vergelijking in tijd

Nameting Vergelijking tussen organisaties

Figuur 3-3 Onderzoeksdesign in een selectie van 15 performance audits van het NAO (20032005).

9. Welke technieken van dataverzameling gebruikt het NAO vooral? Het is opmerkelijk dat het NAO zeer veel verschillende methoden van dataverzameling combineert. In bijna alle rapporten wordt gebruik gemaakt van documentenanalyse of analyse van dossiers en databannken van de adminsitraties. In alle audits die we onderzochten, maakte het NAO gebruik van interviewtechnieken. het ging hoofdzakelijk om individuele interviews, maar ook focusgroepen blijken ingeburgerd (in 6 op de 15 rapporten). Het NAO past zeer vaak surveytechnieken toe. In twee derde van de audits die we bekeken, werd gewerkt met vragenlijsten. Ook observatietechnieken komen regelmatig voor, namelijk in een derde van de rapporten. Het gaat dan vooral om participerende observatie, maar in een rapport

75


werd er gebruik gemaakt van mystery shopping, namelijk het rapport “Citizen Redress”. In 13 van de 15 rapporten maakte het NAO gebruik van expertpanels en consultatie met derden.

Dataverzameling

15

12

9

6

3

0 NAO

Analyse van documenten en data Survey Consultatie met derden

Interview Observatie

Figuur 3-4 Methoden van dataverzameling in een selectie van 15 performance audits van het NAO (2003-2005).

10. Welke analysetechnieken gebruikt het NAO hoofdzakelijk? Het NAO gebruikt verschillende methoden van analyse. Alle rapporten bevatten kwalitatieve analyses. Het is opmerkelijk dat het NAO ook zeer veel gebruik maakt van kwantitatieve analysetechnieken. Het gaat dan vooral om univariate analyses, maar in drie rapporten werden ook multivariate analysetechnieken gebruikt (vb. in het rapport “Management of sickness absence in the prison service”). Alle rapporten uit onze steekproef bevatten beschrijvende analyses, maar in 9 van de 15 rapporten waren er ook verklarende analyses.

76


Data-analyse

15

12

9

6

3

0 NAO Kwantitatief

Kwalitatief

Beschrijvend

Verklarend

Figuur 3-5: Data-analyse in een selectie van 15 performance audits van het NAO (2003-2005).

3.6. Impact van performance audit

3.6.1. Informatie van het NAO 1. De belangrijkste indicatoren over impact worden gepubliceerd in het jaarverslag. Voor de periode 2002-2003 waren de cijfers de volgende (NAO, 2003b): -

Er werd, over de laatste 3 jaar, 1.5 miljard pond aan financiële baten gerealiseerd dankzij de audits (zowel financiële audit als performance audit). Hierdoor wordt de doelstelling om 8 pond te besparen per pond kosten, overtroffen

-

Er werden 50 rapporten gepubliceerd.

-

De geauditeerde rekeningen hadden betrekking op meer dan £ 600 miljard aan uitgaven en inkomsten.

In het jaarverslag 2001 vinden we nog een vierde indicator: -

In 2000-2001 werden meer dan 90 percent van de 360 aanbevelingen van de Public Accounts Committee geaccepteerd. Uit de follow-up blijkt dat de geaccepteerde aanbevelingen bijna altijd worden geïmplementeerd.

77


Figuur 3-6 Evolutie van besparingen (in miljoen £) gerealiseerd als gevolg van onderzoek van het NAO (NAO & Haines Watts, 2004: 4). 2. Deze besparingen worden zowel gerealiseerd als gevolg van financiële audit als van value-formoney audit. De meerderheid van de besparingen wordt echter gerealiseerd als gevolg van performance audit. Dit percentage is de laatste jaren nog toegenomen.

Figuur 3-7 Percentage van de besparingen gerealiseerd als gevolg van performance audit (evolutie van 1999 tot 2003) (NAO & Haines Watts, 2004: 5). 3. De financiële impact van het NAO is het grootst in de domeinen van publiek-private samenwerking (29% van de besparingen) en welzijn en sociale zaken, werkgelegenheid en onderwijs (21% van de besparingen). 4. Het NAO onderscheidt 3 categorieën van impact (NAO, 2003d: 25): -

Kwantificeerbare financiële impact: besparingen in de uitgaven of verhoogde inkomsten als gevolg van een verhoogde zuinigheid of efficiëntie, zoals goedkopere aankopen, meer output produceren met dezelfde middelen.

-

Kwantificeerbare, niet-financiële impact, bijvoorbeeld grotere tevredenheid van klanten, kortere wachttijden.

78


-

Kwalitatieve impact: een verbetering van bijvoorbeeld managementpraktijken … zonder dat er een meetbaar voordeel is.

5. In de handleiding performance audit worden 5 verschillende tijdstippen onderscheiden waarop deze impact zich kan voordoen (NAO, 2003d: 24): -

Vóór een audit wordt voorgesteld. De verwachting dat een onderzoek zou kunnen doorgaan kan al een positieve impact hebben. De ruchtbaarheid die wordt gegeven aan audits kan overheidsdiensten aanmoedigen om verbeteringen door te voeren. Deze impact is moeilijk te meten.

-

Bij de aankondiging dat een audit doorgaat. In reactie op een aangekondigd onderzoek kan een organisatie een interne beoordeling laten doorgaan, en zich hierbij eventueel laten inspireren door de voorstudie van het NAO, en op basis hiervan verbeteringen doorvoeren.

-

Tijdens de audit kan de geauditeerde al maatregelen nemen.

-

Nadat het auditrapport werd gepubliceerd. De geauditeerde kan na de publicatie van het rapport acties ondernemen, zodat zij op de hoorzitting van het PAC kan aantonen dat zij al verbeteringen heeft doorgevoerd.

-

Nadat de Public Accounts Committee het rapport heeft besproken. Nadat de Public Accounts Committee een eigen rapport met aanbevelingen heeft gepubliceerd, reageert de Treasury in een memorandum.

6. Om de impact te meten wordt als volgt te werk gegaan 31: -

De afdelingen volgen de impact op en noteren het resultaat hiervan in een impact register. Eind februari wordt de bereikte impact in het vorige kalenderjaar geaggregeerd om de globale impact, van zowel financiële audit als performance audit, te bepalen.

Het gaat dus wel degelijk om

de gerealiseerde impact, niet om de potentiële impact. Wanneer het gaat om baten die terugkeren, zoals bijv. besparingen die voortvloeien uit efficiëntere aankoopmethodes, worden deze baten voor 3 jaar meegeteld. Het NAO houdt rekening met de netto baten, na aftrek van de kosten nodig om deze baten te realiseren. Ook besparingen voor de burger worden meegerekend (bijv. lagere prijzen voor nutsvoorzieningen als gevolg van de toepassing van aanbevelingen uit NAO audits). -

Binnen het NAO kunnen de auditors een expert panel consulteren om hen te helpen de impact correct in te schatten.

-

De informatie over impact dient gevalideerd te worden door de geauditeerde organisaties. Omdat het berekenen van de impact geen louter objectief, technisch en onbetwistbaar proces is, is er ruimte voor persoonlijk oordeel. De geïnterviewde ambtenaren bij het NAO bevestigen dan ook dat er over de cijfers een zekere onderhandeling kan zijn met de geauditeerde. De ruimte voor onderhandeling zal kleiner zijn naarmate het NAO met sterker bewijsmateriaal voor de dag kan komen.

-

De impactschattingen worden ook geauditeerd door de interne auditors van het NAO.

31 Deze beschrijving is gebaseerd op een interview bij het NAO in oktober 2003, en op de volgende interne documenten van het NAO : Audit Circular 02/03 Measuring the Impact of NAO Work, January 2003, 9 p. Striving to achieve more, s.d. 8 p.

79


7. Binnen het NAO is men zich bewust van enerzijds de kracht van de indicator van financiële impact om het succes van het NAO af te meten, maar anderzijds ook van de noodzaak om deze indicator aan te vullen met indicatoren die demonstreren dat het NAO ook bijdraagt aan de kwaliteit en effectiviteit van

overheidsdiensten.

Het

belang

van

kwantificeerbare

financiële

impact

in

het

prestatiemeetsysteem van het NAO en in de verantwoording naar buiten, roept de vraag op of dit er niet toe kan leiden dat de aandacht eenzijdig wordt gericht op zuinigheids- en efficiëntieonderzoeken, waar de meeste besparingen te realiseren zijn. Dit lijkt niet het geval te zijn. Binnen het NAO is men zich bewust van dit risico en wordt er gestreefd naar een evenwichtig portfolio van performance audits (NAO, 2003f). Vele onderzoeken zijn gefocust op de kwaliteit van de dienstverlening en leveren geen kwantificeerbare financiële impact op. Het grootste deel van de financiële impact zou elk jaar gerealiseerd worden dankzij 4 à 5 onderzoeken. Voor de toekomst wordt er aan gedacht om ook indicatoren te formuleren om meer kwalitatieve verbeteringen zichtbaar te maken.

3.6.2. Externe informatie over de impact van performance audit 1. Er is in het Verenigd Koninkrijk onderzoek gedaan naar de effecten en neveneffecten van audit. Power (1999) kaartte het ontbreken van empirische informatie over de effectiviteit van audit aan. Hij besprak ook de (mogelijke) negatieve neveneffecten van audit, zoals colonization (de organisatie internaliseert de waarden en praktijken van de auditor en wordt auditable, maar functioneert niet noodzakelijk beter) en decoupling (audit wordt afgehandeld als een ritueel dat voor de rest geen invloed heeft op de organisatie, audit vindt plaats in een eigen wereld, los van de organisatorische werkelijkheid). Zijn ideeën werden hoofdzakelijk toegepast op financiële audit, maar zijn vaak ook relevant voor performance audit. Shore en Whright (1999) (2000) hebben een onderzoek gedaan naar de effecten van audit in het hoger onderwijs, vanuit een cultureel-antropologish referentiekader. Er is echter vooralsnog geen onderzoek gedaan naar de effecten van performance audits van het Verenigd Koninkrijk.

80

Hoofdstuk 4: Performance audit in de Canadese rekenkamer

HOOFDSTUK 4. Performance audit in de Canadese rekenkamer

4.1. Wettelijk mandaat

4.1.1. Historisch overzicht 1. John Lorn McDougall, een voormalig parlementslid, werd in 1878 aangeduid als eerste onafhankelijke Auditor General van Canada. Deze job werd tot dan toe uitgeoefend door de viceminister van Financiën. De Auditor General had toen twee hoofdfuncties. Enerzijds examineerde hij uitgevoerde transacties en rapporteerde hij erover, anderzijds gaf hij al dan niet zijn goedkeuring over overheidscheques. Elke overheidstransactie, van de aankoop van schoenveters tot contracten voor bruggenbouw, om maar iets te noemen, werd minutieus opgelijst. Deze graad van detail onthult een focus die anders ligt dan het werk van de Office of the Auditor General of Canada (OAG) van vandaag. Toch wordt, net zoals vandaag, de Auditor General verondersteld te rapporteren of overheidsmiddelen uitgegeven worden zoals het Parlement het bedoelde. 2. In 1931 wees het Parlement de verantwoordelijkheid om overheidscheques te verlenen aan een nieuw uitgetekende overheidsfunctie, deze van controleur van het ministerie van Financiën (Comptroller of the Treasury). Dit maakte een duidelijke functiescheiding mogelijk tussen de overheid en de auditor; de overheid die verantwoordelijk wordt gesteld voor het verzamelen en verspreiden van publieke middelen, en de auditeur die verantwoordelijk wordt voor het beoordelen en rapporteren over de wijze waarop de middelen worden beheerd. 3. Sinds de jaren 1950 begon het werk van de OAG te evolueren in de huidige richting, toen de Auditor General ging rapporteren over ‘niet-productieve betalingen’ als transacties die, hoewel legaal, geen klaarblijkelijk voordeel verschaften aan Canadezen. De rapporten waren controversieel, omdat overheidsfunctionarissen het gevoel kregen dat de Auditor General zijn oordeel gaf over beleidslijnen en daardoor buiten zijn mandaat leek te treden. 4. In 1977 verduidelijkte nieuwe wetgeving - de Auditor General Act - niet alleen de verantwoordelijkheden van de Auditor General, ze breidde ze ook uit naar de praktijk van performance audits. De Auditor General ging niet alleen kijken naar de juistheid van financiële staten, hij kreeg een breder mandaat om ook de wijze te beoordelen waarin de overheid haar zaken beheert. De nieuwe wet handhaaft het principe dat de Auditor General geen oordeel vormt over de gemaakte politieke keuzes, maar dat hij wel onderzoekt hoe deze beleidslijnen geïmplementeerd worden. 5. In juni 1994 wordt de Auditor General Act geamendeerd om het mogelijk te maken tot drie rapporten per jaar uit te geven die toegevoegd worden aan het jaarrapport.

81


6. In december 1995 wordt de positie van Commissioner of the Environment and Sustainable Development gecreëerd in de OAG. De departementen worden verplicht om jaarlijkse duurzame ontwikkelingsstrategieën te publiceren (OAG (2005), http://www.oag-bvg.gc.ca).

4.1.2. Wetgeving 1. Het wettelijke mandaat van de OAG staat omschreven in de Auditor General Act en de Financial Administration Act. 2. De bekrachtiging van de Auditor General Act maakte het in 1977 voor de Office of the Auditor General mogelijk performance audits uit te voeren. Deze wet maakt het de Auditor General mogelijk te rapporteren over de zuinige en efficiënte besteding en aanwending van overheidsmiddelen. Ook brengt de Auditor General in kaart of de effectiviteit van programma’s gemeten wordt en of erover gerapporteerd wordt. In 1995 werd deze wet geamendeerd, om verantwoordelijkheden gerelateerd aan milieu en duurzame ontwikkeling te kunnen omsluiten (OAG, 2004a: 14). 3. Daar waar de OAG in de beginfase de term ‘Value-for-Money’ hanteerde, spreekt zij in de performance audit manual sinds juni 2004 van ‘Performance Audit’.

4.1.3. Reden van bestaan 1. De OAG neemt zowel een verantwoordingsrol als een verbeterrol op zich. Enerzijds gedraagt de OAG zich als een waakhond, die beheersing en verantwoording ten aanzien van het parlement benadrukt. Anderzijds gedraagt zij zich als een management consultant die de overheid adviseert in het gebruik van goede praktijken. 2. Performance audit, en controle, wordt op een negatieve wijze door de OAG ingevuld als ‘het wijzen op tekortkomingen’; het performance audit mandaat voorziet immers dat de auditor nagaat in welke mate overheidsmiddelen besteed zijn zonder respect voor de criteria zuinigheid en efficiëntie, en in welke mate de technieken die de effectiviteit van programma’s meten ontbreken (Auditor General Act, 7 (2) (d) en (e)). Tegenover die negatieve benadering heeft de OAG een positief verhaal geplaatst dat de positieve aspecten van de overheidswerking benadrukt. Zij doet dit vanuit haar rol als managementconsultant

waarin

zij

actief

beste

overheidspraktijken

gaat

promoten.

Deze

rollencombinatie heeft een conflictueus, duaal karakter in zich (Saint-Martin, 2004: pp.121-140). 3. De OAG normeert enkel ten behoeve van het managementniveau. Aucoin pleit ervoor de rol van de Auditor General bij het in kaart brengen van bestuurlijke toerekenbaarheid (accountability) aan te scherpen. Dit moet gebeuren door in de audits expliciet de aandacht te richten op de actoren die de autoriteit en aansprakelijkheid bezitten. Ministers moeten aangeduid worden als degenen die de autoriteit en de verantwoordelijkheid hebben om de vereiste correctieve acties te nemen. Ambtenaren kunnen niet verantwoordelijk gesteld worden voor administratieve tekortkomingen wanneer zij verondersteld worden te handelen in een beleids- en beheerskader waarvoor zij zelf niet

82


verantwoordelijk zijn. Toch gebruikt vandaag de OAG te vaak een terminologie die eenzijdig uitgaat van de verantwoordelijkheid van ambtenaren in het verbeteren van overheidsmanagement (1998: 1113). 4. Aucoin stelt daarenboven dat performance audits van de OAG, willen zij de publieke aansprakelijkheid verbeteren, performantie moeten meten vanuit de brede waaier aan publieke waarden

die

de

burger,

en

niet

enkel

de

burger

als

belastingbetaler,

verwacht

van

overheidsmanagement. Performance audits moeten standaarden gebruiken die ook publieke, moeilijker

kwantificeerbare

waarden

in

kaart

brengen

die

informeren

over

goed

overheidsmanagement, zoals bijvoorbeeld de principes van gelijke behandeling, rechtvaardigheid en billijkheid. Deze vereiste wordt des te belangrijker in een Canadese context die uitblinkt in afwezigheid van andere administratieve beoordelingsagentschappen zoals de diensten van de ombudsman of parlementaire commissarissen die het mandaat hebben zich te richten op deze niet-financiële waarden (1998: pp.21).


of

organieke

afbakening:

waar

mag

men

onderzoeken? 1. De OAG heeft één businesslijn – legislatief auditen – en zes productlijnen (OAG, 2003b: 10): -

Jaarlijkse audit van de samenvattende financiële staten van de Canadese overheid;

-

Jaarlijkse financiële audit van Crown corporations, territoriale overheden en nationale en internationale organisaties;

-

Buitengewone onderzoeken van Crown corporations;

-

Performance audits van departementen en agentschappen, waaronder audit van milieu en duurzame ontwikkeling;

-

Monitoring op het vlak van milieu en duurzame ontwikkeling;

-

Beoordeling van prestatierapporten van agentschappen.

2. De Canadese regering heeft het mandaat van de OAG tot op vandaag nog niet uitgebreid tot een ‘follow-the-dollar’ mandaat; de OAG heeft dus niet de toelating om audits uit te voeren buiten overheidsdepartementen en –agentschappen die werken met federale fondsen.

4.1.5. Materiële afbakening van het concept performance audit: wat mag men onderzoeken? 1. Performance audit wordt gedefinieerd als een systematische, doelgerichte, georganiseerde en objectieve beoordeling van overheidsactiviteiten. Het biedt het Parlement inzicht in de uitvoering van overheidsactiviteiten,

het

verschaft

aanbevelingen

ter

verbetering

van

een

verantwoorde

overheidswerking, ethische en effectieve publieke dienstverlening, goed bestuur, duurzame ontwikkeling en bescherming van het Canadese erfgoed. Performance audit houdt een beoordeling in van de zuinigheid, efficiëntie, kosteneffectiviteit en milieueffecten van overheidsactiviteiten; brengt

83


procedures in kaart om de effectiviteit te meten; brengt de verantwoordingsrelaties in kaart, en verschaft informatie over de bescherming van publieke goederen. Het voorwerp van de audit is een overheidsentiteit of –activiteit, een sectorale activiteit of een overheidsbreed functioneel gebied (OAG, 2004a: 13).

2. De doelstelling van de Auditor General Act bestaat erin de verantwoordelijkheden van de Auditor General niet alleen duidelijk te stellen, maar ze eveneens uit te breiden. De Auditor General gaat sinds de implementatie van deze wet niet alleen kijken naar de juistheid van financiële staten, hij krijgt hiermee ook een breder mandaat om ook de wijze te beoordelen waarin de overheid haar opdrachten beheert. 3. De Auditor General rapporteert over de correcte aanwending van de financiële middelen. Hij gaat na of deze aanwending gebeurde in overeenstemming met de hierop van toepassing zijnde wetgeving en procedures. De aanwending wordt onderworpen aan criteria van effectiviteit, efficiëntie, zuinigheid en duurzaam ondernemen. Box 4-1 geeft een uittreksel uit de Auditor General Act. Art. 7 (2) Each report of the Auditor General shall call attention to anything that he considers to be of significance and of a nature that should be brought to the attention of the House of Commons, including any cases in which he has observed that (a) accounts have not been faithfully and properly maintained or public money has not been fully accounted for or paid, where so required by law, into the Consolidated Revenue Fund; (b) essential records have not been maintained or the rules and procedures applied have been insufficient to safeguard and control public property, to secure an effective check on the assessment, collection and proper allocation of the revenue and to ensure that expenditures have been made only as authorized; (c) money has been expended other than for purposes for which it was appropriated by Parliament; (d) money has been expended without due regard to economy or efficiency; (e) satisfactory procedures have not been established to measure and report the effectiveness of programs, where such procedures could appropriately and reasonably be implemented; or (f) money has been expended without due regard to the environmental effects of those expenditures in the context of sustainable development. Box 4-1: Verplichte aandachtspunten in de rapportage door de OAG (Department of Justice, 2004, pp.2-3) (Auditor General Act art.7 (2))

Box 4-1 definieert noch limiteert het bereik van performance audits. Hiermee wordt de voorstellingswijze aangeduid waar het Parlement om vraagt.

4. De Commissioner of the Environment and Sustainable Development voorziet in monitoring over duurzame ontwikkeling en rapporteert over de vooruitgang die departementen maken naar

84


duurzame ontwikkeling. Duurzame ontwikkeling moet beschouwd worden als een continu veranderend concept dat gebaseerd is op de integratie van sociale, economische en ecologische belangen, en dat kan bereikt worden door (Financial Administration Act, 1995, c.43, s.5): (a) de integratie van milieu en economie; (b) de bescherming van de gezondheid van de Canadezen; (c) de bescherming van ecosystemen; (d) de tegemoetkoming aan internationale verplichtingen; (e) het promoten van gelijkheid; (f) een integrale benadering van de beleids- en beheerscyclus, dat verschillende economische opties toetst aan hun kost op het vlak van milieu en natuurlijke hulpbronnen, en dat verschillende milieu- en hulpbronnenopties toetst aan hun economische kost; (g) het vermijden van pollutie; (h) het respect voor de natuur en de belangen van toekomstige generaties.

4.1.6. Toegang tot informatie 1. De Auditor General heeft op elk tijdstip vrije toegang tot informatie die nodig is in de uitoefening van zijn bevoegdheden. Hij heeft het recht om informatie, rapporten en uitleg die hij nodig acht voor dat doel te ontvangen van medewerkers bij de overheid. Voor een effectieve uitoefening van zijn functie kan de Auditor General medewerkers huisvesten in een departement om van daaruit de organisatie door te lichten. De Auditor General kan een kerndepartement en agentschap erom verzoeken informatie en uitleg te laten verschaffen door huidige en vroegere medewerkers. Als de Auditor General de mening is toegedaan dat hem onvoldoende informatie of uitleg werd verschaft, dan kan hij de Governor in Council erom verzoeken verdere instructies te geven aan de medewerkers van het departement of het agentschap (Department of Justice, 2004, pp.4) (Auditor General Act, art. 13 (1) (2), art. 14 (1) (2) (3)).

4.2. Organisatie

4.2.1. Organisatiestructuur 1. De algemene professionele en administratieve krijtlijnen voor de OAG worden uitgetekend door het Uitvoerend Comité. Dit Comité tekent de beleidslijnen voor de OAG uit en houdt toezicht op alle managementaspecten en operationele aspecten. Het uitvoerend comité is samengesteld uit de Auditor General, de vice-auditeur-generaal en 11 assistent-auditeuren-generaal, waaronder de Commissioner of the Environment and Sustainable Development (http://www.oag-bvg.gc.ca). 2. Figuur 4-1 geeft een overzicht van de comités met externe leden die advies geven aan de Auditor General. Het gaat om: het auditcomité, het panel van senior adviseurs, het panel van adviseurs over aboriginal kwesties en het onafhankelijk adviescomité.

85


3. Het Auditcomité biedt een toezichthoudende rol in het management van kwaliteit en interne controle in de OAG. Het Comité is samengesteld uit senior OAG-auditeurs en wordt voorgezeten door een externe senior auditeur uit de private sector. Het panel van senior adviseurs vertegenwoordigt de belangrijkste groepen van stakeholders van de OAG, zoals de overheid, het bedrijfsleven, de accountants, de academische gemeenschap en andere partijen. Het doel bestaat erin strategisch advies te verschaffen over het werk van de OAG. Het panel van adviseurs over aboriginal kwesties ondersteunt de Auditor General in zijn aandacht voor kritische kwesties die gevolgen hebben voor de Canadese inboorlingen en hun gemeenschappen. Het onafhankelijke adviescomité, dat samengesteld is uit senior accountants, adviseert de Auditor General over de audits van de financiële staten van de Canadese overheid, van Crown corporations en van andere entiteiten in de publieke sector. Dit Comité helpt de Auditor General ontwikkelingen in het accounting- en auditberoep op te volgen en hun impact op het werk van de OAG in ogenschouw te nemen. 4. De Commissioner of the Environment and Sustainable Development is verantwoordelijk voor de monitoring en rapportage aan het Parlement, in naam van de Auditor General, van de prestaties van de federale overheid op het vlak van de bescherming van het milieu en het promoten van duurzame ontwikkeling. Het panel van milieuadviseurs, dat bestaat uit afgevaardigden van milieugroepen, de industrie en de academische gemeenschap, adviseert de Commissioner of the Environment and Sustainable Development over zijn werk en de ontwikkelingen op het gebied van milieu en duurzame ontwikkeling (http://www.oag-bvg.gc.ca).

4.2.2. Personeel 1. De Governor in Council duidt voor een periode van 10 jaar een gekwalificeerd auditeur aan als Auditor General (Department of Justice, 2004, pp.2) (Auditor General Act, art.3 (1)). 2. De Auditor General duidt een senior ambtenaar aan als Commissioner of the Environment and Sustainable Development, die rechtstreeks aan de Auditor General rapporteert over de opdrachten van de OAG met betrekking tot milieu en duurzame ontwikkeling (Department of Justice, 2004, pp.5) (Auditor General Act, art.15.1).

86


Figuur 4-1 Organogram van de Office of the Auditor General (http://www.oag-bvg.gc.ca)

87


4.2.3. Staf 1. De OAG stelt ongeveer 600 werknemers tewerk in zowel het hoofdkwartier in Ottawa als in de vier regionale afdelingen in Vancouver, Edmonton, Montreal en Halifax (OAG:2003b: 16). De professionele auditeurs zijn hoog gekwalificeerd in hun domein en staan voor een rijke mix aan academische disciplines en werkervaring. Het multidisciplinaire team bestaat uit accountants, ingenieurs,

juristen,

managementspecialisten,

information

technology

professionals,

milieudeskundigen, economisten, historici en sociologen. De auditeurs zijn georganiseerd in teams die toegewezen worden aan specifieke departementen, agentschappen of Crown corporations (http://www.oag-bvg.gc.ca). 2. Hoewel ruim een derde van het personeel uit specialisten in andere disciplines dan accounting bestaat, besteedt het OAG onvoldoende aandacht aan het ‘opleiden’ van zijn lezerspubliek, zijnde de parlementsleden en journalisten, in het onderkennen van het verschil tussen traditionele en performance audits. De gebruikers van de performance audits moeten zich ervan bewust worden dat performance audits gebaseerd zijn op methodologieën die vatbaar zijn voor een grotere mate van subjectiviteit als dat het geval is in traditionele, financiële audits waarin het beoordelingselement rust op algemeen aanvaarde accounting principes (GAAP Generally Accepted Accounting Principles) (Aucoin, 1998: p.14). 3. Alle professionele auditeurs hebben een postgraduaatsopleiding of een bachelorsgraad en professionele aanstelling (designation), en velen hebben bijkomende certificaten. 4. De OAG biedt training aan studenten aan die in de leer zijn in programma’s voor beëdigd accountant, gecertificeerd algemeen accountant, en gecertificeerd management accountant, en aan gegradueerden met een mastertitel die zich willen verdiepen in performance audit. 5. Auditoren worden in hun werk bijgestaan door specialisten in rechtswetenschappen, professionele praktijken, internationale relaties, information technology, kennismanagement, human resources, financiën, communicatiewetenschappen en parlementaire betrekkingen (http://www.oag-bvg.gc.ca). 6. Om te voorzien in expertenadvies heeft de OAG zijn interne specialisten opgedeeld in drie categorieën die ter beschikking worden gesteld aan de teams voor performance audits. Het gaat om Functional Responsibility Leaders (FRLs), Product Leaders (PLs) en Subject Matter Experts (SMEs). Het is aan de auditteams om advies te vragen bij de geschikte FRLs, PLs en SMEs (OAG: 2004a: p.34). 7. De OAG besteedt haar auditactiviteiten niet uit. Bij wetgeving is de OAG niet verantwoordelijk voor de audit van alle entiteiten. Daar waar zij geen auditverantwoordelijkheid heeft, lichten onafhankelijke auditeurs de entiteiten door. Dit is ondermeer het geval bij de Bank van Canada, commerciële crown corporations zoals de Canada Post Corporation, en overheidsbedrijven zoals de Canadian Wheat Board. Professionele dienstverlening kan wel uitbesteed worden, zoals bijvoorbeeld het herzien van het strategisch beleid van de OAG (Sterck et al, 2005: p.47).

88


4.2.4. Prestatiemeetsystemen 1. De OAG heeft mechanismen in het leven geroepen om van de belangrijkste parlementaire en departementale stakeholders op regelmatige basis feedback te krijgen over de uitgevoerde performance audits. In 2002 voerde de OAG een gedetailleerde survey uit bij leden van het Parlement. Hieruit vloeide een aanpassing van de communicatiestrategie van de OAG voort; kernboodschappen zouden proactiever gecommuniceerd worden. Een nieuwe opvolgingsstrategie van de OAG bestaat er ook in ambtenaren uit de doorgelichte overheidsorganisaties te bevragen over de auditbenadering, het proces en de aanbevelingen uit de rapporten (National Audit Office, Riksrevisjonen, Cour des Comptes, Algemene Rekenkamer, 2004: 4). 2. De OAG meet haar impact in de verbetering van de aansprakelijkheid en dienstverlening van de overheid door het percentage van aanbevelingen uit de performance auditrapporten te bepalen die binnen een termijn van vier jaar in rekening zijn gebracht. Elk jaar publiceert de OAG een rapport met een aantal audithoofdstukken die specifiek ingaan op het opvolgen van eerder verricht werk. Het OAG’s jaarrapport maakt daarenboven melding van het aantal aanbevelingen die onderschreven worden door het Public Accounts Committee (National Audit Office, Riksrevisjonen, Cour des Comptes, Algemene Rekenkamer, 2004: 3-4). 3. In 2003 onderzocht een peer review team met vertegenwoordiging van de Rekenkamers van het Verenigd Koninkrijk, Frankrijk, Noorwegen en Nederland de praktijk van de performance audit in de OAG van Canada. Twee leden van de General Accounting Office van de Verenigde Staten namen deel als observatoren (2004: 1). 4. De Treasury Board duidt een gekwalificeerde auditeur aan die de ontvangsten en uitbetalingen van de OAG onderzoekt en die hierover jaarlijks rapporteert aan de House of Commons (Auditor General Act, art.21 (1)).

4.3. Proces van performance audit 1. De doorlooptijd van een performance audit, van planning tot en met rapportage, kan tot 18 maanden in beslag nemen (OAG, 2005). 2. Elk facet van de performance audit vereist een professioneel oordeel en individueel initiatief. Nadat een entiteit of een deel ervan, een sector of een functioneel gebied gekozen is, worden beslissingen genomen over: -

Wat en hoeveel auditen;

-

Welke auditbenadering, methodologie en technologie aanwenden om doelmatigheid vast te stellen;

-

Welke kennis en ervaring is er vereist van het personeel om de audit toe te kennen.

89


3. De geloofwaardigheid van de OAG, de kosteneffectiviteit van de performance audit en de kwaliteit van de rapporten van de Auditor General en de Commissioner of the Environment and Sustainable Development zijn afhankelijk van een correct oordeel in elke fase van het auditproces. De benadering voor elke fase in het performance audit van de OAG wordt geïllustreerd in Figuur 4-2. Deze benadering maakt het de onderzoeksteams mogelijk in een vroeg stadium uit te klaren of een audit kosteneffectief zal zijn en of de onderzoeksopzet zo niet herzien moet worden. Audits kunnen aangepast of geschrapt worden vooraleer wezenlijke kosten zijn gemaakt.

4. Consultatie maakt integraal deel uit van het proces. Zo moet op de cruciale beslissingsmomenten in het auditproces, daar waar gepast, het advies gevraagd worden van de assistent auditor general, de Commissioner of the Environment and Sustainable Development, de functional responsibility leaders, de product leader for performance audit, de subject matter experts, de quality reviewer, het Audit Advisory Committee, het departementale management en andere interne ondersteuningsgroepen. 5. De volgende generieke eigenschappen vatten de basisbenadering samen: -

Professioneel oordeel en individueel initiatief;

-

Consultatie op de sleutelmomenten van de beslissingname;

-

Een iteratief proces om het belang voor en de interesse van het Parlement te onderstrepen;

-

Staf en auditmethodologie aangepast aan de karakteristieken van de te onderzoeken entiteit;

-

Auditkosten die in evenwicht zijn met de parlementaire interesse voor de te onderzoeken kwesties.

6. Per aanvaarde performance audit, performance studie of auditnota wordt een quality reviewer aangeduid. Dit geeft een bijkomende waarborg van onafhankelijkheid en objectiviteit in de auditplanning en auditrapportage. Een kwaliteitscontroleur geeft advies maar neemt geen beslissingen, hij maakt deel uit van het audit adviescomité, hij maakt geen deel uit van het auditteam.

90


Figuur 4-2 Benadering voor Performance audits (OAG, 2004a: 40)

91


4.3.1. Planning: selectie van onderwerpen voor audits 1. Het planningsproces start met een keuze die gemaakt moet worden uit het groot aantal te auditen overheidsactiviteiten. Het strategisch plan van de OAG en haar visie, geeft een duidelijk vertrekpunt voor de beslissing wat te auditen. Ook bepaalt het jaarlijkse Report on Plans and Priorities de strategische of eind-outcomes die de OAG wil bereiken. Over het algemeen slaat dit op beter bestuurde overheidsprogramma’s en een betere verantwoording ten aanzien van het parlement en het publiek; meer specifiek handelt dit over (OAG, 2004a: 19): -

Publiek vertrouwen in overheidsorganisaties;

-

Goed bestuur en een overheid die rekenschap verschuldigd is;

-

Vooruitgang naar duurzame ontwikkeling;

-

Effectieve en efficiënte programma’s;

-

Een geloofwaardige prestatierapportering vanuit de departementen aan het Parlement.

2. Het selectieproces voor performance audits wordt gestuurd vanuit drie criteria: significante risico’s verbonden aan het te onderzoeken gebied, relevantie van de voorgestelde auditactiviteiten in functie van de klemtonen die de Auditor General wenst te leggen, en vatbaarheid voor auditactiviteiten (OAG, 2004a: 19-21). 3. Risicogebaseerde auditplanning gaat uit van de vraag hoe goed een entiteit haar belangrijkste risico’s beheerst, eerder dan te kijken naar gebieden waarin zwaktes vermoed worden. Teams identificeren de belangrijkste factoren die de entiteit(en) in een functioneel gebied kunnen beïnvloeden, en maken een inschatting van de mate waarin de entiteit antwoordt op uitdagingen, kansen en kritische succesfactoren die een invloed hebben op het bereiken van de doelstellingen en de legislatuurgebonden verantwoordelijkheden. Een significant risico houdt de noties in van relevantie, het belang van het bereiken van overheidsresultaten en het huidige parlementaire of publieke belang. 4. De Auditor General identificeert vijf gebieden waarop zij haar aandacht wenst te richten gedurende haar ambtstermijn. Deze gebieden maken integraal deel uit van het Strategisch Plan, en helpen bij de planning en rapportage over het auditwerk. De aandachtsgebieden zijn: -

Verantwoording ten aanzien van het Parlement;

-

Effectieve publieke dienstverlening;

-

Aboriginal kwesties;

-

Welzijn van de Canadezen – gezondheid, veiligheid, milieu, en sociale en nationale veiligheid;

-

Erfgoed.

De te selecteren auditactiviteiten zullen moeten passen in de door de Auditor General naar voren geschoven aandachtsgebieden en in haar mandaatsopdrachten. Politieke beleidsbeslissingen en het beheer van programma’s die geleverd worden door andere bestuursniveaus vallen buiten het mandaat van de Auditor General. 5. De planning neemt enkel aandachtsgebieden op die voor audit vatbaar zijn. Auditontvankelijkheid gaat dan over: -

De beschikbaarheid en geschiktheid van gekwalificeerde interne en externe hulpbronnen;

92


-

Hoge politieke gevoeligheid;

-

Complexiteit van het voorgestelde aandachtsgebied;

-

Ervaring van het auditteam.

6. In 2001 werd een nieuw proces geïntroduceerd onder de naam One-Pass Planning (OPP), of eendelige planning. In het verleden richtte de lange termijn organisatieplanning zich hoofdzakelijk op de bepaling van prioriteiten voor performance audits. Als onderdeel van een project ter modernisering van de auditmethodologie en technische ondersteuning, het zogenaamde Advancing Audit Practices Project (AAPP), zocht de OAGC naar een meer systematische, geïntegreerde en risicogebaseerde benadering voor lange termijn planning voor entiteiten. OPP werd ontwikkeld en uitgetest, en in juni 2001 goedgekeurd door het uitvoerend comité voor brede toepassing. Het is van toepassing op de auditplanning

voor

programma’s

en

functionele

gebieden

in

federale

departementen

en

agentschappen, en is getest voor toepassing op Crown corporations. De doelstellingen van OPP zijn (OAG, 2002c: 2): -

Verzekeren dat de beschikbare hulpbronnen van de OAG ingezet worden in die gebieden waar de draagwijdte en het risico het grootst is; en hiermee samenhangend,

-

Verzekeren aan de Auditor General en het Parlement dat de OAG haar verantwoordelijkheden ten volle uitoefent, en alles in het werk stelt om discretie te waarborgen in het selectieproces van audits.

Vanuit OPP kan een entiteit duiden op een belangrijk programma (vb primair en secundair onderwijs), een departement of agentschap (vb Canadian Human Rights Commission), een portfolio van departementen en agentschappen (vb Heritage Canada), een sector (vb gezondheids- en veiligheidsregulerende programma’s) of een functioneel gebied (vb human resource management). 7. Samengevat heeft OPP de volgende sleutelkenmerken: het is meer formeel gebaseerd op een begrip van organisatierisico’s (op niveau van de entiteit), het wordt vergemakkelijkt door de methodologie, elektronische werkinstrumenten en kwaliteitsmanagementprocessen, en het laat een systematische organisatiebrede toepassing toe (OAG, 2002c: 2). 8. Deze plannen verschillen van vroegere performance auditplannen doordat er een sterkere nadruk ligt op organisatierisico’s (waaronder het beheer van de organisatie) die kritisch zijn voor het succes van de organisatie (of het functioneel gebied). Ook worden risico’s geïntegreerd voor alle mandaatopdrachten, en niet enkel voorde performance audit. De elementen uit het one-pass planning proces zijn (OAG, 2004a: 21): -

Identificeer de entiteits- of functionele doelstellingen en aan de legislatuur verbonden verantwoordelijkheden;

-

Bereid het risicoprofiel van de entiteit voor of breng de uitdagingen en risico’s in kaart die een invloed hebben op het bereiken van de functionele doelstellingen;

-

Bereid het entiteitscontroleprofiel voor (eventueel niet van toepassing op functionele gebieden);

-

Breng de risico’s op één lijn met het mandaat van de OAG en zijn vijf aandachtsgebieden;

-

Identificeer potentiële audits en bepaal prioriteiten;

-

Schat hiaten in de auditdekkingsgraad in;

-

Breng verslag uit aan het uitvoerend comité.

93


9. Een risicogebaseerde benadering van de entiteitsplanning heeft volgende voordelen. Eerst kan de planning van de OAG beter afgestemd worden op de strategische belangen van het senior management en van de centrale agentschappen. De planningwoordenschat wordt afgestemd, met verbeterde communicatie tot gevolg. Ten tweede kan er symmetrie tot stand komen tussen de risicogebaseerde plannen, ontwikkeld door de Interne Audit in departementen aan de ene kant en de OAG aan de andere kant, wat kan leiden tot verbeterde samenwerking. Ten derde kunnen de auditproduktlijnen gebaseerd worden op eenzelfde analyse van ondernemingsrisico’s. Een geïntegreerde benadering van planning en auditmanagement wordt aangemoedigd vanuit de elektronische

ondersteuningsinstrumenten

en

het

kwaliteitsmanagement.

De

stappen

voor

risicoanalyse op entiteitsniveau worden beschreven in de elektronische ondersteuningsinstrumenten. Deze bevatten onder meer lijsten van mogelijke interviewvragen, ze geven een instrument voor selectie van externe stakeholders, en ze reiken rapportagesjablonen aan, om de teamoverschrijdende consistentie te verhogen (OAG, 2002c: 3-5). 10. Risicogebaseerde auditplanning richt zijn aandacht op hoe goed een entiteit de belangrijkste risico’s beheert, eerder dan zich te richten op gebieden van vermoede zwaktes. Als auditor van het Parlement hanteert de OAG een burgergerichte risico-analyse. Canadezen kijken naar de overheid: - als burgers, die wensen dat democratische instituties en tradities beschermd worden; - als klanten van overheidsdiensten, die staan op een effectieve dienstverlening tegen een redelijke kostprijs; - als belastingbetaler die van de overheid eist dat zij de geïnde middelen als een goede huisvader beheert (OAG, 2002c: 5-6). Het zijn deze rollen die als uitgangspunt gelden voor de uitwerking van de OPP. 11. Een kanttekening bij risico-analyse wordt gemaakt door Power. Het auditrisicomodel, dat audits oriënteert op basis van een risico-analyse, blijft in grote mate een subjectief model. In de planning blijft het aspect van een politieke keuze vervat. Risico-analyse helpt om binnen een beleidsdomein te komen tot een objectieve selectie. Tussen beleidsdomeinen speelt het element van politieke waardering echter sterk mee (Power, 1997). 12. Binnen de vijf aandachtsgebieden – welzijn van de Canadezen, aboriginal kwesties, effectieve publieke dienstverlening, verantwoording ten aanzien van het Parlement, en erfgoed - die de Auditor General selecteerde voor de duurtijd van haar mandaat, worden auditteams verondersteld de voorgestelde auditproducten te filteren. Toch krijgen zij tegelijkertijd de opdracht ondernemingsrisico’s te identificeren onafhankelijk van deze aandachtsgebieden. 13. Samengevat staat het OPP proces voor (OAG, 2002c: 6): -

Performante uitvoering van de audit waarbij gebruik gemaakt wordt van standaard risico-analyse technieken;

-

Focus op het risico vanuit het perspectief van Canadezen;

-

Ontvankelijk voor de unieke doelstellingen, de organisatieomgeving en het controleprofiel van de entiteit;

-

Beïnvloed door aandachtsgebieden van de Auditor General;

94


-

Uitgewerkt in overleg met ambtenaren van de desbetreffende entiteit waar mogelijk;

-

Gebaseerd op het oordeel van een senior auditor.

4.3.2. Uitwerken van een onderzoeksvoorstel voor elke audit 1. Auditobjectieven worden uitgedrukt in termen van overheidsprestaties en de manier waarop deze bereikt worden. Het gaat dus om de te behalen resultaten, en de zuinigheid en efficiëntie waarmee de resultaten behaald moeten worden (OAG, 2004a: 49-50). 2. Om het onderwerp van de audit te kunnen doorgronden is het verkrijgen van een algemeen overzicht van cruciaal belang. Zeker voor organisaties die sinds lange tijd niet meer onderhevig waren aan een audit, of in auditteams waarvan de samenstelling wijzigde, kan de fase tot het bekomen van een gedetailleerd overzicht wenselijk zijn. In deze overzichtsfase (overview stage) verwerven auditteams een brede kennis van het te auditeren subject, vooraleer te starten met een gedetailleerde planning van een audit. Het is van belang voor het auditteam om een algemeen beeld te krijgen van het te auditeren subject. Hiertoe is kennis nodig van: wetgevende autoriteiten, organisationele regelingen, de omgeving waarbinnen de entiteit handelt, personeelscijfers, het uitgaven- en inkomstenniveau van de te auditeren entiteit, klanteninformatie, het doel, de missie en verwachte resultaten, de activiteiten op het terrein, aansprakelijkheidsregelingen, controlesystemen, de belangrijkste risico’s die de organisatiewerking negatief kunnen beïnvloeden, de omgeving en organisationele zwaktes. Speciale aandacht gaat hierbij uit naar kwesties van duurzame ontwikkeling opdat de auditteams de amendementen die aan de Auditor General Act werden toegevoegd in 1995 volledig mee in ogenschouw kunnen nemen (OAG, 2004a: 42). Deze overzichtsfase is nodig vooraleer een overheidsbrede of sectoriële audit kan uitgevoerd worden. 3. Na afsluiting van de overzichtsfase, wordt een overzichtsrapport opgesteld. Dit omvat een bekendmaking van het onderwerp van de audit, de gebieden die te onderzoeken zijn tijdens de onderzoeksfase (survey stage), de motivatie van deze keuze, een initiële schatting van kosten en de tussentijdse outputs van de audit. Het geeft ook een overzicht van te consulteren auditeurs in de OAG en de capaciteiten die nodig zijn om de audit te kunnen uitvoeren. 4. Na het bekomen van een algemeen overzicht, kan het auditteam overgaan naar de verkenningsfase (survey stage). Deze fase heeft tot doel te garanderen dat de audit kan uitgevoerd worden in overeenstemming met de gedragslijnen van een performance audit. Ook wordt een onderzoeksplan opgesteld dat als basis dient voor de efficiënte en kosteneffectieve uitvoering van de audit. De auditeurs verwerven informatie om initiële beslissingen over omvang, kost, tijdsbesteding en bekwaamheden te verfijnen, en om auditobjectieven, gebieden voor diepteonderzoek, auditnormen en de onderzoeksbenadering voor te stellen. Daar waar de overzichtsfase niet expliciet wordt uitgevoerd, kan deze gecombineerd worden met deze onderzoeksfase. Het onderzoeksplan (survey plan) dat uit deze fase voortvloeit, beschrijft:

95


-

het programma, de gebieden en de onderwerpen die doorgelicht zullen worden (daar waar mogelijk wordt een berekening meegegeven van de kostprijs en het aantal voltijds equivalenten die ingezet zullen worden);

-

de objectieven en de timing voor het behalen van de vooropgestelde outputs;

-

de auditeurs die geconsulteerd zullen worden.

5. Een brede variëteit aan procedures en technieken wordt ingezet om de gewenste informatie in de onderzoeksfase te bekomen: interviews met het management, evaluaties door autoriteiten, kabinetsdocumenten, richtlijnen, een doorlichting van de strategische plannen van de entiteit, een beoordeling van de entiteit’s internetsite, een beoordeling van de controleprocedures, een analyse van het prestatiemeetsysteem, een identificatie van beste praktijken uit de sector, een survey van het gebruik van technologie, etc. (OAG, 2004a: 45). 6. De resultaten van de onderzoeksfase worden opgenomen in het verkenningsrapport (survey report). Het omvat alleszins (OAG, 2004a: 46): -

voorafgaande auditobjectieven;

-

achtergrondinformatie van de geauditeerde organisatie of dienst;

-

kwesties in verband met duurzame ontwikkeling, die relevant zijn in de voorgestelde audit;

-

een identificatie van hoe de audit gelieerd is aan de prioriteiten van de OAG en aan de risico’s die geïdentificeerd zijn in de OPP;

-

algemene beschrijving van de voorgestelde auditbenadering;

-

voorstel van auditnormen;

-

tijdsbesteding van de audit;

-

rapportagestrategie.

7. De volgende stap in de uitwerking van het onderzoeksvoorstel bestaat erin het plan voor uitwerking van de audit te finaliseren en te documenteren in een onderzoeksplan (examination plan). Dit plan omvat een meer gedetailleerde beschrijving van de auditprocedures, het verdiept (OAG, 2004a: 47): -

de auditobjectieven;

-

het finale auditbereik, en de motivatie hiertoe;

-

kwesties in verband met duurzame ontwikkeling;

-

auditnormen;

-

voor elk project een beschrijving van de auditbenadering en methodologie;

-

voor elk project een identificatie van de auditstaf, waaronder regionale en functionele stafmedewerkers en de kwalificaties van contractuelen, nodig voor de uitoefening van audittaken;

-

gedetailleerde geraamde kostprijs voor elk project;

-

tijdsbesteding van de audit, mijlpalen en controlepunten hierbij;

-

tijdsbesteding, geschatte kosten en in te zetten middelen voor de rapportagefase.

Ook in deze fase worden talrijke consultatierondes opgezet met auditeurs uit het eigen huis.

96


4.3.3. Uitvoering van de audit 1. Na de auditdoelstellingen, het bereik en de auditnormen bepaald te hebben, tekent het auditteam een auditbenadering uit. Parlementairen drukken de voorkeur uit voor resultaatsgerichte informatie. Twee auditbenaderingen worden omschreven in de performance audit handleiding van de OAG (2004a: 54-56): -

Rechtstreekse audit van resultaten, waarbij gekeken wordt naar prestaties en effecten;

-

Audit van controlesystemen, waarbij gekeken wordt naar de systemen en zijn ingebouwde controles.

2. In de onderzoeksfase (examination stage) gaat men over op de feitelijke uitvoering van de audit. Het doel bestaat erin de nodige auditbewijsstukken te verzamelen om de vaststellingen gemaakt in het auditrapport integraal te staven. De performance manual handleiding geeft vuistregels om de geschiktheid van bewijsstukken te toetsen en te versterken.

4.3.4. Rapportering 1. Audits resulteren in een rapport dat voldoet aan de rapporteringsvereisten opgesteld door de OAG. Het doel van het rapport is positieve verandering te bewerkstelligen. Het eindgebruik ligt bij parlementairen in hun nauwgezette opvolging van overheidsactiviteiten. Het rapport communiceert op een heldere manier over (OAG, 2004a: 56-80): -

Doelstellingen van de audit en de reikwijdte van de audit;

-

Gehanteerde professionele standaarden;

-

Het niveau van zekerheid waarmee uitspraken kunnen gedaan worden;

-

Een beschrijving van het programma of geauditeerde activiteit;

-

De gebruikte auditnormen en het tegensprekelijke debat hierover met het management;

-

De observaties;

-

De aanbevelingen om correctieve actie uit te voeren (let wel: in auditverslagen komt dit niet steeds aan bod);

-

De reactie van het management;

-

Conclusies bij elke doelstelling.

4.3.5. Nazorg 1. Een opvolgingsstrategie van de OAG bestaat erin surveys af te nemen bij ambtenaren in departementen die het voorbije jaar het voorwerp uitmaakten van een performance audit. De surveys hebben tot doel feedback te krijgen over de auditbenadering, het proces en de aanbevelingen die ambtenaren verondersteld worden op te volgen. Deze feedback zal dan gebruikt worden in het verbeteren van het auditwerk van de OAG (National Audit Office, Riksrevisjonen, Cour des Comptes, Algemene Rekenkamer, 2004: 4).

97


2. Elk jaar publiceert de OAG een rapport met een aantal audithoofdstukken die specifiek ingaan op het opvolgen van eerder verricht werk (National Audit Office, Riksrevisjonen, Cour des Comptes, Algemene Rekenkamer, 2004: 4). We kunnen dus spreken van een echte programmeringsstrategie om follow-up onderzoek te doen.

4.4. Auditproducten

4.4.1. Types audit 1. De OAG heeft meerdere benaderingen voor performance audits ontwikkeld. Dit laat toe de auditprodukten beter af te stemmen op de specifieke informatiebehoeften van het Parlement. Overheidsactiviteiten en projecten doorkruisen dikwijls departementale lijnen. Rapportage over een activiteit of project in zijn totaliteit is meestal zinvoller dan een segmentaire, aan een specifieke entiteit verbonden beoordeling. Tabel 4-1 geeft de verschillende types auditrapporten weer (OAG, 2004a: 23). Type audit

Omschrijving

Entiteit- of programma-audit

Biedt een overzicht van het geheel of een deel van de activiteiten van

(entity or program audit)

een departement of agentschap

Overheidsbrede audit

Concentreert zich op overheidsbrede thema’s of functionele gebieden,

(government-wide audit)

zoals HRM, in een aantal door de OAG geselecteerde departementen

Sectoriële audit

Concentreert zich op programma’s die door een aantal entiteiten

(sectoral audit)

worden aangeboden, zoals zoeken hulpoperaties

Auditverslagen

Rapporteert gewoonlijk over één onderwerp dat toebehoort aan het

(audit

note,

audit

observation)

mandaat van de OAG. Is een alternatief mechanisme om te rapporteren over noemenswaardige kwesties die tijdens het auditwerk onder de aandacht worden gebracht

Nazorg

Rapporteert

over

overheidsacties

als

(follow-up)

aanbevelingen en observaties van de OAG

reactie

op

eerdere

Tabel 4-1 Types audit rapporten (OAG, 2004a) 2. De peer review door het National Audit Office, Riksrevisjonen, Cour des Comptes en de Algemene Rekenkamer deelt de auditprodukten als volgt op: integrale value-for-money audits en rapporten die items van duurzame ontwikkeling behandelen, auditverslagen (audit notes) en follow-up rapporten. 3. De gemiddelde tijd die besteed wordt aan een gewone value-for-money audit is 9.000 uren, voor een overheidsbrede audit komt het aantal uren te liggen op 10.000 uren, voor een follow-up rapport ligt dit op 5.000 uren (2004d: 7). 3. Voor het jaar 2003-2004 werd 53,3% van de actuele netto operationele auditkost besteed aan performance audits (2004d).

98


4.4.2. Structuur en inhoud van de rapporten: documentenanalyse Hoofdstuk 1.6.2 beschrijft de gehanteerde methodologie voor de documentenanalyse. Ook voor de Office of the Auditor General of Canada hebben we een steekproef bepaald van 15 performance auditrapporten uit de periode 2003-2005. We bespreken achtereenvolgens de focus van de rapporten en de door de Canadese Rekenkamer gebruikte methoden en technieken.

Focus 1. In de performance auditrapporten komen systematisch de volgende rubrieken aan bod: -

hoofdpunten;

-

focus van de audit;

-

observaties en aanbevelingen;

-

conclusies;

-

rubriek ‘over de audit’ die een toelichting geeft bij de doelstellingen, het bereik, de benadering (methodologisch), de gehanteerde expliciete of impliciete normen en het auditteam;

-

bijlagen.

2. In 10 van de 15 rapporten is er een alinea over normen aanwezig (in de rubriek ‘over de audit’). In 12 van de 15 rapporten is de methodologische informatie gebundeld in een methodologische alinea (in de rubriek ‘over de audit’). 3. In de analyse van de performance auditrapporten komen eenduidige trends in het normeringsgedrag van de Rekenkamer naar voren. Figuur 4-3geeft dit overzicht. In quasi alle auditrapporten – in 14 van de 15 rapporten - normeert de Rekenkamer beheersaspecten. In het rapport ‘Natural Resources Canada – Governance and Strategic Management’ stelt de OAG bijvoorbeeld dat Natural Resources Canada een personeelsplan moet ontwikkelen en implementeren dat de competenties duidelijk schetst die nodig zijn voor toekomstige organisatieontwikkelingen. Beleidsaspecten komen daarentegen minder voor, in 4 van de 15 documenten. Ook kan opgemerkt worden dat er een duidelijke trend aanwezig is tot het beoordelen en normeren van verantwoordingsaspecten; we stellen dit vast in 9 documenten. Zo stelt de OAG in haar rapport ‘Implementation of the national initiative to combat money laundering’ dat de overheid effectieve mechanismen voor monitoring van resultaten moet ontwikkelen om op regelmatige wijze samenvattende informatie te kunnen overmaken aan het Parlement. Zoals het wettelijke mandaat het ook aangeeft, is de OAG enkel bevoegd om onderzoek uit te voeren naar de efficiënte en zuinige werking van het overheidsapparaat. Het voeren van effectiviteitsonderzoek behoort niet tot haar onderzoeksmandaat. Het spreekt voor zich dat deze trend vaststelbaar is in de documentenanalyse.

99


15 12 9 6 3 0

Beheer

Beleid

Prestaties

Effectiviteit

Verantwoording

Figuur 4-3 Focus performance audit OAG

4. Wanneer we de categorie beheer verder opdelen, dan stellen we vast dat beheersaspecten die slaan op het management en het middelenmanagement in een ruime meerderheid van de rapporten voorkomen. Omwille van de beperkte steekproef, geven we dit uit louter indicatieve overwegingen mee. 5. In de mate waarin de beleidsaspecten al genormeerd zijn, zal het eerder gaan om normering van het beleidskader, de weten regelgeving en taakverdeling.

Methoden en technieken 1. De OAG ontwikkelde een kwaliteitsmanagementkader (Quality Management Framework) om werknemers wegwijs te maken in het beheer van performance audits. De beleidslijnen zijn in overeenstemming met de standaarden die uitgezet zijn door het Canadian Institute of Chartered Accountants. De OAG neemt deze standaarden over als minimale auditvereisten en neemt daarenboven standaarden en praktijken over uit andere disciplines (OAG, 2004a: 10). 2. Wanneer een auditeur niet akkoord gaat met de in de handleiding Performance Audit uitgetekende beleidslijnen, of wanneer hij de beleidslijnen niet kan uitvoeren, moet hij dit onder de aandacht brengen van het Performance Audit Management Committee (OAG, 2004a: 10). 3. Auditnormen slaan op de standaarden die ontwikkeld worden om de prestaties van geauditeerde organisaties te kunnen meten en beoordelen. Auditnormen zijn relevant, betrouwbaar, neutraal, begrijpbaar en volledig. De bronnen van de normen zijn (OAG, 2004a: 52): -

Het wettelijke kader en de regelgeving;

-

Standaarden ontwikkeld door erkende professionele organisaties;

-

Reports on Plans and Priorities en Performance Reports van entiteiten;

-

Algemeen aanvaarde goede praktijken;

-

Standaarden ontwikkeld door de geauditeerde organisatie;

100


-

Maatstaven specifiek ontwikkeld voor de audit, waarbij inspiratie gevonden wordt vanuit gelijksoortige activiteiten;

-

Eerder werk van de OAG.

4. In de analyse van auditrapporten van de OAG gingen we niet alleen de focus van de audit na, ook keken we naar de gehanteerde methoden en technieken. Figuur 4-4 illustreert de verschillende aspecten van het onderzoeksdesign. De Canadese Rekenkamer voert in alle rapporten een nameting uit. Net omdat effectiviteitsonderzoek niet behoort tot het onderzoeksmandaat van de OAG, wordt er geen gebruik gemaakt van het combineren van voor- en nametingen. Wat wel opvalt is dat 11 van de 15 rapporten een vergelijking in de tijd maken. Het past volledig in de programmeringsstrategie van OAGC om follow-ups te doen. Een vergelijking tussen organisaties komt in 7 rapporten voor.

Voor- en nameting Voormeting 15

Nameting

12 9 6

Controlegroep

3

Vergelijking in tijd

0

Vergelijking tussen organisaties

Figuur 4-4 Onderzoeksdesign OAG

5. Figuur 4-5 gaat in op de wijze waarop data verzameld worden. De courante dataverzameling gebeurt vanuit documentenanalyse en data-analyse van primaire en secundaire gegevensbronnen. Dit gebeurt in 14 van de 15 rapporten. In 10 rapporten wordt deze informatie aangevuld met informatie verkregen uit interviews. We stellen verder vast dat data in geringe mate verkregen worden uit surveys, observaties en consultatie met derden; telkens slechts in 1 rapport.

101


15

Analyse van documenten en data Interview

12 9 6 3

Survey Observatie Consultatie met derden

0

Figuur 4-5 Dataverzameling OAG

6. Ook uit peer review van de National Audit Office, Riksrevisjonen, Cour des Comptes, en de Algemene Rekenkamer blijkt dat zowel een gedetailleerde analyse van documenten en data als interviews de belangrijkste gebruikte technieken van dataverzameling zijn. Er wordt vaak een brede consultatieronde opgezet met belangengroepen en organisaties, bijvoorbeeld op het vlak van milieuaudits. Ook hebben alle audits een adviescomité van externe experten. Er zijn functionele experten en onderwerpexperten, bijvoorbeeld om auditteams te adviseren op het vlak van kwantitatieve analyses. Er zijn ook kwaliteitsinspecteurs voor elke audit (National Audit Office et al, 2004: 4). 7. Diezelfde peer review geeft als aanbeveling mee dat case-onderzoek meer zou moeten toegepast worden, omdat het de mogelijkheid geeft beste praktijken op te lichten. Ook verdient het aanbeveling, zo stelt het peer review rapport, om de methodiek van focusgroepen meer toe te passen. Om organisatie-eigen kenmerken te identificeren, om te begrijpen waarom beslissingen genomen zijn, om de juiste surveyvraagstelling te kunnen uitwerken en om praktische aanbevelingen te kunnen formuleren, is het opzetten van een focusgroep een aangewezen methode van dataverzameling. De OAG zou in auditverslagen (audit notes) en value-for-money audits op kleine schaal nieuwe methodologieën kunnen uittesten en zo het innovatieproces kunnen versterken (National Audit Office et al, 2004: 5, 7). 8. Figuur 4-6 leert ons dat data-analyse in alle rapporten van kwalitatieve en beschrijvende aard is. Een verwaarloosbaar aantal rapporten zijn verklarend en maken een kwantitatieve analyse.

102


15 12 9 6 3 0

Kwantitatief

Kwalitatief

Beschrijvend

Verklarend

Figuur 4-6 Data-analyse

4.5. Impact van performance audit

4.5.1. Informatie van de Office of the Auditor General 1. De OAG heeft ten aanzien van het Parlement de verbintenis op zich genomen het presteren van de Auditor General en de Commissioner of the Environment and Sustainable Development in kaart te brengen en parlementaire stakeholders te bevragen over de impact van de uitgevoerde performance audits. Een survey van 2002 die in opdracht van de OAG uitgevoerd werd bij leden van het Parlement toont aan dat (OAG, 2003c: 5-8): -

Parlementairen in grote mate vertrouwd zijn met de aanbevelingen van de OAG;

-

Parlementairen uit de veelheid aan informatie over de werking van departementen en agentschappen met moeite de essentie kunnen halen;

-

Parlementairen de OAG beschouwen als een geloofwaardige actor;

-

Parlementairen in het aanscherpen van de communicatiestrategie van de OAG een manier zien om de prestaties van de OAG te versterken;

-

Om de bredere discussie over de aanbevelingen van de OAG te verkrijgen, stellen parlementairen voor de informatie maximaal te verspreiden via parlementaire-TV, internet, e-mail, en presentaties op conferenties, seminaries en lezingen;

-

Parlementairen hebben een positief idee over het algemeen gebruik en het gebruik in parlementaire commissies van de aanbevelingen in de auditrapporten;

-

Parlementairen geven toe niet de volledige tekst van de auditrapporten te lezen, maar enkel de samenvattingen of de voor het parlementaire werk relevante paragrafen;

-

Parlementairen beschouwen het werk van de Commissioner of the Environment and Sustainable Development als relevant voor die commissies die zich specifiek bezig houden met milieukwesties;

-

Parlementairen beoordelen, vanuit hun beperktere kennis van het werk van de Commissioner of the Environment and Sustainable Development, het presteren van de Commissioner of the Environment and Sustainable Development als ondergeschikt aan dat van de Auditor General.

103


Toch vinden parlementairen dat de Commissioner of the Environment and Sustainable Development goed werk verricht en dat het zichtbaar maken van het werk van de Commissioner aandacht verdient. 2. Een nieuwe opvolgingsstrategie van de OAG bestaat er ook in ambtenaren uit de doorgelichte overheidsorganisaties te bevragen over de auditbenadering, het proces en de aanbevelingen uit de rapporten (National Audit Office, Riksrevisjonen, Cour des Comptes, Algemene Rekenkamer, 2004: 4).

4.5.2. Externe informatie over de impact van performance audit 1. Morin deed onderzoek naar de impact van de performance audits op de geauditeerde organisaties. De performance audit heeft zijn waarde vooral bewezen in detectie, meer dan in preventie en correctie van tekortkomingen in managementpraktijken. Performance audit zet geauditeerden ertoe aan verandering te initiëren, overbodige controles te elimineren, of meer betrouwbare controles op te zetten die garant staan voor eerlijke beslissingen of die de kwaliteit van de informatie waarop het beslissingsproces gebaseerd is, verbeteren. De performance audit leidt ook tot een versterkte aandacht van parlementairen, ministers en de publieke opinie voor specifieke problemen. De performance audit dwingt de autoriteiten aandacht te schenken aan voorheen verwaarloosde problemen. Het effect op de aandacht die autoriteiten nadien hebben voor de gestelde problemen is sterker in organisaties met sociale en bestuurlijke doelstellingen, dan in organisaties met culturele, onderwijskundige of economische doelstellingen (2004: 6, 10). 2. In peer review onderzoek wordt de concrete suggestie geformuleerd om in follow-up onderzoek niet enkel de geïmplementeerde aanbevelingen in kaart te brengen, maar een stap verder te gaan door ook te gaan kijken in welke mate prestaties verbeterden en organisationele problemen opgelost raakten na implementatie van de aanbevelingen. Er kan nagedacht worden over het ontwikkelen van een bevattelijk systeem dat leereffecten op organisatieniveau in kaart brengt (National Audit Office, Riksrevisjonen, Cour des Comptes, Algemene Rekenkamer, 2004: 6, 8).

104

Hoofdstuk 5: Conclusie

HOOFDSTUK 5. Conclusie

5.1. Vergelijking van praktijken in performance audit, in internationaal perspectief

5.1.1. Wettelijk mandaat a. Institutioneel mandaat 1. De drie rekenkamers hebben onderzoeksbevoegdheden bij ministeries en intern en extern verzelfstandigde agentschappen. 2. Voor de Algemene Rekenkamer (AR) kunnen we, hoewel de Comptabiliteitswet het niet zo benoemt, spreken van een ‘follow-the-money’ mandaat. Dit is een mandaat dat toelaat het belastingsgeld van de burger te volgen van minister die inhoudelijk verantwoordelijk is tot de laatste schakel in de beleidsuitvoering. De AR kan onderzoek doen bij bedrijven waarin de staat deelneemt en bij bedrijven of instellingen die een subsidie, lening of garantie van het Rijk hebben gekregen. Ook naar eindbegunstigden van Europese subsidies heeft de AR een inspectieopdracht. Het National Audit Office (NAO) heeft evenzeer een ‘follow-the-money’ mandaat; het heeft toegang tot alle organisaties die publieke diensten leveren en gefinancierd worden door departementen of agentschappen. De Canadese regering heeft daarentegen het mandaat van de Office of the Auditor General of Canada (OAG) tot op vandaag nog niet uitgebreid tot een ‘follow-the-dollar’ mandaat; de OAG heeft dus niet de toelating om audits uit te voeren buiten overheidsdepartementen en –agentschappen die werken met federale fondsen. 3. De rekenkamer kan ofwel een verantwoordingslogica - het beoordelen van de verantwoording van de minister ten aanzien van het parlement - ofwel een verbeterlogica - het formuleren van suggesties ter verbetering van de werking van de overheid - hanteren. In haar performance audits legt de AR de nadruk op het beoordelen van het beleid van de minister. De AR laat zich eerder leiden door een verantwoordingslogica dan door een verbeterlogica. Bij het NAO ligt de focus op de controle van departementen en agentschappen, niet op het beoordelen van de middeleninzet door ministers. Ook de OAG normeert ten behoeve van het managementniveau. Zowel de OAG als het NAO vult de rol van verantwoording én die van adviseur in verbetering in. Wel is het zo dat beide rollen uitgaan van de verantwoordelijkheid van de ambtenaren.

105


b. Materieel mandaat 1. Efficiëntie, effectiviteit en zuinigheid (economy), kortweg de 3 E’s, zijn kernconcepten in de doelmatigheidsgedachte. Ook de externe auditprocedure gaat vanuit deze concepten de beleids- en beheerspraktijken bestuderen. Zowel het NAO als de AR heeft de wettelijke bevoegdheid om te onderzoeken of de overheidsuitgaven op een zuinige, efficiënte en effectieve wijze gebeuren. Bij de AR spreekt men van een mandaat om de doeltreffendheid en doelmatigheid van het gevoerde beleid te onderzoeken. De OAG heeft dan weer niet het volledige mandaat om de 3 E’s te onderzoeken; ze kan nagaan in welke mate overheidsmiddelen op een zuinige en efficiënte manier zijn besteed, maar ze heeft niet het materiële mandaat om effectiviteit te beoordelen. 2. De drie rekenkamers hebben een materiële bevoegdheid om prestatie-informatie te beoordelen. De AR beschikt over het mandaat om de kwaliteit van de verantwoordingsinformatie te onderzoeken; op grond van de wet beoordeelt de Rekenkamer de jaarverslagen van de ministeries. Het NAO heeft ook de bevoegdheid prestatiemeetsystemen te valideren die dienen ter opvolging van de Public Service Agreements. De evaluatie van de kwaliteit van niet-financiële informatie behoort, vanuit de beoordeling van de prestatierapporten van agentschappen, tot de bevoegdheid van de OAG.

5.1.2. Organisatie van performance audit a. Organisatiestructuur 1. De AR wordt geleid vanuit een collegiaal model. Zowel de organisatie van het NAO als de OAG is gebaseerd op het Westminster model met centralisatie van de macht in handen van de Comptroller and Auditor General in het NAO en de Auditor General in de OAG. De OAG duidt ook een Commissioner of the Environment and Sustainable Development aan die in naam van de Auditor General aan het Parlement rapporteert over de prestaties van de federale overheid op het vlak van de bescherming van het milieu. 2. Zowel het NAO als de AR is georganiseerd volgens beleidsdomeinen, en niet volgens producttypes. De organisatie van de OAG reflecteert naar de administratieve organisatiestructuur; auditeurs worden georganiseerd in teams die zijn toegewezen aan departementen, agentschappen of Crown Corporations. b. Personeelsbeleid 1. Bij de drie rekenkamers worden auditeurs aangeworven vanuit diverse academische disciplines: sociale wetenschappen, bestuurswetenschappen, economie, accountancy en rechtswetenschappen. Bij de AR is elke onderzoeker inzetbaar in zowel performance audits als rechtmatigheidsonderzoek. De AR mikt op generalisten die in een interne opleiding van een jaar tot auditeurs worden opgeleid. Binnen het NAO werkt 1 op 4 personeelsleden aan performance audits. Het NAO moedigt zijn personeel aan een postacademische vorming te volgen, en voorziet in opleidingen over methodologie,

106


rapportering en projectmanagement. . Bij de OAG is 1 op 3 specialist in een andere discipline dan accounting. Alle auditeurs hebben er een postgraduaatsopleiding of een bachelorsgraad en professionele aanwijzing. 2. Zowel voor financiële als voor performance audit doet het NAO in toenemende mate beroep op outsourcing. In 2003-2004 lag de verhouding directe personeelskosten over kosten voor consultants op 80-20. Bij de AR is het aandeel van uitbesteed personeel voor onderzoek verwaarloosbaar. De AR huurde in 2003 en 2004 telkens slechts 0,5% van haar personeelskost voor onderzoek in; in 2005 lag dit percentage op 1,5%. In 2003-2004 besteedde de OAG geen enkele auditactiviteit uit. c. Kwaliteitscontrole 1. De rekenkamers zetten soortgelijke technieken in om de kwaliteit van hun onderzoek te garanderen. De AR heeft een eigen gedragscode die de kwaliteit van haar onderzoek waarborgt. Het NAO ontwikkelde een systeem van interne kwaliteitscontrole. Het gaat om een controlelijst die de overgang naar een volgende fase in het auditproces slechts toelaat als voldaan is aan welbepaalde kwaliteitsdrempels. De OAG beschikt over een kwaliteitsmanagementkader voor het beheer van performance audits, ze stelt een kwaliteitscontroleur aan per aanvaarde performance audit om onafhankelijkheid en objectiviteit in de auditplanning en –rapportage te garanderen. Bovendien was de OAG in 2003 het onderwerp van een ‘peer review’ door buitenlandse zusterorganisaties. Een internationale ‘peer review’ is in 2006 ook voorzien voor de AR.

5.1.3. Proces van performance audit a. Planning 1. Bij de drie onderzochte rekenkamers bepaalt het strategisch plan de selectie van onderzoeksonderwerpen en wordt het selectieproces aangestuurd vanuit een risico-analyse. 2. Zowel de OAG als de AR heeft elk aandachtsgebieden gedefinieerd in zijn strategische planning. Voor de Auditor General van de OAG zijn dit er vijf: verantwoording ten aanzien van het Parlement, effectieve publieke dienstverlening, aboriginal kwesties, welzijn van de Canadezen (gezondheid, veiligheid, milieu, sociale en nationale veiligheid), en erfgoed. De AR richt zich op publieke voorzieningen (in het bijzonder zorg, onderwijs, werk en inkomen), veiligheid (in het bijzonder veiligheid op straat, terrorismebestrijding en voedselveiligheid), en duurzame ontwikkeling (in het bijzonder op het vlak van energie, natuurlijke hulpbronnen en biodiversiteit). Het NAO heeft geen meerjarige aandachtsgebieden vastgelegd, het bepaalt in de jaarlijkse strategische plannen de te auditeren gebieden. Tabel 5-1 lijst de formele selectiecriteria op voor elk van de onderzochte rekenkamers.

107


Algemene Rekenkamer

National Audit Office

Office of the Auditor General

Maatschappelijke meerwaarde;

Risico dat zuinigheid, efficiëntie Er is sprake van significante

Complexe beleidsketen;

en

Er is sprake van risico’s;

bereikt;

effectiviteit

niet

worden risico’s; Relevantie in functie van de

Unieke bevoegdheden van de Financieel belang;

klemtonen

Algemene Rekenkamer;

Actualiteit van het onderwerp;

General wenst te leggen (5

Structurele interventie;

Toegevoegde waarde;

aandachtsgebieden);

Financieel belang

Haalbaarheid

van

die

het Vatbaarheid

de

Auditor

voor

onderzoek;

auditactiviteiten

Verbeterbaarheid

van interne en externe kennis en

(geschiktheid

expertise, politieke gevoeligheid, complexiteit, ervaring van het auditteam) Tabel 5-1 Overzicht van de formele selectiecriteria

b. Formuleren van een onderzoeksvoorstel en uitvoering van de audit 1. Een onderzoeksvoorstel bevat een algemeen overzicht van het onderwerp en het belang van het onderzoek. Het geeft de onderzoeksdoelstellingen weer. Het gaat in op de onderzoeksvragen. Het beschrijft de te hanteren methodiek, en maakt de vertaling naar nodige middelen en voorziene tijdsbesteding. Een onderzoeksvoorstel maakt een inschatting van de impact van de studie. In deze fase wordt al gevraagd naar de mening van de te auditeren organisatie. 2. De uitvoering van de audit gebeurt door interdisciplinaire teams van auditeurs. Daar waar relevant wordt een begeleidingscommissie, bestaande uit medewerkers van de geauditeerde instelling, ingeschakeld. c. Rapportering 1. In het Westminster model worden de leidende ambtenaren ter verantwoording geroepen. In Nederland roept het Parlement de minister ter verantwoording. 2. De AR publiceert de resultaten van elke performance audit in een afzonderlijk rapport. Ook het NAO publiceert de performance audits in afzonderlijke rapporten. Ook publiceert het NAO jaarlijks bijkomend ook een aantal compendiumpublicaties. De OAG publiceert dan weer drie keer per jaar, gebundeld. Waar de AR en de OAG sober zijn in hun rapportage, schenkt het NAO veel aandacht aan de vormgeving van haar rapporten. 3. Als indicator voor de leesbaarheid van rapporten telden we in onze steekproef het aantal pagina’s. Het gemiddelde aantal pagina’s in de performance audits ligt bij het NAO op 50, bij de AR ligt dit op 65

108


en bij de OAG op 27. We willen benadrukken dat het hier enkel om een indicatie van leesbaarheid gaat, die geen rekening houdt met de aanwezige variantie tussen rapporten. 4. Een opmerkelijke vaststelling is dat het NAO niet de gewoonte heeft de gehanteerde normen te expliciteren in een alinea. In onze steekproef gebeurde dit nooit. De Algemene Rekenkamer heeft in 9 van de 15 rapporten een alinea over normen. De OAG verduidelijkt expliciet de gehanteerde normen in 10 van de 15 rapporten. 5.

Het

NAO

verduidelijkt

dan

weer

wel

uitgebreid

in

elk

rapport

de

gehanteerde

onderzoeksmethodologie in een daartoe voorziene methodologische alinea. De OAG heeft geen uitgesproken beleidslijn van het zichtbaar maken van gehanteerde methodologieën, toch neemt zij in 12 van de 15 rapporten een alinea op die eenduidig gewijd is aan de gebruikte methodologieën. De AR is hierin minder transparant; een methodologische alinea is slechts terug te vinden in 6 van de 15 rapporten.

d. Nazorg

1. Elke onderzochte rekenkamer heeft een uitgebouwd systeem van nazorg. De AR heeft een uitgebouwde zelfevaluatie die de strategische en technische productkwaliteit en de kwaliteit van het proces in kaart brengt. Het NAO brengt na de beëindiging van een performance audit de mediaaandacht in kaart. Deze rekenkamer laat de audit extern evalueren en vraagt de geauditeerde organisaties feedback via een schriftelijke vragenlijst en gesprekken. Om een terugkoppeling te krijgen over de auditbenadering, het proces en de aanbevelingen, neemt de OAG vragenlijsten af bij ambtenaren in departementen die het voorbije jaar het voorwerp uitmaakten van een performance audit.

2. Interessant om melden zijn de grote inspanningen die het NAO doet om zichtbaar te maken hoeveel maatschappelijke financiële opbrengsten voortvloeien uit zijn werking. Het NAO heeft zich de doelstelling opgelegd om 8 pond te besparen voor elke pond die het kost.

3. Opvolgingsstrategieën lopen bij de rekenkamers uit elkaar. Over de aanbevelingsratio, of het aantal aanvaarde aanbevelingen, wordt gerapporteerd door het NAO en de OAG. Beide rekenkamers koppelen er een zekere voortgangsindicator aan. De AR stuurt dan weer niet op de aanbevelingsratio; ze wil vermijden dat gemakkelijk haalbare aanbevelingen zouden geformuleerd worden. 4. Ook heeft de OAG een duidelijke ‘follow-up’ strategie van eerder verricht werk door erover te rapporteren. Dit element maakt de beleidscirkel van de OAG rond; het uitvoeren van ‘follow-up’ onderzoek is een bewust element van de programmeringsstrategie. Zowel het NAO als de AR nemen follow-up audits nu ook stelselmatig op in hun programmeringsstrategie. Voor de drie rekenkamers kan gesproken worden van een toenemende trend om follow-up onderzoek uit te voeren.

109


5.1.4. Auditproducten a. Aandeel van de performance audit praktijk in de totale auditactiviteit 1. Voor de periode 2003, 2004 en 2005 publiceerde de Algemene Rekenkamer 48 performance audits, het NAO publiceerde er 172, en de OAG 60. 2. Het NAO besteedt ongeveer een derde van de middelen aan performance audits. Bij de OAG gaat iets meer dan de helft van de actuele netto operationele auditkost naar performance audits. Voor de AR kunnen we de berekening niet maken, we beschikken niet over een directe kostprijscalculatie van performance audits. b. Focus van de performance audit 1. Focus van de rapporten slaat op die conclusies in de performance auditrapporten waarin de rekenkamer een beoordeling of normering verwoordt. Om zicht te krijgen op de focus werd voor elke rekenkamer een steekproef van 15 performance auditrapporten doorgelicht uit de periode 2003-2005. Figuur 5-1 geeft de conclusies weer. 2. De categorie beleid slaat op de beoordeling van de omkadering van de organisatiewerking, zoals dit vertaald wordt in reglementen, budgetten, institutionele kaders en beleidsdoelstellingen. Beleid normeert het gedrag van politici. De categorie beheer verwijst naar de organisatiespecifieke normen die betrekking hebben op de primaire, ondersteunende en managementactiviteiten; het gaat om de normering van het gedrag van de overheidsmanager. Prestaties slaan op de kwantificering van uitgevoerde activiteiten (bijvoorbeeld het aantal verrichte inspecties of toegekende subsidies). Prestaties worden genormeerd vanuit de invalshoeken: omvang, bereik, doorlooptijd, kwaliteit en kostprijs. Normen over effecten gaan in op de functionaliteit van het gevoerde beleid voor de samenleving. Tot slot verwijst de normering van verantwoordingsinformatie naar de informatie over het presteren van de overheid die het parlement ontvangt van de regering.

110


Focus Performance Audit

15

12

9

6

3

0 OAGC

Beheer

AR

Beleid

Prestaties

Effectiviteit

NAO

Verantwoording

Figuur 5-1 Focus Performance Audit

3. De AR besteedt in haar eigen normering in quasi elk rapport aandacht aan normering van beleid. Ook in vergelijking met de OAG en het NAO is deze beleidsfocus opmerkelijk. Het NAO laat zelfs de beleidsnormering volledig buiten beschouwing, maar benadrukt in zijn performance audits vooral de beheersaspecten. Ook schenkt het NAO ruime aandacht aan normen over prestaties. De OAG heeft niet het wettelijke mandaat om effectiviteit te onderzoeken. De AR en het NAO doen dit wel, zij het in beperkte mate. Zowel de OAG als de AR kijken naar normen over verantwoording. Bij de OAG kan men spreken van een duidelijke organisatiestrategie om verantwoordingsnormen in kaart te brengen. 4. Figuur 5-2 geeft schematisch de relatie tussen de actoren die betrokken zijn in een proces van dienstverlening. De actoren zijn: het beleid (de politici), het beheer (de administratie, agentschappen en overheidsorganisaties) en de burger. De actoren staan in onderlinge verbinding vanuit de machtsverhoudingen en de verantwoordingsrelaties tussen de actoren. Burgers oefenen macht uit over de politici vanuit hun stemgedrag. Beleidsmakers hebben dan weer macht over de beleidsuitvoerders vanuit de beheerscontracten die ze onderling afsluiten. De burger staat ook in rechtstreeks verband met de aanbieders van diensten, en heeft rechtstreeks invloed op de vraag naar prestaties. Zowel beleidsmakers als beleidsuitvoerders hebben zich finaal te verantwoorden ten aanzien van de burger. We gebruiken Figuur 5-2 om de focus van de rekenkamers schematisch inzichtelijk te maken. De AR normeert voornamelijk ten aanzien van de politici, en in mindere mate ten aanzien van het beheer. De AR werkt ook normen uit over de relatie tussen regering en parlement. Het NAO beoordeelt het gedrag van overheidsorganisaties die diensten aanleveren, en kijkt naar de overheidsprestaties. De normatiek van de OAG situeert zich bij beheer en bij de verantwoording tussen regering en parlement.

111


Algemene Rekenkamer

Office of the Auditor General of Canada

Regering

Parlement

Beleid

Stem

Contract

Macht van de klant Burger-Klant

Beheer Diensten

National Audit Office

Figuur 5-2 Focus van de audit 32

c. Methoden en technieken 1. De drie onderzochte rekenkamers werkten elk een set van handleidingen en procedures uit. De AR heeft alle normen in performance audits opgenomen in een digitale normendatabank. Het blijkt bijna altijd om officiële bronnen te gaan, zoals regelgeving en parlementaire stukken. Daarnaast formuleert de AR ook zelf normen. Het NAO werkt in hoofdzaak met normen uit officiële bronnen; daarnaast vindt het ook inspiratie in vakliteratuur en bij externe specialisten. Toch heeft het NAO nog geen synthese gemaakt van de tot hiertoe gebruikte normen. De OAG laat zich bij het bepalen van de normen inspireren op het wettelijke kader en regelgeving, op standaarden ontwikkeld door professionele organisaties en de geauditeerde organisaties, algemeen aanvaarde goede praktijken, en haar eigen eerder verricht werk.

32 Bron: aangepast van World Bank (sept. 2003). World Development Report 2004: Making services work for poor people. Chapter 3. p.49

112


2. Aan de hand van de documentenanalyse – de steekproef van 15 performance audit rapporten voor elke rekenkamer – bestuderen we het gebruik van onderzoeksdesigns, dataverzamelingsmethoden en technieken van data-analyse. i. Onderzoeksdesign 1. Vanuit de analyse van het onderzoeksdesign brengen we de veranderingen in kaart tussen de situatie voor en na het invoeren van een beleidsmaatregel. De meting gebeurt steeds achteraf, maar brengt de situatie in kaart die voorafgaat aan of volgt op het invoeren van een beleidsmaatregel. Werken met een controlegroep maakt vergelijking mogelijk met de situatie die verkregen zou worden indien de beleidsmaatregel niet van toepassing zou zijn. Een ander element van het onderzoeksdesign is de mate waarin vergelijkingen gemaakt worden met andere organisaties of in de tijd. 2. Figuur 5-3 maakt duidelijk dat voor het tijdstip van meting grote verschilpunten tussen de rekenkamers uitblijven. Bij veruit de meeste onderzoeken gaat het om zuivere nametingen. Slechts sporadisch passen het NAO en de AR ook al eens de combinatie van voor- en nameting toe. De AR werkt hierbij met een controlegroep, het NAO niet. De combinatie van voor- en nameting kwamen we niet tegen in de onderzochte rapporten van de OAG. Dit is te verklaren vanuit het onderzoeksmandaat van de OAG dat geen effectiviteitsonderzoek toelaat.

Onderzoeksdesign: tijdstip van meting 15 12 Nameting

9

Voormeting Voor- en nameting

6 3 0 OAGC

AR

NAO

Figuur 5-3 Onderzoeksdesign: tijdstip van meting

3. Andere onderzochte elementen van het onderzoeksdesign zijn de mate waarin een rekenkamer in een auditrapport vergelijkingen in de tijd of tussen organisaties opneemt. We stellen vanuit Figuur 5-4 vast dat de OAG in 11 van de 15 rapporten gegevens gaat vergelijken in de tijd; het NAO doet dit in 7 van de 15 rapporten en de AR in 6 van de 15 rapporten. Onderzoeksmateriaal vergelijken tussen organisaties is een techniek die door de drie rekenkamers quasi even frequent wordt toegepast en gemiddeld in de helft van de onderzoeksrapporten voorkomt.

113


Onderzoeksdesign: vergelijking in tijd en tussen organisaties 12 10 Vergelijking in tijd

8 6

Vergelijking tussen organisaties

4 2 0 OAGC

AR

NAO

Figuur 5-4 Onderzoeksdesign: vergelijking in tijd en tussen organisaties

ii. Methoden van dataverzameling 1. Bij het onderzoek naar de methoden van dataverzameling maken we een opdeling naar documentenanalyse in primaire en secundaire data, interview individueel of in groep, survey, observatie en expertenopinie (of consultatie met derde actoren). 2. Figuur 5-5 geeft het overzicht van de gebruikte methoden van dataverzameling, zoals blijkt uit de documentenanalyse. Als belangrijkste conclusie komt naar voor dat het NAO in elke afzonderlijke onderzoeksopzet het meest gediversifieerde pallet aan dataverzamelingsmethoden hanteert. Het NAO kenmerkt zich omdat het, veel meer dan de anderen, verschillende methoden van dataverzameling combineert. Elke dataverzamelingsmethode komt in het algemeen systematisch meer voor bij het NAO. Zowel de analyse van documenten en data als het interview zijn bij de drie rekenkamers de meest voorkomende methoden van dataverzameling. Surveys, observaties en consultaties met derden komen beduidend minder voor bij de OAG en de AR.

114


Dataverzameling 15 12 9

OAGC AR NAO

6 3 0 1

2

3

4

5

1 Analyse van documenten en data 2 Interview 3 Survey 4 Observatie 5 Consultatie met derden

Figuur 5-5 Dataverzameling

3. De analysemethode van documenten en data delen we verder op in analyse van primaire en secundaire data. Met secundaire data bedoelen we de documenten die in de organisatie ontwikkeld zijn voor niet-onderzoeksdoeleinden. We denken onder meer aan regelgeving, jaarverslagen, begrotingen, strategische plannen, en databanken en dossiers van de geauditeerde organisatie. Tot de primaire data behoren de voor onderzoeksdoeleinden verzamelde gegevens over de organisatie of het onderzochte thema. Het gaat om gegevens die ofwel door de organisatie zelf of door andere actoren verzameld worden. Voorbeelden zijn statistieken, vakliteratuur, audits, evaluatieonderzoeken en onderzoeksrapporten. In de documentenanalyse is duidelijk dat de drie rekenkamers systematisch meer gebruik maken van primaire data: de OAG en het NAO doen dit elk in 13 rapporten, de AR in 9 van de 15 rapporten. Analyse van secundaire data komt, ruwweg gemeten, in de helft van de rapporten voor. Bij de AR kunnen we meer spreken van een of-of strategie: indien in een rapport de methode van documentenanalyse wordt toegepast, worden ofwel de primaire ofwel de secundaire data geanalyseerd. Dit leiden we af uit het feit dat de totaalscore voor analyse van documenten en data beduidend groter is dan het aantal rapporten dat analyse van primaire dan wel analyse van secundaire data toepast. Bij de OAG en het NAO ligt dit anders: het aantal rapporten waarin de methode van analyse van documenten en data wordt toegepast komt quasi overeen met het aantal rapporten dat primaire data analyseert. Dit betekent dat indien deze rekenkamers voor documentenanalyse opteren, zij in de helft tot twee derde van de rapporten naast een analyse van primaire data ook een analyse van secundaire data gaan toepassen. 4. De methode van het interview analyseerden we vanuit de opdeling individueel of in focusgroep. In ons onderzoek paste de OAG de methode van focusgroepen niet toe, wel nam zij in 10 van de 15

115


rapporten individuele interviews af. De AR interviewde in 9 van de 15 rapporten individuen, in slechts 1 rapport ging het om een focusgroep. Het NAO gebruikte de methode van het interview in alle 15 onderzoeken; 15 keer ging het om interviews van individuen, en daarbovenop 6 keer om focusgroepen. 5. Survey als methode van dataverzameling wordt door het NAO in 10 van de 15 rapporten toegepast. De andere onderzochte rekenkamers gebruiken deze methode opmerkelijk minder; de AR 4 keer op 15, de OAG slechts 1 keer op 15. 6. Een andere methode is die van observatie. We diepen deze categorie verder uit in participerende observatie, ook wel veldonderzoek genoemd, enerzijds en mystery shopping anderzijds. Het NAO past deze methode van observatie toe in 5 van de 15 onderzoeken; slechts 1 keer ging het hierbij om mystery shopping. Voor de andere rekenkamers, de OAG en de AR, kunnen we alleen met zekerheid stellen dat observatie als methode van dataverzameling nauwelijks gebruikt wordt. In de steekproef kwamen we bij de OAG slechts 1 keer op 15, en bij de AR geen enkele keer participerende observatie tegen; mystery shopping pasten beide rekenkamers niet toe. 7. Consultatie met derden, of expert opinie, als vorm van dataverzameling, toetst conclusies aan de mening van externe deskundigen. In 13 van de 15 rapporten vraagt het NAO naar de mening van stakeholders en experten. Toch moeten we voorzichtig zijn in de analyse van deze vorm van dataverzameling. Grotendeels past het NAO deze methode toe als methode van kwaliteitszorg, eerder dan als manier om data te verzamelen. Consultatie met derden gebeurt in de OAG en de AR minder; 6 keer op 15 bij de AR en slechts 1 keer op 15 bij de OAG. iii. Methoden van data-analyse 1. Bij de methoden van data-analyse maken we een eerste opdeling in kwantitatieve en kwalitatieve methoden. Het kwantitatieve onderzoek diepen we verder uit in univariate of multivariate analysemethoden. Een tweede opdeling is deze in beschrijvende en verklarende analyses. 2. Uit Figuur 5-6 lezen we af dat, met uitzondering van 1 rapport van de AR, alle rekenkamers in alle onderzochte rapporten kwalitatieve data-analysemethoden toepassen. Meer dan de andere rekenkamers voert het NAO gelijktijdig ook kwantitatieve analyses uit; in 13 van de 15 rapporten. Bij de OAG is het aantal rapporten met een kwantitatieve analyse zelfs verwaarloosbaar klein (slechts in 2 rapporten). De AR past kwantitatieve analyses toe in 6 van de 15 rapporten. Het kwantitatief onderzoek is bij de AR in 2 van de 15 rapporten, en bij het NAO in 3 van de 15 rapporten multivariaat. Bij de OAG is geen enkel kwantitatief onderzoek multivariaat. Bij de drie rekenkamers zijn alle onderzochte auditrapporten beschrijvend. Bij de AR en het NAO bevatten elk 9 van de 15 rapporten ook verklarende elementen. Bij de OAG gaat het slechts in 1 rapport op de 15 onderzochte rapporten om verklarend onderzoek.

116


Data-analyse 15 12 OAGC AR NAO

9 6 3 0 1

2

3

4

1 Kwantitatief 2 Kwalitatief 3 Beschrijvend 4 Verklarend

Figuur 5-6 Data-analyse

5.1.5. Impact van performance audit 1. Er is tot op vandaag weinig onderzoek verricht naar de impact van performance audits. Interne evaluaties spelen eerder in op het proces, en slechts uitzonderlijk op impact. Impact gaat dan eerder na of de aanbevelingen geaccepteerd worden en welke acties de ministers of de administratie hieraan wensen te koppelen. Impact gaat in op de implementatie van de aanbevelingen, en minder op het in kaart brengen van leereffecten op organisatieniveau. Bij het NAO is de impactmeting een vast onderdeel van elke audit. Deze informatie over impact moet gevalideerd worden door de geauditeerde organisaties. Het NAO heeft een duidelijke kwantitatieve doelstelling voor de financiële impact; toch richt het onderzoeksportfolio zich zowel op zuinigheids- en efficiëntieonderzoek, als op onderzoek dat bijdraagt aan de kwaliteit en de effectiviteit van de organisatiewerking. De OAG bevraagt de parlementaire stakeholders over het presteren van de rekenkamer en over de aanbevelingen die de OAG formuleert in zijn performance audits. In een nieuwe opvolgingsstrategie wenst de OAG nu ook de ambtenaren te bevragen over het hele auditproces en de auditconclusies. 2. We haalden eerder al aan dat het opvolgen van de aanbevelingen in performance audits vanuit follow-up onderzoek een bewuste keuze wordt in de planningsstrategie van de drie rekenkamers.

117


5.2. Evoluties in performance audit 1. In dit onderdeel willen we vanuit duidelijke vraagstellingen een aantal evoluties, soms dilemma’s, zichtbaar maken waar rekenkamers mee geconfronteerd worden wanneer ze hun eigen organisatiestrategieën gaan ontwikkelen. Omdat elke rekenkamer hierbij rekening zal houden met landenspecifieke kenmerken en historische ontwikkelingen – beide niet behorend tot deze onderzoeksopzet – is het niet wenselijk een ideaaltype naar voor te schuiven. Wat we enkel willen bereiken, is inzage geven in belangrijke organisationele vragen voor rekenkamers die vooroplopen in of meegaan met de trend naar resultaatgericht auditen.

5.2.1. Normering ten behoeve van beleid en beheer 1. Moeten rekenkamers in hun aanbevelingen ter verantwoording of ter verbetering van de werking van het overheidsapparaat inspelen op de verantwoordelijkheden van zowel beleidsmakers als beleidsvoorbereiders en – uitvoerders? 2. Aucoin formuleert als kritiek op de werking van de Canadese Rekenkamer het feit dat verantwoordelijkheden voor administratieve tekortkomingen te veel gelegd worden bij hen die niet de bevoegdheid hebben tot het nemen van de vereiste correctieve acties. De OAG geeft immers geen kritiek op de kwaliteit van de regelgeving (Aucoin, 1998: 11-13). Zoals blijkt uit onze analyse van de focus van de performance audits kan deze kritiek ook doorgetrokken worden naar het NAO. Vanuit de performance audits door de AR roept het Nederlandse parlement dan weer wel de ministers tot de orde. 3. Een ‘én-én’-verhaal waarin aandacht uitgaat naar beleid én beheer kan een aantal misbruiken tegengaan. Radcliffe deed een gevalstudie over Novatel, een overheidsbedrijf in Alberta (Canada) dat zwaar verlies leed. De onderzoeker illustreert hoe een audit die op vraag van de regering werd uitgevoerd, gebruikt werd om een politieke crisis, waarbij de competenties van ministers ter discussie stonden, te ontzenuwen door de analyse te laten uitgaan van managementkenmerken. Auditeurs diagnosticeerden de moeilijkheden bij Novatel als een falen van het management (Radcliffe, 1997). 4. Door zijn aandacht enkel te richten op beheer, wordt performance audit een aantrekkelijk instrument voor politici; of nog: enkel kijken naar beleid, kan de wind uit de zeilen van de overheidsmanager halen.

5.2.2. Naar de 4 e’s en verder 1. Een tweede vraag heeft betrekking op de materiële afbakening van de performance audit. Eindigt voor de burger de wens tot doorlichting van het overheidspresteren bij de 3 E’s, of is er een verdere vertaling en uitbreiding nodig van het concept van resultaatgericht auditen? Hoe kan een

118


rekenkamer in zijn audits rekening houden met deze vraag, en toch het principe van onpartijdigheid waarborgen? 2. De burger neemt verschillende rollen op in de relatie met de overheid: die van belastingbetaler, die van consument, etc. De burger verwacht van goed overheidsmanagement méér dan alleen maar een zuinige,

efficiënte

en

effectieve

aanwending

van

middelen.

Performance

audits

zouden

overheidsprestaties kunnen meten vanuit het volledige waardenspectrum waaraan de burger, en niet

enkel

de

burger

als

belastingbetaler,

overheidsmanagement

wil

toetsen.

Publieke

verantwoordelijkheid vertaalt zich dan niet alleen in termen van de 3 e’s, maar bijvoorbeeld ook in waarden als gelijkheid, eerlijke behandeling en ecologische duurzaamheid. Nivra heeft het over de 5 E’s: economy, efficiency en effectiveness worden aangevuld met de begrippen equity en emotions. Equity slaat op het maatschappelijk eigen vermogen. Het sociale rechtvaardigheidsbeginsel neemt er een belangrijke plaats in, omdat er een doorvertaling gebeurt naar waarden als gelijkwaardigheid, rechtvaardigheid, billijkheid en rechtsbescherming. Het klassieke voorbeeld hierbij is ‘het verlenen van financiële bijstand’. Omdat het rechtvaardigheidsprincipe mee in rekening wordt genomen, wordt hierbij een suboptimale economy, efficiency en effectiveness aanvaard. Met emotions verwijst men naar de menselijke emoties die een rol spelen in het streven naar doelmatig handelen. Het komt er in grote lijnen op neer dat het onzorgvuldig omgaan met motivatie afbreuk kan doen aan het streven naar doelmatigheid (Nivra, 1997). 3. Concreet heeft de OAG wel al duidelijk gekozen voor een vertaalslag naar de vierde E, die van ecologische duurzaamheid. De andere waarden, zoals gelijkheid of eerlijke behandeling, die de schijn kunnen tegen hebben van partijdigheid van de rekenkamer, worden niet systematisch opgenomen in de onderzoeksopzet. Wel besteden de AR en het NAO in heel wat audits aandacht aan het bereiken van alle leden van de doelgroep. Het NAO heeft bijvoorbeeld audits uitgevoerd die zich specifiek richten op de aandacht voor moeilijk te bereiken doelgroepen.

5.2.3. Normstelling vanuit een multistakeholdersbenadering 1. Welke bronnen worden geraadpleegd om te komen tot de in een auditrapport gehanteerde set van normen of auditcriteria? Heeft de rekenkamer de democratische legitimiteit om normen te bepalen? 2. Het is gebruikelijk dat de regering of de administratie zich zal verantwoorden vanuit de toetsing van het beleid en het overheidsmanagement aan officiële normen, die bijvoorbeeld internationaal opgelegd worden of politiek afgesproken zijn. Officiële normen hebben een democratische legitimiteit. Zo zijn normen die slaan op te bereiken effecten, een vertaling van de beleidsdoelstellingen in organisatiedoelstellingen. De beleidsdoelstellingen zijn hierbij politiek overeengekomen. Wanneer de rekenkamer andere dan de officiële doelstellingen en normen hanteert, doet zij dan aan politiek? Is een dergelijke houding van de rekenkamer te verantwoorden? Zijn de officiële normen realistisch, duidelijk en eenduidig?

119


3.

Officiële

normstelling

kan

haaks

staan

op

een

normstelling

vanuit

een

multistakeholdersbenadering. We geven een voorbeeld. In een studie van de manier waarop de Audit Commission in het Verenigd Koninkrijk performance audits invult, stelt Henkel dat de Commissie een actieve rol speelt in het formuleren van normen. Terwijl de Commissie verkondigt neutraal te zijn, neemt zij welbepaalde beleidsopties als vanzelfsprekend in de normstelling op en promoot zij deze beleidsopties actief. Het kader waarbinnen zij werkt, wordt sterk bepaald door de centrale regering. De Commissie vertrekt van een sterke top-down managementbenadering, in tegenstelling tot een benadering die vertrekt vanuit het perspectief van de cliënt. Zij hecht veel belang aan kwantitatieve analyse en acht kwaliteit van de dienstverlening uiteindelijk ondergeschikt aan kostencontrole (Henkel, 1994). Een multistakeholdersbenadering, waarin de eindconsument ook zijn vertegenwoordiging vindt, zou duidelijk tot andere, nieuwe of soms tegengestelde, aanbevelingen in de auditrapporten leiden.

5.2.4. Performance audit en de relatie met de burger 1. Hoe kan de relatie met de burger verder evolueren? Gaat de, al dan niet georganiseerde, burger input kunnen leveren in de planningsfase, bij de selectie van onderwerpen voor audits, bij de normering of bij de rapportering? Tot nu toe is die burgerrelatie er nauwelijks. Rekenkamers doen dan wel pogingen om de burger in hun werking te betrekken. Toch gaat het om de burger als ‘abstracte’ actor, zoals de rekenkamer hem ziet. Er is geen werkelijk contact met individuele burgers of het maatschappelijke middenveld. 2. Als wettelijk controleorgaan van het parlement speelt audit zich af in de driehoeksrelatie tussen parlement, geauditeerde (regering en administratie) en auditeur. Cope & Goodship (2002) stellen dat, ondanks de officiële retoriek, het publiek weinig invloed heeft op het regelen van het gedrag van overheidsdiensten. Dit blijft een vergeten dimensie.

5.2.5. Onafhankelijkheid van de rekenkamer: naar een goed relatiemanagement tussen opdrachtgever, auditeur en geauditeerde 1. Kan een goed relatiemanagement verzoend worden met het criterium van onafhankelijkheid van de rekenkamer? 2. Brown merkt op dat publieke audit bijna noodgedwongen leidt tot een conflictsituatie omdat de resultaten van de audit openbaar worden gemaakt en belicht worden door de media. Dit is een belangrijk verschilpunt met audit in de privésector (Brown, 1985). Ook Hepworth oordeelt dat performance audit, veel meer dan financiële audit, de aandacht trekt van de media. Dit kan volgens de auteur een bedreiging vormen voor de relatie met de geauditeerde. Hierdoor ontstaat met de geauditeerde een totaal andere relatie dan bij financiële audit (Hepworth, 1995). 3. Een voorbeeld van een verscherpte aandacht voor de relatie tussen auditeur en geauditeerde vinden we terug bij het NAO dat de geauditeerde in het planningsproces betrekt. Ook in de rapporteringsfase gaat specifieke aandacht uit naar de relatie met de geauditeerde. Sinds 1986 moet

120


het NAO met de geauditeerde immers overeenstemming bereiken over de feiten. Dit impliceert dat er voorafgaand aan de parlementaire hoorzittingen onderhandeld is tussen de rekenkamer en de geauditeerde over de juistheid van de feiten (Keen, 1999). Op deze consensusrapportering door het NAO is kritiek gerezen.

5.2.6. Impact van performance audit en de rol van het maatschappelijke middenveld hierbij 1. Inzicht krijgen in de resultaten van zijn onderzoek kan de auditeur vanuit prestatiemeetsystemen, follow-up onderzoek, of externe impactstudies. Is het wenselijk hierbij ook de rol van het maatschappelijke middenveld in kaart te brengen? Wat is die rol van het maatschappelijke middenveld? Is het er één van waakhond, als actor nodig om aanbevelingen te implementeren? Is het er één van katalysator voor verbetering? 2. Moet het maatschappelijke middenveld een belangrijke rol spelen gaan bij de planning van de performance audits en de opvolging van de implementatie van de auditaanbevelingen? Tot nu toe is die relatie er niet. Zoals in 5.2.4 al aan bod kwam, speelt audit zich af in de driehoeksrelatie tussen parlement, geauditeerde (regering en administratie) en auditeur. 3. Het maatschappelijke middenveld heeft het netwerk en de expertise om potentiële risicogebieden die interessant zijn voor auditonderzoek in kaart te brengen en hierover te rapporteren aan de rekenkamer. Om optimaal gebruik te kunnen maken van deze netwerken en expertise zou de rekenkamer communicatielijnen met het maatschappelijke middenveld kunnen creëren. Hierbij kan deze organisaties de mogelijkheid gegeven worden te rapporteren over risicogebieden als mogelijke onderwerpen voor formele audits. Ook kunnen middenveldorganisaties, samen met de wetgevende macht, de implementatie van auditaanbevelingen opvolgen, of althans druk uitoefenen op de uitvoering van de aanbevelingen. Voorwaarde hiertoe is wel dat de rekenkamer de auditrapporten op een begrijpbare manier en gratis ter beschikking stelt aan een breed publiek. Waar de rekenkamer zich traditioneel afhoudt van de bemoeienis in beleidsprocessen, kan het maatschappelijke middenveld zijn netwerken gebruiken om de implementatie van de auditaanbevelingen politieke druk bij te zetten. Ervaringen in ontwikkelingslanden tonen immers aan dat rekenkamers, hoewel uiterst succesvol in het uitvoeren van kwaliteitsvolle audits, minder succesvol waren in het verzekeren dat actie ondernomen werd vanuit de door hen geformuleerde auditaanbevelingen (Ramkumar et al, X). 4. Hoe kan een rekenkamer verder evolueren van ‘het louter toetsen van beleid en beheer (vanuit een verantwoordingslogica)’ naar ‘het willen bijdragen aan verbetering van de overheidswerking’? Te weinig zijn de structuren afgestemd om bij de conceptie van het onderzoek rekening te houden met de impact van de audits of om nazorgactiviteiten te ontwikkelen.

121


5.2.7. Spanning tussen beroepsgroepen in de rekenkamer 1.

Hoe

kan

de

rekenkamer

de

nodige

competenties

verwerven?

Als

vorm

van

competentiemanagement zien we dat rekenkamers externen via outsourcing aantrekken voor het uitvoeren van welbepaalde, zeer specifieke taken. Het aanscherpen van de competenties in eigen huis gebeurt gelijktijdig vanuit een verdere professionalisering van de opleiding en training tot performance auditor. 2. Er dreigt echter een cultureel conflict te ontstaan tussen twee beroepsgroepen binnen de rekenkamer: de traditionele auditeurs en de nieuwe auditeurs (Gunvaldsen & Karlsen, 1999). Waar de eersten de rol van accountant en jurist opnemen, vullen de nieuwe auditeurs als sociaalwetenschappers de rol in van onderzoeker en management consultant. 3. Hoe verhouden de auditrollen zich tegenover elkaar? Wie audit de niet-financiële informatie? Welke methode moet hiervoor gebruikt worden? Het zijn vragen over taakverdeling en werkmethoden die conflictueuze antwoorden oproepen.

5.2.8. Risico-analyse als auditmethodologie 1. Kan de auditmethodologie zich plaatsen boven de politieke beslissingname doorheen de auditcyclus van planning, uitvoering en opvolging? Is de relatie tussen ‘objectieve’ techniek en ‘subjectieve’ politieke besluitvorming eenduidig in kaart te brengen? Is de methodologie überhaupt objectief? 2. Power bekritiseert de legitieme functie die rekenkamers geven aan audittechnieken. Zo laat het auditrisicomodel - het oriënteren van de audit op basis van een risicoanalyse – toe om de kosten van een audit te beperken zonder de geloofwaardigheid van een audit aan te tasten. Toch blijft risicoanalyse in grote mate een subjectief proces (Power, 1997). Risico-analyse laat toe om binnen een bepaald beleidsdomein tot een selectie te komen; tussen beleidsdomeinen speelt echter sterk de waardering

van

het

belang

van

verschillende

beleidsdomeinen.

Auditplanning

is

dus

waardegebonden. Waardegenbondenheid speelt ook een rol in de fases van strategiebepaling of normering.

5.3. Agenda voor de toekomst 1. In dit hoofdstuk hebben we voor de drie onderzochte rekenkamers – de Algemene Rekenkamer (Nederland), de National Audit Office (Verenigd Koninkrijk) en de Office of the Auditor General (Canada) - een synthese willen geven van enkele praktijken op het vlak van performance audit. De keuze viel voor rekenkamers die al een geïnstitutionaliseerde praktijk hiertoe hebben.

122


2. Dit rapport brengt de consequenties van belangrijke beleidskeuzes tot uiting. We geven antwoorden op de volgende vragen: Hoe ver reikt het wettelijke mandaat? Kunnen we spreken van een ‘follow-themoney’ mandaat? Kan effectiviteit daadwerkelijk onderzocht worden? Hoe kan de organisatiestructuur afgestemd worden op de evoluties in resultaatgericht auditen? Waarin liggen de verschilpunten voor het proces van performance audits? Wat is grosso modo de focus van de performance audit, voor elk van de rekenkamers? Zijn er verschilpunten in methoden en technieken die de rekenkamers hanteren? 3. De antwoorden die de rekenkamers op deze vraagstellingen formuleren kunnen, zo denken wij, een nuttig kader bieden om de resultaatgerichte evoluties in audit, waar ook de Vlaamse overheid in mee stapt, beter te plaatsen. 4. Het lijstje van evoluties in performance audit heeft zeker niet de bedoeling exhaustief te zijn. Het heeft eerder de functie van ‘eye-opener’, of ‘blikverruimer’, zo je wilt. Het zet aan tot nieuwe vraagstellingen en geeft daarbij duidelijk aan dat resultaatgerichte externe audit zoals die vandaag in de praktijk is uitgewerkt, geen onveranderlijk eindpunt is. 5. De uitbouw van performance audit is onderhevig aan een aantal trends. Rekenkamers werken in een sterkere internationale context. Ze kunnen deze trend beantwoorden door eigen inhoudelijke of methodologische specialismen te ontwikkelen. Andere antwoorden op de evoluties in resultaatgerichte externe audit zijn de uitbouw van eigen ‘research & development’-afdelingen en de versterking van de systemen van kwaliteitscontrole. Ook wordt uitbesteding aan de private sector of aan (associaties van) rekenkamers, en uitvoering van audits in partnerschap in groeiende mate toegepast. 6. Meestal gaat de dynamiek van financiële hervormingen uit van het begrotings- of accountingsysteem. Dit neemt niet weg dat performance audit kan uitgroeien tot een motor van financiële hervormingen. Dit zou betekenen dat rekenkamers zich uitspreken over financiële hervormingen of studies uitvoeren over het overheidsapparaat dat de financiële hervormingen mogelijk maakt. Rekenkamers kunnen een actieve rol opnemen in het versterken van het financieel management. Er zijn buitenlandse voorbeelden die de betrokkenheid van de externe audit als actor in het financiële veranderingsproces aantonen. Een dergelijke houding kan wel het spanningsveld tussen de coachende en de controlerende rol van de rekenkamer accentueren; zich uitspreken over hervormingen impliceert immers een zekere waardegebondenheid. 7. Integratie tussen begroting, accounting en audit is een eerste aandachtspunt. Een tweede ligt in de integratie en afstemming binnen de controlepiramide. Evoluties in externe audit hebben hun impact op de werking van de interne audit. Het hervormingsproces in externe audit vereist afstemming tussen de andere actoren van de controlepiramide. Georganiseerd overleg tussen interne en externe audit heeft oog

voor

deze

samenhang

in

de

takenpakketten,

en

werkt

aan

de

uitbouw

coördinatiemechanismen.

123

van

Referenties

Referenties Algemene Rekenkamer. (X). Self–evaluation Manual. Den Haag: Algemene Rekenkamer. Algemene Rekenkamer. (2003a). Het onderzoeksproces van beleidskader tot evaluatie. Afgehaald 09/08/2005, van http://www.rekenkamer.nl/ Algemene Rekenkamer. (2003b). Handleiding onderzoek naar doelmatigheid en doeltreffendheid. Den Haag: Algemene Rekenkamer. Algemene Rekenkamer. (2003c). Wonen, zorg en welzijn van ouderen. Den Haag: Algemene Rekenkamer. Algemene Rekenkamer. (2003d). Preventieve gezondheidszorg. Den Haag: Algemene Rekenkamer. Algemene Rekenkamer. (2003e). Visumverlening in Schengenverband. Den Haag: Algemene Rekenkamer. Algemene Rekenkamer. (2003f). Slagvaardig en transparant presteren en functioneren van het openbaar bestuur. Strategie algemene rekenkamer 2004 – 2009. Den Haag: Algemene Rekenkamer. Algemene Rekenkamer. (2004a). Handleiding normen en begrippen. Den Haag: Algemene Rekenkamer. Algemene Rekenkamer. (2004b). Handleiding onderzoeksvoorstellen. Den Haag: Algemene Rekenkamer. Algemene Rekenkamer. (2004c). Onderzoek naar de aansluiting tussen beleid en uitvoering. Betekenis van de nieuwe strategie voor het onderzoeksproces. Den Haag: Algemene Rekenkamer. Algemene Rekenkamer. (2004d). Convenanten uitgaansgeweld. Den Haag: Algemene Rekenkamer. Algemene Rekenkamer. (2004e). Zorg voor verslaafden. Den Haag: Algemene Rekenkamer. Algemene Rekenkamer. (2004f). Regeling Publiceren rond Tweede-Kamerverkiezingen. Den Haag: Algemene Rekenkamer. Algemene Rekenkamer. (2004g). Beslistermijnen. Waar blijft de tijd? Den Haag: Algemene Rekenkamer. Algemene Rekenkamer. (2005a). Werkprogramma 2005. Den Haag: Algemene Rekenkamer. Algemene Rekenkamer. (2005b). Terugblik 2005. Elf onderzoeken nader beschouwd. Den Haag: Algemene Rekenkamer. Algemene Rekenkamer. (2005c). Verslag 2004. Den Haag: Algemene Rekenkamer. Algemene Rekenkamer. (2005d). Voortgang bodemsanering. Den Haag: Algemene Rekenkamer. Algemene Rekenkamer. (2006). Verslag 2005. Den Haag: Algemene Rekenkamer. Aucoin, Peter. (1998). Auditing for Accountability. The role of the Auditor General. Halifax: Aucoin. Azuma, N. (2003). The Role of the Supreme Audit Institution in NPM: International Trend. Government Auditing Review, 85-106. Azuma, N. (2004). Performance Measurement of Supreme Audit Institutions in 4 Anglo-Saxon Countries: Leading by Example. Government Auditing Review, 11, 65-99. Auditor General Act, “Assented to” Acts service, Part III of the Canada Gazette and the annual Statutes of Canada. Retrieved 03/05/2006, from http://laws.justice.gc.ca/en/A-17/218980.html Barzelay, M. (1997). Central Audit Institutions and Performance Auditing: A comparative Analysis of Organisational Strategies in the OECD. Governance, 10 (3): 235-260.

125


Bemelmans-Videc, M.L. (2002). Evaluation in The Netherlands 1990-2000: Consolidation and Expansion. In J.E. FURUBO, R.C. RIST & R. SANDAHL, International Atlas of Evaluation. New Brunswick (U.S.A.) and London (U.K.): Transaction Publishers, 93-114. Bowerman, M, Humphrey, C., Owen, D. (2003), Struggling for supremacy: the case of UK public audit institutions. Critical Perspectives on Accounting, Vol 14, Issue 1/2, 1-22. British Broadcasting Corporation (BBC). (2004). BBC Value for Money programme. Retrieved 08/07/2005,

from

http://www.bbc.co.uk/foi/docs/governance_of_the_bbc/board_of_govenors/Value_for_Money.ht m Brown, R. (1985). On the State of State Auditing: Analysis, Reflections. Public Budgeting & Finance, 1985 (2), 75-88. Cope, S., Goodship, J. (2002). The Audit Commission and Public Services: Delivering From Whom? Public Money & Management, 2002 (October-December), 33-40. Department for International Development. (2005). Working with Supreme Audit Institutions. London: Department for International Development. de Vries, G.J. (2000). Beleidsdynamica als sociale constructie. Een onderzoek naar doorwerking van beleidsevaluatie en beleidsadvisering. Delft: Eburon. Dewar, D. (1991). Current issues in auditing: the audit of central governmnet. In State Audit and accountability: a book of readings. Jerusalem: State Comptroller’s Office. Dewar, D. (1997). The Audit of Central Government. In M. Sherer & S. Tyrley (eds), Current Issues in Auditing, Paul Chapman Publishing Ltd. Dolmans, L. (1989). Naar supervisie en meer aandacht voor de doelmatigheid - De Algemene Rekenkamer tussen 1945 en 1988. In A. Margry e.a. (red.), Van 'Gamere vander Rekeninghen' tot Algemene Rekenkamer. Den Haag, 377-431. Dolmans, L.J.F. (1987). De Algemene Rekenkamer en de doelmatigheid van de rijksdienst. Beleid en Maatschappij, 1, 18-29. English, L (2003). Emasculating Public Accountability in the Name of Competition: Transformation of State Audit in Victoria. Critical Perspectives on Accounting, Vol. 14 (Issue 1/2), 51-76. Financial Administration Act, “Assented to” Acts service, Part III of the Canada Gazette and the annual Statutes of Canada. Retrieved 03/05/2006, from http://laws.justice.gc.ca/en/F-11/text.html Funnel, W. (1997). The Curse of Sisyphus : Public Sector Audit Independence in an Age of Economic Rationalism. Australian Journal of Public Administration, Vol. 56 (4), 87-105. Funnel, W. (2003). Enduring Fundamentals : Constitutional Accountability and Auditors-General in the Reluctant State. Critical Perspectives on Accounting, Vol. 14 (Issue 1/2), 107-132. GAO. (2003). Transformation, challenges, and opportunities. Statement of David Walker, Comptroller General of the United States. Testimony before the Senate Committee on Governmental Affairs, September 16, 2003. Gunvaldsen, J.A., Karlsen, R. (1999). The Auditor as an Evaluator. How to Remain an Influential Force in the Political Landscape, Evaluation, Vol. 5 (4), 458-467. Gray, A., Jenkins, B., Segsworth, B. (eds). (2002). Budgeting, Auditing and Evaluation. Functions and Integration in Seven Governments, New Jersey: Transactions Publishers. Henkel, M. (1994). The Audit Commission. In C. Pollitt & S. Harrison, Handbook of Public Services Management, Blackwell Business, 72-85.

126

Referenties

Hepworth, N.P. (1995). The Role of Performance Audit. Public Money & Management, Vol. 15 (4), 3942. INTOSAI. (1998). Code of Ethics and Auditing Standards. Vienna: INTOSAI. Keen, J. (1999). On the nature of audit judgements: the case of value for Money studies, Public Administration, 77 (2), pp. 509-525. Leeuw, F.L. (1999). Regelgeleide organisatiekunde met een rechtssociologisch tintje. Beleidstheorie achter doelmatigheidsonderzoek Rekenkamer. In De hort op. De Rekenkamer oriënteert zich op de buitenwereld, 11-23. Ministerie van Binnenlandse Zaken en Koninkrijksrelaties. (2002). Grondwet voor het Koninkrijk der Nederlanden 2002. 5de gewijzigde druk. Den Haag: Ministerie van Binnenlandse Zaken en Koninkrijksrelaties. Morin, Danielle. (2001). Influence of value for money audit on public administrations: looking beyond appearances. Financial Accountability & Management, 17 (2), 0267-4424. Morin, Danielle. (2004). Auditor General’s Universe Revisited: An exploratory study of the influence they exert on public administration through their value for money audits. Montreal: Morin. National Audit Office. (1996). Collecting, analysing and presenting data. How software can help. London: National Audit Office. National Audit Office. (1997a). Picking the winners. A guide to vfm study selection. London: National Audit Office. National Audit Office. (1997b). Designing value-for-money studies. A guide. London: National Audit Office. National Audit Office. (2001a). State audit in the European Union. London: National Audit Office. National Audit Office. (2001b). Annual report 2001. Helping the Nation Spending Wisely. London: National Audit Office. National Audit Office. (2002). Annual report 2002. Helping the Nation Spending Wisely. London: National Audit Office. National Audit Office. (2003a). Corporate Plan 2004-05 to 2006-07. London: National Audit Office. National Audit Office. (2003b). Annual report 2003. Helping the Nation Spending Wisely. London: National Audit Office. National Audit Office. (2003c). Value for money training prospectus 2003-2004. London: National Audit Office. National Audit Office. (2003d). Value for Money Handbook. A guide for building quality into VFM examinations. London: National Audit Office. National Audit Office. (2003e). The Issue Analysis Dinner Party Approach. London: National Audit Office. National Audit Office. (2003f). Demonstrating the impact of our work. Identifying savings while promoting beneficial change. London: National Audit Office. National Audit Office. (2003g). Value for money handbook. A guide for building quality into VFM examinations. London: National Audit Office. National Audit Office. (2004). Annual report 2004. Helping the Nation Spending Wisely. London: National Audit Office. National Audit Office. (2005a). Public Service Agreements: Managing Data Quality – Compendium Report. London: National Audit Office.

127


National Audit Office. (2005b). Reducing vehicle crime. London: National Audit Office. National Audit Office & Watts, Haines. (2004). Examination of the NAO’s financial impacts. London: National Audit Office. National Audit Office, Riksrevisionen, Cours des Comptes, Algemene Rekenkamer. (2004). International Peer Review of the Value for Money Audit Practice of the Office of the Auditor General of Canada. London: National Audit Office. Nivra. (1997). Naar een doelmatiger overhead. Goed georganiseerd mensenwerk. Amsterdam: Platform Doelmatigheid. Office of the Auditor General of Canada. (2002a). Report of the Auditor General of Canada to the House of Commons. Chapter 6. A Model for Rating Departmental Performance Reports. Ottawa: Office of the Auditor General of Canada. Office of the Auditor General of Canada. (2002b). Performance Report 2001-2002. Ottawa: Office of the Auditor General of Canada. Office of the Auditor General of Canada. (2002c). One-pass Planning at the Office of the Auditor General of Canada. Ottawa: Office of the Auditor General of Canada. Office of the Auditor General of Canada. (2003a). Report of the Auditor General of Canada. Chapter 1: Rating Departmental Performance Reports. Ottawa: Office of the Auditor General of Canada. Office of the Auditor General of Canada. (2003b). Estimates. Performance Report. Ottawa: Office of the Auditor General of Canada. Office of the Auditor General of Canada. (2003c). Survey of Parliamentarians. Ottawa: Ipsos-Reid Corporation. Office of the Auditor General of Canada. (2004a). Performance audit manual. Ottawa: Office of the Auditor General. Office of the Auditor General of Canada. (2004b). Report of the Auditor General of Canada to the House of Commons. November 2004. Matters of Special Importance. Ottawa: Office of the Auditor General of Canada. Office of the Auditor General of Canada. (2004c). Report of the Auditor General of Canada to the House of Commons. November 2004. Internal Audit in Departments and Agencies. Ottawa: Office of the Auditor General of Canada. Office of the Auditor General of Canada. (2005), Organizational chart of the Office of the Auditor General of Canada, Retrieved 05/04/2006, from http://www.oag-bvg.gc.ca Patton, M.Q. (2002). Qualitative research and evaluation methods (3rd ed.). Thousand Oaks, CA: Sage. Pallot, J. (2003). A Wider Accountability?

The Audit Office and New Zealand's Bureaucratic

Revolution. Critical Perspectives on Accounting, Vol. 14 (Issue 1/2), 133-155. Pollitt, C., Girre, X., Lonsdale, J., Mul, R., Summa, H., Waerness, M. (1999). Performance or Compliance. Performance Audit and Public Management in Five Countries. Oxford: Oxford University Press. Pollitt, C. (2003). Performance audit in Western Europe: Trends and Choices. Critical Perspectives on Accounting, 14, 157-170. Pollitt, C. & Summa, H. (1997a). Performance Auditing. Travellers' Tales, E. CHELIMSKY and W.R. SHADISH (eds), Evaluation for the 21st Century: a Handbook, Sage, California, 86-108.

128

Referenties

Pollitt, C. & Summa, H. (1997b). Reflexive Watchdogs ? How Supreme Audit Institutions Account For Themselves, Public Administration, Vol. 75, 313-336. Pollitt, C. & Bouckaert, G. (2004). Public Management Reform. A Comparative Analysis. 2nd edition. Oxford: Oxford University Press. Power, M. (1997). The Audit Society. Rituals of Verification. Oxford: Oxford University Press. Put, V. (2005). Normen in performance audits van rekenkamers. Een casestudy bij de Algemene Rekenkamer en het National Audit Office (Proefschrift tot het verkrijgen van de graad van doctor in de sociale wetenschappen, 2005). Leuven: Katholieke Universiteit Leuven Faculteit Sociale Wetenschappen, 243. Radcliffe, V.S. (1997). Competing Rationalities in ‘Special’ Government Audits, Critical Perspectives on Accounting, 343-366. Ramkumar, Vivek & Krafchik, Warren. (X). The role of civil society organizations in auditing and public finance management, X. Regulatory Impact Assessments come under NAO scrutinity. FOCUS, May 2003, p. 3. Rekenhof. (2005). Taken en bevoegdheden. Afgehaald 30/12/2005 van http://www.ccrek.be Saint-Martin, Denis (2004). Managerialist advocate or “control freak”? The Janus-faced Office of the Auditor General. In: Canadian Public Administration, pp.121-140. Schwartz, R. (1991), State Audit in Developed Democracies. In A. Friedberg, B. Geist, N. Mizrahi & I. Sharkansky. (1991), State Audit and Accountability. A Book of Readings. State Of Israël, State Comptroller's Office, Jerusalem, 240-253. Sharman. (2001). Holding to Account. The Review of Audit and Accountability for Central Government. Report by Lord Sharman of Redlynch, 2001. Shore, C., Wright, S. (1999). Audit Culture and Anthropology: Neo-Liberalism in British Higher Education, JRAI, Vol V (4), 557-575. Shore, C., Wright, S. (2000). Coercive accountability: the rise of audit culture in higher education. In M. Strathern (ed), Audit Cultures. Anthropological studies in accountability, ethics and the academy, Routledge, 57-89. Sterck, M., Scheers, B & Bouckaert, G. (2005). The modernization of the Public Control Pyramid: international trends. Leuven: Steunpunt Bestuurlijke Organisatie Vlaanderen. Stevers, Th. (1979). De Rekenkamer. Leiden: Stevers. Tweede Kamer der Staten-Generaal. (2002). Wet van 13 juli 2002 tot vaststelling van de Wet inzake het beheer van de financiën van het Rijk (Comptabiliteitswet 2001). Staatsblad van het Koninkrijk der Nederlanden Jaargang 2002, 413. Van Den Broek, F., Rozendal, P. (2000). The value of effectiveness audit performed by Supreme Audit Institutions. Paper presented at the European Evaluation Society Conference, 12-14 October, 2000, Lausanne. van der Doelen, F. en F. Leeuw (1991). Doelmatigheidsonderzoek binnen de rijksoverheid. Beleidswetenschap, 1991, nr. 1: 63-79. van der Meer, F.B. (1999). Evaluation and the Social Construction of Impacts, Evaluation, Vol 5 (4): 387–406. Vfuture. (2003). Vfm development newsletter, June 2003, issue two, 6-7. Wet van 17 januari 2002 tot wijziging van de Comptabiliteitswet houdende uitbreiding van de onderzoeksbevoegdheden van de Algemene Rekenkamer ten aanzien van de besteding van

129


gelden die ten laste komen van de begroting van de Europese Unie (achtste wijziging van de Comptabiliteitswet). Staatsblad van het Koninkrijk der Nederlanden, 39. Wilkins, P. (1995). Performing Auditors ? Assessing and Reporting the Performance of National Audit Offices - A Three Country Comparison. Australian Journal of Public Administration, Vol. 54 (4), 421-430. World Bank. (2003). World Development Report 2004: Making services work for poor people. Washington: World Bank, 46-63. White, K. & Hollingsworth, F. (1999). Audit, accountability and Government. Oxford: Oxford University Press. Whitehouse, M. (2002). External conditions for effective performance audit. UK National Audit Office. Paper presented at the International Seminar on Effective Performance Auditing, 30 - 31 May 2002, Algemene Rekenkamer, The Hague.

130

Steekproef documentenanalyse

Steekproef performance audit rapporten documentenanalyse Algemene Rekenkamer 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15.

Aanpak lokaal veiligheidsbeleid (2005) Handhaven en gedogen (2005) Voortgang bodemsanering (2005) Toezicht op Luchtverkeersleiding Nederland (2004) Convenanten uitgaangsgeweld (2004) Zorg voor verslaafden (2004) Groene stroom (2004) Beslistermijnen. Waar blijft de tijd? (2003) ICT bij de politie (2003) Personeelsvoorziening Krijgsmacht (2003) Preventieve gezondheidszorg (2003) Visumverlening in Schengenverband (2003) Wonen, welzijn en zorg van ouderen (2003) Tussen beleid en uitvoering. Lessen uit recent onderzoek (2003) Effectiviteit energiebesparingsbeleid in de glastuinbouw (2003)

National Audit Office 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15.

Returning Failed Asylum Applicants (2005) Citizen Redress: What citizens can do if things go wrong with public services (2005) Improving school attendance in England (2005) Reducing Vehicle Crime (2005) Improving patient care by reducing the risk of hospital acquired infection: a progress report (2004) London Underground PPP: Were they good deals? (2004) The Management of Sickness Absence in the Prison Service (2004) Tackling cancer in England: saving more lives (2004) Income generated by the Museums and Galleries (2004) Ministry of Defense: Operation TELIC – United Kingdom Military Operations in Iraq (2004) The Management of Suspensions of Clinical Staff in NHS Hospital and Ambulance Trusts in England (2003) Ministry of Defence: Compensation claims (2003) Warm Front: Helping to Combat Fuel Poverty (2003) Purchasing and Managing Software Licences (2003) Improving Service Delivery: The Role of Executive Agencies (2003)

Office of the Auditor General of Canada 1. Natural Resources Canada—Governance and Strategic Management (2005) 2. National Security in Canada—The 2001 Anti-Terrorism Initiative — Air Transportation Security, Marine Security, and Emergency Preparedness (2005) 3. Rating Selected Departmental Performance Reports (2005) 4. Information Technology Security (2005) 5. Governance of Crown Corporations (2005) 6. Internal Audit in Departments and Agencies (2004) 7. Implementation of the National Initiative to Combat Money Laundering (2004) 8. Health Canada — Regulation of Medical Devices (2004) 9. Canada Revenue Agency — Audits of Small and Medium Enterprises (2004) 10. Managing Government — A Study of the Role of the Treasury Board and its Secretariat (2004) 11. Information Technology — Government On-Line (2003) 12. Protection of Cultural Heritage in the Federal Government (2003) 13. Management of Public Opinion Research (2003) 14. Correctional Service Canada — Reintegration of Male Offenders (2003) 15. Citizenship and Immigration Canada — Control and Enforcement (2003)

131

Lijst met figuren

Lijst met figuren Figuur 1-1 De fasen in het performance audit proces............................................................................. 9 Figuur 1-2 Proces van performance audit ............................................................................................. 12 Figuur 2-1 Organogram van de Algemene Rekenkamer ...................................................................... 30 Figuur 2-2 Onderzoeksslang Algemene Rekenkamer .......................................................................... 32 Figuur 2-3 Focus van een selectie van 15 performance audits van de Algemene Rekenkamer uit de periode 2003-2005. ........................................................................................................................ 40 Figuur 2-4: Onderzoeksdesign in een selectie van 15 performance audits van de AR (2003-2005). .. 46 Figuur 2-5 Technieken van dataverzameling in een selectie van auditrapporten van de Algemene Rekenkamer uit de periode 2003-2005.......................................................................................... 47 Figuur 2-6 Technieken voor data-analyse in een selectie van auditrapporten van de Algemene Rekenkamer uit de periode 2003-2005.......................................................................................... 48 Figuur 3-1 Organogram van het National Audit Office. ......................................................................... 57 Figuur 3-2 Focus van een selectie van 15 performance audits van het National Audit Office uit de periode 2003-2005. ........................................................................................................................ 72 Figuur 3-3 Onderzoeksdesign in een selectie van 15 performance audits van het NAO (2003-2005). 75 Figuur 3-4 Methoden van dataverzameling in een selectie van 15 performance audits van het NAO (2003-2005).................................................................................................................................... 76 Figuur 3-5: Data-analyse in een selectie van 15 performance audits van het NAO (2003-2005). ....... 77 Figuur 3-6 Evolutie van besparingen (in miljoen £) gerealiseerd als gevolg van onderzoek van het NAO................................................................................................................................................ 78 Figuur 3-7 Percentage van de besparingen gerealiseerd als gevolg van performance audit (evolutie van 1999 tot 2003) ......................................................................................................................... 78 Figuur 4-1 Organogram van de Office of the Auditor General .............................................................. 87 Figuur 4-2 Benadering voor Performance audits .................................................................................. 91 Figuur 4-3 Focus performance audit OAG .......................................................................................... 100 Figuur 4-4 Onderzoeksdesign OAG .................................................................................................... 101 Figuur 4-5 Dataverzameling OAG ....................................................................................................... 102 Figuur 4-6 Data-analyse ...................................................................................................................... 103 Figuur 5-1 Focus Performance Audit .................................................................................................. 111 Figuur 5-2 Focus van de audit............................................................................................................. 112 Figuur 5-3 Onderzoeksdesign: tijdstip van meting .............................................................................. 113 Figuur 5-4 Onderzoeksdesign: vergelijking in tijd en tussen organisaties .......................................... 114 Figuur 5-5 Dataverzameling ................................................................................................................ 115 Figuur 5-6 Data-analyse ...................................................................................................................... 117

133

Lijst met tabellen

Lijst met tabellen Tabel 1-1 Kenmerken van financiële audit, rechtmatigheidsaudit en performance audit. ...................... 6 Tabel 1-2 Checklist voor de evaluatie van rekenkamers ...................................................................... 13 Tabel 1-3 Analysekader voor de inhoud van performance auditrapporten ........................................... 17 Tabel 1-4 Methoden van dataverzameling in performance audits. ....................................................... 20 Tabel 1-5 Caseselectie: kenmerken van de AR, het NAO en het OAG................................................ 22 Tabel 2-1 Types audit rapporten ........................................................................................................... 38 Tabel 2-2 Aantal dagen besteed aan onderzoeken naar het presteren van de overheid gerealiseerd in 2004................................................................................................................................................ 39 Tabel 2-3 Overzicht van dataverzamelingsmethoden voor verschillende doeleinden.......................... 45 Tabel 3-1 Historisch overzicht externe audit Verenigd Koninkrijk......................................................... 53 Tabel 3-2 Aantal fulltime personeelsleden verdeeld over de activiteiten van het NAO ........................ 57 Tabel 3-3 Voorbeelden van prestatie-indicatoren van het National Audit Office .................................. 59 Tabel 3-4 Het proces van performance audit in het NAO. .................................................................... 61 Tabel 3-5 Elementen van een onderzoeksvoorstel van het National Audit Office. ............................... 65 Tabel 3-6 Uitbestedingsbeleid van het National Audit Office ................................................................ 67 Tabel 3-7 Verdeling van de middelen van het NAO over de verschillende activiteiten. ....................... 70 Tabel 3-8 Onderzoeksmethoden van het NAO ..................................................................................... 74 Tabel 4-1 Types audit rapporten ........................................................................................................... 98 Tabel 5-1 Overzicht van de formele selectiecriteria ............................................................................ 108

135

Over de auteurs

Over de auteurs Miekatrien STERCK (K.U.Leuven - [email protected]) is licentiaat in de Politieke en Sociale Wetenschappen (K.U.Leuven, 2000) en gediplomeerde in de Aanvullende Studies Beleidseconomie (K.U.Leuven, 2001). Ze werkt sinds november 2001 bij het SBOV binnen het spoor financieel management en prestatiemeting. Ze verricht internationaal vergelijkend onderzoek naar de invoering van prestatiebegrotingen en prestatiemeetsystemen en de evoluties in interne en externe audit in de publieke sector. Veerle CONINGS (K.U. Leuven - [email protected]) is licentiaat in de Toegepaste Economische Wetenschappen (LUC, 1997). Ze werkte gedurende vier jaar als adviseur Algemeen Beleid op het kabinet van Vlaams minister van Welzijn, Gezondheid en Gelijke Kansen. Sinds februari 2004 werkt ze als wetenschappelijk onderzoeker bij het Instituut voor de Overheid. Haar onderzoeksdomein situeert zich op het vlak van resultaatgericht financieel management, en de integratie tussen de financiële cyclus en de beleids- en contractcyclus. Zij is inhoudelijk verantwoordelijke voor de opleidingen in contractmanagement en financieel management. Vital PUT (K.U. Leuven – [email protected]) is licentiaat in de Criminologische Wetenschappen (K.U.Leuven, 1986) en gediplomeerde in de aanvullende studies Bestuurskunde en Overheidsmanagement (VUB, 1998). Hij behaalde op 19 december 2005 zijn doctoraat in de sociale wetenschappen met een onderzoek over de normen die rekenkamers hanteren bij performance audits. In deze hoedanigheid is Vital wetenschappelijk medewerker aan het Instituut voor de Overheid. Vital werkte van 1987 tot en met 1998 bij verschillende federale ministeries (Justitie, Tewerkstelling en Arbeid, Sociale Zaken). Sinds 1998 is hij werkzaam als auditeur bij het Rekenhof, waar hij zich bezig houdt met performance audit. Geert BOUCKAERT (K.U.Leuven – [email protected]), is doctor in de Sociale Wetenschappen, licentiaat in de Wijsbegeerte en Handelsingenieur. Hij is gewoon hoogleraar aan de Faculteit Sociale Wetenschappen, Departement Politieke Wetenschappen van de K.U.Leuven, directeur van het Instituut voor de Overheid, algemeen coördinator van het Steunpunt Bestuurlijke Organisatie Vlaanderen. Zijn onderzoek situeert zich op het vlak van het overheidsmanagement en betreft meer bepaald prestatiemeetsystemen en financiële beleids- en beheerscycli in de overheid. Hij is ook voorzitter van EGPA (European Group of Public Administration).

137

Overzicht publicaties

Overzicht publicaties Spoor Financieel Management en Prestatiemeting Onderzoeksrapporten 1. Bouckaert, G. , Scheers, B., Sterck, M. & Van Reeth, W. (2002). Spoor Modernisering van Financiële Beleids- en Beheerscycli Onderzoeksprogramma 2002. Steunpunt Bestuurlijke Organisatie Vlaanderen pp. 15. 2. Bouckaert, G. , Scheers, B., Sterck, M. & Van Reeth, W. (2002). Modernisering van de Financiële Cyclus en de Beleids- en Beheerscyclus: Relevantie van het Internationaal Vergelijkend Onderzoek voor de Vlaamse Hervormingen. Steunpunt Bestuurlijke Organisatie Vlaanderen pp. 67. 3. Sterck, M., van Dooren, W. & Bouckaert, G., (2002). De onderzoeksagenda ‘Vooruitgang in prestatiemeetsystemen’ in het licht van de recente Vlaamse hervormingen. September 2002. pp. 39. 4. Bouckaert,

G.

,

Scheers,

B.,

Sterck,

M.

&

Van

Reeth,

W.

(2002).

Ontwerp

Comptabiliteitsdecreet: Oplijsting van Knelpunten. Steunpunt Bestuurlijke Organisatie Vlaanderen pp.20 5. Bouckaert, G. , Scheers, B., Sterck, M. & Van Reeth, W. (2002). Internationaal vergelijkend onderzoek naar de modernisering van de financiële cyclus en de beleids- en beheerscyclus: begroting en planning. Steunpunt Bestuurlijke Organisatie Vlaanderen pp.339 6. Bouckaert Geert & van Dooren Wouter & Sterck Miekatrien (2003). Prestaties meten in de Vlaamse overheid: Een verkennende studie. SBOV. 115 p. 7. Scheers Bram & Bouckaert Geert (2003). Internationale trends in de modernisering van de overheidsboekhouding. SBOV. 116 p. 8. Sterck Miekatrien & Bouckaert Geert (2003). Internationale trends in de prestatiemeting bij de overheid. SBOV. 133 p. 9. van Dooren Wouter & Bouckaert Geert (2004). Prestatiemeting in de Vlaamse overheid: vragen voor een informatiebeleid. SBOV: Leuven. 85 p. 10. Van de Walle Steven, Sterck Miekatrien, van Dooren Wouter & Bouckaert Geert (2004). What you see is not necessarily what you get: Een verkenning van de mogelijkheden en moeilijkheden van internationale vergelijkingen van publieke sectoren op basis van indicatoren. 61 p. 11. Verhoest Koen & Bouckaert Geert (2004). Beter Bestuurlijk Beleid. De integratie van de beleids-, contracten financiële cyclus. Het macroperspectief: de koppeling van de cycli als de noodzakelijke volgende stap. SBOV. 32 p.

139


12. Verhoest Koen & Bouckaert Geert (2004). Informatie in een verzelfstandigde overheid: De koppeling van beleids-, contracten financiële cyclus en een implementatiestrategie. SBOV. 30 p. 13. Conings Veerle, Sterck Miekatrien, van Dooren Wouter & Bouckaert Geert (2005). Beleidsnota's versus Beter Bestuurlijk Beleid. Een toetsing van de beleidsnota's aan het Comptabiliteitsdecreet en het Kaderdecreet Bestuurlijk Beleid. Leuven: SBOV. 102 p. 14. De Smedt Joris, Conings Veerle, Verhoest Koen & Bouckaert Geert (2005). Beter Bestuurlijk Beleid.

De

integratie

van

de

beleids-,

contract-

en

financiële

cyclus.

Het

agentschapsperspectief: de managementrapportage in de beheersovereenkomst in het kader van de koppeling van de cycli. Leuven: SBOV. 124 p. 15. Sterck Miekatrien, Scheers Bram & Bouckaert Geert (2005). The modernisation of the public control pyramid: international trends. Leuven: SBOV. 164 p. 16. Sterck Miekatrien, Conings Veerle , Put Vital & Bouckaert Geert (2006). De praktijk van performance audit: een drielandenstudie. Leuven: SBOV.

Boeken

1. Put, Vital (2006). De bril waarmee auditors naar de werkelijkheid kijken. Over normen die rekenhoven gebruiken bij het beoordelen van de overheid. Brugge: Die Keure. 2. Bouckaert, Geert & Halligan, John. (2006). Performance Management. Routledge (forthcoming)

Tijdschriftartikels

1. Bouckaert Geert & (2001). Pride and performance in the public service: some patterns of analysis. International Review of Administrative Sciences. 67: 9-20. 2. Bouckaert Geert & Peters B. Guy (2002). Performance measurement and management: The Achilles'Heel in administrative modernization. Public Performance and Management Review. 25(4): 359-362 3. Bouckaert Geert, van Dooren Wouter, Verschuere Bram, Voets Joris & Wayenberg Ellen (2002). "Trajectories for modernising local governance - revisiting the Flanders case. Public Management Review. 4(3): 309-320. (Award for best article in Public Management Review 2002) 4. Bouckaert, G. & van Dooren, W. (2002). Performance measurement. Getting results Book Review. Public Productivity and Management Review: 11. 5. Bouckaert Geert (2004). Institutionalising monitoring and measurement systems in the public sector. Institutionenwandel in Regierung und Verwaltung. Schriften zum Öffentlichen Recht. Band 950. Berlin: Duncker & Humblot. 455-466. 6. van Dooren Wouter (2004). Prestatiemeting in Vlaanderen: op zoek naar de eenheid in veelheid. Vlaams Tijdschrift voor Overheidsmanagement (VTOM). 9(1): 12-17.

140


7. van Dooren Wouter (2004). Supply and demand of policy indicators: a cross sectoral comparison. Public Management Review. 6 (4): 511-531. 8. van Dooren Wouter & Van de Walle Steven (2004) "Zelfevaluatie of zelfpromotie? Een onderzoek naar de motieven voor het gebruik van een kwaliteitsmodel: het Common Assessment Framework.". BESTUURSKUNDE. 13(2): 87-98 9. Sterck Miekatrien, Scheers Bram & Bouckaert Geert (2004). Réformes budgétaires dans le secteur public: tendances et défits. Revue Internationale de Politique Comparée. 11(2): 241269 10. Scheers Bram, Sterck Miekatrien & Bouckaert Geert (2005). Lessons from Australian and British Reforms in Results-oriented Financial Management. OECD Journal on Budgeting. 5(2): 133-162. 11. van Dooren Wouter (2005) "What makes organisations measure? Hypotheses on the causes and

conditions

for

performance

measurement"

FINANCIAL

ACCOUNTABILITY

&

MANAGEMENT. 21(3): 363-383 12. van Dooren Wouter (2005). "Standing together, while walking alone: a plea for integrating quality management and performance management in (public) organizations" PATimes. 28(5) 13. van Dooren Wouter (2005). Supply and demand of policy indicators: across sectoral comparison. PUBLIC MANAGEMENT REVIEW. 6(4): 511-531. 14. Bouckaert Geert (2005). Un nouvel examen de la mesure de la performance dans le secteur public. Télescope-L'obervatoire de l'Administration Publique. 12(3): 12-25 15. van Dooren Wouter & Sterck Miekatrien (2006) Financial Management Reforms after a Political Shift: a Transformative Perspective. International Journal of Productivity and PERFORMANCE MANAGEMENT. (Accepted). 16. Sterck Miekatrien, Scheers Bram & Bouckaert Geert (2007). Public budgeting reform: international trends and challenges. Journal of Public Budgeting, Accounting and Financial Management (Accepted). 17. Sterck Miekatrien & Scheers Bram (Accepted). Trends in performance budgeting in seven countries. Public Productivity and Management Review.

Hoofdstukken in boeken

1. Bouckaert, G. & van Dooren, W. (2002). Chapter 8: Performance Management in Public Sector Organisations. In: Public Management and Governance: An Introductory Text, K.U.Leuven, Instituut voor de Overheid Löffler and Boivard. London: Routledge. pp. 13. 2. Bouckaert Geert (2002). Modernising the Rechtsstaat: Paradoxes of the Management Agenda.

In:

Sommermann

Karl-Peter

&

Ziekow

Jan

(Eds).

Perspectiven

Verwaltungsforschung. Berlin: Duncker & Humblot. pp. 71-83

141

der


3. Bouckaert Geert (2002). Reform of budgetary systems in the public sector. In: Hogye Miholy (Ed). Local Government Budgeting. Budapest: OSI/LGI, Open Society Institute (Local Government and Public Service Reform Initiative). pp. 17-42 4. Bouckaert, G., Thijs, N. & van Dooren, W. (2003). Quality Management and Management of Quality in the European Public Administrations. In: Public Management and Governance: An Introductory Text, Löffler, Boivard, and Parrado Diez. pp. 19. 5. van Dooren, W. & Van de Walle, S. (2003). Self Promotion by Self Assessment? A Study of the Motives Underlying the Use of the Common Assessment Framework (CAF) in Belgian Public Agencies. In: Löffler, Boivard, and Parrado Diez. pp. 17. 6. Scheers Bram, Sterck Miekatrien & Van Reeth Wouter (2003). Spoor modernisering van de financiële beleids- en beheerscycli: Begroting en planning als multifunctionele systemen. In: Bouckaert Geert, Hondeghem Annie, Janvier Ria, De Rynck Filip & Waege, Hans. Jaarboek Steunpunt 2002:Tussen bestuurskunde en bestuurspraktijk: Bijdragen voor duurzaam besturen in Vlaanderen. die Keure: Brugge. pp. 139-172. 7. Bouckaert Geert & van Dooren Wouter (2003). Performance management in public sector organisations. In: Löffler Elke & Boivard Tony (Eds.). Public Management and Governance. Routledge: London. pp. 127-136. 8. Bouckaert Geert & van Dooren Wouter (2003). Vraag en aanbod van prestatiemeting en indicatoren in de publieke sector. In: Bouckaert Geert, Hondeghem Annie, Janvier Ria, De Rynck Filip & Waege Hans. Jaarboek SBOV 2002: Tussen bestuurskunde en bestuurspraktijk: Bijdragen voor duurzaam besturen in Vlaanderen. die Keure: Brugge. pp. 241-258. 9. Bouckaert Geert (2003). New information technology (NIT) and productivity measurement: Changes and consequences. In: Jack Rabin, Robert F. Munzenrider, Sherrie M. Bartell (Eds). Principles and practices of public administration. Part 6: Decision making, Policy studies and analysis. New York: Dekker eBooks. 10. Bouckaert Geert (2003). Renewing public leadership: The context for public service delivery reform. In: Finlay Jane & Debicki Marek (Eds). Delivering Public Services in CEE Countries: Trends and Developments. Bratislava: NISPAcee. pp. 15-26. 11. van Dooren Wouter, Bouckaert Geert & Thijs Nick (2004). Quality management and management of quality in the European public administrations. In: Löffler Elke & Vintar Mirko (Eds.). Improving the quality of East and Western European public services. Hampshire: Ashgate. pp. 91-106. 12. Van de Walle Steven, Sterck Miekatrien, van Dooren Wouter, Bouckaert Geert & Pommer Evert (2004). Public administration. In: Social and Cultural Planning Office. Public performance: An international comparison of education, health care, law and order and public administration. The Hague: Social and Cultural Planning Office. pp. 234-270. 13. van Dooren Wouter & Van de Walle Steven (2004). Why do Belgian public agencies use the Common Assessment Framework (CAF)? In: Löffler Elke & Vintar Mirko (Eds). Improving the Quality of East and Western European Public Services. Hampshire: Ashgate. pp. 157-172.

142


14. Scheers Bram, Sterck Miekatrien & Bouckaert Geert (2004). Dekt de vlag de lading? Naar een verfijning van het begrip resultaatgericht begroten. In: Bouckaert Geert, Hondeghem Annie, Janvier Ria, De Rynck Filip & Waege Hans (Red). Jaarboek SBOV 2003: Vlaanderen op een keerpunt? Bijdragen vanuit bestuurskundig onderzoek. die Keure: Brugge. pp. 107-144. 15. van Dooren Wouter (2005). Prestatiemeting. Een toepassing voor politiekorpsen. In: Ponsaers Paul, Enhus Els, Easton Marleen, Bruggeman Willy & Collier Alain (Red.). 10 miljoen klanten moet je verdienen. Brussel: POLITEIA. pp. 29-45 16. Conings Veerle & Sterck Miekatrien (2005). De financiële hervorming als hefboom voor een resultaatgericht

management.

In:

Hondeghem

Annie

&

Depré

Roger

(Red.).

De

Copernicushervorming in perspectief. Veranderingsmanagement in de federale overheid. Brugge: Vanden Broele. pp. 225-25 17. Sterck Miekatrien & Scheers Bram (2005). Deckt der Name die Sache? Zu einer Verfeinerung des Begriffes ‘ergebnisorientiertes Haushaltswesen’. In: Hill Herman & Engels Dieter (Eds.). Verwaltungsressourcen und Verwaltungsstrukturen. Baden-Baden: Nomos Verlaggesellschaft. pp.11-34. 18. van Dooren Wouter, Sterck Miekatrien & Van de Walle Steven (2005). Ver(on)gelijkt? De mogelijkheden en moeilijkheden van internationale indicatoren. In: Bouckaert Geert, Hondeghem Annie, Janvier Ria, De Rynck Filip & Bursens Peter (Red). Jaarboek SBOV 2004: Vlaanderen en/in Europa: omgaan met de Unie en vergelijkend leren. pp. 11-28 19. Geert Bouckaert and John Halligan (2006). Performance and Performance Management In Peter, Guy B. & Pierre, Jon. Handbook of Public Policy. Sage. Thousand Oaks. (forthcoming) 20. Bouckaert, Geert (accepted). Renewing Public Sector Performance Measurement. In: De Lancer Julnes Patria, Berry Frances and Aristigueta, Maria (Eds.). International Handbook of Practice based performance management. SAGE. Thousand Oaks. 21. van Dooren, Wouter (accepted). Integrating Quality and Performance. In: De Lancer Julnes Patria, Berry Frances and Aristigueta, Maria (Eds.). International Handbook of Practice based performance management. SAGE. Thousand Oaks. 22. Sterck, Miekatrien & Bouckaert, Geert (accepted). Performance information of high quality: How to develop a legitimate, functional and sound performance measurement system? In: De Lancer Julnes Patria, Berry Frances and Aristigueta, Maria (Eds.).International Handbook of Practice based performance management. SAGE. Thousand Oaks.

Doctoraten

1. Van Reeth, W. (2002), The Bearable Lightness of Budgeting. An Explorative Research on the Uneven Implementation of Performance Oriented Budget Reform. 381 p. 2. Put Vital (2005). Normen in performance audits van rekenkamers. Een casestudie bij de Algemene Rekenkamer en het National Audit Office. 243 p.

143


3. van Dooren, Wouter (2006). Performance measurement in the Flemish public sector : a supply and demand approach. 363 p.

Congrespapers

1. van Dooren, W. & Bouckaert, G. (2002). Progress and Regress in Performance Measurement Systems. Fith International Research Symposium on Public Management. Edinburgh. 2002. pp. 28. 2. van Dooren, W. & Van de Walle, S. (2002). Self Promotion by Self Assessment? A Study of the Motives Underlying the Use of the Common Assessment Framework (CAF) in Belgian Public Agencies. NISPACee Annual Conference. Krakow. 2002. 3. Scheers, B., Sterck, M. & Van Reeth, W. (2002). Modernizing Financial Management and Policy Cycles. EGPA Annual Conference (Study Group Public Finance and Management). Potsdam, Duitsland. 4-6 september 2002. 4. Van Reeth, W. (2002). Budget Reform: A Multi-Functional or Dysfunctional Phenomenon? EGPA Annual Conference (Study Group Public Finance and Management). Potsdam, Duitsland. 4-6 september 2002. 5. Van Reeth, W. (2002). Pathologies of Performance Budgeting. ABFM Conference. Kansas City, Missouri, Verenigde Staten. 10-12 oktober 2002. 6. Sterck Miekatrien & Scheers Bram (2003). The use of output and outcome information in public budgeting: trends and challenges. Annual Conference of the European Group of Public Administration (EGPA), 'Public Law and the Modernizing State', study Group on Public Finance and Management. Oeiras: Portugal. 3-6 september 2003. 29 p. 7. van Dooren Wouter (2003). Framing Performance Measurement: Performance measurement as a dependent and an independent variable in public management research. New Public Management Seminar. Amsterdam. September 2003. 15 p. 8. van Dooren Wouter (2003). Supply and demand of policy indicators: a cross sectoral comparison. Evidence Based Policies and Indicator Systems. Londen. Juli 2003.17 p. 9. van Dooren Wouter (2003) Framing performance measurement: Performance measurement as a dependent and an independent variable in public management research. New Public Management Seminar. Amsterdam. 4 september 2003. 15 p. 10. Scheers Bram, Sterck Miekatrien & Bouckaert Geert (2004). Lessons from Australian and British reforms in results-oriented financial management. EIASM International Conference on accounting, auditing and management in public sector reforms. Oslo: Norway. 7-9 oktober 7-9, 2004. 22 p. 11. van Dooren Wouter (2004). What makes Organisations Measure? Hypotheses on the Causes and Conditions for Performance Measurement. EIASM Conference. Oslo: Norway. 6-9 oktober. 19 p.

144


12. Sterck Miekatrien & van Dooren Wouter (2004). The use of performance information: taxonomy and international comparison. EGPA conference, study group: Productivity and quality in the public sector. Ljubljana: Slovenia. 31 p. 13. Sterck, Miekatrien Scheers Bram, Conings Veerle & Bouckaert Geert (2005). Linking budgeting and accounting reforms. An international comparison. 22 p. Paper presented at the 10th biennial CIGAR Conference ‘Accounting reform in the public sector: mimicry, fad or necessity?’. Poitiers: Frankrijk. 26-27/05/2005 14. van Dooren Wouter & Aristigueta Maria (2005). The Reinvention of Social Indicators in Europe and the USA. 2005. EGPA annual conference. Study Group II: Productivity and Quality in the Public Sector.” 31 augustus - 2 september 2005. Bern: Zwitserland. 30 p.

145

005

Recommend Documents