Internationale trends in prestatiemeting bij de overheid

Steunpunt Bestuurlijke Organisatie in Vlaanderen Spoor Financiën & Monitoring

Internationale trends in prestatiemeting bij de overheid

Miekatrien STERCK Prof. Dr. Geert BOUCKAERT

2003 D/2004/10106/023 algemeen secretariaat - steunpunt beleidsrelevant onderzoek bestuurlijke organisatie vlaanderen E. VAN EVENSTRAAT 2 C - B-3000 LEUVEN – BELGIE Tel: 0032 16 32 36 10 - Fax: 0032 16 32 36 11 - E-mail: [email protected] www.steunpuntbov.be

Inhoudsopgave

Inhoudsopgave 1.

INLEIDING.................................................................................................................................. 11 1.1.

Situering van het onderzoek................................................................................................ 11

1.2.

Methodologie......................................................................................................................... 12

1.3.

Beschrijvende variabelen..................................................................................................... 12

1.3.1.

Initiatieven tot prestatiemeting ......................................................................................... 12

1.3.2.

Actoren betrokken bij prestatiemeting ............................................................................. 13

1.3.3.

Proces van prestatiemeting ............................................................................................. 13

1.3.4.

Wet- en regelgeving met betrekking tot prestatiemeting ................................................. 14

1.3.5.

Rapportering van prestatiegegevens............................................................................... 14

1.3.6.

Focus van prestatiemeting: wat wordt er gemeten?........................................................ 14

1.3.7.

Audit en kwaliteitscontrole ............................................................................................... 15

1.3.8.

Gebruik van prestatiegegevens ....................................................................................... 17

1.4. 2.

Structuur van het rapport..................................................................................................... 18 PRESTATIEMETING IN DE AUSTRALISCHE FEDERALE OVERHEID ................................. 19

2.1.

Historisch overzicht van de hervormingen ........................................................................ 19

2.2.

Actoren betrokken bij de hervormingen............................................................................. 21

2.3.

Proces van prestatiemeting ................................................................................................. 22

2.4.

Richtlijnen voor prestatiemeting ......................................................................................... 23

2.4.1.

Criteria voor goede indicatoren........................................................................................ 23

2.4.2.

Criteria voor performance management.......................................................................... 24

2.5.

Rapportering van de prestatiegegevens ............................................................................ 25

2.5.1.

Outcome Statements: maatschappelijke effecten op portfolioniveau.............................. 25

2.5.2.

Portfolio Budget Statements: outputs en administered items op portfolioniveau ........... 26

2.5.3.

Agency Annual Reports ................................................................................................... 26

2.6.

Focus van de prestatiegegevens: Wat wordt er gemeten? .............................................. 27

2.7.

Audit en kwaliteitscontrole van de prestatiegegevens .................................................... 28

2.8.

Gebruik van prestatiemeting ............................................................................................... 29

2.8.1.

Financiële cyclus: outcome budgeting............................................................................. 31

2.8.2.

Beleids- en beheerscyclus............................................................................................... 31

2.8.3.

Sturing en verantwoording............................................................................................... 32

3.

PERFORMANCE MANAGEMENT IN CANADIAN FEDERAL GOVERNMENT ...................... 33 3.1.

History and objectives of performance management reforms ........................................ 33

3.2.

Actors involved in performance management................................................................... 34

3.2.1.

Treasury Board Secretariat (TBS) ................................................................................... 35

3


3.2.2.

Statistics Canada............................................................................................................. 36

3.2.3.

Standing Committee on Government Operations and Estimates.................................... 36

3.3.

Guidelines for monitoring and control ............................................................................... 37

3.4.

Reporting performance information ................................................................................... 38

3.4.1.

Departmental Performance Report.................................................................................. 38

3.4.2.

Example: Natural Resources Canada ............................................................................. 40

3.4.3.

Government-wide performance reporting........................................................................ 41

3.5.

Focus of monitoring: what is measured? .......................................................................... 42

3.6.

Quality control and audit of performance information ..................................................... 43

3.7.

Use of performance information ......................................................................................... 44

3.7.1.

Financial cycle ................................................................................................................. 44

3.7.2.

Policy and management cycle ......................................................................................... 45

3.7.3.

Accountability to parliament............................................................................................. 45

4.

PERFORMANCE MANAGEMENT IN THE NETHERLANDS ................................................... 46 4.1.

History and objectives of reform......................................................................................... 46

4.2.

Actors involved in performance management reform ...................................................... 47

4.2.1.

Ministry of Finance, Division for Policy Instrumentation and Policy Evaluation .............. 47

4.2.2.

Central Bureau of Statistics (CBS) .................................................................................. 47

4.2.3.

Audit Court (Algemene Rekenkamer).............................................................................. 47

4.3.

Process of performance management ............................................................................... 48

4.4.

Guidelines for performance management.......................................................................... 48

4.5.


4.5.1.

Departmental level .......................................................................................................... 50

4.5.2.

Government-wide level .................................................................................................... 51

4.6.

Focus of performance measurement: what is measured?............................................... 51

4.7.

Quality control and audit of performance information ..................................................... 52

4.8.


4.8.1.

Financial cycle: outcome budgeting ................................................................................ 53

4.8.2.

Policy and management cycle ......................................................................................... 54

4.8.3.

Accountability................................................................................................................... 54

5.

PERFORMANCE MANAGEMENT IN SWEDEN....................................................................... 55 5.1.

History and objectives of performance management reforms ........................................ 55

5.2.

Actors involved in performance management reforms .................................................... 57

5.2.1.

Ministry of Finance and Swedish National Financial Management Authority (ESV) ....... 57

5.2.2.

Office of Public Management (Statskontoret).................................................................. 58

5.2.3.

National Council for Quality and Development................................................................ 58

4

Inhoudsopgave

5.2.4.

Statistics Sweden ............................................................................................................ 59

5.2.5.

Ministries.......................................................................................................................... 59

5.2.6.

Agencies .......................................................................................................................... 60

5.2.7.

Agencies with a specific monitoring and evaluation task ................................................ 60

5.2.8.

Swedish National Audit Office (Riksrevisionsverket)....................................................... 61

5.3.

Process of performance planning and reporting .............................................................. 61

5.4.


5.5.


5.5.1.

Instruction Letter (Regleringsbrev) .................................................................................. 62

5.5.2.

Annual Report .................................................................................................................. 63

5.5.3.

Performance dialogue...................................................................................................... 64

5.5.4.

Financial benchmarking................................................................................................... 64

5.5.5.

Official Statistics and the Statistical Yearbook of Sweden .............................................. 65

5.6.

Focus of performance measurement: what is measured?............................................... 65

5.7.

Audit and quality control of performance information ..................................................... 66

5.8.


5.8.1.

Steering and controlling agencies.................................................................................... 68

5.8.2.

Budget Process ............................................................................................................... 69

5.8.3.

Communication to citizens............................................................................................... 70

6.

PRESTATIEMETING IN HET VERENIGD KONINKRIJK ......................................................... 73 6.1.

Historisch overzicht van de hervormingen ........................................................................ 73

6.2.

Actoren betrokken bij de initiatieven tot prestatiemeting ................................................ 75

6.3.

Proces van prestatiemeting ................................................................................................. 77

6.4.

Richtlijnen voor prestatiemeting ......................................................................................... 79

6.4.1.

Criteria voor goede prestatiemeetsystemen.................................................................... 79

6.4.2.

Criteria voor goede indicatoren........................................................................................ 80

6.5.

Rapportering van de prestatiegegevens ............................................................................ 80

6.5.1.

Public Service Agreements.............................................................................................. 81

6.5.2.

Service Delivery Agreements .......................................................................................... 82

6.5.3.

Delivery Plans and Delivery Reports ............................................................................... 82

6.5.4.

Spring Departmental Report ............................................................................................ 82

6.5.5.

Departmental Annual Report and Accounts .................................................................... 82

6.6.

Focus van de prestatiegegevens: wat wordt er gemeten?............................................... 85

6.7.

Audit en kwaliteitscontrole van prestatiegegevens .......................................................... 86

6.8.

Gebruik van de prestatiegegevens ..................................................................................... 87

6.8.1.

Gebruik in de financiële cyclus: Spending Review .......................................................... 87

6.8.2.

Gebruik in de beleidsen beheerscyclus: business planning.......................................... 88

5


6.8.3. 7.

Gebruik in sturing en verantwoording.............................................................................. 89

PERFORMANCE MANAGEMENT IN THE UNITED STATES FEDERAL GOVERNMENT .... 93 7.1.

History and objectives of performance management reform .......................................... 93

7.2.

Actors involved in performance management................................................................... 95

7.2.1.

Office of Management and Budget (OMB) ...................................................................... 95

7.2.2.

Principal Statistical Agencies........................................................................................... 96

7.2.3.

Federal Committee on Statistical Methodology ............................................................... 97

7.2.4.

General Accounting Office (GAO) ................................................................................... 97

7.3.

Process of performance management ............................................................................... 98

7.4.


7.5.

Performance reporting ....................................................................................................... 100

7.6.

Focus of performance measurement: what is measured?............................................. 102

7.6.1.

Outcome and output measures ..................................................................................... 102

7.6.2.

Human Capital Assessment and Accountability Framework......................................... 102

7.6.3.

Common Performance Measures.................................................................................. 103

7.7.

Audit and quality control of performance information ................................................... 103

7.8.

Use of performance information ....................................................................................... 104

7.8.1.

Budgetary decision making............................................................................................ 104

7.8.2.

Internal management..................................................................................................... 105

7.8.3.

Congressional oversight ................................................................................................ 106

8.

CONCLUSIE: INTERNATIONALE TRENDS IN PRESTATIEMETING .................................. 109 8.1.

Initiatieven tot prestatiemeting: vormen van verandering ............................................. 109

8.2.

Actoren betrokken bij de hervormingen........................................................................... 110

8.3.

Proces van prestatiemeting ............................................................................................... 112

8.4.

Wetgeving, regelgeving en richtlijnen .............................................................................. 113

8.5.

Rapportering van prestatiegegevens................................................................................ 114

8.6.

Focus van prestatiemeting: wat wordt er gemeten?....................................................... 116

8.7.

Audit en kwaliteitscontrole van prestatiegegevens ........................................................ 118

8.8.

Gebruik van prestatiegegevens......................................................................................... 119

8.9.

Verband tussen prestatiemeting en boekhoudsystemen............................................... 121

8.9.1.

Functies van boekhouding en prestatiemeting .............................................................. 122

8.9.2.

Procedures van boekhouding en prestatiemeting ......................................................... 123

8.9.3.

Formattering van boekhouding en prestatiemeting ....................................................... 125

8.10.

Overzichtstabellen van het internationaal vergelijkend onderzoek naar

prestatiemeting .............................................................................................................................. 128

6

Lijst met tabellen

Lijst met tabellen Tabel 1-1: Operationalisering van de beschrijvende parameters in een set van variabelen voor de vergelijking van initiatieven tot prestatiemeting. ............................................................................ 12 Tabel 1-2: Criteria voor goede indicatoren. ........................................................................................... 16 Tabel 1-3: Positionering van de meetsystemen in functie van de drie systeemdimensies .................. 17 Tabel 2-1: Evolutie van initiatieven tot prestatiemeting in de Commonwealth of Australia................... 19 Tabel 2-2: Actoren betrokken bij de initiatieven tot prestatiemeting in de Australische Commonwealth ....................................................................................................................................................... 21 Tabel 2-3: Proces van prestatiemeting in de Australische Commonwealth.......................................... 22 Tabel 2-4:Criteria voor performance management. .............................................................................. 24 Tabel 2-5: Classificatie van resultaatgerichte hervormingen naar de functies die ze vervullen ........... 30 Tabel 2-6: Gebruik van prestatiegegevens in de Commonwealth of Australia ..................................... 30 Tabel 2-7: Structuur en inhoud van de begrotingsdocumenten in de Commonwealth of Australia . .. 31 Table 3-1: History and objectives of performance management reforms in Canada............................ 33 Table 3-2: Criteria used in the assessment of the fairness and reliability of performance information. 38 Table 3-3: Structure of departmental performance reports. .................................................................. 38 Table 3-4: Natural Resources Canada Actual Expenditures by Strategic Outcomes and Activities..... 41 Table 3-5: Quality of Life Indicators....................................................................................................... 42 Table 4-1: History and objectives of performance measurement reforms in the Netherlands.............. 47 Table 4-2: Share of input-, activity-, output- and outcome measures in 2002 departmental budgets. . 52 Table 5-1: History of public sector reforms relevant for performance management in Sweden. .......... 57 Table 5-2: Budget process and reporting process in Sweden .............................................................. 61 Table 5-3: ESV assessment of the agencies financial management systems...................................... 65 Table 5-4: Use of performance information in decision-making in Sweden.......................................... 68 Table 5-5: Number of retrievals from Sweden’s statistical databases by subject area......................... 70 Tabel 6-1: Overzicht van de initiatieven tot prestatiemeting in het Verenigd Koninkrijk. ...................... 74 Tabel 6-2: Actoren betrokken bij de initiatieven tot prestatiemeting ..................................................... 75 Tabel 6-3: Actoren betrokken bij het proces van prestatiemeting ......................................................... 78 Tabel 6-4: Department of Education: Statement of Resources by Aims and Objectives...................... 85 Tabel 6-5: Verdeling van indicatoren in de Public Service Agreements ............................................... 85 Tabel 6-6: Structuur van de begroting van het Department of Education and Skills 2003-2004. ......... 88 Table 7-1: History and objectives of performance management reform in the United States. ............. 93 Table 7-2: President’s Management Agenda Scorecards in July 2001 and September 2003 ............ 95 Table 7-3: Principle statistical agencies: budget and work force. ......................................................... 96 Table 7-4: Percentage of federal managers reporting having specific types of performance measures to a great or very great extent ..................................................................................................... 102 Table 7-5: Examples of Common performance measures................................................................. 103 Table 7-6: Use of performance information in decision-making in the United States. ....................... 104 Table 7-7: Evolution in the agency climate and the use of performance information in federal agencies ..................................................................................................................................................... 105 Table 7-8: Percentage of Federal Managers who reported having outcome measures to a great or very great extent.......................................................................................................................... 108 Table 7-9: Percentage of Federal Managers who reported having output measures to a great or very great extent.................................................................................................................................. 108 Tabel 8-1: Overzicht van nationale statistiekinstellingen. ................................................................... 112 Tabel 8-2: Criteria voor goede indicatoren, prestatiemeetsystemen en rapportering. ........................ 119 Tabel 8-3: Vergelijking boekhoudsystemen met prestatiemeetsystemen........................................... 122

7

Lijst met figuren

Lijst met figuren Figuur 1-1: Concept en timing van het onderzoek naar de modernisering van de beleidsen beheerscyclus en de financiële cyclus. ......................................................................................... 11 Figuur 1-2: Analytisch schema van de doelmatigheidsanalyse ............................................................ 15 Figuur 1-3: Dimensies voor de evaluatie van een meetsysteem. ........................................................ 17 Figure 3-1: Average score on reporting principles for 2001 and 2002.................................................. 39 Figuur 3-2: Assessments of Departmental Performance Reports 2002. .............................................. 40 Figure 3-3: Model for rating performance reports ................................................................................. 44 Figure 4-1: Step-by-step process of policy planning and performance measurement ......................... 50 Figuur 6-1: Proces van performance management............................................................................... 77 Figuur 6-2: Plannings- en rapporteringscyclus in het Verenigd Koninkrijk............................................ 81 Figure 6-3: Business planning model .................................................................................................... 88 Figure 7-1: The US federal government performance management process....................................... 98 Figuur 8-1: Cyclus van planning en rapportering volgens het Kaderdecreet Bestuurlijk Beleid en het Ontwerp van Comptabiliteitsdecreet. .......................................................................................... 116

9

Inleiding

1. Inleiding 1.1.

Situering van het onderzoek

De internationale vergelijking van initiatieven tot prestatiemeting situeert zich in een vijfjarig onderzoek binnen het Steunpunt Bestuurlijke Organisatie Vlaanderen naar de modernisering van de beleidsen beheerscyclus en de financiële cyclus. Deze studie beoogt verschillende doelstellingen. Ten eerste wordt er een internationale vergelijking gemaakt van hervormingen in de beleidsen beheerscyclus zoals

de

invoering

van

strategische

beleidsevaluatie en performance audits.

planning

en

prestatiebegrotingen,

prestatiemeting,

Nadat deze hervormingen in kaart gebracht zijn, wordt

gezocht naar verklaringen voor het al dan niet slagen van deze veranderingen. Welke faal- en succesfactoren kunnen we formuleren voor de implementatie van resultaatgerichte hervormingen bij de overheid? Tenslotte kan het beschrijvend en verklarend onderzoek een inspiratiebron vormen om de Vlaamse situatie te interpreteren. Hoe kunnen we de buitenlandse beleidsen beheerspraktijken vertalen naar Vlaanderen? De finale doelstelling van dit onderzoek is dus op basis van wetenschappelijke bevindingen aanbevelingen te formuleren voor het Vlaamse moderniseringsproces. Nadat in 2002 een internationale vergelijking werd gemaakt van initiatieven met betrekking tot strategische planning en prestatiebegrotingen, kwam in 2003 de opvolging van het beleid en het beheer aan bod. Tegelijkertijd werd ook een inventarisatie gemaakt van boekhoudhervormingen (Scheers & Bouckaert, 2003). De verschillende componenten van de beleidsen beheerscyclus en de financiële cyclus worden beschreven en vergeleken aan de hand van drie parameters: functies, procedures en formatteringen. De volgende figuur illustreert het onderzoeksconcept.

planning

begroting F

2002

I

II

2003

F

P

III I

P

monitoring

boekhouding F

I

F

P

I

P

I

audit

2004

F

I

P

financiële cyclus

evaluatie F

I

P

beleidsen beheerscyclus

Figuur 1-1: Concept en timing van het onderzoek naar de modernisering van de beleidsen beheerscyclus en de financiële cyclus.

11


Het onderzoeksprogramma voor 2003 betreft de volgende drie onderzoeksvragen: I. Welke zijn de functies, procedures en formatteringen van prestatiemeetsystemen en in welke mate zijn ze afgestemd? II. Welke zijn de functies, procedures en formatteringen van boekhoudsystemen en in welke mate zijn ze afgestemd? (zie rapport: Internationale trends in de modernisering van de overheidsboekhouding) (Scheers & Bouckaert, 2003). III. In welke mate zijn de functies, procedures en formattering van de boekhoudsystemen en de prestatiemeetsystemen afgestemd?

1.2.

Methodologie

Het vergelijkend onderzoek naar prestatiemeting gebruikt de methodologie van een multiple case study. Het onderzoeksobject van deze studie beslaat de regeringswijde initiatieven tot prestatiemeting binnen de centrale of federale overheid in 6 OESO landen (Australië, Canada, Nederland, Zweden, Verenigd Koninkrijk en de Verenigde Staten). Deze landen werden geselecteerd omdat zij reeds een lange

traditie

hebben

inzake

prestatiemeting.

We

maken

gebruik

van

kwalitatieve

onderzoeksmethoden zoals de literatuurstudie van primaire en secundaire documenten en interviews met ambtenaren betrokken bij de hervormingen.

1.3.

Beschrijvende variabelen

De beschrijving van de hervormingen van de beleidsen beheerscyclus gebeurt aan de hand van drie parameters: de functies, de procedures en de formattering van het systeem. Voor het onderzoek naar prestatiemeting, werden deze parameters verder geoperationaliseerd in een aantal beschrijvende variabelen. Deze set van variabelen is gebaseerd op deze gebruikt in het onderzoek naar prestatiemeting van Bouckaert, Hoet en Ulens en wordt in de volgende paragrafen verder toegelicht (Bouckaert, Hoet & Ulens, 2000: 312-313). De volgende tabel geeft een overzicht van de set van variabelen die gebruikt worden in de multiple case study. Functies Procedures

Formattering

Initiatieven met betrekking tot prestatiemeting Gebruik van prestatiegegevens Actoren betrokken bij prestatiemeting: wie meet? Proces van prestatiemeting Wetgeving en regelgeving met betrekking tot prestatiemeting Audit en kwaliteitscontrole van prestatiegegevens Rapportering van prestatiegegevens Focus van prestatiemeting: wat wordt er gemeten?

Tabel 1-1: Operationalisering van de beschrijvende parameters in een set van variabelen voor de vergelijking van initiatieven tot prestatiemeting.

1.3.1. Initiatieven tot prestatiemeting Om aan te vangen maken we een inventarisatie van de belangrijkste initiatieven met betrekking tot prestatiemeting. Hierbij wordt gefocust op regeringswijde hervormingen binnen de centrale overheid.

12

Inleiding

Er wordt een overzicht gegeven van de historiek en de centrale doelstellingen van de veranderingen. In dit inleidende onderdeel worden de volgende vragen beantwoord: -

Welke zijn de belangrijkste initiatieven met betrekking tot prestatiemeting? Welke hervormingen gingen hieraan vooraf?

-

Wat zijn de doelstellingen van de hervormingen?

-

Hoe verhouden de initiatieven zich tot andere moderniseringsprojecten?

1.3.2. Actoren betrokken bij prestatiemeting Ten tweede wordt per land nagegaan welke actoren betrokken zijn bij de initiatieven rond prestatiemeting. Er zijn verschillende verantwoordelijkheden te onderscheiden: de voorbereiding, ontwikkeling, uitvoering en evaluatie van algemeen beleid met betrekking tot prestatiemeting enerzijds en met betrekking tot het statistiekbeleid anderzijds.

Hierbij kunnen dus zeer veel verscheiden

actoren betrokken zijn. In het onderdeel “Actoren betrokken bij prestatiemeting” zullen de volgende vragen beantwoord worden: -

Welke actoren zijn verantwoordelijk voor de voorbereiding, ontwikkeling en uitvoering van het algemeen beleid rond prestatiemeting?

-

In welke mate is het beleid rond prestatiemeting gedecentraliseerd? Welke rol spelen departementen en agentschappen in het proces van prestatiemeting?

-

Welke

rol

spelen

externe

actoren,

zoals

parlementaire

commissies,

rekenkamers,

beroepsgroepen, andere overheden,… in het beleid rond prestatiemeting? -

Welke actoren zijn verantwoordelijk voor de voorbereiding, ontwikkeling en evaluatie van het algemene statistiekbeleid?

1.3.3. Proces van prestatiemeting Het proces van prestatiemeting bestaat uit verschillende fasen. We kunnen de volgende basisstappen onderscheiden in het proces van prestatiemeting (Hatry, 1999): -

Missie, doelstellingen en de doelgroep van het programma definiëren.

-

Outcomes en outputs formuleren

-

Outcome indicatoren en outputindicatoren ontwikkelen

-

Dataverzameling

-

Verwerking van gegevens, bijvoorbeeld uitsplitsingen en vergelijkingen

-

Analyse en rapportering van prestatiegegevens

-

Gebruik van prestatiegegevens

Het proces van prestatiemeting staat niet op zich. Het is ingebed in de beleidsen beheerscyclus van de organisatie en mogelijks ook in de contractcyclus en de financiële cyclus. In de analyse van het proces van prestatiemeting in de selectie van OESO-landen komen de volgende vragen aan bod: -

Hoe verloopt het proces van prestatiemeting? Welke verschillende fasen worden in dit proces onderscheiden?

-

In welke mate is het proces van prestatiemeting ingebed in de beleidsen beheerscyclus?

13


-

In welke mate is het proces van prestatiemeting ingebed in de financiële cyclus?

-

In welke mate is het proces van prestatiemeting ingebed in de contractcyclus?

1.3.4. Wet- en regelgeving met betrekking tot prestatiemeting Ten vierde zullen we nagaan in welke mate de hervormingen verankerd zijn in weten regelgeving. Het is niet enkel van belang te weten of er een wettelijke of regelgevende basis is voor prestatiemeting, maar ook hoe concreet de vereisten voor prestatiemeting zijn vastgelegd. De graad van detail van de weten regelgeving kan variëren van de algemene vereiste van beleidsen beheersopvolging en de verantwoordelijkheid hiervoor tot specifieke criteria voor prestatiemeting en – rapportering. Om de weten regelgeving met betrekking tot prestatiemeting te beschrijven, beantwoorden we de volgende vragen: -

Zijn de initiatieven met betrekking tot prestatiemeting wettelijk verankerd?

-

Welke regelgeving bestaat er met betrekking tot prestatiemeting?

-

Welke handleidingen bestaan er voor prestatiemeting?

-

Zijn er criteria voor goede prestatiemeetsystemen en goede indicatoren geformuleerd?

1.3.5. Rapportering van prestatiegegevens Nadat de data verzameld, geanalyseerd en verwerkt zijn, worden ze gerapporteerd. De rapportage van prestatiegegevens kan variëren naargelang het document waarin ze gerapporteerd worden, de frequentie van rapportering en de openbaarheid van de rapportering. Bij de beschrijving van de rapportering van prestatiegegevens komen de volgende vragen aan bod: -

In welke documenten worden de prestatiegegevens gerapporteerd?

-

Op welk niveau worden de prestatiegegevens gerapporteerd (organisatieniveau? niveau van het beleidsdomein? regeringswijd niveau?)

-

Aan wie worden de prestatiegegevens gerapporteerd? Zijn ze publiek toegankelijk?

-

Met welke frequentie worden de prestatiegegevens gerapporteerd?

-

Worden de financiële en niet-financiële gegevens geïntegreerd of apart gerapporteerd? In welke mate wordt het verband gelegd tussen de financiële en de niet-financiële gegevens?

1.3.6. Focus van prestatiemeting: wat wordt er gemeten? Wat is de focus van de prestatiemeetsystemen die ontwikkeld worden? Welke verschillende indicatoren worden gemeten? Er kunnen indicatoren ontwikkeld worden voor het ganse spectrum van middelen, activiteiten, prestaties en effecten. Hierbij dient een onderscheid gemaakt te worden tussen enkelvoudige grootheden (middelen, activiteiten, prestaties en effecten) en samengestelde grootheden (efficiëntie, effectiviteit en kosteneffectiviteit). De indicatoren worden gehecht aan een hiërarchie of cascade van doelstellingen. De onderstaande figuur geeft weer hoe de verschillende

14

Inleiding

indicatoren van het MAPE-spectrum geplaatst kunnen worden ten opzichte van de doelstellingen van de overheid, de financiële beleidsruimte en de maatschappelijke behoeften.

financiële beleidsruimte

behoeften

strategische doelstellingen

operationele doelstellingen

effectiviteit

middelen

activiteiten

prestaties

effecten

efficiëntie kosteneffectiviteit

omgeving

zuinigheid

Figuur 1-2: Analytisch schema van de doelmatigheidsanalyse (Bouckaert, Van Reeth, Auwers & Verhoest, 1997:39)

In het internationaal vergelijkend onderzoek wordt de focus van prestatiemeting onderzocht aan de hand van de volgende vragen: -

Binnen welke hiërarchie van doelstellingen worden de indicatoren gesitueerd?

-

In welke mate worden er middelen, activiteiten, prestaties of effecten gemeten en gerapporteerd in de jaarverslagen?

-

Worden er ook samengestelde grootheden zoals efficiëntie, effectiviteit en kosteneffectiviteit gemeten en gerapporteerd in de jaarverslagen?

-

In welke mate is er een kloof tussen wat is voorgeschreven in weten regelgeving en wat er daadwerkelijk gemeten en gerapporteerd wordt?

1.3.7. Audit en kwaliteitscontrole Om een prestatiemeetsysteem te kunnen gebruiken als instrument in de financiële cyclus, de beleidsen beheerscyclus en de contractcyclus is het van cruciaal belang dat de prestatiegegevens van een goede kwaliteit zijn. Dit kan gegarandeerd worden door de invoering van kwaliteitscontroles en audits. De audit van prestatiegegevens kan enerzijds gezien worden als een onderdeel van de performance audit of het doelmatigheidsonderzoek dat nagaat of de efficiënte en effectieve wijze worden benut.

toegewezen middelen op een zuinige,

Barzelay daarentegen beschouwt de audit van

15


prestatiegegevens als een apart type van audit (Barzelay, 1997). De methodologie van de audit van prestatiegegevens lijkt sterk op deze van de financiële audit, maar toch zijn er een aantal belangrijke verschilpunten zoals het niet zuiver kwantitatief karakter van prestatiegegevens, het belang van interpretatie, de onzekerheid over de kwaliteit van externe bronnen en het gebrek aan algemeen aanvaarde standaarden voor prestatierapportering. We zullen de audit en kwaliteitscontrole van prestatiegegevens vergelijken in de 6 OESO-landen aan de hand van de volgende vragen: -

Welke actoren zijn betrokken bij de audit en kwaliteitscontrole van prestatiegegevens?

-

Is er een statutaire bevoegdheid om prestatiegegevens te auditen? Behoort de audit van prestatiegegevens tot de bevoegdheid om performance audits uit te voeren?

-

Gebeurt de audit en kwaliteitscontrole van prestatiegegevens systematisch of eerder ad hoc?

-

Wat is het onderzoeksobject van de audit (indicatoren? prestatiemeetsystemen? rapportage van prestatiegegevens?)

Voor prestatiemeting bestaan er tot op heden geen internationaal aanvaarde standaarden zoals dat wel het geval is voor boekhouding en audit. Het is belangrijk een onderscheid te maken tussen criteria voor goede prestatiemeetsystemen enerzijds en criteria voor goede indicatoren anderzijds. Bouckaert maakte een inventarisatie van de verschillende criteria voor goede indicatoren die in de literatuur gebruikt worden. Criterium Meetbaar Uniform over de tijd Beschikbaarheid van gegevens Accuraatheid Begrijpbaar Omvattend Congruent met andere gegevens Reproduceerbaar Objectief Keuzevrijheid Tastbaar Homogeen Controleerbaar Kost van de datacollectie Directheid van de meting Uniek, mutueel exclusief Definieert proceskarakteristieken Definieert kwaliteitskarakteristieken Missiegeoriënteerd Ontraadt ongewenst gedrag

Usilaner & Soniat X X X

Hatry

Van de Kar

X

X X

X X X X

X X X X X X X

Hurst

X X X X X X X X

X

X

X X X X X X X

X

Tabel 1-2: Criteria voor goede indicatoren (Bouckaert & Auwers, 1999).

Bij de evaluatie van een goed prestatiemeetsysteem moet men drie dimensies in beschouwing nemen: de legitimiteit, de functionaliteit en de validiteit. Naarmate de legitimiteit, de validiteit en de functionaliteit hoog of laag zijn, onderscheidt men de volgende scenario’s.

16

Inleiding

Functionaliteit 2

6 8

4 1

3

5

Technische validiteit en betrouwbaarheid

7

Legitimiteit Figuur 1-3: Dimensies voor de evaluatie van een meetsysteem (Bouckaert & Auwers, 1999: 69).

Type PMS 1. Doemscenario 2. Pragmatisch 3. Symbolisch 4. Rethorisch en pragmatisch 5. Technocratisch 6. Technocratisch en pragmatisch 7. Technocratisch en rethorisch 8. Globaal optimum

Validiteit Laag Laag Laag Laag Hoog Hoog Hoog Hoog

Legitimiteit Laag Laag Hoog Hoog Laag Laag Hoog Hoog

Functionaliteit Laag Hoog Laag Hoog Laag Hoog Laag Hoog

Tabel 1-3: Positionering van de meetsystemen in functie van de drie systeemdimensies (Bouckaert & Auwers, 1999: 68).

1.3.8. Gebruik van prestatiegegevens Prestatiegegevens kunnen gebruikt worden voor verschillende doeleinden.

Ten eerste kunnen

prestatiegegevens de financiële cyclus meer resultaatgericht maken door de invoering van prestatiebegrotingen, kostenanalytische boekhoudingen en de audit daarvan. Ten tweede hebben prestatiegegevens een rol te spelen in de beleidsen beheerscyclus, bij de beleidsvoorbereiding, de beleidsuitvoering en het intern management en bij de beleidsevaluatie en de doelmatigheidsaudit. Tenslotte kunnen prestatiegegevens gebruikt worden in sturings- en verantwoordingsrelaties: tussen de overheid en de burger als klant, tussen de overheid en de burger als burger, tussen verschillende overheden, tussen parlement en regering, tussen administratie en minister, tussen administratie en verzelfstandigde organisaties, tussen het topmanagement en organisatieafdelingen, teams en/of individuele personeelsleden. Om het gebruik van prestatiegegevens in verschillende landen te onderzoeken, zullen we de doelstellingen van de initiatieven tot prestatiemeting vergelijken met de gerealiseerde effecten, voor zover deze reeds zijn vast te stellen. Hierbij stellen we de volgende vragen: -

Welke verschillende gebruiksvormen beoogde men met de invoering van de prestatiemeting?

-

In welke toepassingen worden de prestatiegegevens daadwerkelijk gebruikt?

-

In welke mate worden de prestatiegegevens gebruikt in de financiële cyclus?

17


-

In welke mate worden de prestatiegegevens gebruikt in de beleidsen beheerscyclus?

-

In welke mate worden de prestatiegegevens gebruikt in sturings- en verantwoordingsrelaties?

1.4.

Structuur van het rapport

In de volgende zes hoofdstukken worden de resultaten gerapporteerd van de landenstudies naar prestatiemeting. In hoofdstuk twee komen de initiatieven tot prestatiemeting van de federale overheid in Australië aan bod. Het derde hoofdstuk bespreekt de case van de Canadese federale overheid. Ook in Nederland is men reeds lange tijd actief in de opvolging van beleid en beheer. Hoofdstuk vier gaat hierop dieper in. Het Zweedse verhaal wordt verteld in hoofdstuk vijf. Het zesde en het zevende hoofdstuk bespreken respectievelijk de initiatieven in het Verenigd Koninkrijk en in de federale overheid van de Verenigde Staten. Tot slot worden in hoofdstuk acht de verschillende cases vergeleken op hun gelijkenissen en verschillen en toetsen we de bevindingen aan de Vlaamse situatie. In het concluderend hoofdstuk wordt ook aandacht besteed aan het verband tussen initiatieven tot prestatiemeting en boekhoudhervormingen.

18

Prestatiemeting in de Australische federale overheid

2. Prestatiemeting in de Australische federale overheid “The Australian Public Service focuses on achieving results and managing performance” (Public Service Act 1999) Performance information is the currency of accountability (Australian National Audit Office (ANAO), 1996 pp.5-6)”

2.1.

Historisch overzicht van de hervormingen

Initiatief Het Financial Management Improvement Program (FMIP)

Periode 1983-1984

Doelstellingen Besluitvorming, management en evaluatie op basis van outputs en outcomes: Corporate planning Prestatie informatie Systematische programma-evaluatie

Corporate Management

Jaren 80

-

Verbeterde coördinatie Verhoogde efficiëntie en effectiviteit Versterkte ministeriële controle op departementen en agentschappen Verbeterde verantwoording

Program Performance Statements to Parliament

1988

-

Rapportering van prestatie-informatie aan het parlement

Task Force on Management Improvement De Financial Management and Accountability Act (FMA Act)

1992

-

Evaluatie van een decennium management hervormingen

1997

-

Het regelgevende, boekhoudkundige en aansprakelijkheidsraamwerk uitwerken voor het beheren van geld en eigendom van de Commonwealth De verantwoordelijkheden en de bevoegdheden van de Minister van Financiën als beheerder van de schatkist verantwoordelijkheden en bevoegdheden van de Chief Executive of Agencies voor efficiënt, effectief en ethisch management bepalen De administratie en de aansprakelijkheid van de publieke sector van de Commonwealth verbeteren door onder andere het uitvoeren van performance audits Integratie van bevoegdheden inzake financiën en overheidsmanagement in één departement

De Auditor-General Act

1997

-

Oprichting Department of Finance and Administration

1998

-

Public Service Act

1999

-

Accrual-based Outcomes & Outputs Budgeting and Reporting Framework

1996 (beslist) 1999-2000

-

Generalised Performance Management Framework

2002

-

Wettelijk kader bieden voor de tewerkstelling, het personeelsmanagement en het leidinggeven van ambtenaren Bepaling van de bevoegdheden, het takenpakket en de verantwoordelijkheden van de agentschapshoofden, de Public Service Commissioner en de Merit Protection Commissioner Bepalingen van de rechten en plichten van ambtenaren Kader bieden voor een politiek neutrale, efficiënte en effectieve public service Het raamwerk wil het publieke beslissingsproces en de publieke verantwoording focussen op drie hoofdelementen: outcomes, outputs and administered items, en prestatie-indicatoren Delegeren van het financieel, prestatie- en risk management naar de agentschappen toe De agentschappen voldoende flexibiliteit geven om op de meest effectieve en efficiënte manier bij te dragen tot de outcomes De transparantie verhogen van de overheidsuitgaven door het geven van informatie over kosten en prestaties Geïntegreerd geheel van strategieën en activiteiten ter afstemming van de doelstellingen en performantie op het niveau van de organisatie, teams en individuen

Tabel 2-1: Evolutie van initiatieven tot prestatiemeting in de Commonwealth of Australia.

19


Reeds sinds de jaren ’80 vatte men in Australië aan met de modernisering van het overheidsmanagement. De belangrijkste realisaties op het vlak van performance management in de jaren ’80 werden verwezenlijkt in het Financial Management Improvement Program. Het Financial Management and Improvement Program kadert in een nood aan een besparingen. De doelstellingen van deze hervormingen waren tweërlei. Enerzijds was het de bedoeling om de controle op de uitgaven te versterken door de invoering van een expenditure control framework. Dit framework voorziet de invoering van een driejarige tijdshorizon in de begroting (forward estimates system), een decentralisatie

van

begrotingsbeslissingen

naar

portfolio

ministers

en

een

financiële

responsabilisering van de manager. Anderzijds beoogde het Financial Management Improvement Program ook meer het verband te leggen tussen financiële en niet-financiële informatie door de invoering van Program Management and Budgeting. De besluitvorming, het management en de beleidsevaluatie werden gefocust op outputs en outcomes. Hiertoe werden er programmastructuren, prestatiemeetsystemen en systemen van beleidsevaluatie ontwikkeld. Andere belangrijke initiatieven in de jaren ’80 waren het Corporate Management en de rapportering van prestatiegegevens aan het parlement aan de hand van Program Performance Statements. In de jaren ’90 werd verder gebouwd op de hervormingsbeweging van de jaren ’80. In de hervormingen van de jaren ’90 staat het Accrual-based Outcomes & Outputs Framework centraal. De invoering van het

Accrual-based Outcomes & Outputs Framework heeft een dubbele bedoeling.

Enerzijds wil men het interne beheer van de agentschappen verbeteren door een algemeen kader te creëren waarbinnen de agentschappen

hun eigen corporate governance, beheers- en

rapporteringsystemen kunnen ontwikkelen. Anderzijds beoogt men met dit kader een verbetering van de externe rapportering van de agentschappen aan de regering en een meer transparante verantwoording aan het parlement en aan de burgers. De invoering van het Accrual-based Outcomes & Outputs Framework draagt bij tot de modernisering van financiële en beheersprocessen door de afstemming van prestaties op maatschappelijke effecten, de reductie van de beheerscomplexiteit, de verbeterde kwaliteit van besluitvorming, de verhoogde transparantie van het beheer en de verbeterde verantwoording aan de hand van prestatiegegevens (Department of Finance and Administration, 2000a p.6). Het Accrual-based Outcomes & Outputs Framework werd in 1997 wettelijk verankerd in de Financial Management and Accountability Act 1997. Deze wet regelt het boekhoudkundig kader, het financieel management en de bevoegdheden van de Chief Executives voor de centrale overheid en agentschappen zonder rechtspersoonlijkheid. De Commonwealth Authorities & Companies Act 1997 regelt het financieel kader voor de agentschappen met rechtspersoonlijkheid. Het Accrual-based Outcomes & Outputs Framework werd geïmplementeerd in 1999. Op het vlak van Human Resources Management was vooral de Public Service Act belangrijk omdat deze een wettelijk kader biedt voor het personeelsmanagement en een afbakening maakt van de bevoegdheden van de agentschapshoofden.

20


2.2.

Actoren betrokken bij de hervormingen

Er zijn zeer veel verschillende actoren bij de ontwikkeling van performance management. De volgende tabel geeft hiervan een overzicht. Actor Department of Finance and Administration (DOFA) Budget Group Financial Framework Division

Management Advisory Committee (MAC) (Secretaries en Agency Heads) Australian Public Service & Merit Protection Commission (PSMPC)

-

Joint Committee of Public Accounts and Audit (JCPAA)

-

Australian National Audit Office (ANAO)

-

Australian Bureau of Statistics (ABS)

-

Rol Verantwoordelijk voor de ontwikkeling en introductie van het accrual-based outcomes and outputs budgeting and reporting raamwerk De ontwikkeling van ruime beleidsdomeinen en principes Begeleiden van en advies geven aan de agentschappen Zorgen voor betere en meer efficiënte overheidsactiviteiten Zorgen voor een efficiënt functionerend parlement Commonwealth HRM Advies uitbrengen aan regering inzake hervormingen overheidsmanagement Advisering regering inzake overheidsmanagement HRM Senior Executive Service Toepassing en sensibilisering Public Service Act 1999 Advisering agentschappen inzake performance management Ondersteuning bij de implementatie van beleid inzake overheidsmanagement Opvolging en analyse van nieuwe issues, trends en ontwikkelingen inzake HRM Vorming en training inzake leiderschap Informatievoorziening inzake de werking en samenstelling Australian Public Service Uitdrukken van de wens van het parlement om te evolueren naar een begroting, boekhouding en rapportering gebaseerd op accrual regels Publiceren van rapporten betreffende de vooruitgang en aanbevelingen omtrent het accrual outcomes & outputs raamwerk Uitvoeren van de traditionele watchdog audit rol: financiële audit, rechtmatigheidsaudit en performance audit Adviserende rol: suggereren van verbeteringen naar de administratie toe Verzameling van algemene statistieken zoals bevolkingsstatistieken, economische en sociale statistieken,…

Tabel 2-2: Actoren betrokken bij de initiatieven tot prestatiemeting in de Australische Commonwealth.

Op het politieke niveau speelt de Minister of Finance and Administration een sleutelrol. Deze wordt bijgestaan door twee staatssecretarissen, de Parliamentary Secretary to the Minister of Finance and Administration en de Special Minister of State. De parlementaire commissie bevoegd voor overheidsmanagement is de Joint Committee of Public Accounts and Audit die een zeer actieve rol speelde bij de financiële hervormingen en vragende partij was voor de invoering van een accrual begroting en boekhouding. De belangrijkste administratieve actor in de ontwikkeling van prestatiemeting is het Department of Finance and Administration. In 1997 werden de bevoegdheden van het toenmalige Department of Finance uitgebreid met de verantwoordelijkheid voor ambtenarenzaken (organogram in bijlage). De horizontale bevoegdheid inzake prestatiemeting en prestatiebegroting ligt bij de Budget Group die zich bezig houdt met het Accrual-based Outcomes and Outputs Framework. De Public Service & Merit Protection Commission draagt de horizontale bevoegdheid inzake het gebruik van prestatiegegevens in HRM (performance management) en is verantwoordelijk voor het personeelsbeleid van de topambtenaren, de Senior Executive Service.

21


Het Australian National Audit Office (ANAO) staat het parlement bij in de controle van de uitvoerende macht. De Australische rekenkamer speelt zowel een traditionele ‘watchdog’ rol als een adviserende rol. Het ANAO voert dus enerzijds rechtmatigheidsaudits, financiële audits en performance audits ter controle van de uitvoerende macht . Anderzijds onderzoekt het ook de implementatie van managementhervormingen, formuleert het hieromtrent aanbevelingen en publiceert het handleidingen. Dit is dus de adviserende rol van het ANAO. Het Australian Bureau of Statistics is de nationale statistiek instelling van Australië. De missie van ABS bestaat erin “To assist and encourage informed decision-making, research and discussion within governments and the community, by providing a high quality, objective and responsive national statistical service.” (Australian Bureau of Statistics, 2003).

2.3.

Proces van prestatiemeting

Periode Jan-feb

Document Portfolio Budget Submissions

Mei Mei

Approriation Bill with Outcome statement Portfolio Budget Statements

September

Annual report

Inhoud outcome & output structure nieuwe beleidsvoorstellen machtiging van middelen per outcome toelichting van de Appropriation Bill jaarverslag met realisatie van outcomes, outputs en administered items en financial statements

Focus outcomes en outputs

Verantwoordelijke actor Departementen en agentschappen

outcomes

Department of Finance and Administration Per portfolio: departement en agentschappen Agentschappen

outputs en administered items outcomes, outputs en administered items

Tabel 2-3: Proces van prestatiemeting in de Australische Commonwealth.

De verantwoordelijkheid voor prestatiemeting ligt in principe bij de departementen en agentschappen. Het Department of Finance and Administration formuleert de algemene uitvoerende richtlijnen voor prestatiemeting. De ontwikkeling, verzameling, analyse en rapportering van de gegevens gebeurt in de agentschappen. De Financial Management and Accountabilities Act definieert het algemeen kader voor prestatiemeting voor alle departementen en agentschappen. Deze wet bepaalt dat de Chief Executive verantwoordelijk is voor het efficiënt, effectief en ethisch gebruik van de toegewezen middelen (, 1997 art.44). Het is evenwel de bevoegde minister die de eindverantwoordelijkheid draagt voor de effecten van het beleid. De Chief Executive legt enkel verantwoording af over de output van het agentschap en de bijdrage tot de beleidsdoelstellingen zoals uitgestippeld door de bevoegde minister. Voor de overheidsbedrijven wordt de prestatiemeting en –rapportering geregeld in de Commonwealth Authorities and Companies Act. De concrete uitvoering van de Financial Management and Accountabilities Act is geregeld in de Financial Management and Accountability Orders 1997. De realisaties van de overheid zijn ook onderhevig aan externe factoren. Een cruciale verandering in de omgeving waarbinnen de overheidsorganisatie opereert kan een bijsturing van de geplande

22


outcomes en outputs vereisen. Wanneer een agentschap de outputs zoals gepland in de Portfolio Budget Statements wil wijzigen, kan dit overeengekomen worden met de bevoegde minister. Wanneer een agentschap de geplande outcomes wil bijsturen, dan is ook de goedkeuring van de Minister van Financiën en Ambtenarenzaken noodzakelijk.

2.4.

Richtlijnen voor prestatiemeting

2.4.1. Criteria voor goede indicatoren In haar handleiding “Specifying outcomes and outputs” formuleert het Department of Finance and Administration een aantal vereisten waaraan goede indicatoren moeten voldoen. Er wordt hierbij een onderscheid

gemaakt

tussen

effectindicatoren,

outputindicatoren

en

subsidie-indicatoren

(administered items). Bij de formulering van outputs en output-indicatoren moet men rekening houden met de volgende stelregels (Department of Finance and Administration, 2000b pp. 48): -

De formulering van outputs moet betrekking hebben op de goederen of diensten die door het agentschap worden geleverd aan externe individuen of organisaties

-

De outputs moeten duidelijk en identificeerbaar geformuleerd worden

-

De outputs moeten geformuleerd worden in termen van de diensten en producten die geleverd worden en niet in termen van de functie die ze vervullen

-

De outputs moeten bijdragen aan het bereiken van de geplande outcomes

-

Het agentschap moet het realiseren van de outputs direct of indirect onder controle hebben

-

De outputindicatoren moeten de volgende elementen meten De prijs per eenheid output De te leveren kwantiteit outputs De kwaliteit van de outputs (timing, frequentie, locatie) De bijdrage van de outputs aan de geplande outcomes

-

De formulering van de outputs en de outputindicatoren moet het mogelijk maken huidige output leveranciers te vergelijken met potentieel toekomstige leveranciers

-

De formulering van outputs moet alle activiteiten van het agentschap dekken, zij het direct, als een onderdeel van de outputs, zij het indirect als overheads die bijdragen aan de realisatie van de outputs

Bij de formulering van outcomes en outcome-indicatoren moet men de volgende vragen in acht nemen (Accrual Budgeting Project (ABP), 1998 pp.19) -

Reflecteert de outcome de doelstellingen en prioriteiten van de regering?

-

Is de outcome geformuleerd in termen van maatschappelijke impact?

-

Wanneer de outcome een specifieke doelgroep kent, is die doelgroep dan duidelijk afgebakend?

-

Is de outcome realiseerbaar binnen een specifieke timing?

-

Is het mogelijk het bereiken van de outcome op te volgen en te beoordelen?

-

Is het mogelijk een causaal verband te leggen tussen de acties van de overheid en de outcome?

23


-

Is het mogelijk de outcome te onderscheiden van de strategie van het agentschap?

-

Is de outcome duidelijk en ondubbelzinnig geformuleerd, geschikt voor externe rapportering?

De outcomes mogen enerzijds niet te algemeen geformuleerd worden omdat het anders te moeilijk is voor de agentschappen om prestatiegegevens te ontwikkelen en te verzamelen die het verband weergeven tussen de activiteiten en de outputs van het agentschap en de outcomes. While high level outcomes can be useful in providing context and high level meaning to agency operations, they have limited value for planning, accountability and performance management (Accrual Budgeting Project (ABP), 1998 pp.21). Anderzijds mogen de outcomes ook niet te gedetailleerd geformuleerd worden omdat men dan het gevaar loopt enkel de activiteiten van het agentschap op te volgen en te weinig oog te hebben voor de maatschappelijke effecten. While low level and intermediate outcomes are important for planning and monitoring, they are usually not sufficient to provide a clear view of what the agency is trying to achieve (Accrual Budgeting Project (ABP), 1998 pp.22).

2.4.2. Criteria voor performance management Naast de criteria voor geode indicatoren, werden er ook meer algemen criteria voor goede performance management systemen geformuleerd. De Public Services Commissions definieerde de centrale voorwaarden om te psreken van een goed opvolgingssysteem als alignment, credibility en integration. Credibility

Alignment • Outcomes sought by government • Consistency with APS values and legislative framework • Nature of the business • Client and stakeholder expectations • History with performance management • Maturity of systems • Organisational Values • Industrial climate

• • • • • • • • •

Evolving factors: Integrating organisational values with output based performance Achieving alignment in outsourced functions

Evolving factors: Constructing reward and recognition strategy - especially for teams

CEO and Executive commitment Review and Simplicity Fairness and trust Multi source feedback Addressing the rhetoric - reality gap Dealing with underperformance Reporting of outcomes Management buy in Staff ownership of the system

Integration • Line of sight between corporate and individual goals • Embedding in a system of organisational performance management • Progressive and iterative approach • Link to training and career development • On-line delivery Evolving factors: Performance measurement and reporting

Tabel 2-4:Criteria voor performance management (Australian Public Service Commission, 2002 pp.35).

24


2.5.

Rapportering van de prestatiegegevens

2.5.1. Outcome Statements: maatschappelijke effecten op portfolioniveau Het begrip Outcomes wordt gedefinieerd als de impact die de overheid beoogt en verwacht in een bepaald beleidsdomein. Outcomes bevinden zich op hetzelfde strategische niveau als de missie van de organisatie, maar zijn meer extern gericht en minder waardegeladen. Het begrip outcomes wordt gedefineerd als de resultaten of gevolgen van de activiteiten van de overheid en andere instellingen op de maatschappij. Aangezien er dus verschillende actoren en factoren zijn die een invloed uitoefenen op het uiteindelijk maatschappelijk effect, is het moeilijk de invloed van de overheid te onderscheiden van externe invloeden (Department of the Parliamentary Library, 2002 p. iv). Het Outcome Statement heeft een belangrijke wettelijke betekenis aangezien de begroting gemachtigd wordt op het niveau van de outcomes. Daarom dienen de Outcome Statements ook te voldoen aan de appropriations vereisten geformuleerd in

secties 81 en 83 van de Australische

Grondwet. De Outcome Statements dienen te voldoen aan een aantal criteria (Department of Finance and Administration, 2000a p. 12). -

Outcomes zijn meer dan een beschrijving van de activiteiten van een agentschap. Outcomes geven de beoogde gevolgen van de geplande activiteiten van het agentschap weer.

-

Outcomes moeten specifiek genoeg zijn om een verband te kunnen leggen met de uitgaven die ervoor nodig zijn. Het verband tussen de appropriation en de outcome wordt verder uitgeklaard in de Portfolio Budget Statements en de Portfolio Additional Estimates Statements.

-

Bij het formuleren van outcomes moeten waardegeladen of subjectieve bewoordingen zo veel mogelijk vermeden worden.

Het aantal geformuleerde outcomes en de grootte van het bijhorende budget lijkt nogal te verschillen van beleidsdomein tot beleidsdomein. De beoordeling van de vereiste detailgraad van de outcomes wordt overgelaten aan de ministeries en agentschappen zelf. Inhoudelijk dient de formulering van effectdoelstellingen te voldoen aan de volgende criteria: -

effectgericht in plaats van op input- of procesgericht,

-

bondig,

-

beleidsdomein specifiek,

-

in overeenstemming met de Portfolio Budget Statements en de Additional Estimates Statements,

-

gericht op de relevante doelgroepen,

-

evenwichtig,

-

meetbaar aan de hand van effectindicatoren,

-

vrij van waardegeladen, veralgemeende of aspirerende taal,

-

vatbaar voor agentschaps- of beleidsdomeinoverschrijding.

25


In de Appropriation Bills worden dus enkel outcomes gemachtigd en geen outputs. De outputs die geleverd worden om de outcomes te bereiken worden opgenomen in de Portfolio Budget Statements, de memorie van toelichting op de begroting. De reden hiervoor is de agentschappen voldoende flexibiliteit te geven bij de uitvoering van het beleid.

2.5.2. Portfolio Budget Statements: outputs en administered items op portfolioniveau Het Portfolio Budget Statement is de memorie van toelichting op de Appropriation Bills waarin de allocatie van enveloppes aan outcomes voor de parlementsleden verduidelijkt wordt en waarin de informatie van de verschillende agentschappen die onder het beleidsdomein ressorteren, geconsolideerd wordt.

Het Portfolio Budget Statement wordt opgesteld door het departement in

samenspraak met de verschillende agentschappen. Het Department of Finance and Administration formuleert de richtlijnen voor de opmaak van de Portfolio Budget Statements. Dit zijn echter minimumvereisten waaraan de Portfolio Budget Statements moeten voldoen en de agentschappen beslissen in grote mate zelf over de structuur en de inhoud van de Portfolio Budget Statements (Department of the Parliamentary Library, 2002 p. 3). De inhoud van de Portfolio Budget Statements dient aan een aantal algemene principes te voldoen (Australian National Audit Office, 2001 p. 12). -

De Portfolio Budget Statements dienen voldoende informatie, verklaring en verantwoording te bevatten zodat het voor het parlement duidelijk is welke doelstellingen men wil bereiken.

-

De informatie moet relevant zijn en voldoen aan de informatiebehoefte van het parlement en van de publieke opinie.

-

De nadruk moet liggen op de performantie van de agentschappen.

-

De agentschappen krijgen binnen de grenzen van de richtlijnen van het Department of Finance and Administration de vrijheid een format te kiezen die voldoende transparant is.

Onder outputs verstaat men de goederen en diensten die de agentschappen produceren voor interne en externe gebruikers om de beoogde outcomes te bereiken. Administered items zijn alle middelen die door het agentschap beheerd worden in opdracht van de regering en die bijdragen tot het realiseren van de externe effecten, zoals bijvoorbeeld subsidies, transfers aan de staten en uitkeringen.

2.5.3. Agency Annual Reports Departementen en agnetschappen rapporteren jaarlijks hun realisaties in een jaarverslag of Annual Report. De criteria waaraan de Annual Reports moeten voldoen, worden vastgesteld door het Department of the Prime Minister and Cabinet en vervolgens goedgekeurd door het Joint Committee of Public Accounts and Audit. 1

1

Public Service Act 1999 art. 63(2) en art.70

26


Volgens deze criteria dienen de Annual Reports de volgende elementen te bevatten (Department of the Prime Minister and Cabinet, 2002 pp.5): -

terugblik op het jaar door de Departmental Secretary,

-

overzicht van het departement,

-

o

rol en functie departement,

o

organisatiestructuur,

o

outcomes & ouputs structure,

prestatierapport, o

realisatie van doelstellingen Portfolio Budget Statements aan de hand van prestatiegegevens,

o

realisatie

van

doelstellingen

beheersovereenkomsten

aan

de

hand

van

prestatiegegevens,

-

o

analyse en interpretatie van prestatiegegevens,

o

financiële resultaten en implicaties voor de toekomst,

o

tabellen met middelen per outcome,

management en verantwoording, o

corporate governance lijst van Senior Executives en hun bevoegdheden senior management committees en hun bevoegdheden organisatie en activiteiten van de dienst interne audit ethische standaarden beloningsbeleid Senior Executive Service (SES)

o

externe onderzoeken van Auditor-General, parlementair comité of ombudsdienst en belangrijke rechterlijke uitspraken

-

o

human resources management

o

aset management

o

overzicht van adviesopdrachten en open aanbestedingen en afgesloten contracten

financial statements.

In de jaarrapporten van de agentschappen wordt ook de financiële informatie gerapporteerd die de agentschappen in overeenstemming met de Financial Management and Accountability Act 1997 dienen te rapporteren. Dit houdt in dat er in de jaarrapporten winst- en verliesrekeningen, een balans en kasstroominformatie wordt opgenomen.

2.6.

Focus van de prestatiegegevens: Wat wordt er gemeten?

Het Australische systeem van prestatiemeting was initieel hoofdzakelijk gericht op outcomes of maatschappelijke effecten. De doelstelling van het Programme Budgeting Initiative uit de jaren ’80 was een verband te leggen tussen inputs en outcomes. Het ging dus eerder over een effectgerichte programmabegroting dan over een outputgerichte prestatiebegroting. Met de invoering van het Accrual-based Outcomes and Outputs Framework eind jaren ’90 nam de aandacht voor outputs toe. Men doelt hiermee namelijk op het linken van inputs, outputs en outcomes.

27


In haar handleiding prestatiemeting onderscheidt het Department of Finance and Administration dan ook outcome-indicatoren, outputindicatoren en subsidie-indicatoren (administered items). Outcomes worden gedefinieerd als de resultaten, de impact of de gevolgen van de acties van de overheid op de maatschappij. Binnen de outcome-indicatoren onderscheidt men enerzijds de indicatoren om de beleidseffecten op te volgen en anderzijds de indicatoren om de bijdrage van het agentschap aan de beleidseffecten te meten. Er moet dus zowel aandacht zijn voor de algehele effecten van het beleid (indicators of achievement of outcome) als voor de specifieke rol van het agentschap in het bereiken van de beleidseffecten (indicators of contribution of outputs to outcomes). Outputs worden gedefinieerd als de goederen en diensten die de agentschappen in naam van de overheid leveren aan externe organisaties of individuen.

Ook de goederen en diensten die een

agentschap levert aan een andere overheidsorganisatie worden gerekend tot de outputs. Outputindicatoren meten de prijs, de kwantiteit en de kwaliteit van de outputs. Voorbeelden van outputs zijn inspecties, sensibiliseringscampagnes m.b.t. gezondheidszorg en het uitbetalen van werkloosheidsuitkeringen. Administered items worden gedefineerd als “expenses, revenues, assets or liabilities, managed by agencies on behalf of the Commonwealth that fund third party outputs”. Het gaat dus over zijn de subsidies of transfers die het agentschap levert aan derden om outputs te realiseren. Voorbeelden van administered items zijn Childcare Assistance, Family Payments, Export and Industry Subsidies en Art and Cultural Foundation Funding. Om de administered items op te volgen moeten er indicatoren ontwikkeld worden om de realisatie van de doelstellingen gekoppeld aan transfers en subsidies te meten. Het Departement of Finance and Administration heeft een centraal Accrual Information Management System (AIMS) ontwikkeld ter ondersteuning van het accrual-based outcomes & outputs framework . In het AIMS worden de gegevens geconsolideerd die door de agentschappen worden verzameld in hun Financial Management Information System (FMIS).

2.7.

Audit en kwaliteitscontrole van de prestatiegegevens “A common limitation in the performance information related to effectiveness indicators which did not actually measure outcome performance. In particular, outcome effectiveness indicators were often, influenced by factors beyond the agencies’ control (Australian National Audit Office (ANAO), 2002 pp.14).”

“The Portfolio Budget Statement performance information did not always include targets or the targets that were provided were often vague and/or ambiguous (Australian National Audit Office (ANAO), 2002 pp.14)”

De externe audit van prestatiemeetsystemen en prestatiegegevens behoort tot de discretionaire bevoegdheid van de Auditor-general. Het Australian National Audit Office heeft de bevoegdheid om value-for-money audits uit te voeren waarbinnen het de mogelijkheid heeft om de kwaliteit van de

28


prestatiemeetsystemen en prestatiegegevens te onderzoeken. Aangezien de Auditor-general autonoom beslist over de selectie van doelmatigheidsonderzoeken is er geen structurele garantie voor een jaarlijkse, alomvattende audit van de prestatiemeetsystemen en prestatiegegevens. De interne audit van de prestatiemeetsystemen behoort tot de verantwoordelijkheid van een audit comité. De Financial Management and Accountability Act 1997 vereist dat in elk agentschap een audit comité

wordt

opgericht

dat

onder

andere

verantwoordelijk

is

voor

de

audit

van

de

prestatiemeetsystemen en de prestatiegegevens (Commonwealth of Australia Parliament, 1997 art.46). Uit een survey van het Australian National Audit Office in 1997 bleek dat een kwart van 137 onderzochte agentschappen nog geen audit comité had opgericht. Zowel de Auditor-general als de bevoegde parlementaire commissies hebben reeds kritiek geuit op de rapportering van de prestatiegegevens: -

De prestatie-informatie in de Portfolio Budget Statements is te geaggregeerd om nuttig te zijn

-

Er is een gebrek aan regeringswijde, geaggregeerde prestatiegegevens

-

Er is een gebrek aan trenddata over prestaties

-

Onvoldoende verband tussen outputs en outcomes

-

Onvoldoende verband tussen Portfolio Budget Statements en Annual Reports

-

Effectindicatoren meten de outcomes niet

-

Er zijn onvoldoende of te vage targets

2.8.

Gebruik van prestatiemeting

Prestatiemeetsystemen hebben zowel een functie te vervullen in het intern management van departementen en agentschappen als in de externe rapportering aan het parlement en de burgers. In het intern management fungeren de prestatiegegevens als knipperlichten. Wanneer de realisatie van de doelstellingen in het gedrang komt, moet er bijgestuurd worden. De indicatoren kunnen ook gebruikt worden in het Human Resources Management, namelijk voor de terugkoppeling naar en de evaluatie van het personeel. Indicatoren kunnen ook een rol spelen in de koppeling van organisatiestructuur en de financiële structuur met de outcome & output structure van de begroting. Extern gebruik van prestatiegegevens situeert zich in de ex ante en ex post verantwoording van de departementen en agentschappen aan het parlement. Prestatiegegevens worden gebruikt in het begrotingsproces en bij de beleidsontwikkeling. In de Portfolio Budget Statements en de Departmental Annual Reports worden de doelstellingen geformuleerd en opgevolgd aan de hand van prestatiegegevens. Idealiter vormen de prestatiegegevens die verzameld worden voor interne gebruik, de basis voor de externe rapportering. Het Australian National Audit Office stelde vast dat wanneer de verzamelde prestatie-informatie echt gebruikt wordt in het intern management en de interne verantwoording, het personeel beter het nut inziet van de prestatiemeting en ook meer gemotiveerd is om

29


prestatiegegevens te verzamelen voor externe rapportering (Australian National Audit Office (ANAO), 2001 pp.29). In de volgende tabel worden de verschillende resultaatgerichte hervormingen geclassificeerd volgens de functies van prestatiemeting die ze beogen.

Applications of performance information Performance budgeting & accounting Performance Management Accountability & control

Policy development

Reform Initiatives Financial Management Improvement Program (1983-’84) Accrual-based Outcomes & Outputs Framework (1999-2000) Financial Management Improvement Program (1983-’84) Corporate Management (jaren ’80) Generalised Performance Management framework (2002) Program Performance Statements (1988) Financial Management and Accountability Act (1997) Auditor-General Act (1997) Review Report of the Commonwealth Service Provision Accrual-based Outcomes & Outputs Framework (1999-2000) Review Report of the Commonwealth Service Provision

Tabel 2-5: Classificatie van resultaatgerichte hervormingen naar de functies die ze vervullen

Prestatiegegevens

spelen

dus

een

Gove rnme nt, Portfolio Ministe r(s), Ministe r(s), Parliame ntary Se cre tary, Le gislative and Re gulatory Frame work

rol

doorheen de verschillende fasen van de O utcome s & O utputs Structure

beleidsen beheerscyclus, bij de planning en begroting, de opvolging en boekhouding en de evaluatie en audit.

Corporate Planning & Gove rnance Vision, mission, aims Values, behaviours Major directions & priorities Management Structures

bleek

prestatiegegevens

dat

in

Australië

hoofdzakelijk

de

Allocating resources between programmes Allocating resources within programmes Setting program priorities Changing work processes Setting individual staff performance plans Adopting new programme approaches No use

Priorities, Resource Allocation, Risks

gebruikt

worden in het intern management.

Within Ministry/ Agency X

Busine ss Planning Budget Cycle Links Organisational capabilities Corporate Strategies (IT , people, financial) Individual action plans/performance agreements: objectives, values, behaviour

Uit een survey van de OESO en de Wereld Bank

Outcomes Outputs & Performance indicators

Pe rformance Re vie w & Fe e dback Organisational Performance Reviews Individual and team performance reviews Performance linked renumeration policy Managing under-performance

Parent Ministry

Ministry of Finance

Prime Ministers Office

Cabinet

Legislature

X

X

X X

X

Tabel 2-6: Gebruik van prestatiegegevens in de Commonwealth of Australia (OECD & World Bank, 2003).

30

X


2.8.1. Financiële cyclus: outcome budgeting In de Australische Budget Bill worden er per departement middelen toegewezen aan outcomes of effecten. Aangezien de parlementaire machtiging betrekking heeft op de uiteindelijke resultaten van het beleid, spreken we van een effectbegroting. De prestaties die geleverd worden om

de

beleidseffecten te bereiken, worden toegelicht in Portfolio Budget Statements (Chan, Nizette, La Rance, Broughton & Russell, 2002). Hierbij maakt men een onderscheid tussen de prestaties die het departement zelf levert (departmental items) en de prestaties die geleverd worden door derden met subsidies van het departement (administered items). De volgende tabel illustreert de structuur en inhoud van de Australische begroting: Niveau van parlementaire 2 machtiging Portfolio e.g. Family and Community Services Agency e.g. Department for Family and Community Services Outcomes e.g. Stronger Families: “Families, young people and students have access to financial assistance and family support services” Output Groups e.g. Family assistance Departmental Items e.g. Policy advice Performance Indicators e.g. Minister’s and ministers ’ offices satisfied with the quality of policy advice and Department meets standards for policy advice” Administered Items e.g. Services for Families with Children Performance Indicators e.g. % of families with children under 5 years of age participating in playgrounds

Budget Bill 2002-2003

Portfolio Budget Statement 2002-2003

X X

•

X

X X X X X X

Tabel 2-7: Structuur en inhoud van de begrotingsdocumenten in de Commonwealth of Australia (Parliament of the Commonwealth of Australia House of Representatives, 2002; Minister for Family and Community Services & Minister for Children & Youth Affairs, 2002).

2.8.2. Beleids- en beheerscyclus De mate waarin agentschappen beschikken over een geïntegreerd performance management framework, blijkt sterk te variëren. 80% van de agentschappen stelde een systeem te hebben waarin de business planning gekoppeld is aan de rapportering over outputs op het organisatieniveau. Volledig geïntegreerd systemen waarin de planning, het personeelsbeleid en het performance management op alle niveaus gekoppeld zijn aan de doelstellingen en waarin de prestaties van individuen, teams en de organisatie geëvalueerd worden, komen minder vaak voor (Public Services Commission, 2002). Uit een survey in 2001 bleek dat 93% van de agentschappen het performance management als positief ervaarden voor de individuele prestaties en de prestaties van de organisatie. “The agency's performance management arrangements have contributed to improved individual and

2

Dit is het kleinste onderdeel van de begroting waarop de parlementaire autorisatie betrekking heeft. Er kunnen geen middelen

verschoven worden tussen deze begrotingsartikelen zonder goedkeuring van het parlement.

31


organisational performance through improved role accountability and work planning, increased alignment to agency outcomes and improved individual capability.”

2.8.3. Sturing en verantwoording Prestatiegegegevens spelen ten derde ook een rol in sturings- en verantwoordingsrelaties. De resultaatgerichte hervormingen hadden mede al sdoelstelling om de politiek sturing en het primaat van de politiek over het beleid te versterken. Daarnaast was het ook de bedoeling om de verantwoording van de uitvoerende macht ten opzichte van het parlement te versterken. De vraag rijst echter of de accountability inderdaad is toegenomen. Vanuit het Parlement blijkt er ongenoegen bestaan over de kwaliteit van de prestatiegegevens die gerapporteerd worden. Uit een survey van de OESO en de Wereld Bank bleek dat de prestatiegegegevens niet gebruikt worden door het parlement en dat er geen bewijs is dat de prestatiegegevens gebruikt worden in de politieke besluitvorming (OECD & World Bank, 2003).

32

Performance management in Canadian Federal Government

3. Performance management in Canadian Federal Government

3.1.

History and objectives of performance management reforms

Initiatives Program Review 1994 Improved Reporting to Parliament

Period 1994 1994

Getting Government Right

1996

Citizens First Survey

1998

Performance Management Framework Portfolio Management

1999

Results for Canadians Modern Comptrollership

2000 2000

Results-Based Management lexicon Policy On Alternative Service Delivery

2002

Service Improvement Initiative

2002

2002

Review of Non-statutory programs Budget 2003 Public Service Modernisation Act

2003

Management and Accountability Framework (MAF)

2003

Objectives Policy and management reviews Agencies have to inform parliament about their planning and their results by means of Reports on Plans and Priorities and Departmental Performance Reports Increased citizen’s participation and improved service delivery st Setting priorities for the 21 century challenges Making the role of the federal government more transparent The Canadian Centre for Management Development (CCMD) and the Treasury Board Secretariat (TBS) conduct a joint survey on citizens satisfaction with government service delivery Performance management for federal executives Rewarding results linked to corporate priorities and leadership Strengthening the policy coherence within the ministerial portfolios by means of exchanging information, sharing managerial practices and ensuring the involvement of relevant units in policy development. Management framework for the federal government: Linking financial and non-financial information and ensuring integrated performance information Effective control systems Integrated risk management Sound ethics and values Treasury Board Secretariat (TBS) develops a lexicon with standardized terminology for results management and reporting Guide departments in developing appropriate organisational and structural arrangements for service delivery so that all forms of service delivery have appropriate governance and accountability structures. Commitment to achieve a 10% increase in client satisfaction with key, significant direct service delivery activities by the year 2005 Systematic review of all non-statutory programs over a 5-year cycle on relevance, effectiveness, resources and management and reallocation of $ 1Billion to high priorities Preservation of a merit based, non-partisan public service More flexible, modern staffing regime that helps departments compete for skilled employees and achieve results for Canadians More cooperative working relationship with bargaining agents, supporting a healthy and productive workplace Integrated framework for public service learning to develop and retain employee by means of the creation of the Canada School of Public Service To provide deputy heads and all public service managers with a list of management expectations that reflects the different elements of current management responsibilities.

Table 3-1: History and objectives of performance management reforms in Canada.

33


3.2.

Actors involved in performance management

Beside the 22 operating departments there are a few central agencies responsible for horizontal issues for example the Privy Council Office, the Treasury Board Secretariat (TBS) and the Public Services Commission (PSC). The Privy Council Office is the department supporting the Prime Minister in the exercise of his/her duties. The Public

Service

independent

Commission

agency

(PSC)

responsible

is for

an the

supervision on the implementation of the merit principle in the public service as defined by the Public Service Employment Act. This agency is also responsible for the recruitment and selection of the top layer of civil servants, the Executive Group.

As

Resources

the

responsibilities

Management

are

for

Human

mainly

a

responsibility of the departments and agencies, the PSC has mainly a steering role. The Canadian Centre for Management Development (CCMD) is a central agency, lead by the Prime Minister,

The objectives of the Canada School of Public Service are (House of Commons of Canada, 2003) (a) to encourage pride and excellence in the Public Service and to foster in managers and other Public Service employees a sense of the purposes, values and traditions of the Public Service; (b) to help ensure that those managers have the analytical, creative, advisory, administrative and other managerial skills and knowledge necessary to develop and implement policy, respond to change, including changes in the social, cultural, racial and linguistic character of Canadian society, and manage government programs, services and personnel efficiently, effectively and equitably; (c) to help managers and other Public Service employees to develop successful cooperative relationships at all levels through leadership, motivation, effective internal communications and the encouragement of innovation, high-quality service to the public and skills development; (d) to develop within the Public Service and to attract to the Public Service, through the School’s programs and studies, persons who are of high calibre and who reflect the diversity of Canadian society, and to support their growth and development as public sector managers and employees committed to the service of Canada; (e) to formulate and provide training, orientation and development programs for public sector managers and employees, particularly for those in the Public Service; (f) to assist deputy heads in meeting the learning needs of their organization, including by way of delivering training and development programs; (g) to study and conduct research into the theory and practice of public sector management and public administration ; and (h) to encourage a greater awareness in Canada of issues related to public sector.

responsible for the development of a strong executive management group. The Public Service Modernisation Act 2003 will lead to the creation of the Canada School of Public Service. Training and Development Canada, which is currently administered by the PSC, and the Canadian Centre for Management Development would be amalgamated into a new institution: The Canada School of Public Service. The school becomes responsible for learning and development activities for employees in the public service. The Federal Public Service as a whole

experienced between 1995 and 2001 a reduction in

employment of 31.1 percent. However, several central agencies knew an employment growth of more than

20% in the same period. A similar evolution occurred in the Privy Council Office (21%) and

Statistics Canada (31.0%) (Treasury Board Secretariat, 2001). In the following paragraphs we will describe further the role and responsibilities of the central actors involved in performance management, the Treasury Board Secretariat, Statistics Canada and the Standing Committee on Government Operations and Estimates.

34


3.2.1. Treasury Board Secretariat (TBS) The Treasury Board of Canada is one of the five ministerial committees of Cabinet decision-making. The Treasury Board is set up since 1997 as a management board responsible for strategic management change. The Treasury Board is chaired by a Cabinet member, the President of the Treasury Board. The Treasury Board is responsible for supporting the general management of the government’s financial, human and material resources3 and is supported in its function by the Treasury Board Secretariat. The Treasury Board Secretariat is a central agency with government-wide management responsibilities that cut across the operating departments and other organisational entities. The TBS is active in the following areas (TBS, 2003): -

Expenditure management : preparation of government’s expenditure budget, monitoring program spending

-

Human Resources Management: setting terms and conditions

of

civil

service

employees, equitable participation of women, Aboriginal people, disabled persons and visible minorities Financial and information management : setting the policy framework with respect to accounting, audit and evaluation,

contracting,

focussed on innovation, service to citizens, values, responsible spending and results.

employment, equitable

participation of English-speaking and French-speaking

-

Vision To achieve excellence in management

financial

Strategic Outcomes Stewardship: sound public management of federal resources Human Resources Management: A modern, effective, well-managed public service Service Improvement: Citizen-centred service

management,

delivery

information technology etc. The TBS is organizationally structured along the following business lines: -

Expenditure Management and Planning: government-wide resource allocation that is consistent with government priorities and the fiscal framework

-

Comptrollership: management practices that focus on results and values, integrate financial and non-financial information for planning and reporting, respond to risks responsibly, and provide appropriate systems of control

-

Service and Innovation—an innovative, citizen-centred public service that responds to Canadians’ priorities for service improvement and is committed to the goal of delivering services that meet or exceed their expectations

-

Information Management and Information Technology—affordable and responsive delivery of government services through the strategic use of information management and information technology

-

Human Resources Management—a public service that is results-driven, value-based, representative, and learning-oriented

-

Corporate Administration—the provision of effective corporate services that support all business lines in meeting their objectives

3

Financial Administration Act, sections 5-13

35


Whereas the departments are responsible for reporting on their performance, the TBS is responsible for reporting overall performance to Parliament. The Departments submit their Reports on Plans and Priorities and their Departmental Performance Reports to the Treasury Board Secretariat which is integrating the reports in the Main Estimates to submit to Parliament. “The performance management initiatives have been strongly driven by the Treasury Board Secretariat with formal requirements placed on departments and agencies. There have also been some elements of encouragement and facilitation, rather than direction by the Treasury Board Secretariat and some bottom-up initiatives from within federal organisations (Talbot et.al., 2001).” The Treasury Board Secretariat employed in 2001 988 FTE. Between 1995 and 2001 the number of civil servants employed by the TBS increased with 35.5% whereas the total public service employment decreased with 31.1% in the same period (TBS, 2002). The Treasury Board has for the Fiscal Year 2003-2004 a budget of 2,410,594 thousands of Canadian Dollars4 (Treasury Board Secretariat, 2003a).

3.2.2. Statistics Canada Statistics Canada is the organisation responsible for the collection and analysis of official Canadian statistics on population, resources, economy, society and culture. Statistics Canada is a federal organisation and is responsible for the collection of statistics for the whole of the federal government and for each of the provinces. Statistics Canada organizes a census every five years. Statistics Canada employed 6147 FTE in 2001. As other central departments, the Statistics Canada number of employees increased significantly since 1995 (31%).

3.2.3. Standing Committee on Government Operations and Estimates The Standing Committee on Government Operations and Estimates was launched to strengthen parliamentary control on performance reporting by the executive. This standing committee is formally authorized to evaluate -

The effectiveness, efficiency and operation of operational plans and expenditure plans of departments and agencies

-

The effectiveness, efficiency and operation of cross-cutting operational items and expenditures

-

The budget of cross-cutting, horizontal programs

-

The process of budget preparation

-

The effectiveness, efficiency and operation of operational plans and expenditure plans concerning legal expenditure authorizations

4

This amount corresponds to 1 596 253 thousand euro

36


3.3.

Guidelines for monitoring and control

There are several guidelines for good performance

Criteria for good performance reporting:

reporting. The TBS annually sets the guidelines for

6 principles for reporting performance

departmental performance reporting based on the

1.

following six reporting principles. The Performance Reporting Rating Model developed by the Office of the Auditor General (see supra) to assess the quality of departmental performance reports is not one-to-one related to the TBS model, but the criteria

Does the report provide information that allows the reader to make informed decisions about the reliability of the performance information?

2.

Does the report provide a coherent and balanced picture of performance information?

3.

Does the report focus on outcomes that benefit Canadians and Canadian society?

4.

How effectively does the report associate performance

are broadly consistent with the TBS reporting

with earlier commitments discussing any performance

principles. The Canadian Comprehensive Auditing

gaps?

Foundation developed in 2002 a set of Reporting Principles

5.

with the objective to take public

performance reporting to a new level.

How well does the performance report provides understanding of the department’s role and operating environment?

6.

Does the report demonstrate the value of departmental performance

by

linking

outcomes

achieved

with

resources expended?

The Office of Auditor General developed the following set of audit criteria used in the assessment of the fairness and reliability of performance information (Office of the Auditor General of Canada, 2003). Criteria

Sub-criteria

Relevant The performance information reports in context, tangible and important accomplishments against objectives and costs.

Program context includes the mission, mandate, organizational structure and major priorities/strategies and partners used in relation to the objectives, and explains the external environment including risks and challenges faced. Logical relationships and alignment between government priorities, mandates, objectives and accomplishments are presented. Tangible and important accomplishments are reported in a timely manner, and their significance is explained. Reported results are focused on outcomes with related program activity types and outputs identified. Cost and financial information on the resources used and revenues received in delivering the results is presented.

Meaningful The performance information tells a clear performance story, describing expectations and benchmarks against which performance is compared.

Expectations are set out which are clear and concrete consistent with the objectives (strategic outcomes) explained focused on outcomes with relevant activities and outputs identified, and consistent with previously stated plans. Comparisons are provided between actual reported accomplishments and expected performance with a realistic interpretation of the gap between the two. Comparisons are provided with relevant benchmarks, such as similar activities, programs or organizations, or trends over time. Future plans are discussed as to what will change as a result of changing circumstances and what has been learned from past performance; major challenges are identified. Selective, concise and clear information is presented, along with links to more detailed information.

Attributable The performance information demonstrates in a reasonable fashion why the program has made a difference.

The contribution that has been made by the program to the reported results is demonstrated in a reasonable fashion, including evidence regarding attribution. The role of key partners and other external factors is discussed.

37


Accurate The performance information adequately reflects the facts, to an appropriate level of accuracy.

Valid measures of performance are used. Reliable data are used. Performance accomplishments and conclusions are supported by adequate evidence, including the use of relevant evaluations. Appropriate methods of data collection and analysis have been implemented. Information sources and limitations of data collection, analysis and presentation are explained and any planned improvements discussed. The basis for confidence in the reliability of the information being reported is disclosed.

Balanced A representative yet clear picture of the full range of performance is presented, which does not mislead the reader.

Both strong and weak accomplishments are reported as are significant unintended impacts. There is coverage of all objectives. There are no distortions of information through presentation or tone, or through omission of information or context. The emphasis on information presented is proportional to its importance and materiality.

Table 3-2: Criteria used in the assessment of the fairness and reliability of performance information (Office of the Auditor General of Canada, 2003).

3.4.

Reporting performance information

The Canadian Government is making the performance information available to the public both by means of government-wide publications, as for example “Canada’s Performance” as by means of Departmental Performance Reports. Every year about 80 departments and agencies report to Parliament on the achievement of their objectives by means of a Departmental Performance Report. Departments report internally to the management of the departments on a more ad hoc basis. Departments report to Cabinet on an ad hoc basis.

3.4.1. Departmental Performance Report Every department and agency has to report annually on the departmental performance of the past year. Departments and agencies submit their reports to the Treasury Board Secretariat which includes the documents in the budget document or the Main Estimates for the coming year and submits them to Parliament.

The Treasury Board gives the departments and agencies instructions about the

structure and content of the performance report. The next table gives an overview of the issues that should be reported on. 1. Minister’s message 2. Context

3. Performance 4. Management 5. Mandatory financial reporting

Mission and vision of the organization Environment scan Link between strategic outcomes and government priorities Horizontal linkages to key partners Internal and external risks in delivering the strategic outcomes How do programs and resources contribute to the strategic outcomes? Key accomplishments Management issues and practices within the department Implementation of government-wide management improvement initiatives Summary of Voted Appropriations Comparison of total planned to actual spending Historical comparison of total planned to actual spending Crosswalk between strategic outcomes and business line (when business lines differ from strategic outcomes) Revenues Statutory Payments Resources requirements by organization and business line Loans, investments and advances Revolving Funds Contingent liabilities Table 3-3: Structure of departmental performance reports.

38


The Treasury Board Secretariat commissioned a review of the Departmental Performance Reports FY 2000-2001. The study did not assess the factual content of the report, but tested the reports to the Treasury Board Secretariat reporting principles. The conclusion of this review was that most departmental performance reports focused more on outcomes instead of outputs and that the central concept of strategic outcome was well adopted. However, costing of outcomes, describing the context of the department, making a logical connection between activities and strategic outcomes remained important challenges. “There is a tendency to use the vocabulary of results-based management and performance reporting without applying the performance paradigm and its focus on outcomes. The organisation of the report is by business line and what is reported are activities rather than results. (…) The focus is on what was done or initiated in the past year, while the outcomes that should be reported on may have started a number of years earlier (Treasury Board Secretariat, 2003b).” The following figure gives an overview of the average score on each of the reporting principles (Treasury Board Secretariat, 2003b):

Average Score

5.0

Reporting Principles

4.5

2001

1. Reliability

4.0

2002

2. Balanced & coherent picture

3.5

3. Focus on outcomes

3.0

4. Performance against commitments 5.

2.5

Departmental

role

&

operating

context

2.0

6. Linking outcomes to resources

1.5

Scoring scale

1.0

0=No evidence

0.5

1= Poor / Weak 2=Needs improvement

0.0 1

2

3

4 Principles

5

6

3=Satisfactory 4=Very good 5= Outstanding / Excellent

Figure 3-1: Average score on reporting principles for 2001 and 2002 (Treasury Board Secretariat, 2003b).

The Office of the Auditor General developed a model for rating departmental performance reports in 2002 and applied it for the first time in 2003 to a selection of nine departments and agencies. The following figure illustrates the results of this audit. The departments scored on average “good” on defining the organizational context of the department and setting the strategic outcomes clearly. They ware “fairly good” at reporting the key results as outputs and outcomes that contribute to the expected strategic outcomes. They had however more problems with expressing the performance expectations in a clear and concrete way, that is as outputs and outcomes with a direction, an amount of change, a timeframe and an action strategy. Another difficulty remains to provide reliable and credible performance information that gives a balanced view of the achievements. The use of performance

39


information in departmental decision–making, at last, remained at a basic level and seems to be the hugest challenge for good departmental performance reporting.

Figuur 3-2: Assessments of Departmental Performance Reports 2002 (Auditor General of Canada, 2003: 6).

An assessment of the 2002 Departmental Performance Reports showed that smaller departments have more difficulties with performance reporting and make less progress in performance reporting than larger departments. The average overall score of all large departments was 2.5 whereas the average overall score for the smaller departments and agencies was 2.1 (Treasury Board Secretariat, 2003b). The following organisations were rated by an independent review as having very good departmental performance reports: Canada Economic Development for Quebec Regions, The Canadian Human Rights Tribunal, The Canadian International Development Agency, the National Library, The National Parole Board, Natural Resources Canada, Office of the Auditor General, Office of the Information Commissioner, Parks Canada (Treasury Board Secretariat, 2003b). A few organisations were rated excellent for parts of their performance reporting, for example Veterans Affairs Canada and Transport Canada for the relation of resources to outcomes.

3.4.2. Example: Natural Resources Canada The following figure illustrates the structure and content of departmental performance reports with the example of Natural Resources Canada. Departmental Performance Report Natural Resources Canada 1.

Minister’s Message

2.

Raison d’être and operating context

3.

Departmental performance by strategic outcome a.

Strategic Outcome 1: “Information to make balanced decisions regarding natural resources”

b.

Strategic Outcome 2: “Sustainable economic, social and environmental benefits derived from natural

c.

Strategic Outcome 3: “Strategies that reduce environmental impacts in the natural resource sectors”

resources for present and future generations”

40

i.

Actual Expenditures Strategic Outcome 3

ii.

Key Accomplishments: e.g. Climate change Policy


iii.

Short to medium-term objective: “Canada addressing its international Kyoto commitment to

iv.

Performance indicators: GHG emissions compared to Kyoto protocol; GHG emissions to GDP

reduce greenhouse gas emissions” ration compared to other countries; Trends in use of renewable energy, Trends in energy efficiency;… v.

Performance target: “By 2010 reduce GHG emissions from federal operations by 31% below 1990 levels”

vi.

Performance Assessment for Strategic Outcome 3

d.

Strategic Outcome 4: “Safety and security in the natural resource sectors”

e.

Strategic Outcome 5: “A department that is efficiently and effectively managed”

4.

Government-wide initiatives and management issues

5.

Financial Performance a.

Actual Expenditures by Strategic Outcomes and Activities Strategic Outcomes

Activities Connecting Canadians to geospatial information Creating an Aboriginal property rights infrastructure Departmental services Developing Canada's North through geoscience and geospatial information Ensuring a clean and safe environment for Canadians Investments in and support of forest sector programs and special initiatives Low level radioactive waste management Leveraging investments in climate change Market transformation and incentives for energy efficiency and renewable energy Meeting Canadians' security and safety needs Policy research, development, and program support Providing science, technology and innovation support for the sustainable development of Canada's natural resources Regulation and assistance for the development of offshore oil industry Regulation, research, and control of explosives use Stewardship of NCR facilities and workplace environment ** Less: Respendable Revenues Total Net Expenditures

S.O.1

S.O.2

S.O. 3

S.O. 4

S.O. 5

TOT

60.6

19.1 16.9 60.6

19.1 16.9 16.9 6.6

19.8 3.0

6.9

14.0

36.7 14.0

2.7 9.3 16.5

2.2

12.3 9.3 18.7

9.6

67.7 10.9 118.3

60.8 17.9

57.1

39.6

8.1

91.5

51.6

117.1

267.0

299.9 11.4 2.6 206.9

11.4 10.6 431.6

303.2 7.2 9.2 6.0 231.7

9.2 81.6

45.3 23.0 991.2

Table 3-4: Natural Resources Canada Actual Expenditures by Strategic Outcomes and Activities

3.4.3. Government-wide performance reporting TREASURY BOARD SECRETARIAT ANNUAL REPORT ON GOVERNMENT’S PERFORMANCE Whereas the departments and agencies have to report to parliament about the results achieved in their policy area, the Treasury Board Secretariat is responsible to report to Parliament about performance measurement, reporting and results-based management at a government-wide level. Therefore the TBS publishes since 1995 an annual report on the performance of the Government of Canada. With this government-wide report the TBS hopes to build trust and to encourage citizen’s engagement, to increase the transparency and accountability to Parliament and to encourage modern management focused on results. The report is build around twenty quality of life indicators in the areas of economy and innovation, health, environment and the strength and safeties in the

41


communities. Most data used to report on the quality of life indicators are provided by Statistics Canada. The report also provides a gateway to departmental performance information by means of electronic links to

Reports on Plans and Priorities and Departmental Performance Reports. The

following table gives an overview of the 20 quality of life indicators. Economic

Health of Canadians

opportunities and

Canadian

Strength and safety of

Environment

Canadian

Air quality

Volunteerism

Water quality

Attitudes

communities

innovation Real GDP per capita

Life expectancy

Real disposable income Self-rated health status per capita

toward

diversity

Innovation

Infant mortality

Biodiversity

Employment

Physical activity

Toxic substances in the Political participation environment

Literacy

Cultural participation Safety and security

Educational attainment Table 3-5: Quality of Life Indicators

CANADA AT A GLANCE Statistics Canada publishes every year a report with key indicators about Canada, Canada at a Glance. This report includes key statistics on the economy, the labour market, income, demography, education, health, justice, housing, travel, finance and foreign trade. It also contains an international comparison of a set of key indicators as population, GDP, expenditures on health etc.

CITIZENS FIRST SURVEY In 1998 the Canadian Centre for Management Development and the Treasury Board Secretariat conducted a survey on service delivery. More than 2900 Canadians gave their opinion about service needs, expectations, degree of satisfaction and priorities for service improvement. The results of the survey showed that Canadians rate public services in the same range as private sector services. Federal, services were given an average rating of 6.0 out of ten, whereas private sector services were on average rated 6.2 out of ten.

3.5.

Focus of monitoring: what is measured?

Every department and agency has to negotiate on a policy accountability structure that is used to plan and report on performance and to structure the organisation. For each strategic outcome departments and agencies have to demonstrate how their program results and resources contribute to their strategic outcomes. The departmental performance reports are structured along the following hierarchy of objectives: -

Strategic outcomes

-

Key targets for strategic outcomes and overall results

-

Programs, resources and results linkages

42


-

Management practices

For each strategic outcome and program, resource allocations and performance indicators have to be defined. However, reporting on outcomes still seems to be difficult. An assessment of departmental performance reports of 2001 showed that only 31 of the 84 examined reports were focused on outcomes. “Although most

Departmental Performance Reports define one or more strategic

outcomes, many of these could be classified as outputs as they were produced directly by the department and were focused on activities under the direct control of the organization (Treasury Board of Canada, 2002: 7)”. The assessment of the departmental performance reports of 2002, showed a stronger focus on outcomes, although a lot of reports are still largely focused on activities, outputs and immediate or intermediate outcomes (Treasury Board Secretariat, 2003b) .

3.6.

Quality control and audit of performance information

The Auditor General Act gives the Auditor General the statutory authority to examine the performance measurement systems of departments. When the Auditor General finds that the procedures to measure and report the effectiveness of programs are not established satisfactorily, then he/she the shall bring this lack of performance measurement systems to the attention of the House of Commons5. The Auditor General is thus not systematically auditing the departmental performance reports systems, but is only auditing the performance information in a selection of programmes (Talbot et.al, 2001; OECD & World Bank, 2003). The Auditor General conducted an overall assessment of the departmental performance reports in 1997 and in 2000. The Standing Committee on Public Accounts recommended the Auditor General in 2001 “to conduct random audits of the information contained in the performance reports of departments in order to verify, among other things, that the information contained in these reports is a fair representation of accomplishments against goals and objectives (Standing Committee on Public Accounts, 2001)”. The Office of the Auditor General developed then a model for rating departmental performance reports. This model was implemented for the first time in the spring 2003 when the Auditor General assessed the quality of

performance reports of a selection of departments and

agencies: Citizenship and Immigration Canada, Correctional Services Canada, Immigration and Refugee Board, National Defence, National Parole Board, Royal Canadian Mounted Police, the Solicitor General Canada and Transport Canada. “These organisations represent $19.3 billion in expenditures or 12% of the total government expenditures for FY 2001-2002 (Office of the Auditor General, 2003).”

5

Auditor General Act: An Act respecting the Office of the Auditor General of Canada and sustainable development monitoring

and reporting 1995 c. 43 s.1., art 7 (2) d

43


Level 1

Level 2

Level 3

Level 4

Level 5

Basic

Fair

Good

Very Good

Excellent

1. Organizational context and strategic outcomes are clear

Planned strategic outcomes at each level are increasingly aligned in logical sequence w ith the department's operating environment, its legislated mandate, mission and relevant risks. They indicate how the department and its key partners w ill contribute to the strategic outcomes

2. Performance expectations are clear and concrete

Statements of performance expectations are increasingly expressed as outputs and outcomes with a direction, an amount of change, a timeframe and a strategy for achieving planned targets

3. Key results are reported against expectations

Key results are increasingly expressed as outputs and outcomes that contribute to each of the planned strategic outcomes with results that are aligned with performance expectations. T hey are increasingly accompanied by challenges, attribution and resource information.

4. Reliability of performance information is supported

Performance information is increasingly supported by reliable sources and information on data quality. T he performance information presented includes a balance between successes and shortcomings.

5. Use of performance information is

Performance information is increasingly used to manage and improve further improvements.

demonstrated

Figure 3-3: Model for rating performance reports (Office of the Auditor General, 2003)

Departments and agencies also play a role in the quality control of performance information. Departments conduct internal audits and evaluations of their programs in which they might control the system of performance measurement. The Treasury Board Secretariat and the Office of the Auditor General plan to release a Management for Results Self Assessment Tool for departments to monitor and control their management information systems. “The main issues raised by the OAG have been about the quality of financial data, the lack of focus on outcomes, problems of coverage of performance data, information from new forms of service delivery (Talbot et.al., 2001).”

3.7.

Use of performance information

3.7.1. Financial cycle The Canadian Main Estimates are structured as a traditional programme budget, but since 1995 departments and agencies report on their plans and priorities in part II of the Main estimates to inform parliament about the outputs and outcomes they want to achieve with the authorized resources. Including output and outcome information in the budget however does not necessarily mean that this

44


information is used in the budget process. According to the OECD & World Bank Survey on budget practices, performance information is used in determining budget allocation within ministries and within programmes for less than 25% of the programmes (OECD & World Bank, 2003). Expenditures are linked to output and outcome targets for less than 25% of the programmes. Performance targets seem to be mainly used internally within departments in the process developing the budget submissions. Performance information is used to allocate resources between and within programmes, to set programme priorities, to change work processes, to set individual staff performance plans and to adopt new programme approaches (OECD & World Bank, 2003).

3.7.2. Policy and management cycle According to the Joint OECD- World Bank Survey performance information is not commonly used in political decision making. This observation was confirmed in several assessments of departmental performance reports of 2002: the departmental performance reports showed very little indication of use of performance information for decision making (Treasury Board Secretariat, 2003b; Auditor General of Canada, 2003). The success of performance reporting seems to be positively correlated with evidence that the information is used for decision-making or program improvements. A study of the Treasury Board Secretariat that the Departments with satisfactory to very good departmental performance reports scored high on the use of performance information to learn and the use of performance information for decision-making. “In most of these cases the performance information has a strategic quality to it and the focus is on outcomes, with a clear indication of the logic between what the a department does and produces and how this contributes to the outcomes (Treasury Board Secretariat, 2003b).”

3.7.3. Accountability to parliament A third important impetus to develop performance measurement systems has been the need for increased accountability to parliament. The Improved Reporting to ParliamentProjuect aimed at giving members of Parliament more information on the planned and realised results. However the use of performance information in parliamentary oversight does not seem to be of great importance yet. According to the joint OECD-World Bank survey on budget performance information is not used at all by members of parliament (OECD & World Bank, 2003).

45


4. Performance management in the Netherlands

4.1.

History and objectives of reform

The Netherlands has a long tradition of performance measurement initiatives and policy evaluation. The Commission for the Development of Policy Analysis yet worked in the seventies on performance budgeting initiatives (1971-1978). It was only in the nineties that central, government-wide performance initiatives were comprehensively implemented. The main objective of these initiatives was to include performance indicators in the budget documents. The use of performance information in the budget steadily increased over time and the focus shifted from input-, process-, output- and outcome measures towards efficiency and effectiveness measures. These initiatives finally led in 1999 to the development of a new outcome-oriented budget structure. The initiative “From Policy budgeting To Policy reporting” aimed at making the budget and annual reports more transparent and more policy-oriented to increase the accountability to parliament. The new budget is divided into policy lines (formulated as policy objectives) and departments have to explain the allocation of resources to policy lines by means of strategic and operational objectives and efficiency and effectiveness measures. The policy budgeting and reporting reform has been enacted in the Public Finance Act 2001. While implementing this reform, there occurred the need to set a clear set of standards to guarantee the quality of the non-financial information contained in the budgets and reports. Therefore the Ministry of Finance developed the Regulation on Performance Measurement and Policy Evaluation. At the same time, departments were developing internal information systems to support the reporting of nonfinancial information in the departmental budgets and reports. Reform Agency model

Date 1991-1997

Price and volume indicators

1994

Interdepartmental Policy Research Efficiency indicators

1995 1997

Melkert Resolution

1998

Pilot projects performance measurement and policy evaluation

1998

VBTB: From Policy Budget to Policy Report

1999

Manual Government Governance

Regulation on Performance Measurement and Policy Evaluation

2001

Manual “Policy planning and performance measurement” Regulation on the Internal Management

2002

46

2002

Objectives Establishment of agencies with managerial flexibility and accrual accounting and budgeting systems Departments have to include in the budget document price and volume measures on which the budget estimates are based. Departments have to include efficiency measures in the budget document Parliament can specify in the budget the policy objectives on which departments have to report by means of performance measures Pilots implement performance measurement and policy evaluation systems. Dissemination of best practices. Introduction of a new, outcome-based budget structure. Performance information is integrated in the budget and in the annual report and accounts to increase accountability to parliament. Disseminating the concepts and practices of government governance Model for government governance: steering-control-supervisionaccountability Checklist to assess organisation’s government governance Ministry of Finance issues quality guidelines for performance information in budgets and annual reports and accounts. Guidelines on the evaluation function in departments and agencies. Step-by-step guide to formulate policy goals and to develop performance measures Departments are required to report in the budget and the annual report

Performance management in Sweden

Statement Public Finance Act

2002

on the risks in their internal management. Enactment of the new VBTB budget structure in the Public Finance Act.

Table 4-1: History and objectives of performance measurement reforms in the Netherlands

4.2.

Actors involved in performance management reform

4.2.1. Ministry of Finance, Division for Policy Instrumentation and Policy Evaluation The Ministry of Finance is the main actor responsible for setting the general performance management policy. The Budget Directorate sets the general budgeting policy, prepares budget legislation as the Public Finance Act and issues regulation as the annual Budget Instructions. Within this Directorate there is a Division for Policy Instrumentation and Policy Evaluation that develops performance management tools, guidelines and regulations. This division is responsible for supporting the departments in the implementation of the outcome budgeting initiative VBTB. The Division for Policy Instrumentation and Policy Evaluation also developed the Regulation on Performance Measurement and Evaluation.

4.2.2. Central Bureau of Statistics (CBS) The Central Bureau of Statistics (CBS) is the official organisation responsible for the collection and publication of statistics. The focus of the CBS statistics collection is very broad. The decsion has been made to transform the CBS into an autonomous agency (ZBO) from the 1st of January 2004 on because of the importance of independent statistics collection. The CBS comes under the Ministry of Economic Affairs. The program of statistics collections is set by the Central Commission for Statistics. This independent commission has to watch over the impartiality, independency, relevance, quality and continuity of the statistical program (Centraal Bureau voor de Statistiek, 2003a). Both within departments and within parliament there is an increasing interest in an need for statistics to inform policy making. Therefore the CBS has established a Centre for Policy Statistics. This unit provides departments with policy statistics and supports departments in the collection of performance data.

4.2.3. Audit Court (Algemene Rekenkamer) The Audit Court is the Dutch independent supreme audit institution, supporting parliamentary control of the executive branch. Therefore the Audit Court conducts financial audits and performance audits. The Audit Court played an influential role in the recent outcome budgeting reform, VBTB, both in the development as in the implementation of the new system. The Audit Court, for example, formulated

47


advise on the new Public Finance Act 2001, examined and commented the budget documents and formulated recommendations for improvement.

4.3.

Process of performance management

The Public Finance Act specifies the responsibilities of ministers concerning performance measurements. Hereby a distinction is made between monitoring policy on the one hand and monitoring management on the other hand. Ministers are first of all responsible for the effectiveness and efficiency of their policies. They examine periodically the effectiveness and efficiency of the policies they initiated with the allocated budgets and report the results of this examination to Parliament and the Audit Court (Tweede Kamer der Staten-Generaal, 2002: art. 20). Secondly, ministers are also responsible for running their department in an efficient way. Therefore ministers have to examine periodically and report to Parliament and the Audit Court on the efficiency of their department’s management (Tweede Kamer der Staten-Generaal, 2002: art. 21). Within the departments the responsibility for performance measurement is split between the Finance Directorate and the policy directorates. Every Minister is supported in the preparation and execution of the budget by a central finance directorate responsible (Tweede Kamer der Staten-Generaal, 2002: art.27). The Finance Directorate is the “financial conscience” of the department, implementing the policies set by the Ministry of Finance. Often, the departmental finance directorates are staffed by former employees of the Ministry of Finance. The finance directorate has to set and support the general framework for performance management within the department, but it are the policy directorates who finally have the responsibility for the collection of performance data. Ministers have to report to Parliament on their policy achievements and managerial performance by means of a departmental performance report. The performance report has to be submitted to Parliament on the 1st of March.

4.4.

Guidelines for performance management

The performance management guidelines are enacted in the Public Finance Act 2001. This act requires from ministers to measure the effectiveness and efficiency of their departmental policies and management and to report efficiency and effectiveness measures in the budget and the annual report. The Minister of Finance sets more detailed guidelines on the use of performance data in the budget in the annual Budget Instructions. The Ministry of Finance also developed a set of quality standards for performance information in the Regulation on Performance Measurement and Policy Evaluation. The Regulation on Performance Measurement and Policy Evaluation distinguishes between regular performance measurement systems on the one hand and evaluation studies on the other hand. Performance information contained in the annual report has to be collected respecting the appropriate quality standards of validity, reliability, accuracy and usefulness. Performance measurement systems have to be set up according to the following quality standards (Ministerie van Financiën, 2002a):

48


-

Valid alignment of the system

-

There is a clear view on the demands of information and the system is tuned to the information demands

-

Concepts are well-specified

-

Well-designed system

-

There is a multi-annual comparability to guarantee stability

-

Adequate selection of units and reliable and valid measurement

-

Valid techniques of analysis and valid techniques of drawing conclusions and recommendations

Every department has specific needs concerning performance measurement and therefore it is important to develop policy area specific quality standards. The Regulation on Performance Measurement and Policy Evaluation sets the general framework for quality standards. Departments can develop more concrete quality standards by means of internal regulations. A major issue in performance measurement is the high cost of collecting valid, reliable, accurate and useful performance information. This issue is recognised in the regulation that states that the costs of the performance measurement system may not be higher than the benefits. Departments may decide not to implement a performance measurement system and not to report performance information when they think that the costs might outweigh the benefits, but they have to explain there decision to parliament in their departmental report. The Ministry of Finance published in 2002 also a manual on “Policy planning and performance measurement”, consolidating all regulation and guidelines on performance management. The manual contains a step-by-step-process of performance management. The manual provides several steps to fine-tune and improve the formulation of policy goals and performance measures supporting the policy line structure. The following figure illustrates the step-by-step process (Ministerie van Financiën, 2002b).

49


Step 1: Is the Budget Policy Line complete?

Strategic goals and outcome measures? Operational goals and output measures?

Step 2: Mapping the policy issue

Step 3: Matching policy line and policy map?

Final Outcome External influences

Intermediate outcomes

Side Effects

Policy Instruments Step 4: Are the policy goals complete and accurate?

Captivating?Time-specific?Target group defined?Measurable? Accountability defined?To the point?Feasible?Controllable

Step 5: Rephrase the policy goals

Step 6: Are the performance measures complete?

Outcome measures? Output measures (price and volume)? Activity measures (price and volume)? Quality measures?

Step 7: Are the performance measures accurate?

Valid and reliable? Relevant and op-to date? Well presented? Learning function?

Step 8: Are the performance measures embedded in the internal planning & control cycle?

Alignment of internal and external planning & control documents? Transparent accountability lines? Reliance on information of external information?

Step 9: Rephrase the performance measures

Figure 4-1: Step-by-step process of policy planning and performance measurement

4.5.


4.5.1. Departmental level OUTCOME BUDGET The departmental budgets are structured along policy lines (beleidsartikelen) that should be formulated as policy outcomes. In the explanatory note on the budget, departments explain what they aim to achieve with the allocated resources, which actions they will take to achieve these outcomes and how much these actions may cost. For each policy article departments have to provide the following information (Tweede Kamer der Staten-Generaal, 2002: art. 5): -

Strategic objectives o

-

Effectiveness measures

Operational objectives o

Effectiveness measures

-

Instruments

-

Multi-annual planning of program expenditures (t-2 to t+4)

-

Multi-annual planning of administration expenditures (t-2 to t+4) o

50

Efficiency measures


-

Multi-annual planning of commitments (t-2 to t+4)

-

Multi-annual planning of incomes (t-2 to t+4).

-

Information about the assumptions on effectiveness, efficiency and estimates.

ANNUAL REPORT AND ACCOUNTS Agencies report on the execution of the budget and their performance in a departmental report. This report first of all includes information about the execution of the budget: the estimated and realised commitments, the estimated and realised expenditures and the estimated and realised incomes. The financial accounts are structured along policy lines. The departments report for each policy line on the achieved policy outcomes and managerial performance in an explanatory performance statement, containing the following elements: -

Achievement of strategic goals

-

Achievement of operational goals

-

Instruments used to achieve the strategic and operational goals

-

Multi-annual data about the program expenditures, administration expenditures, commitments and incomes (t-4 to t)

-

Efficiency and effectiveness measures

-

Statement on internal management.

The financial and non-financial information about the performance of the autonomous agencies (ZBO’s) is integrated in the annual report and accounts of the parent ministry.

4.5.2. Government-wide level The Public Finance Act 2001 does not require the government to publish a government-wide performance report. Government-wide reporting of performance information consist mainly of statistical reports. The Central Bureau of Statistics (CBS) publishes annually a government-wide statistical report called “The year in numbers”. CBS also developed a website with general statistical information available to the public, http://www.statline.nl. CBS reports statistical dossiers, as for example on health, the economy an immigration in the CBS annual report (Centraal Bureau voor de Statistiek, 2003b).

4.6.

Focus of performance measurement: what is measured?

The performance measurement requirements as set by the Public Finance Act are rather ambitious. Performance measurement concerns as well the policies of the departments as the management of the departments. Reporting output and outcome information is not sufficient: departments are obliged to report effectiveness and efficiency measures. However, departments seem to focus mainly on output measurement. The Audit Court examined the use of performance information in the

51


departmental outcome budgets for 2002 and made a classification of the performance information contained in it. The following table illustrates the results of this study. ( < 15% are not included)

Input

Activity

Output

# Foreign Affairs Justice Interior Affairs and Kingdom relations Education, Culture and Science Finance Defense Housing, Regional Planning and Environment Transportation and Water Management Economic Affairs Agriculture, Nature Management and Fisheries Social Affairs and Employment Public Health and Sports

115 220 75

30%

Outputs of local governments and autonomous agencies

Outputs of business, citizens and and organizations

Final outcome in society

40% 33% 60%

65 230 130

25%

175 15% 35%

145 70

Outcome

90%

240

110 85

Intermediate outcomes

25%

50% 60% 40%

15% 40% 33%

35%

35%

45% 40%

30%

20% 15%

33%

45%

30%

24%

15% 17%

23%

Table 4-2: Share of input-, activity-, output- and outcome measures in 2002 departmental budgets (Algemene Rekenkamer, 2002).

This study shows that departments report mainly output measures in their budget documents. The Audit Court also examined the use of performance information in the 2002 performance reports, combined with an examination of the 2003 departmental budgets. The conclusion of this study was that departments mainly report information about expenditures and outputs, whereas information about outcomes was rather rare (Algemene Rekenkamer, 2003).

4.7.

Quality control and audit of performance information

The importance of valid and reliable performance information is enacted in the Public Finance Act 2001 (art. 58). “The policy and management information contained in the departmental report has to be collected, analysed and reported according to information quality standards”. The Audit Court has the statutory authority to examine annually whether the performance information contained in the performance report respect the information quality standards (art 82 (e)). The Audit Court examined the use of performance information in the departmental budgets of 2002 and 2003 and in the departmental annual reports of 2002 (Algemene Rekenkamer, 2003). The conclusion of this study was that most departments include information about outputs in their budgets and their annual reports, but that they do not link outputs to expenditures and thus do not report on the efficiency of their programs. Information about the final outcomes achieved as a result of the departmental policies is lacking. Another important conclusion was that the information about

52


expenditures, outputs and outcomes was insufficiently compared over time. Departments do not focus enough on the differences between the planned outputs and outcomes and the achieved outputs and outcomes. There might be several explanations for these problems: -

the complexity of the policy area: no direct relationship between expenditures and outcomes, influence of external factors, cross-cutting issues, international context

-

high costs of measuring efficiency and effectiveness,

-

learning process: lack of experience with performance measurement, lack of historical data, lack of incentives as the performance information is insufficiently used in the budget process,

-

selective data reporting because of the need for conciseness (Algemene Rekenkamer, 2003).

van Dijken and van Schoten examined the “SMARTness” of the performance objectives in the 2003 departmental budgets. They concluded the following: -

31% of the operational objectives were specific,

-

41% of the operational objectives were measurable,

-

48% of the operational objectives were time-specific,

-

176 of the 497 operational objectives were neither specific, measurable, nor time-specific (van Dijken and van Schoten, 2003) .

Recently, steps have been taken to install an internal audit function in the Departmental Accountancy Divisions. Departmental Accountancy Divisions are currently responsible for certificating the departmental accounts. These divisions will be transformed into Departmental Audit Divisions. The internal audit examines whether the department has a well-developed and effective internal control system. The audit of management information systems could potentially be a part of the internal audit.

4.8.


One can conclude that the performance management system is a multifunctional system: performance information is used in accountability to Parliament, in policy planning, in budgetary decision making and in internal management. The question arises whether the performance information is used for these several purposes and by these several actors to the same extent. To what extent do the performance data influence the budgetary decision making? To what extent is parliament using the performance information in the exercise of its parliamentary control function?

4.8.1. Financial cycle: outcome budgeting In the Netherlands, a budget reform initiative was set up in 1999 to strengthen the governmental accountability to parliament and the public by creating a more transparent and outcome-oriented budget structure and by focusing the budget debate more on the broad policy priorities of government. The reform named “From budgeting for outcomes to reporting for outcomes” has the ambition to enhance the connection between the budget and the annual report and accounts.

53


The new performance-oriented budget format has been introduced in 2001. In this new budget format, appropriations are made for beleidsartikelen or policy lines. These are outcomes that the Dutch government aims to achieve. The policy objectives, the instruments to achieve them, the outputs to deliver and the estimated means are described in the explanatory statement. The following table illustrates the structure of the budget documents. Level of Approval by Parliament Department e.g. Department for Social Services and Employment Policy Items e.g. “Improving the possibilities to combine labour and care” Strategic Objectives e.g. “Improve the possibilities to combine labour and care” Operational Objectives e.g. “Retain the current supply of high quality nurseries, 182 653 places” Performance Indicators e.g. “Total number of places for children in nurseries”

Appropriation Act 2004 X

X

Explanatory Note 2004 X

X X X X

4.8.2. Policy and management cycle A second important impetus for the development of performance measurement systemes is the use of performance information in policy and management decision making. According to the oECD & World Bank survey performance iformation is used in political decision-making by ministers and by the cabinet (OECD & World Bank, 2003). The extent to which the performance information is used and the influence on the political outcomes, however, needs to be further examined. The performance information is also an instrument in the departmental planning and control cycle. The performance information is used within departments and agencies to allocate resources between and within programs, to set program prioirities, to change work processes, to set inidvidual performance plans and to adopt new program approaches (OECD & Woirdl Bank, 2003). The extent to which the use of performance information varies between departments and agencies is an important subject for further research.

4.8.3. Accountability A third important application of performance information is the extrenal reporting on

results, to

parliament and to citizens. This accountability objective was also integrated in the performance budgeting project VBTB (“From outcome budgeting to outcome reporting”). The aim was to make the budget and the annual reports more transparent to enhance the accountability towrads citizens and members of Parliament. The extent to which the reform was effective, needs to be further examined.

54


5. Performance management in Sweden

“Sweden has for almost 200 years built its state bureaucracy on semi-autonomous agencies. Only a small percentage of civil servants of the central administration are employed by ministries, the majority by agencies or boards (Larsson, T., 2002: 178).” There are 10 central ministries, employing each only a few hundreds of people. The ministries are responsible for policy preparation, planning and coordination. For the preparation and investigation preceding government bills, the government sets up ad hoc commissions of inquiry. There are about 300 agencies employing almost 200000 civil servants. The agencies may range hugely in numbers of employment, from very small agencies with a handful of employees to very large agencies counting 25000 employees). There are three types of agencies: administrative agencies, public enterprises and state-owned companies. The autonomy of agencies is constitutionally anchored in de principle that ministers cannot interfere in the operations of agencies putting the laws adopted by parliament into effect. Agencies have a significant flexibility in spending resources: annually they receive a lump-sum appropriation, they van carry over unspent resources to the next year’s budget and they can borrow against next year’s appropriation. Agencies have their own interest-bearing accounts which gives them incentives for good cash management. Agencies are also responsible for their own Human Resources Management within the overall requirements set and monitored by the Ministry of Finance. The autonomous agencies are steered and controlled by means of several instruments (Swedish Financial Management Authority, 2003a: 4). Firstly agencies have to operate within the framework set in laws and regulations (e.g. the Government Agencies Ordinance, Budget act, Financial Management Ordinances) and instructions about their duties and responsibilities. Secondly ministries are responsible for the results-oriented steering and control of agencies by means of objectives set in instruction letters and reported on in annual reports and performance dialogues. A third important steering instrument is the financial steering: agencies have to submit their annual budget request to the mother ministry deciding on this basis on the agency appropriation. Finally ministries have kept the authority to appoint the Directors General of the agencies despite the decentralisation of the human resources management to the agencies. Ministries can also influence agencies by choosing the chairmen and members of the agency advisory boards.

5.1.

History and objectives of performance management reforms

The Swedish government started yet at the end of the sixties with program budgeting and management by objectives but this reform was not perceived fully successful. The government picked up the thread of results-oriented reforms at the end of the eighties

with the introduction of a

performance management system. The performance management system introduced increased managerial and financial flexibility, reporting mechanisms, three-year budget estimates and performance auditing. In 1993 the government implemented an accrual accounting system to support

55


the performance management reform by providing information on the costs per output. “The reforms that followed during the late 1980’s and early 1990’s, based on the concept of performance management, represented an attempt to restore, and make more explicit, the decision powers of the political leadership. The government was required to provide a better description of what is expected from an agency and the budget horizon was prolonged. In return agencies were given extensive freedom when deciding on the use of administrative allocations, but where simultaneously required to deliver improved reports and analyses of their achieved results (Molander, Nilsson & Schick, 2002).” Enduring the first half of the nineties, the need for stricter financial control dominated the public debate and results-oriented reforms were pushed into the background. This focus on financial control led in 1996 to the implementation of a new, top-down budget process with three-year expenditure limits. When public finances became more healthy in the second half of the nineties, performance management regained attention. In 1997 a new performance budgeting initiative was launched, the VESTA project, aiming at the integration of an activity structure in the budget and at the implementation of an accrual budget. In 2000 a White Book on performance budgeting was published to confirm the steps towards more results-oriented budgeting and to refine them. The government appointed in 1995 a commission to analyse the societal demands to state administration, today and in the future and to find out the central issues for the public administration of the future. The conclusions of the commission were translated in the White Paper “Central Government Administration in the Citizens’ Service” and approved by Parliament. Swedish central government administration should be accessible and obliging towards the public, have citizens’ full confidence, give business and industry favourable conditions for work and growth and be successful and respected in its international co-operation (Gustafsson & Svensson, 1999). To realise this aim the Swedish government developed four guidelines for modernisation: concentration on core activities and collaboration, quality and skills development, focus on performance and effective provision of information. The White Paper contains a warning for using performance measurement as an instrument for financial control. “There is a danger that general savings measures on the cheeseparing principle may, in certain situations, become an ineffective instrument. The Government considers that further efforts to promote efficiency should be primarily focused on more systematically examining state commitments in one sector after another (Gustafsson & Svensson, 1999: 165).” The White Paper confirms the importance of performance management as a tool for giving more responsibility to agency management on the one hand and as an instrument for policy steering and follow-up by departments on the other hand. The intention was formulated to report annually to Parliament in productivity trends in central government administration. The Government also made the commitment to ensure the accessibility of all relevant public sector data to the public, at reasonable cost and on equal terms for all groups in society. Quality and skills development are central principles to public sector modernisation. Therefore a special agency, the National Council for Quality and Development was established in 1999 with the tasks of promoting and supporting the development of a high quality public administration with competent public servants. The following table gives an overview of the history of relevant performance management reforms in Sweden.

56


Initiative Performance Management

Date 1988

Accrual Accounting

1993

Budget and Fiscal Management Act VESTA

1996 1997

White Paper Central Government Administration at the Citizens’ Service

1998

National Council for Quality and Development White Book on Performance Budgeting Council for the Coordination of Official Statistics

1999 2000 2002

Objectives Increase of financial and managerial flexibility for agencies Introduction of performance auditing Introduction of an accrual accounting system to support performance management by providing information about the costs per output New budget process with a top-down procedure, tri-annual expenditure ceilings and flexible appropriations Accrual budgeting More results-oriented budget structure Guidelines for a citizen-oriented public administration based on service, quality, ethics and skills : Concentration on core activities and collaboration with other players Quality and skills development: Focus on performance Effective provision of information Establishment of a special agency to promote and support quality and skills development Introduction of an activity structure (policy areas, programs and subprograms) linked to the finance structure Establishment of an advisory council on issues of accessibility, quality and utility of official statistics

Table 5-1: History of public sector reforms relevant for performance management in Sweden.

The objectives of the performance management initiatives are thus twofold. One the one hand the reforms aim to increase the efficiency of government operations by decentralising management responsibilities and creating financial management flexibilities. The responsibility for policy implementation is decentralised to executive agencies reporting to government about the results achieved with the appropriations. On the other hand, performance management reforms aim to increase the transparency of government and the accountability of the executive branch to parliament and to the citizens (Swedish National Financial Management Authority, 2003). There have been several demand pressures to develop and collect performance measures, from within central government administration, from the public and internationally: the increased need for government to focus on efficiency and effectiveness, the evolution of the instruction letters towards tools for performance planning, the diminishing trust of citizens in public administration , the increasing public demand for public statistics and the EU requirements to collect and report information.

5.2.

Actors involved in performance management reforms

5.2.1. Ministry of Finance and Swedish National Financial Management Authority (ESV) The Swedish National Financial Management Authority (ESV) is an expert agency of the Ministry of Finance responsible for performance and financial management in the central government sector and for business systems and human resources systems of central government agencies. It was established in 1998. The overall objective for ESV to achieve is “that the government administration is characterised, in its entirety, by high levels of productivity, high quality and good service from which decision-makers, citizens and trade and industry can derive advantage. ESV is also responsible for providing information on the national economy and financial statistics for the central government

57


annual report. ESV supports agencies by providing business systems and HR systems. To be aware of the needs of the agencies, ESV conducts an annual survey on agencies’ business and HR systems. Within ESV the Division for Budget Process and Performance Management is responsible for assisting ministries and agencies in the development of financial and performance management systems. ESV conducted at the end of 2002 a survey on the views of customers on the performance and financial management. ESV asked the agencies how well they consider the performance and financial management function discharging its responsibility for monitoring and developing financial management in central government. 56% of the respondents assessed the central performance and financial management function as “good” or “very good”. Only 3% considered that the financial and performance management function was unsatisfactory (Swedish National Financial Management Authority, 2003b: 9-10).

5.2.2. Office of Public Management (Statskontoret) The Office of Public Management (Statskontoret) is an agency of the Ministry of Justice, responsible for governance and organizational issues in central government administration. The Office of Public Management was established in 1998 after a huge Cabinet reshuffle. The participation in the 1998 election decreased to 81.4 percent, the lowest figure since the 1950’s (Gustafsson & Svensson, 1999: 149). This was perceived as an important signal of the decreasing confidence of citizens in government. Therefore a new Minister was appointed responsible for democratic institutions and public administration issues. By installing a new public management agency under the Ministry of Justice, the government hoped to shift the focus of reforms towards democracy and citizen involvement. The Office of Public Management plays an advisory and supporting role towards ministries and agencies and is conducting evaluations and reviews. These are its principle responsibilities: -

Evaluation and control of state transfers

-

Central government’s relations with the local government sector

-

Public administration and the European Union

-

Deregulation and outsourcing of public service activities

-

Structure, governance and development of public administration

-

Electronic infrastructure for public administration

-

IT-supported modernisation of public administration

-

Co-ordination of IT purchasing

-

Provision of premises for the central government (Gustafsson & Svensson, 1999: 152).

5.2.3. National Council for Quality and Development “The task of the National Council for Quality and Development is to support and to stimulate the central agencies’ quest for long-term, systematic quality development and skills provision. This includes enhancing administrative know-how among agencies staff and their grasp of basic ethic

58


values as rule of law, democracy and efficiency6”. Therefore the National Council for Quality and Development organises conferences, seminars and skills development programs for heads of public administrations, senior directors and leaders of reform projects. It is also publishing training and discussion material. The Council aims at promoting the exchange of experiences with researchers and lectors at universities and colleges. The Council has set up among other things a project on strategic leadership, a “Women Managers” program, a mentor program and academic in-service training for management and development.

5.2.4. Statistics Sweden Statistics Sweden is the central government agency responsible for official statistics. Statistics Sweden is, similar to the Office of Public Management, an agency of the Department of Justice. The mission of Statistics Sweden is to develop, produce and disseminate statistics, to participate actively in

statistical

cooperation

on

an

international

level

and

to coordinate and support the Swedish system for official statistics by means of issuing guidance and advice on official statistics. Statistics Sweden has the vision to be the world leader in the development, production and dissemination of statistics. Statistics Sweden has a work force of

around 1390

employees and a turnover of 827 million SEK (400 million SEK of the annual appropriation and 427 million of commissioned work) (Statistics Sweden, 2003: 1). There is an Official Statistics Act setting out the conditions for official statistics. Official Statistic are produced for use in policy planning an decision-making and are freely disseminated to the citizens. The conditions for producing official statistics are set out in the Official Statistics Act. The Official Statistics Ordinance of 2001 states which authorities are responsible for collecting official statistics in the different policy areas. Statistical authorities are agencies appointed to produce official statistics in their policy area. There are 25 statistical authorities each responsible for the collection and publication of official statistics in their policy area. Statistics Sweden is the official statistics authority for the broad areas of society, namely the labour market, the economy, business and prices, population and welfare and housing and constructions. In 2002 a Council for Official Statistics was established to strengthen the coordination of Swedish official statistics. This council has an advisory function on issues as the accessibility, quality and utility of official statistics. The Council also administers a website, SAM Forum where official statistical authorities can find information, instruments and tools for collecting official statistics.

5.2.5. Ministries Ministries are responsible for policy preparation and steering and control of the semi-autonomous agencies attached to the department. The Departments define the broad policy objectives towards which the agencies’ activities have to be oriented. The department also has to specify the

6

http://www.kkr.se

59


performance information the agencies have to report on. Both the policy objectives and the reporting requirements are contained in the annual instruction letter or Regleringsbrev. Within each ministry a desk officer is assigned to plan and follow-up the policy implementation and execution by executive agencies. The steering and control of agencies lays a heavy burden on the ministries. The very small ministries, however, often lack the capacity of analysis to fulfil this task. Desk officers responsible for the follow-up of the agencies are often junior civil servants, lacking experience in the policy area.

5.2.6. Agencies Besides the 10 central ministries, there are about 300 semi-autonomous agencies responsible for the execution of the law and the implementation of the policies as set by the ministries. According to the Verksförordning, a Government decree regulating the organisation of agencies, agencies are obliged to co-ordinate activities with other agencies and policies, to evaluate their activities, to give good service to the public and to keep good accounting. Agencies are lead by a Director-General appointed by the government and carrying out the following responsibilities as set out by the Agency Ordinance: -

to manage government funds efficiently;

-

to guarantee that the agency co-ordinates its activities with other agencies to the benefit of the government as a whole;

-

to constantly review and re-consider the agency’s own activities, and – if required – take necessary measures;

-

to take into consideration requirements on the agency’s activities implied by defence concerns, regional policy, an ecologically sustainable development and equality between the sexes;

-

to ascertain that the general public’s and outside parties’ contacts with the agency are characterised by good service and accessibility;

-

to ascertain that the agency is organised so that accounts, the administration of public funds as well as the agency’s activities at large, are appropriately held and monitored (Molander, Nilsson & Schick, 2002: 74).

The Director General is most often supported in his/her function by a controller responsible for the development and follow-up of the management information system of the agency.

5.2.7. Agencies with a specific monitoring and evaluation task Recently there were two new agencies established with a specific evaluation and monitoring task, the Office of Labour Market Policy Evaluation and the Swedish Institute for Transport and Communication Analysis. Office of Labour Market Policy Evaluation studies the functioning of the Labour market and evaluates the effects of labour market policy by examining the activities of other labour market agencies. The Swedish Institute for Transport and Communication Analysis is responsible for carrying out evaluation studies, developing forecasting and planning methods and for collecting official statistics (Molander, Nilsson & Schick, 2002: 82).

60


5.2.8. Swedish National Audit Office (Riksrevisionsverket) The Swedish National Audit Office (Riksrevisionsverket) used to be part of the executive branch as an agency of the Ministry of Finance. Parliament was supported in its oversight function on the executive branch by a group of Parliamentary Auditors . On the 1st of July 2003, a merger of the executive audit office and the parliamentary auditors has led to the installation of an independent Supreme Audit Institution reporting to parliament. The audit institution is named the Swedish National Audit Office or Riksrevisionen. The Swedish National Audit Office is responsible for auditing the Government ministries, agencies, the courts and administrative authorities, the administration of Parliament (Riksdag) and the authorities under the Riksdag. It is lead by three Auditor Generals and is organisationally divides in the following departments: -

Performance Audit Public safety, coordination and administration of finance

-

Performance Audit Welfare and health

-

Performance Audit Education and development

-

Financial Audit Public safety, coordination and administration of finance

-

Financial Audit Welfare and health

-

Financial Audit Education and development

The responsibility for these areas will circulate between the Auditors General, who will be actively involved in the auditing process within their areas of responsibility. Each Auditor General's main area of responsibility consists of two financial audit departments and two performance audit departments. There will also be three special divisions: an international division, a division for quality and methods and a division for the audit of public companies and special audits. Major findings from the performance audits and annual audits are to be compiled by the Audit Office in an annual report submitted to the Government and Parliament.

5.3.

Process of performance planning and reporting

The Swedish performance management process is integrated in the budgeting process. The following figure illustrates the link between the budget cycle on the one hand and the reporting cycle on the other hand. Budget process January- February March April May June September October November December

Budget Request t+1 Spring Fiscal Policy Bill (27 expenditure areas) presented to parliament Decision-making on appropriations to agencies Parliamentary approval Spring Fiscal Policy Bill Budget Bill presented to parliament Parliamentary approval Budget Bill Annual Instruction Letter t+1(Regleringsbrev)

Reporting process Annual Report t-1 Annual Report Central Government Sector t-1

Six months report Informal dialogue between ministries and agencies.

Annual Instruction Letter t+1(Regleringsbrev)

Table 5-2: Budget process and reporting process in Sweden

61


5.4.


The crucial guidelines for monitoring and control are set in the Ordinance on Annual Reports and Budget Documentation (2000:605). This Ordinance states that the annual report should give a true and fair view of the results of operations and of expenses, revenues and the financial position of the agency (Swedish Financial Management Authority, 2001). The agency head or Director-General plays an important role in the development of a monitoring and control system. The Director-General’s responsibilities are specified in the Agency Ordinance. Besides the reporting guidelines, there are also specific rules for the collection of official statistics. These are specified in the Official Statistics Act, the Official Statistics Regulations and the Instructions of Statistics Sweden.

5.5.


Most Swedish government documents are publicly accessible as Sweden has a very strong principle of public access to government documents. Reporting performance information is ruled by the principle of public access to government documents. Most official documents are accessible to the press and to private citizens. All files of any administrative office are open to the public if not classed as ‘secret’ under the Freedom of the Press Act and the Secrecy Act for reasons related to military security, international relations or the privacy of the individuals concerned. Nobody is obliged to justify his or her wish to see a public document or to reveal his or her identity in order to obtain access to the document. Anyone denied access to an official document may lodge an appeal against the agency’s decision (Swedish Institute, 2002). In the original performance management system agencies were required to submit a three-year indepth budget request to explain their budget submission. The in-depth budget requests contained an environmental scan, an analysis of the activities, outputs and outcomes in a 5-year perspective and a a resource analysis. These in-depth budget request were however insufficiently used as a source of information in the budget process as they were too extensive and unbalanced (Bouckaert, Hoet & Ulens, 2000). Therefore a yearly planning and reporting cycle was introduced with annual Instruction Letters or Regleringsbrev and annual reports. Agencies report also every six months in a simplified way on the achievement of their objectives. They provide monthly a prognosis of the use of resources. There is also a broad dissemination of the official statistics collected by Statistics Sweden and other statistical authorities. These statistics are published on the internet and in Statistics Sweden’s publications as for example the Statistical Yearbook of Sweden.

5.5.1. Instruction Letter (Regleringsbrev) On the one hand, the instruction letter is an instrument for financial steering as it contains the lumpsum appropriation to the agency. On the other hand, it has become an instrument for results steering as it contains the objectives the agency has to achieve with the appropriated resources. An instruction letter commonly contains the following elements:

62


1. Activities a. Activity steering i. Policy area e.g. “Labour Activity Policy”, e.g. “Housing Policy” 1.

Goals and targets e.g. “An excellent labour life with well functioning labour conditions”

2. ii.

iii.

Reporting requirements and indicators

Programs e.g. “Work Environment Protection”, e.g. Houding Supply 1.

Goals and targets e.g. . “To develop an excellent work environnment”

2.

Reporting requirements and indicators

Sub-programs e.g. “Rules and Standards”, e.g. “Restructuring the Local Housing Company” 1. Goals and targets e.g. “Rules and Standards which support developments of sound, reliable and developed work environment. The rules will become clear and more easily accessible” 2. Reporting requirements and indicators

b. Organisational steering c.

Assignment

2. Finance a. Agency Appropriation b. Fees and subsidies 3. Rules for exceptions The Swedish National Financial Management Authority (ESV) has developed a web-based system to store the data on the operational objectives of agencies, allocations of funds, the authority to use appropriations etc. Ministries and agencies directly insert the Regleringsbrev information in the system and a web-based reporting system will be installed (Swedish National Financial Management Authority, 2003b: 40).

5.5.2. Annual Report Every Swedish agency has to report on is activities and results in an annual report. Each agency has to submit its annual report to the Government by February 22. The agency also sends a copy of the annual report to the Swedish National Audit Office and to the Swedish Financial Management Authority. The annual report is audited by the Swedish National Audit Office, but it is not submitted to Parliament. The Swedish Financial Management Authority collects the information for the consolidated annual report for the central government that is submitted to Parliament. The agency annual report contains on the one hand the financial statements and on the other hand the performance report. The structure of the annual report is regulated by the Ordinance Concerning the Annual Reports and Budget Documentation (SFS2000:605) (Swedish National Financial Management Authority, 2001: 36). The instructions on the information contained in the performance

63


report are set in the annual Instruction Letter of the mother department. The annual report shall consist of: -

a performance report,

-

a statement of financial performance,

-

a statement of financial position,

-

an appropriation report,

-

a cash flow statement.

The constituent parts of the annual report shall be arranged as a composite whole and shall provide a true and fair view of the results of operations and of expenses, revenues and the financial position of the agency (SFS 2000:605). There have been some questions raised about the quality of the annual reports. As the objectives in the instruction letters are often not very specific, but rather vague it is difficult for the agencies to report on the achievement against the objectives so that they slip back into summing up their activities and operations. Another problem with the annual reports is that they are very narrative and often very voluminous which makes it very difficult for users to identify the relevant and crucial information. “Parliament has voiced concern about the quality of the performance information that is presented in the budget documentation. It is considered too dispersed and overly focused on outputs rather than policy relevant outcomes (Blöndal, 2001).” However, the quality of the annual reports seems to be improving as agencies are becoming more experienced (Blöndal, 2001:54).

5.5.3. Performance dialogue Besides the formal reporting on their results by means of an annual report, agencies also debate with their mother department in an informal way by means of regular performance dialogues. The performance dialogue is an informal dialogue between the agency head and the cabinet minister or state secretary. It contains as well a discussion on the performance of the agency as a conversation on the performance of the agency head. The agency performance is evaluated by considering the achievement of the objectives, the effects of the activities and the costs. The dialogue on the agency heads performance and his or her career planning is focused on the manager’s work situation and the needs for development and change.

5.5.4. Financial benchmarking The Swedish National Financial Management Authority reviews annually the financial management and internal control system of the agencies by means of instructions of the Ministry of Finance. The agencies are scored (A= fully satisfactory, B= satisfactory and C= not satisfactory ) against the reliability of their accounts, the quality of their financial management and their internal control system. The review is based on the following questions. Does the agency exceed its appropriations? Is there an evaluation in place of the internal control system? There are no sanctions or advantages linked to

64


this review. The results are however publicly reported which forms an important incentive to score well on this review7 (Blöndal, 2001: 50). 1994/95 A (fully satisfactory) B (satisfactory) C (not satisfactory) Total

# 111 120 22 253

1995/96 % 44 47 9

# 162 60 19 241

1997 % 67 25 8

# 186 28 17 231

1998 % 81 12 7

# 166 45 21 232

% 72 19 9

Table 5-3: ESV assessment of the agencies financial management systems (Swedish National Financial Management Authority, 1999: 37)

5.5.5. Official Statistics and the Statistical Yearbook of Sweden All Official Statistics are publicly available free of charge on the internet. Statistics Sweden reports that the number of retrievals has increased significantly since access became free of charge8. Official statistics are presented to the public through newspapers, radio, TV, Statistics Sweden website and in printed publications. The official statistics are mainly used by the central government authorities (62% of the invoices in 2002 excluding publications). There is an online database of all official and other statistics of Sweden, Swedish Statistics Net 9. This database is set up to help users locate statistics on the internet. As both Statistics Sweden as the statistical authorities are responsible for collecting statistics it is important for users to know where to find the statistics they need. The database is divided into 22 subject areas which are further divided into subject fields. For each subject field the database provides information on the responsible statistical authority. The Statistical Yearbook of Sweden is a statistical abstract that provides summary statistics on a broad range of conditions and activities in Sweden. On a limited scale, similar data from other countries are included to facilitate international comparisons. The Statistical yearbook also gives information about where more detailed sources and data can be found. All Microsoft Excel tables and diagrams are provided on a CD-rom attached to the Yearbook as all official statistics are available freely to the public.

5.6.


The information systems exists of an organisational dimension on the one hand and an activity dimension on the

Organizational Dimension

Activity Dimension

Expenditure Area 7

Policy Area Interview with Bengt Anderson, Director of the Department for Performance and Financial Management of the Swedish th

National Financial Management Authority (ESV), Stockholm, 30 may 2003. 8

from 71000 in 1999 to 248000 in 2002 (Statistics Sweden, 2002)

9

http://www.svenskstatistik.net/eng/index.htm

Program

Agency Appropriation Figure: Focus of performance information

Sub-program

65


other hand. The organisational or financial dimension exists of 27 expenditure areas for which expenditure ceilings are defined. These expenditure areas are derived form the division in parliamentary committees. Examples of expenditure areas are justice, education and university research, energy and international development co-operation (for a comprehensive list see Appendix1). Within this expenditure ceiling agencies receive lump-sum appropriations to finance their operations. In the activity dimension, the 27 expenditure areas are divided into 47 policy areas. These policy areas define the main themes in which the government is active. Examples of policy areas are effective public administration, labour policy and media policy. Some expenditure areas are not further split up into policy areas and then the expenditure area and the policy area are identical. Policy areas are further split up into cross-agency programs. These programs are further divided into sub-programs for which only one agency can be responsible. For each policy area, program and sub-program performance goals and indicators are specified.

5.7.

Audit and quality control of performance information

When agencies submit their annual report to the government they are obliged to send a copy of the report to the Swedish National Audit Office, which is responsible for auditing the quality of the financial and non-financial information in the annual report. The Swedish National Audit Office is thus systematically auditing the quality of the agency reports. The Swedish National Audit Office publishes its most important observations about the agencies’ activities in its own annual report. The Swedish National Audit Office concluded in 1999 that the agencies ‘ annual reports rather give a lengthy overview of the activities and organisation of the agency than an explicit analysis of the achieved results (Swedish National Audit Office, 1999). The Audit Office gives its opinion about the general state of affairs of the central government administration. Negative comments on agencies ’ operations are made in the government’s Spring Bill. Besides the audit of annual reports, the Swedish National Audit Office also conducts about 20 selfinitiated performance audits each year. Some of these performance audits also have the purpose to examine the quality of management information systems. They vary in research subject (one agency or a complete policy area) and in focus (performance measurement versus performance management). Examples of these performance audits are (Swedish National Audit Office, 2000; Swedish National Audit Office, 2001b; Swedish National Audit Office, 2002; Swedish National Audit Office, 2003): -

Problems with statistics on criminal investigations (1999)

-

Management by results at the Swedish Meteorological and Hydrological Institute (1999)

-

Management control and performance reports at the Radiation Protection Institute (2000)

-

Reports on the fulfilment of the environmental objectives: the missing link in performance management (2000)

-

Up to standards? The measurements made by the National Insurance Board and the Social Insurance Offices of the quality of their administrative work (2001)

-

Management and reports on performance at the Swedish Nuclear Power Inspectorate (2001)

-

Risk management in Justice agencies (2002)

66


-

Government information programmes in the health and medical sector (2002)

The Swedish National Financial Management Authority (ESV) has developed a set of criteria for performance reporting and has compiled as survey on how agencies have fulfilled these criteria. There was also an attempt made to explain the differences in the quality of performance reporting between agencies. ESV describes its work on the quality of performance reporting largely as pioneering work. Performance reports need to give a true and fair picture of the activities and results of the agency. This requirement is rather abstract and the first objective of ESV was thus to make this more understandable. Secondly ESV also tried to find out why the quality of performance reports varies between agencies. In the future ESV intends to establish general accepted performance reporting standards and to continually follow-up the quality of the agencies’ performance reports. Statistics Sweden is responsible for the quality control of official statistics. Statistics Sweden is conducting a quality control of the official statistics published by the Statistical Authorities. This quality control is based on five criteria: contents,

reliability,

timeliness,

comparability

and

compatibility and availability and accessibility (Statistics Sweden, 2003: 5-6). A study of 2002 showed clearly that there was a huge improvement in the contents, reliability, timeliness and availability and accessibility. However, there remained problems with compatibility and comparability. These results are based on a survey of Statistics Sweden program managers making an assessment of the users reactions on quality development. Managers are asked to scale the statistical products on a scale based on the five criteria and 27 subcriteria. Remaining challenges are delivering the statistical products in time and tackling the problem of non-response in Statistics Sweden’s surveys.

5.8.


In 2003 the OECD and the World Bank conducted a joint country survey on budgeting practices. One of the questions explored the use of performance information by several groups, in several decisionmaking processes. The following table summarizes the results.

Allocating resources between programmes Allocating resources within programmes Setting program priorities Changing work processes Setting individual staff


Parent Ministry

Ministry of Finance

Prime Ministers Office

X

X

X

X

X

X

Cabinet

Legislature

X X

67


performance plans Adopting new programme approaches No use

X

X

X

X X

Table 5-4: Use of performance information in decision-making in Sweden (OECD & World Bank, 2003).

According to this survey, performance information is especially used in the relationship between ministries and agencies to set programme priorities, to allocate resources between programmes and to adopt new program approaches. The performance management seems to be used rather to enhance administrative efficiency and effectiveness than to be accountable to parliament. In the following paragraphs we will look closer at the use of performance information in the steering and control of agencies, in the budget process and in the communication to citizens.

5.8.1. Steering and controlling agencies Performance management is a very important tool in steering and controlling agencies besides other instruments as for example the Agency Ordinance and the Agency Instruction, the appointment of agency heads and the budget process. “The agency instruction is the basic formal instrument that the government makes use of in order to steer its agencies. It regulates the overriding objectives of an agency and provides the formal setting of agency activities. The instruction for each specific agency fall back on the on a framework given by the Agency Ordinance. (…) It is obvious that the agency instructions do not provide a basis for accountability enforcement. The sweeping formulations make it difficult for any Director General to claim ignorance with respect to objectives. The formulations are on the other hand, not drafted with the view to take a malfunctioning Director General to court (Molander, Nilsson & Schick, 2002: 73-75)”. The Agency’s appropriation and the results to achieve are annually defined in the Instruction Letter or Regleringsbrev and reported on in the annual report. Where the Instruction Letter used to be mainly a financial instrument to define the appropriation of the agency, it has been extended towards a performance management tool to steer and control the agencies’ results. “While annual reports were previously mainly seen as follow-up documents, their importance has increased considerably in recent years and they have become almost the most important general measure by which the government controls the agencies (Larsson, 2002).” Besides these formal instruments, performance is also monitored and controlled by means of an informal dialogue between the ministries and agencies. Despite the well-balanced planning and control cycle, with both formal and informal tools for steering and control, there seem to remain some challenges in the relationship between agencies and ministries. Ministries seem to lack interest in the management of agencies (Blöndal, 2001). The ministries’ staff responsible for agency contacts, the desk officers are often juniors lacking experience. Often one desk officer is responsible for following-up several agencies. There is also a deliberate rotation policy. A side effect is that few desk officers get the time necessary to develop a deeper understanding of the specific policy field of the agency (Molander, Nilsson & Schick, 2002: 63). Another challenge is the lack of political interest in the steering and control of agencies. Another problem to cope with is are conflicting goals and multidimensional goals (Molander, Nilsson & Schick, 2002: 99).

68


Agencies, on their side, do not seem to encounter an equal partner in their exchange of information with the ministries (ESN Survey 1999) (Molander, Nilsson & Schick, 2002: 9). Often they establish their own policy units doing the work of the ministries. Agencies fear that the use of the instruction letter as a performance management instrument might impose a more formal contractual approach and might lead to an intrusion in the managerial freedom of agencies by imposing strict output controls (Blöndal, 2001). Traditionally, the relationship between ministries and agencies is characterized by a process of informal dialogue. This is seen as one of the major benefits of the Swedish system of administrative organisation. However, as the dialogue is a closed instrument, it is difficult from an accountability perspective, to get a clear view of the de facto relationship between ministries and agencies. On the one hand it is not possible for parliament to find out to what extent there is ministerial pressure and intervention in the agencies’ operations. On the other hand agencies may have a much larger de facto influence on policy making than justified by their de jure position ((Molander, Nilsson & Schick, 2002: 64).

5.8.2. Budget Process Performance information is used in the second part of the budget process, where appropriations are made to agencies within the expenditure limits decided on for each for each expenditure area. However, according to a OECD – World Bank survey on budget practices there is in Sweden no evidence available to decide that performance results are used in determining budget allocations. “The Ministry of Finance views performance information as having an indirect influence on appropriations in most cases. The incremental impact of performance information is of such a magnitude that it can be accommodated for by reallocations within a given expenditure area. (…) This may be explained by the limited capacity of spending ministries to apply performance information during the budget process. (..) Top officials of the spending ministries responsible for the budget and management functions, tend to focus more on political and legal matters rather than management issues. As a result the use of performance information as an aid of allocating appropriations may suffer (Blöndal, 2001).“ There are several possible explanations for the minimal use of performance information in the budget process: -

Lack of managerial capacity in spending ministries

-

Bad historical experiences (good news show, enormous volumes of information, no details about agency’s operations)

with in-depth budget requests made ministries suspicious of using

performance information. -

Top-down character and strict timing of the budget process “The political process may well result in non-trivial changes of instructions and appropriations shortly before the new budget year starts. The agencies ’ needs to plan their activities may therefore be jeopardised by the short time span between the formal decisions in parliament and the start of the new budget year (Molander, Nilsson & Schick, 2002: 77).”

69


5.8.3. Communication to citizens Government performance information is also a very important tool for communication to citizens. There seems to be an increasing public demand for and interest in official statistics.

“Four out of five people consider

statistics important or very important as a basis for decision-making, research and public debate. In 2002 an in-depth study was carried out of broad societal statistics. This study revealed the need for more comprehensive and improved statistics in various areas of society and that there is a strong support in society for statistics. (Statistics Sweden, 2003: 2 )” The following table gives an overview of the number of retrievals from Sweden’s statistical databases by subject area. T able 5-5: Number of retrievals from Sweden’s statistical databases by subject area (Statistics Sweden, 2003: 21).

70


Appendix 1: Expenditure Areas 1.

Swedish Political System

2.

Economy and Fiscal Administration

3.

Tax Administration and Collection

4.

Justice

5.

Foreign Policy Administration and International Co-operation

6.

Total Defence

7.

International Development Co-operation

8.

Immigrants and Refugees

9.

Health Care, Medical Care and Social Services

10. Financial Security in the event of illness and disability 11. Financial security in old age 12. Financial security for families and children 13. Financial security in the event of unemployment 14. The labour market and working life 15. Study support 16. Education and university research 17. Culture, media, religious organisations and leisure 18. Community planning, housing supply and construction 19. Regional balance and development 20. General environment and conservation 21. Energy 22. Communications 23. Agriculture, forestry, fisheries 24. Business sector 25. General grants to municipalities 26. Interest on central government debt 27. Contribution to the European Union

71

Prestatiemeting in het Verenigd Koninkrijk

6. Prestatiemeting in het Verenigd Koninkrijk

6.1.

Historisch overzicht van de hervormingen

Zowel in het systeem van Public Service Agreement als in de Modernising Government Agenda speelt de ontwikkeling van prestatiemeetsystemen een centrale rol. Het systeem van Public Service Agreements heeft de volgende doelstellingen: -

bevorderen van de verantwoording van de departementen ten opzichte van de burger en ten opzichte van het parlement,

-

verhoging van de efficiëntie en effectiviteit door meerjarig en resultaatgericht perspectief te integreren in het begrotingsproces,

-

joined-up government, geïntegreerde en strategische beleidsontwikkeling voor cross-cutting issues

-

intern management afstemmen op strategie,

-

Human Resources Management afstemmen op strategie,

-

verbeterde afstemming tussen centraal en lokaal beleid.

In Modernising Government werd het belang van het systeem van Public Service Agreements met bijhorende prestatiemeetsystemen herbevestigd. “Performance information is a cornerstone of our commitment to modernise government. It provides some of the tools needed to bolster improvements in public sector performance including improving accountability, performance management, risk management and business planning.”

De doelstellingen van de Modernising Government Agenda zijn: -

Better Policymaking,

-

Responsive Public Services,

-

Quality Public Resources,

-

Information Age Government,

-

Public Services Innovation.

De volgende tabel geeft een historisch overzicht van de verschillende initiatieven die een impuls betekenden voor de ontwikkeling van prestatiemeetsystemen.

73


Initiatief

Periode

Doelstellingen

Rayner Scrutinies

1979

Kostenbesparing en administratieve vereenvoudiging door middel van efficiëntie-onderzoeken

Financial Management Initiative

1982

Next Steps Programme

1988

Citizen’s Charter Programme (later Service First)

1991

White Paper Resource Accounting and Budgeting in Government

1995

Formulering van doelstellingen en outputmetingen voor alle departementen Delegatie van bevoegdheden inzake financiën en personeel naar het lijnmanagement Verbetering van de informatiestromen Organisatorische opsplitsing van beleidsvoorbereiding en beleidsuitvoering Departementen verantwoordelijk voor beleidsadvies, begroting en opvolging agentschappen, Executive Agencies verantwoordelijk voor beleidsuitvoering onder leiding van een Chief Executive Executive Agencie rapporteren aan de departementen over het bereiken van de Ministerial targets Entiteiten binnen de centrale overheid betrokken bij publieke dienstverlening moeten indicatoren met betrekking tot hun dienstverleing ontwikkelen, verzamelen en rapporteren Voorstel tot invoering accrual accounting and budgeting (infra)

Public Sector Benchmarking Project

1996

Comprehensive Spending Review (CSR)

1998

Toepassing EFQM Excellence Model Integraal beeld van de performantie van de organisatie Identificatie van mogelijkheden tot verbetering Leren van beste praktijken Heroverweging departementale budgetten en doelstellingen Driejarige begrotingen met mogelijkheid van budgetflexibiliteit op het einde van het jaar Middellange termijn planning

Public Expenditure Plans (19992002) Public Service Agreements (PSA)

Betere allocatie van middelen aan de hand van driejarige overeenkomst tussen departementen en HM Treasury over de departementale doelstellingen, en de prestatienormering Publieke accountability

White Paper Modernising Government

1999

Resource Accounting and Budgeting (RAB)

2000

Public Sector Benchmarking Service 2000 Spending Review

2000 2000

Better Policymaking Responsive Public Services Quality Public Resources Information Age Government Public Services Innovation Geïntegreerde plannings- en rapporteringscyclus: vertaling van regeringswijde prioriteiten in departementale budgetten en strategieën en parlementaire rapportering over effectiviteit en efficiëntie Begrotingsopmaak op basis van accrual accounting informatie Opmaak van resource accounts aan de hand van accrual accounting regels Oprichting van een benchmarking organisatie ter promotie van benchmarking en het delen van beste praktijken binnen de overheid Introductie van Service Delivery Agreements waarin de Public Service Agreements geoperationaliseerd worden Meer aandacht voor outcome-indicatoren Reductie van het aantal indicatoren Introductie Resource Budgeting Ontwikkeling en meting van targetindicatoren voor dienstverlening voor alle centrale departementen: beantwoorden correspondentie, wachttijden loket, wachttijden telefoon, verlening van contactinformatie, klachtenprocedure en klantgerichtheid

Modernising Public Services: Six Service Standards for the Performance of Central Government

2000

Handleiding ‘Choosing the right FABRIC: a framework for performance information’ Rapport ‘Wiring it up’

2001

Handleiding voor kerndepartementen met kernconcepten van prestatiemeting

2000

Ontwikkeling van geïntegreerde prestatiemeetsystemen Ontwikkeling van criteria voor goede prestatiemeetsystemen

Tabel 6-1: Overzicht van de initiatieven tot prestatiemeting in het Verenigd Koninkrijk.

74


De focus van dit hoofdstuk ligt op de recente moderniseringsinitiatieven die betrekking hebben op prestatiemeting. Het gaat hier dan hoofdzakelijk over de prestatiemeting voor de opvolging van de Public Service Agreements en de recente initiatieven in het kader van Modernising Government.

6.2.

Actoren betrokken bij de initiatieven tot prestatiemeting

Bij de initiatieven met betrekking tot prestatiemeting zijn verschillende actoren betrokken. De volgende tabel geeft hiervan een overzicht. Actor HM Treasury Cabinet Office Strategy Unit Public Sector Benchmarking Service Public Services Productivity Panel Office for National Statistics National Audit Office Performance Management Directorate Audit Commission

Rol Ontwikkeling en implementatie Public Service Agreement Framework en Output and Performance Analysis Handleidingen prestatiemeting Algemene verantwoordelijkheid in de ontwikkeling en opvolging van Modernising Government Risk: improving government’s capability to handle risk and uncertainty Bevorderen van benchmarking en het delen van beste praktijken Ondersteuning bieden bij benchmarking projecten Aanmoedigen van kennisoverdracht Onderzoek van mogelijke verbeteringen van de efficiëntie en productiviteit van de overheid Productie van nationale statistieken Kwaliteitstoets van statistieken geproduceerd door overheidsorganisaties Begeleiding van de invoering van prestatiemeetsystemen aan de hand van onderzoeksrapporten en handleidingen Uitvoeren van performance audits of doelmatigheidsonderzoeken Audit van lokale besturen en de National Health Service Begeleiding van de invoering van prestatiemeetsystemen aan de hand van onderzoeksrapporten en handleidingen Tabel 6-2: Actoren betrokken bij de initiatieven tot prestatiemeting

De Treasury speelde een vooraanstaande rol bij de invoering van het Public Service Agreement Framework. In de Public Service Agreements worden aan de doelstellingen van het departement indicatoren en normen verbonden. Het Public Service Agreement Framework betekende een belangrijke impuls voor de departementen om prestatiemeetsystemen te ontwikkelen. Om de departementen te ondersteunen bij de uitbouw van prestatiemeetsystemen en de productie van indicatoren, ontwikkelde de Treasury verschillende handleidingen en richtlijnen. Sinds 1998 werkt een groep van deskundigen in het domein van prestatiemanagement samen in het Public Services Productivity Panel. Dit panel gaat op zoek naar mogelijkheden om de efficiëntie en productiviteit van de overheid te verbeteren. Het panel bestaat uit overheidsmanagers, managers uit de prive-sector en experten inzake productiviteit en wordt voorgezeten door de Chief Secretary to the Treasury. Het Public Services Productivity Panel legt verantwoording af aan het Cabinet Committee on Public Services and Expenditure (zie verder). Het Office for National Statistics is een onderdeel van de Treasury en is verantwoordelijk voor de verzameling van nationale statistieken. Het Office for National Statistics voert ook een kwaliteitstoets

75


uit op statistieken die door andere overheidsinstanties verzameld worden. Statistieken die aan deze kwaliteitseisen voldoen, krijgen het label van National Statistics. Het Cabinet Office draagt de algemene verantwoordelijkheid voor Modernising Government. In deze moderniseringsagenda staat de verder verfijning van de prestatiemeetsystemen centraal. Binnen het Cabinet Office werden een aantal units opgericht die de Prime Minister ondersteunen in de planning en opvolging van de strategische beleidsdomeinen onderwijs, transport, gezondheidszorg, misdaadbestrijding en drugsbeleid. De Prime Minister’s Delivery Unit is samen met de Treasury verantwoordelijk voor de opvolging van de resultaten in de strategische beleidsdomeinen. De Strategy Unit

is

verantwoordelijk

Public Service Agreement Targets Cabinet Office 2003-2006

voor lange termijn, strategische beleidsstudies

om

de Eerste Minister te ondersteunen in de beleidsbepaling. Het Cabinet Office geeft ook advies op

Objective 1 Support the Prime Minister in leading the government Objective 2 Support the Government in transacting its business Objective 3 Help deliver key public service priorities Target Improve public services by working with departments to help them meet their Public Service Agreement Targets consistently with the fiscal rules (this is a joint target with HM Treasury) Target Ensure departments meet the Prime Minister’s targets for electronic service delivery by government Objective 4 Lead the reform programme for public services Objective 5 Co-ordinate security, intelligence and civil contingencies matters to protect the uK against disruptive challenges

Budget 02-03 (£ ‘000) 13 490 25 455 21 279

26 006 53 368

het vlak van management. Zo bracht de Strategy Unit van het Cabinet Office een rapport uit met betrekking tot risicomanagement, Risk: improving government’s capability to handle risk and uncertainty. In 2002 werd het Cabinet Office grondig geherstructureerd en uitgebreid om de hervormingen beter te kunnen aanpakken. Er werden nieuwe ministers aangeduid alsook een nieuwe Cabinet Secretary en Permanent Secretary. In 2000 werd de Public Sector Benchmarking Service opgericht als onderdeel van het Cabinet Office. De doelstelling van de Public Sector Benchmarking Service is om het gebruik van benchmarking te bevorderen door ondersteuning te bieden bij benchmarkingprojecten en door de kennis omtrent benhcmarking over te dragen naar departementen en agentschappen. Hiertoe heeft de Public Sector Benchmarking Service een databank met beste praktijken ontwikkeld.10 Ook de Britse rekenkamer, het National Audit Office speelt een rol in de initiatieven tot prestatiemeting. Met haar onderzoeksrapporten en handleidingen over prestatiemeting, biedt de rekenkamer de departementen en agentschappen een leidraad bij het ontwikkelen en implementeren van prestatiemeetsystemen. Sinds 2003 is het National Audit Office ook bevoegd voor de validering van de prestatiemeetsystemen die de Public Service Agreements ondersteunen. De prestatiemeting bij lokale besturen en bij de National Health Service wordt op gelijkaardige wijze begeleid door de Audit Commission. 10

http://www.benchmarking.gov.uk

76


Er zijn dus zeer veel verschillende actoren betrokken bij de initiatieven tot prestatiemeting. Om de coördinatie en afstemming te verbeteren heeft de Treasury een interdisciplinair team samengebracht, het Performance Information Panel. Het is samengesteld uit deskundigen van het Cabinet Office, het National Audit Office, het Office for National Statistics, de Audit Commission en de Treasury. Het Performance Information Panel ontwikkelde onder andere een handleiding voor prestatiemeting, Choosing the Right FABRIC.

6.3.


Figuur 6-1: Proces van performance management (National Audit Office (NAO), 2001 pp.14)

De cyclus van prestatiemeting vat aan met de strategiebepaling. De departementen onderhandelen met de Treasury over de strategische doelstellingen (objectives) die het departement moet bereiken met de toegewezen middelen. Het parlement wordt niet betrokken bij de onderhandeling van de Public Service Agreements. Vervolgens plannen de departementen welke prestaties ze zullen leveren om deze doelstellingen te bereiken en welke middelen ze hiervoor zullen gebruiken in de Service Delivery Agreements. Op deze wijze wordt een verband gelegd tussen de effectgerichte Public Service Agreements en de procesgerichte Departmental Business Plans. Vervolgens wordt er verder afgedaald in de organisatie en worden de doelstellingen verder vertaald in Directorate/Divisional Business Plans, Agency Business Plans en individuele doelstellingen. In de Technical Notes tenslotte wordt er aandacht besteed aan de geplande strategie en methodologie van prestatiemeting. Om de realisatie van deze plannen op te volgen, worden er op de verschillende planningniveaus ook prestatiemeetsystemen ontwikkeld. Aan het ontwikkelen van indicatoren kunnen ook te behalen normen worden verbonden.

Om de departementen bij te staan bij het ontwikkelen van

prestatiemeetsystemen heeft een interdisciplinaire werkgroep de handleiding Choosing the right

77


fabric: a framework for performance information opgemaakt waarin de centrale concepten van prestatiemeting uiteengezet worden. De handleiding is gebaseerd op de deskundigheid en de ervaring met betrekking tot prestatiemeting van de Treasury, het Cabinet Office, de Audit Commission, het National Audit Office en het Office for National Statistics. Actor HM Treasury

Cabinet Office

Budget Coordination

Prime Minister’s Delivery Unit

Departementen Accounting Officer Departmental Statistical Head of Profession Internal Audit National Audit Office

Rol Onderhandeling Public Service Agreements met departementen Monitoring Public Service Agreements en kwartaalrapportering aan het Ministerial Committee on Public Services and Public Expenditures Begeleiding van de departementen bij de uitbouw van prestatiemeetsystemen aan de hand van richtlijnen en handleidingen De uitvoering van de Public Service Delivery Agreemnts opvolgen Nagaan of de departementen over een robust plannings- en opvolgingssysteem beschikken Adviesverlening en probleemoplossing bij de opvolging van Publicx Service Agreements Opmaak Public Service Agreements en Service Delivery Agreements Rapportering van prestaties in Output and Performance Analysis en Departmental Annual Report and Accounts Operationeel management, boekhouding en financieel management Rapportering in Statement on Internal Control en Statement on Internal Financial Control Vraaggerichte advisering van departementen met betrekking tot prestatiemeetsystemen en indicatoren Controle van de kwaliteit van prestatiemeetsystemen Audit van prestatiemeetsystemen voor de opvolging van Public Service Agreements Begeleiding van departementen bij de ontwikkeling van prestatiemeetsystemen (handleidingen en onderzoeksrapporten)

Tabel 6-3: Actoren betrokken bij het proces van prestatiemeting

Bij de ontwikkeling van indicatoren is het belangrijk dat men een duidelijk beeld heeft van het verband tussen de activiteiten van the departement en de beoogde beleidseffecten. Hierbij is het ook belangrijk een duidelijk beeld te hebben van de externe factoren die de outcomes beïnvloeden. Drie vierde van de departementen stelde dat ze het moeilijk tot zeer moeilijk hadden om overeenstemming te bereiken over de selectie van effectindicatoren die beïnvloed worden door externe factoren (National Audit Office (NAO), 2001).

Om het verband tussen de activiteiten en de beleidseffecten beter te kunnen

definiëren, tekenen verschillende departementen een beleidskaart of beleidsmodel uit. In bijlage 1 wordt een figuur opgenomen die een overzicht geeft van de uitdagingen die de departementen ondervinden bij het operationaliseren van performance targets en indicatoren. In de Public Service Agreements worden niet enkel strategische doelstellingen opgenomen, maar ook meer operationele doelstellingen, de Public Service Agreement Targets. Over deze targets wordt onderhandeld tussen het departement en de Treasury. Om de kosten van de dataverzameling te minimaliseren stelt de handleiding Choosing the right FABRIC voor om zoveel als mogelijk gebruik te maken van reeds bestaande gegevens. Een andere mogelijkheid is om met verschillende departementen samen te werken om een databestand op te stellen. Een voorbeeld van een regeringswijde databank met officiële statistieken is Statbase (zie http://www.statistics.gov.uk/statbase/mainmenu). Uit het onderzoek van het National Audit Office naar de indicatoren in de Public Service Agreements 2001-2004 bleek dat de meerderheid van de gebruikte indicatoren (43%) verzameld worden door de departementen zelf. 19% van de indicatoren is afkomstig van uitvoerende agentschappen of van Non-

78


Departmental Public Bodies. 14% van de gebruikte indicatoren dragen het label van National Statistics. National Statisitics zijn statistieken verzameld door departementen, agentschappen, nondepartmental public bodies of het Office for National Statistics waarvan de kwaliteit gewaarborgd is door het Office for National Statistics. De overige indicatoren in de Public Service Agreements 20012004 zijn afkomstig van de lokale besturen de Health Service (12%) en van andere, hoofdzakelijk internationale organisaties (13%).

Bij de interpretatie van de outcome-indicatoren is het belangrijk na te gaan welke invloed de externe omgeving uitoefent op de prestaties. In welke mate is de organisatie verantwoordelijk voor de effecten? In welke mate werd er externe invloeden uitgeoefend en werd daarop ingespeeld door de organisatie?

6.4.

Richtlijnen voor prestatiemeting

De verschillende horizontale organisaties die betrokken zijn bij prestatiemeting, het Cabinet Office, de Treasury, het National Audit Office, de Audit Commission en het Office for National Statistics, stelden in 2001 een handleiding op met betrekking tot prestatiemeting. In deze handleiding, Choosing the right FABRIC, wordt het onderscheid gemaakt tussen criteria voor goede prestatiemeetsystemen enerzijds en criteria voor goede indicatoren anderzijds.

6.4.1. Criteria voor goede prestatiemeetsystemen Volgens de handleiding Choosing the right FABRIC voldoet een goed prestatiemeetsysteem aan de volgende criteria (HM Treasury, Cabinet Office, National Audit Office (NAO), Audit Commission, and Office for National Statistics, 2001): -

Focused: gericht op de doelstellingen van de organisatie

-

Appropriate: aangepast aan de noden van de verschillende interne en externe gebruikers

-

Balanced: representatief voor de activiteiten van de organisatie, zowel de meer meetbare als de minder meetbare om perverse effecten te vermijden, zowel efficiëntiemeting, effectiviteitsmeting als kwaliteitsmeting

-

Robust: ongevoelig voor organisatorische veranderingen of personeelswijzigingen

-

Integrated: geïntegreerd in de business planning en het management van de organisatie

-

Cost effective: de kosten van het systeem moeten opwegen tegen de baten ervan

Om aan deze criteria te voldoen beveelt Choosing the right FABRIC aan om de verschillende gebruikers te betrekken bij de ontwikkeling van het prestatiemeetsysteem.

79


6.4.2. Criteria voor goede indicatoren De handleiding Choosing the right FABRIC formuleerde naast criteria voor prestatiemeetsystemen ook een aantal maatstaven waaraan goede indicatoren moeten voldoen (HM Treasury et al., 2001). -

Relevant: relevant voor de doelstellingen van de organisatie

-

Avoiding perverse incentives

-

Attributable: toe te wijzen aan een activiteit en met een duidelijke afbakening van de verantwoordelijkheid

-

Well-defined: ondubbelzinnig en gemakkelijk te begrijpen

-

Timely: voldoende regelmatig en voldoende snel

-

Reliable: ‘accurate enough for its intended purpose’ (zeer pragmatisch) o

-

-

Gebruik zoveel mogelijk National Statistics

Comparable: vergelijkbaar in de tijd of met andere vergelijkbare programma’s o

Minimaliseer veranderingen in definities

o

Gebruik zo veel mogelijk standaard definities

Verifiable: goed gedocumenteerd zodat de geldigheid van de totstandkoming van de indicator kan nagegaan worden

Deze criteria voor indicatoren zijn gestoeld op een zeker pragmatisme. Men gaat ervan uit dat het zeer moeilijk is om perfecte indicatoren te ontwikkelen, maar men zoekt naar de best mogelijke oplossing. “The ideal is to find measures that fully capture and represent the objective in question. It is often better to try and measure important objectives imperfectly than to ignore them altogether. An imperfect measure can still help in setting priorities and planning; helping to put out the resources an organisations uses into context and providing at least a starting point in judging the organisation’s performance.” (HM Treasury et al., 2001 pp.18)

6.5.

Rapportering van de prestatiegegevens

De Britse overheid kent een ingewikkeld kluwen van verantwoordingsdocumenten. De volgende figuur stelt de verschillende documenten voor die de departementen en agentschappen opmaken in de plannings- en rapporteringscyclus en die ze indienen bij het Parlement, HM Treasury en het Cabinet Office. Deze figuur actualiseert de inventarisatie van plannings- en rapporteringsdocumenten opgemaakt door Talbot (Talbot, 1996: 10). In wat volgt wordt de inhoud en doelstelling van de belangrijkste documenten toegelicht.

80


Parliament

Cabinet Office

HM T reasury Annual Report and Accounts

Delivery Report

Public Service Agreements

Delivery Plan

Ministers/ Departments

Framework Documents

Annual Report and Accounts

Key Ministerial Targets Business/ Corporate Plan

Executive Agencies

Figuur 6-2: Plannings- en rapporteringscyclus in het Verenigd Koninkrijk.

Public Service Agreement: Departementen sluiten om de twee jaar met HM Treasury een overeenkomst over de prioritaire beleidsdoelstellingen en de targets die bereikt moeten worden in de komende drie jaar. De

Public Service Agreement Targets worden vertaald in targets voor de

agentschappen. Delivery Plan: Departementen plannen het implementatietraject om de Public Service Agreement Targets te bereiken. Delivery Report: Departementen rapporteren aan Cabinet Office en HM Treasury over de implementatie van de Public Service Agreement Targets en het Delivery Plan Annual Report and Accounts: Departementen en agentschappen dienen jaarlijks bij het Parlement hun jaarverslag en rekeningen in. Framework Document: De bevoegde Minister en het agentschappen leggen de basisdoelstellingen en taken van het agentschap vast in een Framework Document. Key Ministerial Targets: De bevoegde minister en het agentschappen bepalen jaarlijks de belangrijkste doelstellingen en targets, de Key Ministerial Targets. Corporate Plan: Agentschappen stellen jaarlijks een business plan op om de Key Ministerial Targets te realiseren.

6.5.1. Public Service Agreements De Public Service Agreement is een overeenkomst tussen de Treasury en de departementen over de doelstellingen en de targets voor de komende drie jaar. De Public Service Agreements worden tweejaarlijks, tijdens de Spending Review herzien. Dit betekent dat er telkens een overlappend jaar is. Naast de departementale PSA’s zijn er ook drie cross-cutting Public Service Agreements: Sure Start, The Criminal Justice System en Action Against Illegal Drugs. De PSA’s bestaan uit de volgende elementen: -

Aim

81


-

Objectives

-

Performance targets

-

Value-for-money targets

-

Responsibility Statement

Aan de Public Service Agreements wordt een Technical Note toegevoegd waarin uitgelegd wordt hoe de targets gemeten zullen worden.

6.5.2. Service Delivery Agreements De Service Delivery Agreements werden in 2000 ingevoerd als instrument om de strategische PSA targets te vertalen naar concrete acties. In 2003 werd echter besliste de Treasury dat de departementen niet langer verplicht zijn deze SDA’s op te maken om de planlast te reduceren. De meer operationele vertaling van de PSA’s gebeurt verder aan de hand van Delivery Plans en Delivery Reports.

6.5.3. Delivery Plans and Delivery Reports Nadat de Public Service Agreements zijn afgesloten, dienen de departementen na te denken over de wijze waarop ze de targets zulllen proberen te bereiken. Ze stellen een traject op om de target te bereiken en bepalen tussentijdse mijlpalen. Deze trajecten en mijlpalen worden opgenomen in een Delivery Plan. De Delivery Plans en Delivery Reports worden gerapporteerd aan de Cabinet Committee on Public Services and Expenditure (PSX). Deze documenten worden niet gerapporteerd aan het Parlement en zijn niet toegankelijk voor het publiek.

6.5.4. Spring Departmental Report Kort na de indiening van de begroting bij het Parlement in de lente, leggen de departementen een Spring Departmental Report neer bij het Parlement. Het Departmental Report bevat meer details over de Main Estimates met de budgettaire plannen van het departement en de beleidsdoelstellingen en indicatoren uit de Public Service Agreements en de Service Delivery Agreements. Het Departmental Report geeft ook een beeld van de stand van zaken van de Public Service Agreement Targets.

6.5.5. Departmental Annual Report and Accounts In de herfst rapporteren de departementen over de resultaten van het voorbijgaande jaar in het Departmental Annual Report and Accounts. Hierin maken ze een analyse van de geleverde outputs en prestaties en nemen ze de rekeningen van het voorbijgaande jaar op. Het Departmental Annual Report and Accounts bevat de volgende elementen: -

Annual Report

82


-

Statement of the Accounting Officer’s Responsibilities

-

Statement on Internal Control

-

Primary Statements and Notes to the Accounts

-

o

Schedule 1: Summary of Resource Outturn

o

Schedule 2: Operating Cost Statement

o

Schedule 3: Balance Sheet

o

Schedule 4: Cash Flow Statement

o

Schedule 5: Resources by Aims and Objectives

The Audit Opinions and Accounts

Voor de beleidsen beheersopvolging zijn vooral het eigenlijke jaarverslag (annual report), de verklaring over de interne controle (statement on internal control) en het rekenschema waarin middelen worden toegewezen aan doelstellingen (Statement on Resources by Aims and Objectives) relevant. Op deze onderdelen van het Departmental Annual Report and Accounts wordt dan ook iets dieper ingegaan.

ANNUAL REPORT Het annual report waarin de departementen verantwoording afleggen over de resultaten bevat de volgende elementen (HM Treasury, 2003): -

Een beschrijving van de verschillende verzelfstandigde organisatorische entiteiten die binnen de departementale boekhouding (departmental accounting boundary) vallen,

-

De missie en doelsetllingen van het departement en de verzelfstandigde entiteiten,

-

De belangrijkste activiteiten ondernomen om de missie en doelstellingen te realiseren,

-

Opsomming van de andere organisatiesdie buiten de departmentale boekhouding vallen, maar waarvoor het departement wel beleidsverantwoordelijkheid draagt, bijvoorbeeld Trading Funds en Statutory Corporations,

-

Een overzicht van de belangrijke gebeurtenissen die een invloed hadden op de verschillende entiteiten binnen de departementale grens vallen,

-

Overzicht van de ministers die verantwoordelijk zijn voor het departement en hun titels,

-

Samenstelling van de Management Board,

-

Benoeming van de Permanent Head of Department (Wie? Termijn? Procedure?),

-

Verloningsbeleid en overzicht van de lonen (ministers en leden van de management board),

-

Een overzicht van het departmenetaal beleid voor de tewerkstelling van gehandicapten,

-

Een overzicht van het departmentaal gelijkekansenbeleid,

-

Een uiteenzetting van de code of het beleid met betrekking tot de betaling van extrene leveranciers en de betaalde interesten onder de Late Payment of Commercial Debts (Interest) Act 1988,

-

De naam van de departementale auditeur,

-

Een overzicht van het communicatie- en consultatiebeleid ten opzichte van de de personeelsleden (indien meer dan 250).

83


STATEMENT ON INTERNAL CONTROL De departementale Accounting Officer is verantwoordelijk voor de ontwikkeling en de opvolging van het managementsysteem en van het boekhoudsysteem. De sleutelprocessen van het intern beheerssysteem worden dus per departement ontwikkeld binnen een algemeen kader ontwikkeld door de Treasury. Sinds 2001 moet de Accounting Officer verantwoording afleggen aan het parlement over het interne beheerssysteem in het Statement on Internal Control. Deze verklaring bevat de volgende elementen: -

een verklaring van de Accounting Officer dat hij verantwoordelijk is, eventueel aangevuld met een uiteenzetting van de verantwoordingsstructuren rond de betrokken organisatie,

-

de constatering dat het systeem van interne beheersing bedoeld is om het risicomanagement te ondersteunen en niet zozeer om risico’s uit te bannen,

-

de constatering dat de verklaring onderdeel is van een proces van risico-evaluatie en – management en betrekking heeft op een genoemde looptijd en in overeenstemming is met de aanwijzingen van de Treasury,

-

de constatering dat ook de effectiviteit van de interne beheersing onder de verantwoordelijkheid van de Accounting Officer valt,

-

een samenvatting van het proces waarbinnen de effectiviteit van de interne beheersing geëvalueerd wordt,

-

een constatering dat de review gebaseerd is op informatie van interne controleurs en managers die verantwoordelijk zijn voor het interne beheersingssysteem en oordelen hierop van externe controleurs (Algemene Rekenkamer, 2001 pp.23).

SCHEDULE 5: STATEMENT OF RESOURCES BY AIMS AND OBJECTIVES In het Statement of Resources by Aims en Objectives worden de netto operationele kosten uit het Operating Cost Statement (Schedule 2) verdeeld over de departementale doelstellingen. Het gaat hier over de departementale strategische doelstellingen zoals geformuleerd in de Public Service Agreements. In het rekenschema worden zowel de operationele kosten per doelstellingen voor het huidige jaar als voor het vorige jaar weergegeven. Zo kan men een beeld krijgen van het relatieve belang dat de regering schenkt aan de beleidsdoelstellingen zowel ten opzichte van andere beleidsdoelstellingen als ten opzichte van het voorgaande jaar. In de praktijk blijken de doelstellingen in Schedule 5 echter niet altijd overeen te komen met de doelstellingen van de PSA’s. Initieel was het de bedoeling om in de rekeningen een Output and Performance Analysis op te nemen waarin de realisatie van de PSA targets opgevolgd wordt. Tegen dit voorstel ontstond echter veel weerstand. Daartoe werd beslist de verantwoording over de doelstellingen op te nemen in een Statement of Resources by Aims and Objectives. Dit instrument lijkt echter nog niet te voldoen aan de verwachtingen. De toewijzing van net operating costs aan de strategische doelstellingen wordt geïllustreerd aan de hand van het Statement of Resources by Aims and Objectives van het Department of Education and Employment.

84


Objective 1 Ensuring that all young people reach 16 with the skills, attitudes and personal qualities that will give them a secure foundation fore lifelong learning, work and citizenship in a rapidly changing world Objective 2 Developing in everyone a commitment to lifelong learning so as to enhance their lives, improve their employability in a changing labour market and create the skills that our economy and our employers need Objective 3 To help people without a job into work

Gross 2,157,809

1999-2000 Income Net -5,997 2,151,812

11,200,417

-659,396

10,541,021

1,913439

-54,860

1,858,579

Tabel 6-4: Department of Education: Statement of Resources by Aims and Objectives

6.6.

Focus van de prestatiegegevens: wat wordt er gemeten?

Voor de opvolging van de Public Service Agreements worden hoofdzakelijk effectindicatoren gebruikt. 68% van de Public Service Agreement Targets voor de periode 2001-2004 waren gericht op effecten. In de Public Service Agreements voor de periode 1999-2001 waren er slechts 15% effectindicatoren (National Audit Office (NAO), 2001pp.21). # PSA 1999-2001 (bron: Colin Talbot) PSA 2001-2004 (Bron: NAO)

387

Input 7%

Proces 51%

Output 27%

Outcome 15%

160

5%

14%

13%

68%

Tabel 6-5: Verdeling van indicatoren in de Public Service Agreements

Outcomes kunnen gerealiseerd worden door verschillende departementen. Van de 160 indicatoren uit de Public Service Agreements van 2001-2004 waren er 30 departement-overschrijdende indicatoren. De Public Service Agreement Targets focussen op de kernprioriteiten van het departement. De PSA indicatoren dekken dus niet het volledige beleidsdomein van het departement, maar enkel de kernprioriteiten. Er zijn ook een aantal cross-cutting Public Service Agreements waarvoor verschillende departementen verantwoordelijk zijn. Tijdens de Spending Review 2002 werden er drie cross-cutting PSA’s afgesloten. In de Service Delivery Agreements geven de departementen aan met welke activiteiten ze de beleidsdoelstellingen van de Public Service Agreements zullen proberen te bereiken. De Service Delivery Agreements zijn dus eerder gericht op processen en outputs. De eerste Service Delivery Agreements werden opgemaakt in november 2000. Er is ook aandacht voor efficiëntie. Het is de bedoeling dat de departementen in de Public Service Agreements niet enkel aandacht besteden aan beleidsdoelstellingen maar ook aan de efficiënte besteding van middelen. Daarom worden er naast de PSA Targets ook Value-for-money targets opgenomen in de Public Service Agreements en/of in de Service Delivery Agreements.

85


6.7.

Audit en kwaliteitscontrole van prestatiegegevens

De nationale statistieken of National Statistics worden onderzocht op hun geldigheid door de National Statistician en de Statistics Commission. De meerderheid van de PSA indicatoren worden echter verzameld door de departementen en agentschappen en worden niet onderworpen aan de geldigheidstoets van het Office for National Statistics. Het National Audit Office vroeg aan de departementen in welke mate zij zicht kunnen hebben op de geldigheid van de prestatiegegevens. Voor minder dan de helft van de departementen bleek het een grote tot zeer grote uitdaging te zijn zekerheid te verkrijgen over de geldigheid van de gegevens. De resultaten van dit onderzoek werden opgenomen in bijlage 2. Bij de 2000 Spending Review besliste de Treasury dat de departementen het design en de verzameling van de Public Service Agreement Targets moeten toelichten in een bijlage op het Public Service Agreement, namelijk de Technical Notes. Uit onderzoek van het National Audit Office bleek echter dat er in de Technical Notes slechts zelden wordt vermeld hoe het departement de geldigheid van de prestatiegegevens waarborgt. Het belang van de kwaliteit van de prestatiegegevens neemt echter toe. Sinds april 2003 voert het National Audit Office immers een geldigheidstoets uit op de prestatiemeetsystemen die de Public Service Agreements van gegevens voorzien. In het rapport “Holding to account: the review of audit and accountability for central government” uit 2001 pleitte Lord Sharman voor een externe validering van de departementale informatiesystemen. Als gevolg hiervan werd er in 2001 een werkgroep opgericht onder leiding van de Treasury om de praktische implementeerbaarheid van dit voorstel te onderzoeken. Deze werkgroep concludeerde dat het

National

Audit

Office

het

best

geplaatst

is

voor

de

externe

validering

van

de

prestatiemeetsystemen ontwikkeld voor de opvolging van Public Service Agreements. De validering van deze prestatiemeetsystemen heeft betrekking op de volgende elementen: -

de overeenkomst tussen de geselecteerde indicatoren enerzijds en de verzamelde gegevens anderzijds,

-

het proces van prestatiemeting: dataverzameling, datavoorziening door externen, dataverwerking, data-analyse en interpretatie,

De

de presentatie en rapportering van de prestatiegegevens. audit

heeft

dus

zowel

betrekking

op

de

goede

werking

van

het

interne

managementinformatiesysteem van het departement als op kwaliteit van de verantwoording van het departement aan het parlement. De audit heeft als doelstelling een inschatting te maken van het risico op verminderde datakwaliteit. Het onderzoek richt zich dus niet op gegevens, maar op de kwaliteit van de prestatiemeetsystemen.

86

de kwaliteit van individuele


Aangezien de Public Service Agreements om de drie jaar worden opgemaakt, wordt elk departementaal prestatiemeetsysteem om de drie jaar onderzocht. De Public Service Agreements 2003-2006 worden dus onderworpen aan de geldigheidstoets van het National Audit Office.

6.8.

Gebruik van de prestatiegegevens “Performance information is the key to effective management, including business planning, monitoring and evaluation. Externally, performance information allows effective accountability. With appropriate information, Parliament, members of the public and other stakeholders are able to exert pressure for improvements and can better understand the issues involved.”

Er zijn verschillende redenen waarom departementen en agentschappen prestatiegegevens verzamelen. Er kan zowel interne druk als externe druk zijn om prestatiegegevens te verzamelen. Aangezien in dit beschrijvend onderzoek gefocust wordt op regeringswijde initiatieven, zullen we vooral de externe vraag naar prestatiegegevens behandelen.

6.8.1. Gebruik in de financiële cyclus: Spending Review Een eerste vraag naar prestatiegegevens situeert zich in het begrotingsproces. Sinds de Comprehensive Spending Review van 1998 zijn de begrotingsprocedures namelijk grondig hervormd. Per departement worden er prestatiegebonden uitgavenplafonds vastgelegd voor drie jaar, Departmental Expenditure Limits (DEL’s). De uitgavenplafonds en de bijhorende Public Service Agreement Targets worden tweejaarlijks herzien tijdens de Spending Review. Dit betekent dus dat er steeds een overlappend jaar is. Zo werd tijdens de 2000 Spending Review onderhandeld over de Departmental Expenditure Limits en Public Service Agreement Targets 2001-2004 en werden deze aangepast tijdens de 2000 Spending Review tot Departmental Expenditure Limits en Public Service Agreement Targets 2003-2006. De doelstelling van de Comprehensive Spending Review was om het begrotingsproces meer resultaatgericht te maken door de koppeling van uitgaven en doelstellingen en door een grotere responsabilisering van de departementen. De machtigende begroting is gestructureerd volgens accrual-gebaseerde Request for Resources die outcome-georiënteerd zijn. Deze begrotingsartikelen worden namelijhk geformuleerd als de doelstellingen van de departementen. Er wordt ook een lijst met activiteiten (Ambit) gemachtigd waaraan de departementen middelen mogen besteden. In de volgende tabel wordt de begrotingsstructuur geïllustreerd met het voorbeeld van het Department for Education and Skills. Appropriation Lines Department for Education and Skills Request for Resources 1 To help build a cpompetitive economy and inclusine society by creating opportunities for everyone to develop their learning; releaisng potential in people to make the most of themselves; and achieving excellence in standrads of education and levels of skills Request for Resources 2 Promoting the physical, intellectual and social development of babies and young children through Sure Start, Early Years Provision and Childcare Request for Resources 3 Tackling child poverty and social exclusion by helping vulknerable children and young

Appropriation £22,675,653,000

£529,894,000 £ 200,000,000

87


people and their families, to break the cycle of deprivation and disadvantage trough the Children’s Fund. Ambit Loans to voluntary aided schools; provision for former-granted school; payments related to the Sector Skills Councils, modernising the teaching profession and ontehr educational services and initiatives,… Total net resource requirement Net cash requirement

£23,405,547,000 £25,461,415,000

Tabel 6-6: Structuur van de begroting van het Department of Education and Skills 2003-2004 (HM Treasury, 2003b).

6.8.2. Gebruik in de beleidsen beheerscyclus: business planning Een tweede gebruikswijze van prestatiegegevens situeert zich in de business planning van de departementen. Verschillende departementen ontwikkelden diverse systemen om hun intern beheer te plannen en op te volgen. Het Public Service Productivity Panel ontwikkelde een business planning model dat aanvaard werd als algemeen kader voor de departementen bij de uitbouw van hun performance management. In een goed systeem van performance management wordt ten eerste duidelijk gemaakt wat de doelstellingen en de aspiraties van de organisatie zijn zodat de personeelsleden zich kunnen situeren in het groter geheel en gemotiveerd worden om de doelstellingen te bereiken. Vervolgens wordt er een coherente set van prestatie-indicatoren en normen ontwikkeld om de realisatie van de doelstellingen te monitoren. Bij de uitvoering van de doelstellingen is het belangrijk dat de uitvoerders eigenaarschap ontwikkelen en verantwoording afleggen. Nadat de geplande activiteiten

uitgevoerd zijn, wordt geëvalueerd of de doelstellingen

bereikt zijn en worden de doelstellingen eventueel bijgestuurd.

ASPIRATIONS To stretch and motivate the organisation

A COHERENT SET OF PERFORMANCE MEASURES & TARGETS To translate the aspiration into a set of specific metrics against which performance and progress can be measured

OWNERSHIP & ACCOUNTABILITY

RIGOROUS PERFORMANCE MANAGEMENT

To ensure that individuals who are best placed to ensure delivery of targets have real ownership for doing so

To ensure that continuously improving performance is being delivered in line with expectations

REINFORCEMENT To motivate individuals to deliver the targeted performance

Figure 6-3: Business planning model (Public Services Productivity Panel, 2000pp.6).

88


Om de doelstellingen uit de Public Service Agreements te operationaliseren naar concrete activiteiten maken de departementen sinds 2000 Service Delivery Agreements op waarin ze aantonen met welke activiteiten zij de Public Service Agreement Targets zullen realiseren. Vervolgens worden de Service Delivery Agreements vertaald in Departmental Business Plans, Directorate Business Plans en Agency Business Plans. Om de individuele medewerkers aan te sturen en op te volgen, worden er tenslotte individuele doelstellingen en targets afgesproken. Het proces van business planning creëert een vraag naar prestatiegegevens, zowel op departementaal, directoraal en individueel niveau.

6.8.3. Gebruik in sturing en verantwoording Een derde belangrijke externe schok voor de ontwikkeling van prestatiemeetsystemen was de invoering van het systeem van Public Service Agreements. Sinds 1998 sluit elk departement in het kader van de tweejaarlijkse begrotingsonderhandelingen een Public Service Agreement met de Treasury, een overeenkomst over de strategische en operationele doelstellingen die het departement in de komende drie jaar moet realiseren met de toegewezen middelen. De departementen leggen twee maal per jaar verantwoording af over de realisatie van de doelstellingen in het Spring Departmental Report en het Autumn Performance Report. De Public Service Agreements (PSA’s) worden dus vooral gebruikt als verantwoordingsinstrument van de departementen ten opzichte van de Treasury en de Prime Minister. De PSA’s worden dan ook gepercipieerd als een instrument om de rol van de centrale departementen (HM Treasury & Cabinet Office) in het beleid te versterken. Dit is nog in meerdere mate het geval voor de beleidsdomeinen die een

politieke prioriteit11 vormen en opgevolgd worden door een speciaal daarvoor opgerichtte

eenheid binnen het Cabinet Office, de Delivery Unit.

11

Health, Education, Transportation & Home Office

89


Bijlage 1 Uitdagingen in het operationaliseren van performance targtes en indicatoren (National Audit Office (NAO), 2001 pp.34)

90


Bijlage 2 Uitdagingen in het verzamelen van geldige en betrouwbare prestatiegegevens (National Audit Office (NAO), 2001 pp.48)

91

Performance management in the United States federal government

7. Performance management in the United States federal government

7.1.

History and objectives of performance management reform

Chief Financial Officers Act

1990

National Performance Review (NPR)

1993

Government Performance and Results Act (GPRA)

1993

National Partnership for Reinventing Government President’s Management Agenda (PMA)

1998 2001

Getting to green Management Scorecards

2001

Program Assessment Rating Tool (PART)

2002

Common Performance Measures

2002

Human Capital Assessment and Accountability Framework (HCAF) Memorandum “Where we’d proud to be”

2002

Performance Reference Model Key National Performance Indicators Performance Budgeting

2003 2003 2003

April 2003

Function of Chief Financial Officer responsible for the development and reporting of cost information and for systematic performance measurement Integrated financial management system Systematic performance measurement Creating a Government that works better and costs less: promoting government performance, customer service and managerial flexibility and results-oriented budgeting Departments and agencies have to report to Congress in the budget process on their strategic goals and results by means of strategic plans, annual performance plans and performance reports. The final objective of the GPRA is to introduce performance budgeting. The National Performance Review is transformed into the National Partnership for Reinventing Government Integrated management agenda: better financial management, egovernment, human capital, competitive sourcing and budget and performance integration Management scorecards to follow-up progress in the main objectives of the President’s Management Agenda financial management, human capital, e-government, performance and budget integration. Implementing the budget and performance integration initiative of the President’s Management Agenda by developing a tool to rate federal programs. The PART assesses the purpose and design of the program, the use of strategic planning, the program management and the program results. Development of common measures and benchmarks in a few government-wide and cross-cutting policy areas (housing, employment and training, health,…) Tool to assess the progress in the development of strategic human capital management Agencies and Members of the President’s Management Agenda are asked to formulate where they would be proud to be in July 2004 in achieving the goals of the President’s Management Agenda Tool to measure the performance of IT programs Developing key performance indicators for the US Next step in the implementation of GPRA: for the FY2005 departments and agencies have to submit a performance budget to OMB and Congress instead of an annual performance plan

Table 7-1: History and objectives of performance management reform in the United States.

The United States has a long tradition of performance measurement and management with the Hoover Commission and performance budgeting (1949), Planning Programming Budgeting System (1965-69), Management by Objectives (1973-74) and Zero-based budgeting (1977). During the early nineties the federal government enacted important performance-oriented initiatives as the Chief Financial Officers Act 1990 and the Government Performance and Results Act 1993. At the same time executive action was taken too with the National Performance Review. The Chief Financial Officers Act obliges departments and agencies to appoint a Chief Financial Officer responsible for the development and reporting of cost information and for systematic performance measurement. In 1993 Vice-President Al Gore launched the National Performance Review with the purpose of creating a government that works better and costs less. The objectives of the National Performance Review were to increase managerial flexibility, to increase the focus on customer focus and to orient

93


the governments activities and budgets towards results. In the end the National Performance Review ended however in a huge savings operation buy means of an enormous reduction in personnel. There are several explanations for the failure of the National Performance Review. One of the explanations was the lack of involvement of the administration, more particularly the Office of Management and Budget (OMB) in the reform. Another reason for the failure of the NPR was the fact that it run parallel with the legislative branch GPRA reform. Management reform became also an important priority for the Bush administration. In 2001 the president and OMB launched an overall agenda to improved federal government management, the President’s Management Agenda. The program contains five management improvement initiatives: human capital, competitive sourcing, better financial management, e-government and budget and performance integration. To follow-up the implementation of the PMA and the progress made by departments, OMB developed a traffic light management scorecard. The Bush administration perceived that the existing performance measurement reforms as the GPRA and the NPR focused too much on the supply–side of performance measurement. “Whereas the Clinton reforms have focused mainly on the supply of information, the Bush administration desired to take the next step, attempting to make judgments about performance and then attaching consequence to these judgments (Joyce, 2003).” Performance information was collected and reported to Congress in strategic plans and performance reports, but the information was insufficiently used for budgeting and management purposes. The administration found that the time had come to take a next step and to increase the use of performance information in particularly in the budget process. Therefore OMB firstly developed the Program Assessment Rating Tool (PART), a quantitative instrument to assess the design and purpose of programs, the use of strategic planning, the program management, the results of the programs on their design and purpose. The development of the PART could be seen as the first important step in the implementation of the performance and budget integration initiative as announced in the President’s Management Agenda. For the other initiatives of the President’s Management Agenda similar assessment tools were introduced as for example the Human Capital Assessment and Accountability Framework. The next step towards performance budgeting, was taken in 2003, when OMB decided that the agencies have to submit a performance budget to OMB and to Congress for the FY2005. This performance budget replaces the annual performance plan departments and agencies have to submit according to the GPRA requirements. In September 2003 departments and agencies submitted for the first time a performance budget to OMB and Congress. With the end of the term of the Bush Administration in sight, OMB found it appropriate to define where the administration wants to be in July 2004 in achieving the President’s Management Agenda. The Proud to be Initiative asks agencies and the members of the President’s Management Council who are perceived as the initiative owners to define to what extent they want to have reached the Presidents Management Agenda in July 2004. The initiative owners make an assessment including the percentage of agencies that they want to achieve the yellow and green status, the ultimate goals

94


for the key components of the initiative and the percentage of agencies the owner wants to achieve this goals, stretch goals, key milestones and a more specific description of the requirements to achieve the yellow and green status. In the area of performance and budget integration, officials expect that only 5 percent of the agencies will fulfill all the criteria to receive a green rating. Therefore an interim goal is defined: OMB wants 60% of all programs to be rated using its Program Assessment Rating Tool (PART) by July 2004. The following table gives the results of the management scorecard, at the beginning of the PMA project in 2001 and in September 2003.

Human Capital Competitive sourcing Financial management e-Government Budget and performance integration

Red N % 23 88.5 26 100 21 80.8 17 65.4 23 88.5

2001 Baseline Yellow N % 3 11.5 0 0 4 15.4 9 34.6 3 11.5

Green N % 0 0 0 0 1 3.8 0 0 0 0

30 September 2003 Yellow % N % 53.8 12 46.2 57.7 11 42.3 73.1 4 15.4 57.7 10 38.5 57.7 11 42.3

Red N 14 15 19 15 15

Green N % 0 0 0 0 3 11.5 1 3.8 0 0

Table 7-2: President’s Management Agenda Scorecards in July 2001 and September 2003

The proud to be initiative might be perceived as an attempt to relax the president’s management agenda and as an attempt to disguise the true position of the agencies when going to elections. OMB defends itself against this criticism, by clearly stating that the proud to be initiative aims only to make the goals clearer and not to make them easier to achieve. In 2003, the General Accounting Office and the National Academies formulated the need to develop a set of key national indicators. “To have a democracy that is performance-oriented and accountable key national indicators are needed to assess the overall position and progress of the United States (GAO, 2003b).” Therefore the GAO organized in 2003 a Forum on Key National Performance Indicators to discuss whether and how to implement this proposal.

7.2.

Actors involved in performance management

7.2.1. Office of Management and Budget (OMB) The Office of Management and Budget (OMB) is an agency within the Executive Office of the President. OMB assists the President in the preparation and implementation of the budget, management policies and regulatory policies. OMB is first of all responsible for developing the President’s annual budget submission to Congress and implementing it when it is enacted. Secondly, OMB promotes good management practices and has a role to play in ensuring efficient and good quality program performance. A third function of OMB exists of the in-depth regulatory review of important rules proposed by federal agencies. Finally, OMB, as an office of the president, has to watch over the agencies’ actions, policies and statements to ensure that they reflect the President’s policy. “OMB stands at a critical point within the nerve center of the federal government and holds a key position in the communications network that links the President, the rest of the Executive Branch,

95


and the Congress. So positioned, it can exert a significant impact on public policy outcomes through its budgetary, legislative, managerial and regulation review mandates (Tomkin, 1998).” OMB is lead by a Director. OMB is organizationally divided in functional Statutory Offices and agencyrelated Resource Management Offices. Statutory Offices are responsible for setting the policy framework within which agencies have to operate. The Office of Federal Financial Management for example develops and provides direction on the implementation of financial management policies and systems. Another example is the Office of Information and Regulatory Affairs that is responsible for policies to improve government statistics and information management. Resource Management Offices are responsible for the analysis, evaluation, and implementation of policy options as well as the implementation of government-wide management initiatives. They are organized by policy subject coinciding with the agencies under their purview and are staffed with experts in the program and policy areas concerned. The Statistical Policy Office within OMB sets the standards for federal statistics to increase comparability, for example the Standard Occupational Classification System or the North American Industry Classification System.

7.2.2. Principal Statistical Agencies Principal Statistical Agencies are organizations responsible for the collection, compilation and analysis of information for statistical purposes. Examples of principal statistical agencies are the Bureau of Labor Statistics, the Bureau of Transportation Statistics and the National Center for Education Statistics. The following table gives an overview of the principal statistical agencies, their budget and their personnel numbers.

Census Bureau Bureau of Labor Statistics National Agricultural Statistics Service National Center for Health Statistics Economic Research Service Bureau of Economic Analysis Energy Information Administration Bureau of Transportation Statistics National Center for Education Statistics Bureau of Justice Statistics

Direct Funding (FY 2004 Estimate) (millions of dollars) 682.2 512.0 136.2 124.6 76.7 78.3 80.1 35.5 185.8 41.1

# Staff FY 2004 12

9435 2792 1368 531 507 542 375 144 115 47

Table 7-3: Principle statistical agencies: budget and work force (OMB, 2003b).

Besides the principal statistical agencies, there are also other statistical agencies. These are statistical units within departments or agencies, as for example the Statistical Unit of the Inland Revenue Service or the Statistical Unit of the National Science Foundation. The heads of the principal statistical

12 Census bureau figures do not include decennial census staffing (4407)

96


agencies and the heads of the statistical units within agencies serve on the Interagency Council on Statistical Policy (ICPS). “The ICPS coordinates statistical work across organizations, enables the exchange of information about organization programs and activities and provides advice and counsel to OMB on statistical activities (FR67-107, 2002: 38467-38470). “

7.2.3. Federal Committee on Statistical Methodology The Federal Committee on Statistical Methodology (FCSM) is an interagency committee that is dedicated to improving the quality of federal statistics and the efficiency and effectiveness of statistical practice among federal agencies. Members are selected by OMB and include executive branch statisticians, economists, and managers. The mission of the FCSM is to: • Inform and advise OMB and the Interagency Council on Statistical Policy on methodological and statistical issues that affect the quality of federal data; • Compile, assess, and disseminate information on statistical or survey methods and practices for federal statistical agencies; • Provide recommendations on issues of statistical methodology such as measurement, analysis, survey methods, survey errors, data collection methods and technologies, record linkage, disclosure limitation, and dissemination of information that affect federal statistical programs and improve data quality, including timeliness, accuracy, relevance, utility, accessibility, and cost effectiveness; effectiveness; • Provide a forum for statisticians in different federal agencies to discuss issues affecting federal statistical programs; and • Promote and support cooperative research across agencies on issues relevant to federal statistics (OMB, 2003b).

7.2.4. General Accounting Office (GAO) The General Accounting Office is the US supreme audit institution supporting Congress in its parliamentary control on the executive branch. GAO, commonly called the congressional watchdog is independent and non-partisan. The GAO audit mandate contains both financial audits and performance audits. Besides its audit function, GAO also obviously plays a management advisory role by suggesting heads of executive agencies ways to make government more effective and responsive. “GAO supports congressional oversight by evaluating how well government policies and programs are working, auditing agency operations to determine whether federal funds are being spent efficiently, effectively, and appropriately, investigating allegations of illegal and improper activities and issuing legal decisions and opinions (GAO, 2003c).” GAO has been involved in the GPRA reform since the beginning, but the role played by GAO has become more important as time went on. By reporting to Congress about the GPRA pilot projects, GAO took up the role of monitoring the implementation of the Government Performance and Results Act (GPRA) that was later on extended to all departments and agencies.

97


GAO is lead by the Comptroller General who is appointed to a 15-year term and is organized along program lines, in several audit teams as for example, the education, workforce and income security team or the natural resources and environment team (organization chart see appendix 1). In FY 2002 GAO employed about 3200 people and had 432 million dollars budget. IT publishes more then 1000 reports and hundreds of congressional testimonies each year. GAO has developed a set of key indicators to measure its performance as for example the return on investment and the number of recommendations that were implemented. In 2002 GAO made 1950 recommendations. Four out of five recommendations made during the past four years have been implemented. On every dollar invested in GAO, 88 dollars were saved (GAO, 2003c).

7.3.

Process of performance management

The GPRA implemented a performance management process integrated in the budget process. The performance planning process has been expanded by the Bush administration with new performance management instruments. Three main actors are involved in the performance management process: agencies, OMB and Congress. The US fiscal year runs from the 1st of November until the 31st of October. The following figure illustrates the performance management process.

Update Management Scorecards

N

D

J


Annual Report t-1

F

M

A


M

J

J

Update Management Scorecards A

S

O

PART Performance assessment Budget t+2 Submission t+2 Strategic Plan t - t+3

Figure 7-1: The US federal government performance management process.

The budget preparation process by agencies starts two years before the beginning of the Fiscal Year. Agencies have to submit their annual performance plan and their budget submission for the fiscal year t+2 in September. Every three-year agencies also submit a strategic plan together with their budget submission setting out the mission and long-term strategic goals of the agency. A new instrument used by OMB in the budget preparation process is the Program Assessment Rating Tool (PART). PART is a binary questionnaire measuring the following program features: purpose and design, use of strategic planning, management, results. The agency responsible for the program assessed fills in the questionnaire and sends it to the responsible OMB reviewer, round up with the necessary evidence. The OMB reviewer then reviews the assessment and negotiates the final score

98


with the responsible agency. Agencies have to report the results of their assessment in the performance plan that they submit to OMB in September.

OMB used the PART to assess 20% of

the programs in the FY 2004 Budget. For the FY 2005 budget, OMB will expand the assessments with the PART to 40% of the programs. The objective is to increase the share of programs evaluated by the PART every year with 20%, so that the PART eventually becomes the comprehensive vehicle to assess program performance. Agencies can propose programs to be evaluated by the PART in the coming years in their budget submission. After the fiscal year has ended, agencies report to Congress about the achievement of their performance goals. Agencies must submit their annual performance report to Congress 150 days after the end of the fiscal year. This makes it possible for Congress to use the information of the performance report in the assessment of the budget requests and the performance plan for the next fiscal year. OMB and Congress thus monitor and follow-up the plans and performance of agencies by means of the GPRA performance management cycle. Besides the achievement of performance goals, OMB also measures the progress in achieving the President’s Management Agenda Initiatives (human capital, e-government, financial management, competitive sourcing and budget and performance integration). Therefore OMB developed a traffic light scorecard that is updated every three months. OMB assesses 26 departments and agencies achievement of the President’s Management Agenda goals and the progress made compared to the last measurement. OMB publishes the management scorecards on the Internet. The reasons why an agency makes a red, green or yellow score are revealed to the agency, but are not publicly available.

7.4.


The general framework for performance planning and reporting is legally anchored in the Government Performance and Results Act 1993. OMB has defined the more detailed guidelines and instruction on planning and reporting in Circular A-11 “Preparation, submission and execution of the budget”. The responsibilities of the Chief Financial Officers concerning performance measurement are enacted in the Chief Financial Officers Act 1990. The policy on information management is set in the OMB Circular A-130 “Management of Federal Information Resources”. The maintenance of records on individuals are regulated by the Privacy Act. OMB sets the government-wide statistical guidelines, but requires from the principal statistical guidelines to complement the government-wide guidelines with policy area specific quality guidelines. Therefore the federal statistical agencies have developed guidelines for ensuring and maximizing the quality, objectivity, utility and integrity of disseminated data.

99


7.5.

Performance reporting

Agencies are required by the GPRA to submit a three-year strategic plan, an annual performance plan and an annual performance report. Steps are taken now to transform the performance plan into a performance budget. AGENCY LEVEL Strategic Plan The GPRA requires from departments and agencies to make up a three-year strategic plan. The strategic plan has to contain the following elements: -

The agency mission statement;

-

One or more general goals (general goals are typically outcome goals, and are also called longterm performance measures);

-

A description of the means and strategies that will be used to achieve the goals;

-

A description of the relationship between annual performance goals in the performance budget and the long-term (general) goals in the strategic plan;

-

Identification of key factors that could affect achievement of the long-term goals; and

-

A description of program evaluations used in preparing the strategic plan, and a schedule for future evaluations.

From performance plan to performance budget In 2001, three quarter of the agencies stated that they had linked performance information to budgets in their performance plan, whereas in 1999 only 40% of the agencies were able to do this. Some agencies linked strategic goals to their budget accounts. Other agencies connected performance goals to program activities. Obviously, there seems progress made in integrating performance and budget information. The Bush administration therefore estimated that the time had come to evolve towards a performance budget. Beginning with the FY 2005 Budget, agencies will have to submit a performance budget instead of an annual performance plan. The performance budget is organized as a hierarchy of goals linked to performance and cost information (OMB, 2003a): -

Strategic goals: aim and purpose of the agency, spanning several programs and several agency organizational units

-

-

Long-term performance goals: outcome goals at program level o

Outcome targets

o

Resources (full cost)

Annual performance goals: output goals at program level o

Output targets

o

Resources (full cost)

Agencies also have to report the results of the PARTS assessment where available and all the performance goals used in the assessment of program performance under the PART process in their performance budget.

100


Performance report The annual performance report provides information about departments and agencies performance and progress in achieving the goals as set in the strategic plan and the performance budget. The Cabinet Departments and nine independent agencies have to integrate the annual report required by the GPRA with the accountability report. They have to submit this combined performance and accountability report before the end of January. In the future they will have to submit their performance and accountability report yet on the November 15. All other independent agencies prepare an annual performance report that has to be transmitted to the President, Congress and OMB by March. The annual report has to contain the following information: -

A comparison of your actual performance with the projected (target) levels of performance as set out in the performance goals in your annual performance budget;

-

An explanation, where a performance goal was not achieved, for why the goal was not met;

-

A description of the plans and schedules to meet an unmet goal in the future, or alternatively, your recommended action regarding an unmet goal where you have concluded it is impractical or infeasible to achieve that goal;

-

An evaluation of your performance budget for the current fiscal year, taking into account the actual performance achieved in the fiscal year covered by your report;

-

Information on every PART program assessed as part of the budget formulation for the fiscal year covered by the report

-

An assessment of the reliability and completeness of the performance data included in the report;

-

Actual performance information for at least four fiscal years.

It is possible that agency do not yet have collected all the performance data when they have to submit the performance report. Agencies have to report the incomplete or missing program performance data, as they are available, in a subsequent year’s annual report.

GOVERNMENT-WIDE LEVEL The initial plan of the GPRA was that OMB would publish an annual government-wide performance report as a separate volume to the budget. However, this government-wide performance plan has not been published since FY 2001. To disseminate federal statistics to the public, the Interagency Council on Statistical Policy has developed a one-stop-shop Internet site for federal statistics, www.fedstats.gov. This website provides easy access via an initial point of entry to a wide array of statistical information form more than 100 federal agencies. The site is both structured by policy topics as by agency.

101


7.6.


7.6.1. Outcome and output measures The GAO surveyed a sample of senior- and middle managers in the 24 largest agencies on performance measurement. Managers were asked whether they collect performance measures and which kind of performance measures. Type of performance measure Performance measures in general Outcome measures that would demonstrate to someone outside the agency whether or not intended results are being achieved Output measures that tell how many things are produced or services provided Customer Service Measures that tell whether or not customers are being satisfied Quality Measures that tell about the quality of products or services provided Efficiency measures that tell if programs are operating efficiently

1997

2000

32%

44%

38% 32% 31% 26%

50% 38% 39% 35%

Table 7-4: Percentage of federal managers reporting having specific types of performance measures to a great or very great extent (GAO, 2001, GAO, 2000)

There is a general positive evolution in the percentage of agencies measuring performance. This can be explained by the fact that in 1997 the GPRA was only implemented in pilot projects whereas it was implemented fully in 2000. In 2000, 50% of the federal managers reported to have output measures to a great or very great extent. This was a significant increase in comparison with 1997 (38%). 44% of the federal managers reported in 2000 to collect outcome measures to a great or very great in extent, whereas only 32% in 1997. Other measures seem to be less common, as for example customer service measures (38% in 2000) and quality measures (39% in 2000). Linking cost and output information also seems to be not widespread yet: in 2000 only 35% of the federal managers reported to have efficiency measures to a great or very great extent. The existence of performance measurement systems also seem to differ between departments and agencies (Appendix 2)

-

7.6.2. Human Capital Assessment and

Accountability

Framework The

Human

Capital

Accountability

-

-

Assessment

Framework

is

a

and

-

tool

developed by GAO, OMB and OPM to assesst he progress made in implementing the

Human

President’s

Capital

Initiative

Management

of

the

Agenda.

The

HCAF measures the extent to which

102

-

Standard on leadership and knowledge management: Agency leaders and managers effectively manage people, ensure continuity of leadership and sustain a learning environment that drives continuous improvement in performance. Critical Success Factors: Leadership planning and implementation: the organisation identifies leadership competencies and establishes objectives and strategies to address them Assessment: Does the agency ensure continuity of leadership through succession planning and executive development? Elements of a YES: the agnecy conducts workforce analysis to identify its current and future leadership needs. This analysis includes the size of the workforce, its deployment across the organisation and the competencies fo r the agency to succeed… Suggested performance indicators: o Workforce analysis related to supervision/leadership is conducted o Formal succession planning or talent management program is in place and its impact is measured o Written leadership development stratgey is tied to workforce analysis and strategic plan o …


organisations have strategic human capital, an integrative organisation vision, continuous leadership, diverse, result-oriented and competent personnel, closing skills gaps and a data-oriented accountability system. For each of these criteria there are standards, key indicators and suggested indicators. Thye HCAF contains 6 human capital standards, 16 critical success factors and more than 220 suggested performance indicators. The HCAF is not a strict

quantitative performance

measurement tool, but requires from the user a capacity to interpret and assess the situation. the following example illustrates how the HCAF works.

7.6.3. Common Performance Measures OMB decided in 2003 to develop a set of common performance measures in areas with multiple programs with similar goals. These common performance measures are developed for the areas of federal housing assistance, job training and employment, wild land fire management, flood mitigation, participation in disaster insurance, health and environment. The following table gives a few examples of common performance measures. Policy Area Federal Housing Assistance

Job Training and Employment

Health

Common measure Net Present Value of the subsidy costs required to serve an eligible family of a particular income level over an extended period of time (adjustments for family size, household income and timing of occupancy) The number of households served with any given level of budgetary resources Attainment of a job Attainment of a certificate or degree by program participants Earnings gains Total program cost per placement in a job Per capita expenditures on direct and federallyfunded health care services Average number of patients seen per day per physician/nurse practitioner/physician assistant

Agencies Housing and Urban Development (housing vouchers, Housing for the elderly, new construction, public housing, HOPE VI) Department of Defense (Military housing) USDA (Rural rental housing program)

Department of Labor (Workforce investment act programs) Department of Education ( Department of the Interior (Indian affair programs) Housing and Urban Development Veteran Affairs Department of Defense Veteran Affairs HHS’ Indian Health Service and Community Health Centers

Table 7-5: Examples of Common performance measures (OMB, 2003c).

7.7.

Audit and quality control of performance information

Within its performance auditing authority, the General Accounting Office can audit the validity and reliability of performance measures concerning program effectiveness and results, or economy and efficiency and the reliability, validity, or relevance of financial information related to the performance of a program (GAO, 2003a: 22). As part of the Congressional scrutiny process of the performance plans the General Accounting Office examines the quality and validity of the plans. “This analysis focuses on whether or not the plans for measuring performance successfully reflect the agencies strategic plans, whether they mark an improvement over previous year’s plans and whether there can be confidence in the performance

103


information that will result (Talbot, Daunton & Morgan, 2001: 17).” The results of this examination are consolidated in a report on the quality of performance plans. The GAO is also examining the quality of the performance reports but does not publish a consolidated report on this issue. The GAO examines the departments and agencies performance reports as well to examine whether the department or agency has achieved its objectives, as to define high-risk management challenges as to examine whether the GPRA reporting requirements are fulfilled. GAO might also rely on the quality controls executed by the agencies Inspector General. Since 2001, cabinet departments and nine independent agencies have to integrate their annual performance report in their financial accountability report. This however did not mean that the program performance information derived from the annual performance report became subject to new or additional audit requirements (OMB, 2003: section 203.1). The Reports Consolidation Act 2000 makes it mandatory for departments and agencies to include in their annual reports an assessment of the reliability and validity of the reported performance information. A GAO reported however that few agencies actually report on the completeness and reliability of performance data (GAO, 2002).

7.8.


Performance information is used for several purposes: congressional oversight, internal management and budgetary decision-making. The following table, based on an OECD – World Bank survey on budget practices, summarizes the use of performance information n the US federal government.

Allocating resources between programmes Allocating resources within programmes Setting program priorities Changing work processes Setting individual staff performance plans Adopting new programme approaches No use


Parent Ministry

Ministry of Finance

President’s Office

X

X

X

X

X X

X

Cabinet

Legislature X

X

X

X

X X

Table 7-6: Use of performance information in decision-making in the United States (OECD & World Bank, 2003).

7.8.1. Budgetary decision making Firstly performance information is used in the budget process. Performance information is not yet integrated in the budget act as authorized by Congress, but is used in the Presidential Budget that is submitted to Parliament. The final objective of the Government Performance and Results Act 1993

104


was to introduce a performance budget. The Bush administration clearly had the ambition to evolve to an increased use of performance information in the budgetary allocations. The Office of Management and Budget developed the Program Assessment Rating Tool to inform the allocation of resources to programs. For the Fiscal Year 2005 budget, departments and agencies submitted a performance budget instead of a performance plan. Several steps are thus taken to make the budgetary decision making more results-oriented. The extent to which the performance information is really influencing the budgetary outcomes and the extent to which performance information is used to cut the budget needs to be further examined.

7.8.2. Internal management A Congressional Budget Office report of 1993 stated yet that the largest potential for real payoffs of using performance information may be in the area of agency management of resources once they have been provided in the budget process. Even if the performance information hasn’t played a significant role in the budgetary approval process, it can still influence the execution of the budget in the agency. Agencies have a significant discretion in allocating resources between programs and between regional units. The Veterans Health Administration for example uses performance information on the numbers of veterans served in the allocation of resources to different hospitals, clinics and offices within the health care networks. Health Care Network Directors are held accountable for achieving outcomes and are given incentives by means of this allocation mechanism based on results. The Internal Revenue Service for example allocated training resources between its customer service centers based on information about the needs for extra training as indicated by the error rates. To a great or very great extent 1997 Agency Climate Agency’s top leadership demonstrates a strong commitment to achieving results SES Non-SES Employees in agency receive positive recognition for helping the agency accomplish its strategic goals Agency managers at their level are held accountable for the results of the programs they are responsible for Agency managers at their level have decision-making authority they need to help agency accomplish strategic goals. Use of performance information in management activities Setting program priorities Allocating resources Adopting new program approaches or changing work processes Coordinating program efforts with other internal or external organisations Setting individual job expectations Refining program performance measures Setting new or revising existing performance goals Rewarding staff Developing and managing contracts

13

2000

76 56 26%

72 52 31%

55%

63%

31%

36%

66% 62% 66% 57% 61% 52% 58% 53% /

14

56%* 53%* 51%* 43%* 51%* 44% 51% 53% 38

Table 7-7: Evolution in the agency climate and the use of performance information in federal agencies (GAO, 2000). (legend: * statistically significant difference)

13

Sample: 1300 middle- and senior managers in the 24 departments and agencies; 60% response rate

14

Sample of 3816mid and upper-level managers and supervisors in 28 departments and agencies; 70% response rate

105


Whereas the GAO surveys showed a significant positive evolution in the collection of output and outcome measures, the use of performance information in management activities seems to have decreased between 1997 and 2000. There is a significant decreasing trend in the use of performance information in setting program priorities, in allocating resources, in adopting new program approaches or changing work processes and in setting individual job expectations. This may be explained by the fact that the collection of performance information has become mandatory with the implementation of the GPRA. The GPRA requires form agencies to collect performance information and to report it to Congress, but does not guarantee that the performance information is used in internal management activities. Cavaluzzo & Ittner analysed the data of the 1997 GAO survey on performance measurement. The GAO sent a survey to 1300 middle- and senior managers working in the 24 largest executive branch agencies. There were 797 managers who responded to the survey with a usable answer. These were the most important conclusions of the survey (Cavaluzzo & Ittner, 2003): -

GPRA pilot sites have developed performance measures to a greater extent to meet the GPRA requirements, but do not make greater use of the information.

-

Internal performance measurement efforts and greater accountability for results can provide the necessary information and incentives for performance-based management, even in the absence of mandates

-

Top management commitment, decision-making authority and training are positively correlated with greater high-level managerial use of performance information

7.8.3. Congressional oversight The attention and interest of

congressional committees for performance information varies

substantially form committee to committee (Van Reeth, 2002; Joyce, 2003). “Some committees make substantial use of hearings and GAO studies to evaluate the effectiveness of programs. Other committees are less likely to focus on the performance of programs and move more likely to focus on oversight episodically or in an effort to promote a political agenda (Joyce, 2003: 34)-.” Joyce concludes that “Congress should focus on ways in which reforming the authorization process could provide clear signals to agencies regarding congressional performance expectations and the Congress should investigate the ways in which the constraints that it places on agencies impede the performance of these agencies (Joyce, 2003).”

106


Appendix 1: Organization chart of the US General Accounting Office (GAO)

107


Appendix 2: Percentage of federal managers reporting in 2000 having outcome and output measures to a great or very great extent by agency

Table 7-8: Percentage of Federal Managers who reported having outcome measures to a great or very great extent (GAO, 2002).

Table 7-9: Percentage of Federal Managers who reported having output measures to a great or very great extent (GAO, 2002). AID U.S. Agency for International Development DOD Department of Defense DOT Department of Transportation GSA General Services Administration HCFA Health Care Financing Administration HHS Department of Health and Human Services HUD Department of Housing and Urban Development IRS Internal Revenue Service NASA National Aeronautics and Space Administration NRC Nuclear Regulatory Commission NSF National Science Foundation OPM Office of Personnel Management SBA Small Business Administration SSA Social Security Administration VA Department of Veteran Affairs

108

EPA Environmental Protection Agency FAA Federal Aviation Administration FEMA Federal Emergency Management Agency

Conclusies: Internationale trends in prestatiemeting

8. Conclusie: internationale trends in prestatiemeting 8.1.

Initiatieven tot prestatiemeting: vormen van verandering

Het internationaal vergelijkend onderzoek naar prestatiemeting vatte aan met een inventarisatie van de initiatieven die betrekking hebben op beleidsen beheersopvolging. De volgende tabel geeft hiervan een overzicht. Australië

Canada

Nederland

Zweden

Public Service Act (1999) Outcomes & Outputs Budgeting and Reporting (1999-2000 ) Generalised Performance Management Framework (2002)

Performance Management Framework (1999) Policy on Alternative Service Delivery (2002) Service Improvement Initiative (2002) Review of nonstatutory programs (2002)

Outcome budgeting and reporting “From Policy budget To Policy report” (1999) Regulation on Performance measurement and Policy Evaluation (2001) Public Finance Act (2002)

Performance Management (1988) Accrual Accounting (1993) VESTA (1997) (2000) Public Administration in the Citizen’s Service (1998)

Verenigd Koninkrijk Public Service Agreements (1999) Modernising Government (1999) Public Sector Benchmarking service (2000) Choosing the right FABRIC (2001) Validation of performance measurement systems (2003)

Verenigde Staten Government Performance and Results Act 1993 President’s Management Agenda (2001) Program Assessment Rating Tool (2002) Key National Performance Indicators (2003) Performance Budgeting (2003)

Vlaanderen Strategische planning (1999) Handleiding Opvolgen en Evalueren van Beleid (2002) Kaderdecreet Bestuurlijk Beleid (2003) Voorontwerp Comptabiliteitsdecreet (principieel goedgekeurd door de regering) Kwaliteitszorg Statistisch Productieproces. Aanbevelingen(2003)

Tabel 1.1. Overzicht van hervormingen met betrekking tot prestatiemeting in Australië, Canada, Nederland, Zweden, het Verenigd Koninkrijk en de Verenigde Staten.

De initiatieven rond prestatiemeting maken dikwijls deel uit van een breder hervormingsproject voor de overheid zoals bijvoorbeeld Modernising Government (VK), Results for Canadians en de President’s Management Agenda (VS). Ook in Vlaanderen betekent Beter Bestuurlijk Beleid een belangrijke druk om het systeem van prestatiemeting verder uit te bouwen. Ook hervormingen van de begroting of het boekhoudsysteem kunnen een belangrijke impuls vormen voor prestatiemeting, aangezien ze een vraag naar prestatiegegevens voor toepassing in de financiële cyclus creëren. Voorbeelden hiervan zijn de invoering van een accrual-gebaseerde prestatiebegroting in Australië (Accrual Outputs and Outcomes Framework) en het Nederlandse VBTB-project (Van Beleidsbegroting Tot Beleidsverantwoording). De Vlaamse overheid heeft ervoor gekozen om bij de ontwikkeling van haar eigen comptabiliteit de resultaatgerichte filosofie van Beter Bestuurlijk Beleid als leidraad te nemen. Prestatiegegevens en beleidsinformatie worden dan ook in toenemende mate erkend als een instrument voor resultaatgericht financieel management, bijvoorbeeld door de toepassing van prestatiemeting in de opmaak van het begrotingsdocumenten en in de evaluatie en bijsturing van de meerjarenbegroting. Het kan gaan om wetgevende initiatieven, zoals bijvoorbeeld de Government Performance and Results Act

in de Verenigde Staten en de Nederlandse Comptabiliteitswet. Het Kaderdecreet

Bestuurlijk Beleid dat in 2003 werd

goedgekeurd door het Parlement, bepaalt de plannings- en

rapporteringscyclus en de vereiste van prestatiemeting in sturing en verantwoording in de nieuwe

109


organisatiestructuur. Het gebruik van prestatiegegevens in de financiële cyclus en de beleidsen beheerscyclus is decretaal verankerd in het Ontwerp van Comptabiliteitsdecreet15. Ook nieuwe regelgeving en belangrijke handleidingen worden opgenomen in de inventarisatie van hervormingen. Voorbeelden hiervan zijn de Regeling Prestatiegegevens en Evaluatie Onderzoek in Nederland en Choosing the Right FABRIC in het Verenigd Koninkrijk. Ook aanpassingen aan de weten regelgeving kunnen belangrijke impulsen vormen. Zo werden in de VS de instructies in Circular A11 zodanig aangepast dat departementen en agentschappen voor de begroting van het fiscale jaar 2005 een prestatiebegroting moeten indienen in plaats van een performance plan. In Vlaanderen publiceerde de Administratie Planning en Statistiek recent twee nieuwe handleidingen, namelijk de “Handleiding Opvolgen en Evalueren van Beleid” en

“Kwaliteitszorg Statistisch Productieproces:

Aanbevelingen”. Er zijn ook veel hervormingen die niet verankerd zijn in weten regelgeving, maar ontwikkeld en geïmplementeerd worden als project van de centrale dienst verantwoordelijk voor prestatiemeting. In Vlaanderen ontstonden het merendeel van de regeringswijde initiatieven op deze wijze. Deze projecten kunnen een systematische hervorming beogen of eerder een ad hoc bijsturing of aanvulling op het bestaande systeem. Een voorbeeld van een systematisch hervormingsproject is het Public Service Agreement Framework in het Verenigd Koninkrijk dat volledig ontwikkeld en geïmplementeerd werd door de Treasury en het Cabinet Office. In Vlaanderen denken we dan aan de publicatie van de Vlaamse Regionale Indicatoren (VRIND) en de methode van strategische planning. Voorbeelden van ad hoc projecten zijn de invoering van de audit van prestatiemeetsystemen in het Verenigd Koninkrijk en de ontwikkeling van Key National Performance Indicators in de Verenigde Staten. Tenslotte kunnen er ook veranderingen plaats vinden in het veld van prestatiemeting door de oprichting van een nieuwe organisatie of organisatie-eenheid. Voorbeelden hiervan zijn de fusie die leidde tot het Australische Department of Finance and Administration en de oprichting van de Public Sector Benchmarking Service en de Delivery Unit in het Verenigd Koninkrijk. In Vlaanderen zal de Administratie Planning en Statistiek door de hervorming Beter Bestuurlijk Beleid omgevormd worden tot de Studiedienst van de Vlaamse Regering.

8.2.

Actoren betrokken bij de hervormingen

Er zijn vier belangrijke categorieën van actoren betrokken bij initiatieven tot prestatiemeting. Ten eerste zijn er de actoren verantwoordelijk voor het beleid rond prestatiemeting die het algemeen kader scheppen waarbinnen initiatieven tot prestatiemeting ontwikkeld worden. Opvallend is, dat de verantwoordelijkheid voor prestatiemeting meestal gesitueerd is binnen het Ministerie van Financiën, in een speciale managementafdeling. Voorbeelden hiervan zijn de Financial Framework Division van 15

Het “Voorontwerp van Decreet houdende de regeling van de begrotingen, de boekhouding, de controle inzake subsidies en

de controle door het Rekenhof”of het Voorontwerp van Comptabiliteitsdecreet werd door de regering principieel goedgekeurd op 9 mei 2003. De Raad van State bracht advies uit op 18 september 2003. De inwerkingtreding was initieel voorzien voor 1 januari 2006, maar wordt mogelijks uitgesteld tot 1 januari 2007.

110


het Australische Department of Finance and Administration, de Comptrollership Branch van het Canadese Treasury Board Secretariat, de Afdeling Beleidsevaluatie- en instrumentatie binnen het Nederlandse Ministerie van Financiën, de Swedish National Financial Management Authority, een agentschap van het Zweedse Ministerie van Financiën en het Office of Information and Regulatory Affairs binnen het Amerikaanse Office of Management and Budget. In het Verenigd Koninkrijk wordt het beleid rond prestatiemeting gezamenlijk uitgestippeld door het Ministerie van Financiën, Her Majesty’s Treasury en het Cabinet Office. Binnen het Cabinet Office is er een speciale eenheid opgericht voor de monitoring van de beleidsdoelstellingen en targets in een aantal prioritaire beleidsdomeinen, namelijk de Delivery Unit. In een aantal landen zijn deze centrale diensten ook verantwoordelijk voor het verzamelen en rapporteren van regeringswijde prestatiegegevens. Het Treasury Board Secretariat bijvoorbeeld publiceert jaarlijks een rapport over de prestaties van de Canadese overheid. In een aantal landen zijn de rekenkamers ook actief betrokken bij de ontwikkeling en bijsturing van het beleid rond prestatiemeting door de publicatie van handleidingen, doelmatigheidsonderzoeken en adviezen. Het Britse National Audit Office bijvoorbeeld werkte mee aan de handleiding voor prestatiemeting “Choosing the Right FABRIC” en publiceerde reeds verschillende rapporten en doelmatigheidsonderzoeken over prestatiemeting (National Audit Office, 2000; National Audit Office, 2001; National Audit Office, 2003). Ook het Amerikaanse General Accounting Office speelt een belangrijke rol in het beleid. Dit kan mede verklaard worden door het feit dat de plannings- en rapporteringscyclus van de departementen en agentschappen wettelijk verankerd is in de Government Performance and Results Act en het General Accounting Office in haar hoedanigheid van parlementaire waakhond de implementatie van deze wet opvolgt. Het General Accounting Office heeft ook een lange traditie in het evalueren en adviseren van managementhervormingen. De Nederlandse Algemene Rekenkamer is eveneens zeer actief in het opvolgen en evalueren van initiatieven tot prestatiemeting, met name de hervorming Van Beleidsbegroting Tot Beleidsverantwoording. De Algemene Rekenkamer onderzocht bijvoorbeeld het gebruik van prestatiegegevens in de begrotingsdocumenten en jaarverslagen en formuleerde aanbevelingen voor de verbetering hiervan (Algemene Rekenkamer, 2002; Algemene Rekenkamer, 2003). Ook de Australische Rekenkamer onderzocht het gebruik van prestatiegegevens in begrotingsdocumenten en formuleerde beste praktijken inzake prestatiemeting (Australian National Audit Office, 1996; Australian National Audit Office, 2001; Australian National Audit Office, 2002). Ten tweede zijn er de actoren die de bevoegdheid hebben over het statistiekbeleid, de nationale statistiek instellingen. Nationale statistiek instellingen zijn bevoegd voor het verzamelen van algemene basisstatistieken met betrekking tot bevolking, economie, werkgelegenheid, milieu, onderwijs, volksgezondheid,…. Voorbeelden hiervan zijn het Australian Bureau of Statistics, Statistics Canada, het Centraal Bureau voor de Statistiek (Nederland), Statistics Sweden, het Office for National Statistics (Verenigd Koninkrijk) en het United States Bureau of the Census. Federale statistiek instellingen zoals Statistics Canada en het Australian Bureau of Statistics verzamelen ook statistieken voor de deelgebieden. De nationale statistiekdiensten zijn meestal georganiseerd als een autonoom

111


agentschap. De volgende tabel geeft een overzicht van de nationale statistiek instellingen en hun moederdepartementen in de onderzochte landen.

Australië Canada Nederland Zweden Verenigd Koninkrijk Verenigde Staten

Nationale instelling voor de statistiek Australian Bureau of Statistics (ABS)∗ Statistics Canada∗ Centraal Bureau voor de Statistiek (CBS) Statistics Sweden Office for National Statistics (ONS)

Moederdepartement Department of the Treasury Department of Industry Ministerie van Economische Zaken Ministry of Justice HM Treasury

Bureau of the Census

Department of Commerce

Tabel 8-1: Overzicht van nationale statistiekinstellingen.

Ten derde zijn er de beleidsspecifieke statistische agentschappen. In de Verenigde Staten bijvoorbeeld zijn er een aantal Principal Statistical Agencies die elk bevoegd zijn voor de verzameling van statistieken binnen hun beleidsdomein. Voorbeelden hiervan zijn het Bureau of Labor Statistics en het National Center for Health Statistics. Ten vierde zijn er de departementen en agentschappen die het beleid rond prestatiemeting uitvoeren. Departementen en agentschappen spelen een cruciale rol in de initiatieven met betrekking tot prestatiemeting. Ze ontwikkelen prestatiemeetsystemen binnen het beleidskader dat aangereikt wordt door de centrale actoren die verantwoordelijk zijn voor het beleid rond prestatiemeting. Zij beschikken meestal over redelijk veel vrijheidsgraden bij de implementatie van deze initiatieven. Daarnaast groeien er ook veel initiatieven vanuit de departementen en agentschappen. Deze vallen echter buiten de grenzen van dit onderzoek. In Vlaanderen wordt het beleid rond prestatiemeting uitgestippeld door de Administratie Planning en Statistiek van het Departement Algemene Zaken en Financiën. De algemene bevoegdheid voor het statistiekbeleid bevindt zich op het federale niveau bij het Nationaal Instituut voor de Statistiek. De Administratie Planning en Statistiek verzamelt echter ook een aantal Vlaamse statistieken. Het beleid rond prestatiemeting wordt in toenemende mate gedecentraliseerd. Men wil evolueren van een sturend beleid naar een beleid van tweedelijns adviesverlening. De bevoegdheden voor planning en statistiek zullen na de bestuurlijke reorganisatie overgedragen worden naar de Studiedienst van de Vlaamse Regering.

8.3.


Het proces van prestatiemeting bestaat uit verschillende fasen. In de meeste van de onderzochte landen is dit proces van prestatiemeting ingebed in het begrotingsproces. Prestatiegegevens kunnen gebruikt worden in de verschillende fasen van het begrotingsproces: -

bij de voorbereiding van de begroting, in de begrotingsvoorstellen die de departementen indienen bij de minister van financiën,

∗

Ook bevoegd voor de verzameling van regionale statistieken

112


-

tijdens de begrotingsonderhandelingen,

-

tijdens de toewijzing van de middelen aan departementen en agentschappen

-

en tenslotte in de opmaak van de begrotingsdocumenten.

In het Verenigd Koninkrijk worden de Public Service Agreement Targets onderhandeld tijdens de tweejaarlijkse Spending Review. In het verleden was het echter zo dat deze onderhandelingen plaats vonden op het einde van het Spending Review proces en dat er dus een onvoldoende duidelijk verband was met de beslissingen over de uitgaven. In de Verenigde Staten neemt de rol van prestatiegegevens in de voorbereiding van de begroting toe door de invoering van het Program Assessment Rating Tool (PART) en de evolutie van Annual Performance Plans naar Performance Budgets. In Zweden worden prestatiegegevens vooral gebruikt op het einde van het begrotingsproces, namelijk bij de opmaak van de instructiebrieven (Regleringsbrev) die bepalen welke doelstellingen agentschappen moeten bereiken met de toegewezen enveloppes. In Nederland worden prestatiegegevens gebruikt in de voorbereiding van de begroting bij de indiening van de departementale begrotingen en bij de opmaak van de finale begrotingsdocumenten. Het is vooralsnog onduidelijk

in

welke

mate

de

prestatiegegevens

gebruikt

worden

tijdens

de

begrotingsonderhandelingen. De Vlaamse hervormingen hebben als doelstelling om de prestatiegegevens te gebruiken als verbinding tussen de financiële cyclus, de beleidsen beheerscyclus en de contractcyclus. Prestatiegegevens worden nu reeds gebruikt bij de opmaak van de begrotingsdocumenten en meer specifiek in de memorie van toelichting. Het is de ambitie om het gebruik van de informatie in het begrotingsproces te vervroegen naar de begrotingsonderhandelingen. Prestatiemeting is ook ingebed in het proces van strategische en operationele planning. Prestatiegegevens vormen tenslotte eveneens de rode draad in de contractcyclus, bij de onderhandeling en opvolging van beheersovereenkomsten.

8.4.

Wetgeving, regelgeving en richtlijnen

In een aantal landen is de vereiste van prestatiemeting wettelijk verankerd. Deze wetten bepalen de verplichting om het beleid en de prestaties op te volgen en duiden aan wie de verantwoordelijkheid draagt voor prestatiemeting. De Australische Financial Management and Accountability Act bepaalt bijvoorbeeld dat de leidend ambtenaar van de organisatie verantwoordelijk is voor het efficiënt, ethisch en effectief gebruik van de middelen en hierover rapporteert aan de bevoegde minister die de eindverantwoordelijkheid draagt voor de effecten van het beleid. De meer specifieke regels over de meting van prestaties worden dan bepaald in uitvoeringsbesluiten en richtlijnen zoals bijvoorbeeld de Financial Management and Accountability Orders (Australië), de Regeling Prestatiegegevens en Evaluatieonderzoek en de jaarlijkse begrotingsinstructies (Nederland) en Circular A-11 “Preparation , Submission and Execution of the Budget” (VS). In een aantal anderen landen zijn de initiatieven tot prestatiemeting niet wettelijk verankerd. In Canada, Zweden en het Verenigd Koninkrijk zijn de departementen en agentschappen niet wettelijk

113


verplicht het beleid en hun prestaties op te volgen aan de hand van prestatiemeetsystemen. De regels en criteria voor prestatiemeting worden bepaald in verordeningen, zoals bijvoorbeeld de Ordinance on Annual Reports and Budget Documentation in Zweden en in handleidingen zoals Choosing the Right FABRIC in het Verenigd Koninkrijk en de Treasury Board Secretariat Reporting Principles in Canada. Vooralsnog werden de initiatieven rond prestatiemeting in Vlaanderen niet decretaal verankerd. In de resultaatgerichte filosofie van Beter Bestuurlijk Beleid en de ontwikkeling van een eigen Vlaamse Comptabiliteit wordt prestatiemeting echter erkend als een belangrijk instrument. Het gebruik van prestatiemeting bij de opvolging van beheersovereenkomsten wordt bepaald in het Kaderdecreet Bestuurlijk Beleid. De meetbaarheid van de producten en diensten die een organisatie levert is een van de criteria voor het al dan niet verzelfstandigen van de organisatie, naast de aanwezigheid van een voldoende massa aan uitvoeringstaken, de reële mogelijkheid tot aansturing op grond van doelmatigheid, prestaties en kwaliteit en de noodzaak van een reëel invulbare informatierelatie (art. 4). Indien een organisatie verzelfstandigd wordt als IVA zonder rechtspersoonlijkheid, IVA of publiekrechtelijk

vormgegeven

EVA

dan

wordt

er

met

de

Vlaamse

Regering

een

beheersovereenkomst afgesloten waarin de strategische en operationele doelstellingen en meetbare criteria om deze op te volgen worden opgenomen alsook afspraken over de rapportering. Het Kaderdecreet Bestuurlijk Beleid bepaalt dat de agentschappen minstens jaarlijks moeten rapporteren aan de Vlaamse Regering over de uitvoering van de beheersovereenkomst aan de hand van beleidsen beheersrelevante indicatoren en kengetallen (art. 9§1 5de lid (a)). Op het einde van de beheersovereenkomst dienen ze op gelijkaardige wijze een eindrapport in (art. 9§1 5° (b)). Het gebruik van prestatiegegevens in de financiële cyclus wordt geregeld in het Ontwerp van decreet houdende de regeling van de begrotingen, de boekhouding, de controle inzake de subsidies en de controle door het Rekenhof of het Comptabiliteitsdecreet. Dit decreet bepaalt dat elke minister bij het begin van de ambtstermijn een beleidsnota moet neerleggen bij het Parlement die de volgende elementen bevat: -

De strategische doelstellingen en de indicatoren aan de hand waarvan het bereiken van de strategische doelstellingen zal worden gemeten;

-

de operationele doelstellingen en de outputindicatoren en -kengetallen aan de hand waarvan de realisatie van de vooropgestelde prestaties zal worden gemeten (art. 5 §2).

De Vlaamse Regering dient jaarlijks de effectindicatoren en outputindicatoren uit de beleidsnota te rapporteren aan het parlement aan de hand van een beleidseffectenrapport. Het Ontwerp van Comptabiliteitsdecreet voorziet ook dat er prestatiegegevens worden opgenomen in de jaarlijkse begrotingsdocumenten. “De memorie van toelichting bevat een verantwoording van de ontvangsten en uitgaven aan de hand van outputindicatoren, kengetallen en andere niet-financiële informatie. Ze plaatst de jaarlijkse begroting in een meerjarig perspectief door ze te situeren ten opzichte van de meerjarenbegroting (art. 15).”

8.5.

114

Rapportering van prestatiegegevens


De rapportering van prestatiegegevens kan zich zowel bevinden op organisatieniveau (departementen en agentschappen) als op regeringswijd niveau. In alle onderzochte landen publiceren departementen en agentschappen hun prestatiegegevens in een jaarverslag of annual report. In het jaarverslag worden ook financiële gegevens geïntegreerd. In Canada en Zweden wordt ook een regeringswijd rapport over het beleid en de prestaties van de overheid gepubliceerd, respectievelijk het Consolidated Annual Report of the Central Government en het Treasury Board Secretariat Annual Report on Government Performance. De jaarverslagen worden ingediend in het Parlement om verantwoording af te leggen over het gevoerde beleid en de geleverde prestaties. In Canada en de Verenigde Staten moeten de departementen en agentschappen hun jaarverslagen ook indienen bij de centrale begrotingsdienst van de uitvoerende macht, het Treasury Board Secretariat en het Office of Management and Budget. Deze tussenstap kan een bijkomende garantie van kwaliteit vormen en een extra incentive geven aan de departementen en agentschappen voor een sluitende rapportage. Naast de jaarlijkse rapportering in een annual report, worden de prestatiegegevens ook tussentijds gerapporteerd. In het Verenigd Koninkrijk bijvoorbeeld dienen de departementen halfjaarlijks verslag uit te brengen over de realisatie van de Public Service Agreements aan het Cabinet Committee on Public Services and Expenditures aan de hand van een Delivery Report. In Vlaanderen is er met de bestuurlijke reorganisatie van Beter Bestuurlijk beleid ook een nieuwe cyclus

van

planning

en

rapportering

uitgetekend

waarbinnen

ook

de

rapportering

van

prestatiegegevens gesitueerd kan worden. De planning en rapportering bevindt zich enerzijds op het niveau van het beleidsdomein en anderzijds op het niveau van de organisatie (departementen en agentschappen). De volgende figuur geeft een overzicht van de verschillende documenten waarin prestatiegegevens gerapporteerd zullen worden volgens het Kaderdecreet Bestuurlijk Beleid en het Ontwerp van Comptabiliteitsdecreet.

115


Parlement Beleidsnota

Beleidseffectenrapport

Beleidsbrief Verslag uitvoering beheersovereenkomst

Memorie van Toelichting

Minister Operationeel Plan

Eindrapport uitvoering beheersovereenkomst

Ondernemings plan

Jaarrapport uitvoering beheersovereenkomst

Beheers overeenkomst Agentschappen

Figuur 8-1: Cyclus van planning en rapportering volgens het Kaderdecreet Bestuurlijk Beleid en het Ontwerp van Comptabiliteitsdecreet.

Deze figuur geeft enkel de documenten weer die decretaal verankerd zijn in het Kaderdecreet Bestuurlijk Beleid en het Ontwerp van Comptabiliteitsdecreet. Daarnaast worden prestatiegegevens ook nog in andere documenten gerapporteerd zoals interne tussentijdse managementrapporten, antwoorden op parlementaire vragen, statistische publicaties en departementale plannen en rapporten.

Noch

in

het

Kaderdecreet

Bestuurlijk

Beleid,

noch

in

het

Ontwerp

van

Comptabiliteitsdecreet is een regeringswijde rapportering van de resultaten van het beleid opgenomen. De Administratie Planning en Statistiek publiceert wel jaarlijks het VRIND-rapport met de Vlaamse Regionale Indicatoren en publiceert ook statistische informatie op het internet. Er werd ook een electronisch opvolgingssyteem voor beleidsindicatoren ontwikkeld, maar dit is niet breed toegankelijk.

8.6.

Focus van prestatiemeting: wat wordt er gemeten?

Wat wordt er nu eigenlijk gemeten? Wat is de belangrijkste focus van prestatiemeting. Wetgeving, richtlijnen en handleidingen over prestatiemeting koppelen indicatoren een hiërarchie van doelstellingen. Indicatoren worden geënt op een hiërarchie van doelstellingen. Voor alle doelstellingen in deze structuur moeten indicatoren worden ontwikkeld, verzameld en gerapporteerd: -

Strategische doelstellingen

116


o

Effectindicatoren vb. Indicators of achievement of outcomes (Au), Strategic Outcome Indicators (Ca), Indicators to measure policy area objectives (Zw), Public Service Agreement Targets (VK),

o -

Effectiviteit vb. Effectiviteit van strategische doelstellingen (Nl)

Operationele doelstellingen o

Effectindicatoren vb. Indicators to measure program objectives (Zw), Short- to Medium-term Objective Indicators (Ca), Outcome Targets (VS)

o

Effectiviteit vb. Indicators of contribution of outputs to outcomes (Au), Effectiviteit van operationele doelstellingen (Nl)

-

Prestaties vb. Indicators to measure subprogram objectives (Zw), Output targets (VS) o

Prijs (Au)

o

Kwantiteit (Au)

o

Kwaliteit (Au)

o

Efficiëntie vb. Efficiëntie van apparaatsuitgaven (Nl) vb. Value-for-Money Targets (VK)

o

Prestaties van derden vb. Administered item indicators (Au)

In de praktijk blijkt de focus van de indicatoren in begrotingsdocumenten en jaarverslagen echter niet altijd evenwichtig. Een aantal rekenkamers hebben onderzocht welke verschillende soorten indicatoren gebruikt worden in begrotingsdocumenten en jaarverslag. Het National Audit Office bijvoorbeeld analyseerde de indicatoren in de concludeerde

dat

er

hoofdzakelijk

Public Service Agreements 2001-2004 en

outcome-indicatoren

(68%)

worden

gemeten

naast

outputindicatoren (13%), indicatoren die activiteiten meten (14%) en inputindicatoren (5%). De Nederlandse Rekenkamer nam de begrotingsdocumenten en jaarrapporten onder de loep en concludeerde dat de departementale begrotingen en jaarverslagen hoofdzakelijk focussen op outputs en uitgaven en dat ze onvoldoende informatie bevatten over effecten (Algemene Rekenkamer, 2002; Algemene Rekenkamer, 2003). Het General Accounting Office voerde in 2000 een survey uit bij het top- en middenkader van de departementen en agentschappen naar de aanwezigheid en het gebruik van indicatoren. 44% van de ondervraagde managers stelde in grote tot zeer grote mate te beschikken over outcome indicatoren. 50% stelde een sterke tot zeer sterke aanwezigheid van outputindicatoren te hebben. In Vlaanderen worden de indicatoren ingebed in de hiërarchie van doelstellingen zoals ontwikkeld in de methode van strategische planning. Zowel in het Kaderdecreet Bestuurlijk Beleid als in het Ontwerp van Comptabiliteitsdecreet wordt het onderscheid gemaakt tussen indicatoren die strategische doelstellingen meten enerzijds en indicatoren die operationele doelstellingen meten anderzijds.

Strategische

doelstellingen

worden

gedefinieerd

als

de

uiteindelijk

beoogde

maatschappelijke effecten van het overheidsoptreden op het betrokken beleidsdomein. Operationele doelstellingen zijn de instrumenten die door de overheid in het betrokken beleidsdomein zullen worden ingezet en worden opgevolgd door outputindicatoren en -kengetallen.

117


8.7.

Audit en kwaliteitscontrole van prestatiegegevens

Zoals de financiële rekeningen van departementen en agentschappen geaudit worden, kunnen ook de niet-financiële gegevens die gerapporteerd worden aan het parlement het onderwerp uitmaken van een audit. In verschillende landen hebben rekenkamers de bevoegdheid om naast de financiële informatie ook de prestatiegegevens te toetsen op hun kwaliteit. De Canadese Auditor-general en de Nederlandse Algemene Rekenkamer hebben de expliciete statutaire bevoegdheid om de prestatiegegevens te auditen. De Britse regering besliste in 2002 het National Audit Office de expliciete bevoegdheid te geven om prestatiemeetsystemen te auditen. In een aantal andere landen behoort de audit van prestatiegegevens tot de algemene bevoegdheid van de rekenkamer om doelmatigheidsaudits uit te voeren (Australië, Zweden en de Verenigde Staten). De audit en kwaliteitscontrole van prestatiegegevens kan verschillende vormen aannemen naargelang het onderzoeksobject of de focus en de frequentie. De audit kan betrekking hebben op de kwaliteit van

de

rapportering

in

de

jaarverslagen

(Zweden),

op

de

informatiesystemen

die

de

prestatierapportering voeden (Verenigd Koninkrijk) of op de geldigheid en de betrouwbaarheid van de individuele indicatoren. De audit kan op een systematische wijze gebeuren, bijvoorbeeld jaarlijks (Zweden en de Verenigde Staten) of driejaarlijks (Verenigd Koninkrijk) of eerder op een ad hoc basis (Australië, Canada, Nederland). De audit van prestatiegegevens kent echter nog vele uitdagingen en discussiepunten. Een eerste belangrijk probleem is het gebrek aan algemeen aanvaarde standaarden voor prestatiemeting en prestatierapportering. Een tweede vraag is in welke mate de methodologie van financiële audit gebruikt kan worden voor de audit van prestatiegegevens en op welke punten deze methodologie aangepast moet worden. Ten derde kan men zich afvragen hoe ver men kan en moet gaan met het auditen van prestatiegegevens: welk niveau van zekerheid over de kwaliteit van prestatiegegevens is nodig en redelijk haalbaar? Dit sluit aan bij de discussie over de kosteneffectiviteit en de impact van de audit van prestatiegegevens. Ook in Vlaanderen worden maatregel genomen om de kwaliteit van de niet-financiële gegevens te garanderen. De interne controle diensten die opgericht worden binnen de departementen en agentschappen zijn verantwoordelijk voor de controle van de betrouwbaarheid van de financiële en beheersrapportering (Vlaamse Regering, 2003, art. 33, de lid). De entiteit Interne Audit van de Vlaamse Gemeenschap evalueert de systemen van interne controle van de departementen, IVA’s en publiekrechtelijk vormgegeven EVA’s. De externe auditeur, het Rekenhof heeft geen expliciete statutaire bevoegdheid om prestatiegegevens te auditen. Het Rekenhof zou eventueel wel een rol kunnen

spelen

in

de

audit

van

prestatie-informatie

binnen

de

bevoegdheid

om

doelmatigheidsonderzoeken uit te voeren. De Wet Duquesne stelt namelijk dat het Rekenhof a posteriori de goede besteding van de van de rijksgelden kan controleren en zich ervan vergewissen zich ervan dat de beginselen van zuinigheid, doeltreffendheid en doelmatigheid in acht worden genomen (Kamer van Volksvertegenwoordigers, 1998). Het Rekenhof voerde bijvoorbeeld een onderzoek naar de opmaak en uitvoering van het strategisch plan “preventieve kinderzorg” van Kind & Gezin en naar de beheersovereenkomsten met de Vlaamse Openbare Instellingen. Een

118


doelmatigheidsonderzoek met de expliciete doelstellingen om de kwaliteit van prestatiegegevens, prestatiemeetsystemen of prestatierapporteringen na te gaan, werd vooralsnog nog niet uitgevoerd. De audit en kwaliteitscontrole van prestatiegegevens is gebaseerd op de standaarden met betrekking tot goede prestatiemeting. In de meeste landen stelt de organisatie bevoegd voor prestatiemeting criteria op voor prestatiemeting. In deze handleidingen onderscheidt men criteria voor indicatoren enerzijds en voor prestatiemeetsystemen anderzijds (HM Treasury et.al., 2001; Treasury Board Secretariat; Ministerie van Financiën, 2002a). Criteria voor goede indicatoren Geldig en accuraat Betrouwbaar Transparant, ondubbelzinnig en toegankelijk Nuttig Relevant Tijdsspecifiek Tijdig en regelmatig Vergelijkbaar en compatibel Robuust Perverse effecten vermijden Toewijsbaar aan activiteiten Controleerbaar en gedocumenteerd

Criteria voor goede prestatiemeetsystemen en rapportering Afstemming op de vraag naar prestatiegegevens van interne en externe gebruikers Continuïteit en vergelijkbaarheid over de tijd Coherentie Geldige technieken van analyse en interpretatie van gegevens Adequate selectie van meeteenheden Causaal verband tussen outputs en outcomes Kosteneffectief (baten > kosten) Geïntegreerd in het management van de organisatie Gefocust op de doelstellingen van de organisatie Gefocust op maatschappelijke effecten Evenwichtig en representatief voor de activiteiten van de organisatie Duidelijke afbakening van gebruikte concepten Verband tussen effecten, prestaties en uitgaven

Tabel 8-2: Criteria voor goede indicatoren, prestatiemeetsystemen en rapportering.

Deze criteria zijn voldoende ruim om op een pragmatische wijze gehanteerd te worden. Zo stelt de handleiding Choosing the Right FABRIC dat indicatoren slechts zo accuraat moeten zijn als vereist voor de beoogde doelstelling. “The ideal is to find measures that fully capture and represent the objective in question. It is often better to try and measure important objectives imperfectly than to ignore them altogether. An imperfect measure can still help in setting priorities and planning; helping to put out the resources an organisations uses into context and providing at least a starting point in judging the organisation’s performance.” (HM Treasury et al., 2001 pp.18) In Vlaanderen heeft de Administratie Planning en Statistiek recent twee handleidingen ontwikkeld met betrekking tot prestatiemeting. Ten eerste is er de Handleiding Opvolgen en Evalueren van Beleid waarin aandachtspunten worden geformuleerd voor elke fase van het proces van prestatiemeting (Administratie Planning en Statistiek, 2002). Ten tweede stelde de Administratie Planning en Statistiek ook een handleiding op met aanbevelingen voor de kwaliteitszorg van het statistisch productieproces (Administratie Planning en Statistiek, 2003).

8.8.

Gebruik van prestatiegegevens

Prestatiegegevens kunnen gebruikt worden in de financiële cyclus, in de beleidsen beheerscyclus en in sturings- en verantwoordingsrelaties. We lichten hier de meest voorkomende toepassingen van prestatiemeting uit die we observeerden in de 6 OESO-landen: prestatiebegroten, resultaatgericht

119


management, verantwoording aan het parlement en de burgers en aansturing en opvolging van verzelfstandigde organisaties. Verschillende overheden hebben initiatieven genomen om de begroting meer resultaatgericht te maken. De meeste van deze initiatieven beogen een aanpassing van de begrotingsdocumenten: de begrotingsstructuur wordt gewijzigd en er wordt niet-financiële informatie toegevoegd aan de traditionele inputgegevens. De wijze waarop en de mate waarin begrotingsdocumenten meer resultaatgericht worden, verschilt echter sterk tussen landen. Zo zijn er overheden die hun begrotingsstructuur dusdanig aangepast hebben dat de parlementaire autorisatie verschoven wordt van het niveau van line-items en programma’s naar het niveau van prestaties en effecten (Australië, Nederland, Zweden en het Verenigd Koninkrijk). Andere overheden gaan iets minder ver. De begrotingsstructuur en de parlementaire autorisatie blijven onveranderd, maar er wordt informatie gegeven over prestaties en effecten in toelichtingen op de begroting. Voorbeelden hiervan zijn de Reports on Plans and Priorities in Canada en de Performance Plans in de Verenigde Staten. Prestatiegegevens kunnen ten tweede een rol spelen in het intern management van departement en agentschappen. Het General Accounting Office ondervroeg in 2000 het top- en middenkader van de 24 grootste federale departementen en agentschappen over het gebruik van prestatiegegevens in het management van hun organisatie. Ongeveer de helft van de managers stelde deze informatie in grote tot zeer grote mate te gebruiken in het intern management van de organisatie, namelijk voor het bepalen van de prioriteiten (56%), voor het toewijzen van middelen (53%), voor het aanpassen van processen (51%), voor het bepalen van de doelstellingen van individuele werknemers (51%), en voor het belonen van werknemers (53%). Prestatiegegevens zijn ten derde ook een belangrijk instrument voor de uitvoerende macht om verantwoording af te leggen aan het parlement en aan de burgers. De nood om het parlement en de burgers meer informatie te geven over de het beleid en de werking van de overheid, is een belangrijke drijfveer voor de uitbouw van prestatiemeetsystemen. Alle overheden erkennen het belang van prestatiegegevens voor accountability, maar vooral in Canada, de Verenigde Staten en Nederland werden de initiatieven expliciet gedreven door een nood aan meer externe verantwoording. De mate waarin de prestatiegegevens ook daadwerkelijk gebruikt worden in de parlementaire controle en de mate waarin de accountability werkelijk is toegenomen, is echter niet even duidelijk. Ook de mate waarin burgers, al dan niet georganiseerd, prestatiegegevens gebruiken voor politieke participatie, dient verder onderzocht te worden. Tenslotte kunnen prestatiegegevens ook gebruikt worden voor de aansturing en opvolging van verzelfstandigde organisaties. In Zweden, bijvoorbeeld, dat reeds een lange traditie heeft van verzelfstandiging werden de initiatieven tot prestatiemeting vooral gedreven door de nood aan een meer resultaatgerichte aansturing van agentschappen. In het Verenigd Koninkrijk worden de Public Service Agreement Targets van de departementen verder vertaald in indicatoren en targets voor de intern verzelfstandigde executive agencies en de extern verzelfstandigde Non-Departmental Public Bodies.

120


Ook in Vlaanderen blijken deze vier toepassingen van prestatiemeting aanwezig. Ten eerste zet men ook de stap naar een meer resultaatgerichte begroting. Hiertoe wordt de begrotingsstructuur aangepast. Naast de organisatorische indeling, wordt er namelijk ook een functionele indeling ingevoerd. De begroting van de IVA’s met rechtspersoonlijkheid, van de EVA’s en de structurele afdelingen van de begroting van het ministerie zullen bestaan uit een aantal functionele afdelingen, namelijk personeel, eigen werking en beleidsvelden. Een beleidsveld wordt beschouwd als een geheel van beleidsobjectieven en is vergelijkbaar met het concept programma in de huidige begroting. Verschillende

organisatorische

eenheden

binnen

het

homogeen

beleidsdomein

kunnen

verantwoordelijk zijn voor hetzelfde beleidsveld. De mate waarin de gemachtigde begroting meer resultaatgericht zal worden, hangt sterk af van de wijze waarop het concept beleidsveld zal ingevuld worden.

Ten tweede wordt er ook resultaatgerichte informatie opgenomen in de memorie van

toelichting op de begroting. Om ook de uitvoering van de begroting op een meer resultaatgerichte wijze op te volgen, zal er een kostenanalytische boekhouding worden ontwikkeld. Ten tweede spelen de prestatiegegevens ook een rol in het intern management. Deze initiatieven ontstaan op het organisatieniveau. Verschillende departementen en VOI’s hebben informatiesystemen ontwikkeld om hun eigen beheer op te volgen. Voorbeelden hiervan zijn de managementinformatiesystemen van het departement WVC en van de VDAB. Ten derde worden prestatiegegevens ook gebruikt als instrument om verantwoording af te leggen aan het Parlement en aan de burger. De vraag rijst echter in welke mate de beleidsbrieven en beleidsnota’s daadwerkelijk gebruikt worden door het Vlaams Parlement in de uitoefening van de

controlefunctie. De parlementaire vragen lijken als instrument

van

parlementaire controle meer ingeburgerd te zijn. Hoewel de beleidsbrieven en beleidsnota’s toegankelijk zijn voor het publiek, zijn er nog vele andere bronnen van informatie, zoals de beleidsindicatoren die nog niet openbaar gemaakt worden. In de toekomst kan de verantwoording ten opzichte van de burger versterkt worden door de publicatie van inzichtelijke beleidseffectenrapporten. Tenslotte vormen prestatiegegevens ook de ruggengraat van de aansturing en opvolging van verzelfstandigde

organisaties.

Momenteel

heeft

de

Vlaamse

Regering

reeds

een

aantal

beheersovereenkomsten afgesloten met een aantal VOI’s waarbij zeer sterk gebruik werd gemaakt van prestatiegegevens. Het meest bekende voorbeeld is dat van de Vlaamse Radio en Televisie. Met de implementatie van Beter Bestuurlijk beleid en de verdere verzelfstandiging, zal het belang van deze toepassing van prestatiemeting nog toenemen. Hierbij is het van groot belang dat er voldoende capaciteit en expertise ontwikkeld wordt zowel binnen departementen als verzelfstandigde agentschappen. De vraag naar prestatiegegevens zal in de overgangsfase wellicht het aanbod ervan overtreffen en er moet dan ook gezocht worden naar alternatieven om deze fase te overbruggen.

8.9.

Verband tussen prestatiemeting en boekhoudsystemen

Naast het internationaal vergelijkend onderzoek naar prestatiemeting, werd er ook inventarisatie gemaakt van de boekhoudinitiatieven in de selectie van OESO-landen (Scheers & Bouckaert, 2003). De opsplitsing in twee rapporten heeft als voordeel dat beide systemen gedetailleerder kunnen worden behandeld en de vergelijkbaarheid per systeem over de onderzochte landen toeneemt. Het nadeel van de opsplitsing is wel dat het zicht op de samenhang tussen boekhouding en monitoring (nummer III in figuur 1.1) voor een groot deel verloren gaat. Om dit op te vangen worden, ter afsluiting

121


van het rapport, het verband, de gelijkenissen en de verschillen die we uit de twee rapporten kunnen opmaken hier kort besproken. Dit gebeurt aan de hand van de parameters functies, procedures en formattering. Eerst worden de gemeenschappelijke punten en de verschilpunten weergegeven in een tabel. Daarna worden die verder toegelicht.

Gemeenschappelijke punten Een lange hervormingstraditie Beide systemen kennen meerdere gebruikswijzen en vervullen dus meerdere functies Centrale aansturing van de hervormingen Periodieke en jaarlijkse rapportering van de data De rapportering van de financiële en niet-financiële gegevens in gezamenlijke jaarlijkse rapporten

Verschilpunten De interne productie van boekhoudgegevens versus de soms externe dataverzameling bij prestatiemeting De focus en de graad van ontwikkeling en standaardisering van de wetgeving en normering De gestandaardiseerde boekhoudstandaarden versus de nog niet gestandaardiseerde standaarden voor prestatiemeting De prestatiegegevens worden niet geconsolideerd Verschillende filosofie en woordenschat van de kwaliteitscontrole De niet-financiële informatie wordt meestal niet ge-audit De focus van de systemen

Tabel 8-3: Vergelijking boekhoudsystemen met prestatiemeetsystemen.

8.9.1. Functies van boekhouding en prestatiemeting INITIATIEVEN De door ons onderzochte landen kennen duidelijk een lange traditie in zowel boekhoudhervormingen als prestatiemeting. De initiatieven rond prestatiemeting en de boekhoudinitiatieven worden meestal apart ontwikkeld in specifieke hervormingen, maar in sommige gevallen is de link tussen beide systemen heel duidelijk. Zo wordt een accrual boekhouding vaak als noodzakelijk gezien ter ondersteuning van het resultaatgericht financieel management. Voor de uitbouw van een degelijk prestatiemeetsysteem is het belangrijk dat er een zicht is op de kosten en opbrengsten. De invoering van een bedrijfseconomische boekhouding is dus vereist. Gezien de nauwe link tussen de twee systemen is het niet verwonderlijk dat hervormingen met betrekking tot de boekhouding en monitoring binnen éénzelfde initiatief worden opgenomen.

GEBRUIK VAN FINANCIËLE EN NIET-FINANCIËLE GEGEVENS Zowel het boekhoudsysteem als de prestatiegegevens worden gebruikt voor verschillende doeleinden en vervullen dus meerdere functies. Ten eerste kunnen financiële en niet-financiële gegevens een bron van informatie vormen in de ontwikkeling van beleid en de politieke besluitvorming. Beide zijn ten tweede een belangrijk instrument voor de uitvoerende macht om verantwoording af te leggen aan het parlement en de burgers. De boekhouding richt zich op de financiële verantwoording terwijl monitoring zich toelegt op de verantwoording over outputs en outcomes. Beide systemen ondersteunen tevens het intern management van de departementen en agentschappen. Zo is het belangrijk voor de beheersfunctie dat er kostengegevens aan outputs en activiteiten kunnen worden gelinkt. Financiële

122


en niet-financiële rapportering is tenslotte ook een belangrijk instrument in de aansturing en opvolging van verzelfstandigde organisaties. De vraag stelt zich hier wel in welke mate de geproduceerde prestatiegegevens daadwerkelijk worden gebruikt door de betrokken actoren. Wordt er met andere woorden voldaan aan de verschillende functies? Een goed prestatiemeetsysteem kenmerkt zich door functionaliteit, legitimiteit en validiteit. De mate waarin prestatiegegevens daadwerkelijk gebruikt worden, hangt af van een aantal factoren: de afstemming van de vraag en het aanbod naar prestatiegegevens, de nodige expertise en knowhow bij de gebruikers om de gegevens te begrijpen en te kunnen interpreteren, incentives om de prestatiegegevens te gebruiken, waarheidsgetrouwe rapportering en doorstroming van informatie, betrouwbaarheid en geldigheid van de informatie en de tijdigheid van de rapportering. Er wordt steeds meer belang gehecht aan de kwaliteit van prestatiegegevens. Ook met betrekking tot de boekhoudgegevens kan men zich de vraag stellen in welke mate deze een impact hebben op de parlementaire controle, het intern management, de besluitvorming en de aansturing van verzelfstandigde organisaties. Parlementsleden beschikken niet altijd over voldoende expertise en know-how om de bedrijfseconomische rekeningen te gebruiken in de parlementaire controle en grijpen daarom vaak terug naar de uitvoeringsrekeningen van de begroting. Om de financiële gegevens te kunnen gebruiken voor het intern management is een goed uitgebouwd financieel informatiesysteem en de aanwezigheid van financiële expertise bij het management noodzakelijk.

8.9.2. Procedures van boekhouding en prestatiemeting ACTOREN Zowel voor het uitstippelen van de boekhoudhervormingen als voor het beleid rond prestatiemeting is er een centrale aansturing. Zo speelt het Ministerie van Financiën een belangrijke rol voor beide systemen. De centrale aansturing van het beleid rond prestatiemeting lijkt minder sterk en meer versnipperd te zijn dan de coördinatie van het beleid rond boekhouding. Er lijken ook meer bottom-up initiatieven te ontstaan vanuit de departementen en agentschappen. De verantwoordelijkheid voor beide hervormingen is wel gesitueerd in een speciale afdeling binnen het Ministerie van Financiën. Zo is

de

verantwoordelijkheid

voor

prestatiemeting

meestal

gesitueerd

in

een

speciale

managementafdeling. Daarnaast zijn er nog andere actoren betrokken bij het beleid rond prestatiemeting zoals de “cabinet offices” en de nationale statistiekinstellingen. Het Ministerie van Financiën is in een aantal landen zowel verantwoordelijk voor het periodiek verzamelen en rapporteren van regeringswijde financiële gegevens als voor het verzamelen en rapporteren van regeringswijde prestatiegegevens.

123


Naast het Ministerie van Financiën spelen ook de rekenkamers een actieve rol bij de boekhoudhervormingen en de prestatiemeting. Dit gebeurt onder andere aan de hand van publicaties van handleidingen, beste praktijken en adviezen. Ook de beroepsgroepen zijn actief betrokken bij de hervormingen in de boekhoud- en prestatiemeetsystemen. Met betrekking tot het boekhoudsysteem zijn het uiteraard de accountants die een leidende rol spelen. Bij prestatiemeetsystemen is de leidende beroepsgroep nog niet helemaal duidelijk en wordt er hieromtrent nog volop gestreden. De accountants willen deze markt inpalmen, maar ook sociale wetenschappers en beleidsexperten bezig zijn eisen hun rol op. De organisatiegraad van deze beroepsgroepen verschilt nogal sterk en zal misschien bepalend zijn voor de uitkomst. Wat betreft de uitvoering van de hervormingen spelen in beide gevallen de departementen en agentschappen een cruciale rol. Wel is het zo dat de organisaties met betrekking tot monitoringinitiatieven meer vrijheidsgraden hebben in vergelijking met de boekhoudhervormingen. De wetgeving, regelgeving en richtlijnen in verband met prestatiemeting zijn immers nog niet zo ontwikkeld en gestandaardiseerd zoals dit bij de boekhouding het geval is. Dit komt uitgebreider aan bod in de volgende sectie. Een ander verschilpunt is dat de boekhoudgegevens steeds intern door de departementen en agentschappen worden gegenereerd, terwijl er voor de prestatiemeting ook een beroep wordt gedaan op externe bronnen zoals nationale statistiekinstellingen.

WETGEVING EN NORMEN Wat de wetgeving betreft, kan er gesteld worden dat er voor de boekhouding altijd een wettelijk kader bestaat, terwijl dat voor prestatiemeting niet altijd het geval is. Indien het principe van prestatiemeting wettelijk verankerd is, dan gaat het meestal slechts over de algemene vereisten van prestatiemeting. De meer specifieke richtlijnen worden opgenomen in regelgeving en handleidingen. Naast de wetgeving zijn er zowel voor de boekhouding als voor de prestatiemeting meer specifieke regels en normen voorzien. De focus van de wetgeving en normering is verschillend voor de boekhoudsystemen en de prestatiemeetsystemen. De wetgeving en normering van financiële informatie heeft vooral betrekking op het boekhoudsysteem (rekeningstelsel, waarderingsregels, aanrekeningsregels, …) en niet zozeer op de financiële indicatoren die berekend worden op basis van dit boekhoudsysteem. De normering bij prestatiemeetsystemen daarentegen, heeft vooral betrekking op de indicatoren en niet zozeer op de prestatieboekhouding. Een belangrijk verschil tussen de boekhouding en de prestatiemeting is dat er bij de boekhouding redelijk gestandaardiseerde normen zijn die algemeen worden aanvaard en erkend (Generally Accepted Accounting Principles), terwijl dit bij prestatiemeting nog niet het geval is. De GAAP zijn over de jaren heen ontwikkeld om de financiële rekeningen van de organisaties te standaardiseren. Het volstaat om zich aan deze standaarden te houden opdat de financiële rekeningen van verschillende organisaties kunnen worden vergeleken. Op basis van de financiële rekeningen worden immers de financiële analyses of “ratio-analyses” (het berekenen van indicatoren zoals rendabiliteit, solvabiliteit, liquiditeit, voorraadrotatie, …) uitgevoerd. Er bestaat wel variatie tussen boekhoudstandaarden van verschillende landen, maar de inhoud is dezelfde en er is bovendien een trend naar steeds grotere

124


internationale harmonisatie aan de hand van International Accounting Standards. Zo een proces heeft nog niet plaats gevonden met betrekking tot de rapportering van prestatiegegevens. Er wordt echter wel gewerkt aan principes en standaarden voor prestatiemeting door een verscheidenheid aan professionele en gerelateerde organisaties. Zo wordt er in Canada hard gewerkt aan de ontwikkeling van een algemeen aanvaarde set voor de rapportering van prestaties.

CONSOLIDATIE Het belangrijke verschilpunt tussen de boekhouding en de prestatiemeting is het feit dat prestatiegegevens niet op een kwantitatieve manier kunnen worden geconsolideerd zoals dit bij financiële gegevens het geval is. De rapportering van prestatiegegevens bevindt zich dan ook meestal op organisatieniveau. Indien er een regeringswijde rapportering is van prestatiegegevens, dan gaat het over gegevens die op regeringswijd niveau verzameld zijn en dus niet om een consolidatie van prestatiegegevens op consolidatieniveau. De consolidatieproblematiek is een belangrijke uitdaging voor

organisaties

met

zeer

veel

uitvoeringsorganisaties

zoals

bijvoorbeeld

werkgelegenheidsagentschappen.

AUDIT EN KWALITEITSCONTROLE Bij boekhoudsystemen is het de interne controle die moet waarborgen dat de financiële rapportering betrouwbaar is. Een van de meest gekende modellen voor interne controle is het COSO model. De filosofie en de woordenschat die in dergelijke modellen wordt gehanteerd is dikwijls zeer verschillend van de kwaliteitscontrole bij prestatiemeetsystemen. Zo sluit de terminologie van de kwaliteitscontrole bij prestatiemeetsystemen veel sterker aan bij een sociaal-wetenschappelijk referentiekader. Op de financiële data wordt er ook een audit uitgevoerd die de betrouwbaarheid van de gegevens garandeert. Een audit van de prestatiegegevens gebeurt echter slechts in een beperkt aantal landen (bvb Zweden en Canada) en meestal voor specifieke gevallen en op ad hoc basis. Er dient echter verzekerd te worden dat de gegevens, of het nu financiële of niet-financiële zijn, kunnen worden vertrouwd en vergeleken. De audit van prestatiegegevens kent nog heel wat uitdagingen en discussiepunten. Zo wordt er gediscussieerd over de toepasbaarheid van de methodologie van de financiële audit. Eveneens stelt zich de vraag hoe ver men kan en moet gaan met het auditen van prestatiegegevens opdat het nog haalbaar blijft?

8.9.3. Formattering van boekhouding en prestatiemeting RAPPORTERING De boekhoudsystemen van de departementen en agentschappen produceren periodiek en jaarlijks financiële gegevens. Daarnaast worden er ook jaarlijks regeringswijde financiële rekeningen

125


opgemaakt. De rapportering van prestatiegegevens situeert zich eveneens op organisatieniveau en in bepaalde gevallen (Zweden en Canada16) op regeringswijd niveau. De boekhoudformatteringen zijn meer gestandaardiseerd en minder afhankelijk van de strategie van een organisatie in vergelijking met prestatiemeetsystemen waarbij de formattering sterker is afgestemd op het proces van strategische planning binnen een organisatie. In het proces van strategische planning worden de normen geformuleerd waarmee de prestatie-informatie wordt vergeleken om te komen tot een beeld van de implementatie en de resultaten van de strategie en om indien nodig bij te sturen. Wel is het zo dat het analytisch luik van de boekhouding of de kostprijsboekhouding eveneens minder gestandaardiseerd is en meer afhankelijk is van de strategie van de organisatie. De departementen en agentschappen publiceren hun prestatiegegevens in jaarlijkse rapporten of annual reports. Deze rapporten bevatten tevens financiële informatie. De financiële en niet-financiële informatie worden dus samen opgenomen in één rapport. Er wordt steeds meer getracht de informatie te integreren en te consolideren.

FOCUS De boekhouding is in alle landen, op uitzondering van Nederland, een accrual boekhouding geworden en focust zich nu dus op de kosten en opbrengsten en niet langer enkel en alleen op de kasstromen. De focus van de prestatiemeting (effecten, prestaties, activiteiten) is minder duidelijk en niet altijd evenwichtig. Het blijkt makkelijker te zijn prestatiegegevens te verzamelen over activiteiten en outputs dan over outcomes. Met betrekking tot de samenhang kan de vraag gesteld worden op welk niveau de link tussen de meetsystemen en de boekhoudsystemen dient plaats te vinden? Is het wenselijk en haalbaar effecten en kosten te verbinden of moet men eerder kiezen voor een pragmatisch scenario waarbij outputs en activiteiten gelinkt worden aan kosten? Het feit dat niet alle prestaties en effecten van de overheid meetbaar zijn en dat er niet altijd een causaal verband is tussen activiteiten, prestaties

16

en

effecten

vormt

hierbij

een

grote

Annual Consolidated Report for the Central Government en TBS Annual Report on Government’s Performance

126

uitdaging.


8.10. Overzichtstabellen van het internationaal vergelijkend onderzoek naar prestatiemeting Australia

Canada

The Netherlands

Initiatives Public Service Act (1999) Outcomes & Outputs Budgeting and Reporting (1999-2000 ) Generalised Performance Management Framework (2002)

Performance Management Framework (1999) Policy on Alternative Service Delivery (2002) Service Improvement Initiative (2002) Review of non-statutory programs (2002)

Outcome budgeting and reporting “From Policy budget To Policy report” (1999) Regulation on Performance measurement and Policy Evaluation (2001) Public Finance Act (2002)

Department of Finance and Administration (DOFA)

Treasury Board Secretariat, Comptrollership Branch

Australian Bureau of Statistics

Statistics Canada

Ministry of Finance Division for Policy Evaluation and Instrumentation Central Bureau of Statistics

Financial Management and Accountability Act Financial Management and Accountability Orders Manual Specifying Outcomes and Outputs

Not legally enacted

Public Finance Act 2001

TBS Six Reporting Principles

Regulation on Performance Measurement and Policy Evaluation Annual Budget Instructions

Performance reporting Departmental reporting Who? To whom?

Annual Report Departments and agencies Parliament

Annual report and accounts Departments Parliament

How often? Financial information? Government-wide reporting?

Annually Included No government-wide reporting

Departmental Performance Report Departments and agencies Parliament Treasury Board Secretariat Annually Included Treasury Board Secretariat Annual Report on Government’s Performance Canada at a Glance

Actors Performance management Framework Official Statistics Regulations or guidelines Legislation Regulation and guidelines

Focus: what is measured? Requirements in legislation, regulation and guidelines

128

Outcome indicators Indicators of achievement of outcomes Indicators of contribution of outputs to outcomes

/

Annually Included No government-wide reporting

Input indicators (t-2 until t+4) Effectiveness measures for strategic objectives Effectiveness measures for operational objectives


Dominant focus of performance measurement as assessed by Supreme Audit Institutions Audit and Quality Control Who is auditing?

Output indicators Price Quantity Quality Administered Item indicators Administered Items /

Australian National Audit Office

Statutory authority?

Audit of performance information within performance audits

Systematically or ad hoc? Role for internal audit? Use of performance information

Ad hoc Audit Committee Outcome budgeting Internal Management Accountability to Parliament

Efficiency measures of administration expenditures

/

Office of the Auditor-General of Canada Explicit authority to audit performance measurement systems in Auditor General Act Ad hoc Internal audit and evaluations (Ma Accountability to Parliament Internal Management

Inputs (expenditures) Outputs Audit Court Explicit authority to audit performance information in Public Finance Act Ad hoc Departmental Audit Division Outcome Budgeting Accountability to Parliament Planning & Control Cycle

129


Sweden

United States

United Kingdom

Initiatives Performance Management (1988) Accrual Accounting (1993) VESTA (1997) (2000) Public Administration in the Citizen’s Service (1998)

Government Performance and Results Act 1993 President’s Management Agenda (2001) Program Assessment Rating Tool (2002) Key National Performance Indicators (2003) Performance Budgeting (2003)

Public Service Agreements (1999) Modernising Government (1999) Public Sector Benchmarking service (2000) Choosing the right FABRIC (2001) Validation of performance measurement systems (2003)

Swedish National Financial Management Authority

Office of Management and Budget

Official Statistics

Statistics Sweden

Federal Committee on Statistical Methodology Principal Statistical Agencies

HM Treasury Prime Minister’s Delivery Unit Cabinet Office Office for National Statistics

Regulations or guidelines Legislation

Not legally enacted

Government Performance and Results Act 1993 Chief Financial Officers Act 1990

Not legally enacted

Ordinance on Annual Reports and Budget Documentation Agency Ordinance

Circular A-11

Choosing the right FABRIC

Annual Report Semi-annual report

Performance Report

Departmental Annual Report and Accounts Delivery Reports

Who? To whom?

Agencies and ministries Ministers

How often?

Annual and Semi-annual

Departments and Agencies Congressional Appropriation Committees Congressional Authorization Committees Office of Management and Budget Annual

Financial information?

Integrated in annual report

Departments Parliament Cabinet Committee on Public Services and Expenditure Annual Semi-annual Included in annual report and accounts

Government-wide reporting

Consolidated Annual Report of the Central Government

Actors Performance management Framework

Regulation and guidelines Performance reporting Departmental reporting

Focus: what is measured? Requirements in legislation, regulation and guidelines Dominant focus of performance measurement as assessed by Supreme Audit Institutions Audit and Quality Control Who is auditing?

130

Included (for the cabinet departments and 9 agencies) No government-wide reporting

No government-wide reporting

Policy areas Programs Subprograms /

Outputs Outcomes

Performance targets Value- for–money targets

Outcomes Outputs

Outcomes (68%) outputs (13%) activities (14%) inputs (5%)

Swedish National Audit Office

General Accounting Office

National Audit Office


Statutory authority? Systematically or ad hoc? Research subject Frequency Use of performance information

Systematic audit of annual reports Part of performance auditing authority Systematically Annual reports

Part of the performance auditing authority

Government decision

Systematically Performance reports

Annual

Annual

Systematically Performance measurement systems of Public Service Agreements Every three year

Steering and controlling agencies Internal management Performance budgeting

Accountability to Parliament Internal Management Performance budgeting

Accountability to HM Treasury and the Cabinet Office Better Policy making Business Planning Budget process

131

Bibliografie

Bibliografie Algemene Rekenkamer (2001).

Achtergrondstudie bedrijfsvoering.

Een Perspectief Op

Bedrijfsvoering Bij De Overheid in Nederland en Daarbuiten. Algemene Rekenkamer (2002). VBTB in begrotingen 2002. Deel A: samenvattend rijksbreed beeld. Den Haag: Sdu Uitgevers. pp. 47. Algemene Rekenkamer (2003). Doelmatigheidsinformatie in begroting en jaarverslag. Den Haag: Sdu Uitgevers. pp. 37. Australian Bureau of Statistics (2003). Australian Bureau of Statistics Annual Report 02-03. Canberra: Australian Bureau of Statistics. pp. 242. Australian National Audit Office (2001). Performance information in portfolio budget statements. pp. 99. Australian National Audit Office (ANAO) (1996).

Better practice principles for performance

information. Canberra: Australian National Audit Office (ANAO), pp. 42. Australian National Audit Office (ANAO) (2001).

Performance information in portfolio budget

statements. pp. 99. Australian National Audit Office (ANAO) (2002).

Performance information in Portfolio Budget

Statements: a better practice guide. Canberra: Australian National Audit Office, pp. 42. Australian Public Service Commission (2002). Performance management. pp. 15. Barzelay, M. (1997). Central audit institutions and performance auditing: a comparative analysis of organizational strategies in the OECD. In: Governance. International Journal of Policy and Administration. 10(3): 235-260. Blöndal, J. (2001). Budgeting in Sweden. OECD Journal on Budgeting. 1(1): 27-57. Bouckaert, G. & Auwers, T. (1999). Prestaties meten in de overheid. Brugge: Die Keure. pp. 205. Bouckaert, G., Van Reeth, W., Auwers, T. & Verhoest, K. (1997). Handboek Doelmatigheidsanalyse Prestaties Begroten. Brussel: Ministerie van de Vlaamse Gemeenschap. pp. 271. Cavaluzzo, K.S & Ittner, C.D. (2003). Implementing performance measurement innovations: evidence from government. In: Accounting, Organizations and Society. Centraal Bureau voor de Statistiek (2003a). De organisatie van het CBS. Voorburg/Heerlen: Centraal Bureau voor de Statistiek. http://www.cbs.nl.

133


Centraal Bureau voor de Statistiek (2003b). Jaarverslag 2002. Voorburg/Heerlen: Centraal Bureau voor de Statistiek. pp. 61. Chan, M., Nizette, M., La Rance, L., Broughton, C. & Russell, D. (2002). Australia. OECD Journal on Budgeting, 2(4): 35-69. Commonwealth of Australia Parliament (1997). Financial Management and Accountability Act 1997. Canberra: Attorney General Department Office of Legislative Drafting. pp. 48. Department of Finance and Administration. Australia Accrual Budgeting Project (ABP) (1998). Specifying Outcomes and Outputs: Implementing the Commonwealth's Accrual-Based Outcomes and Outputs Framework. Canberra: Department of Finance and Administration Australia. Department of Finance and Administration (2000a). The outcomes and outputs framework: guidance document. Canberra: Department of Finance and Administration Australia. pp. 52. Department of Finance and Administration (2000b). The outcomes and outputs framework: guidance document. Canberra: Department of Finance and Administration Australia.pp. 52. Department of the Parliamentary Library (2002).

The Commonwealth budget: process and

presentation. Canberra: Department of Finance and Administration Australia. pp. 40. Department of the Prime Minister and Cabinet (2002). departments, executive agencies and FMA bodies.

Requirements for annual reports for Canberra: Department of the Prime

Minister and Cabinet Fufy, T. & Fitzpatrick, T. (2002). Canada. In: OECD. Distributed Public Governance: Agencies, Authoritities and Other Public Bodies. OECD. Paris. General Accounting Office (GAO) (2000). Managing for results: federal managers' views shows need for ensuring top leadership skills. Washington D.C.: General Accounting Office. pp. 27. General Accounting Office (GAO) (2001). Managing for results: federal managers' views on key management issues vary widely across agencies.

Washington D.C.: General Accounting

Office. pp. 39. General Accounting Office (2002). Performance reporting. Few agencies reported on the completeness and reliability of performance data. Washington D.C.: General Accounting Office. pp. 17 General Accounting Office (GAO) (2003a). Government auditing standards. Revision for 2003. Washington D.C.: General Accounting Office. pp. 195.

134

Bibliografie

General Accounting Office (GAO) (2003b). United States Key National Indicators Forum. http://www.gao.gov/npi/. General Accounting Office (GAO) (2003c). GAO at a glance. http://www.gao.gov. Gustafsson, L. & Svensson, A. (1999). Public sector reform in Sweden. Malmö: Liber Ekonomi. pp. 215. Hatry, H. (1999). Performance measurement. Getting results. Washington D.C.: The Urban Institute Press. pp. 286. House of Commons of Canada (2003). Bill C-25. An Act to modernize employment and labour relations in the public service and to amend the Financial Administration Act and the Canadian Centre for Management Development Act and to make consequential amendments to other Acts. Ottawa. House of Commons of Canada. HM Treasury (2003). Resource accounting manual. London: HM Treasury. HM Treasury (2003b). Central Government Main Supply Estimates 2003-2004. Lonon: HM Stationary Office. HM Treasury, Cabinet Office, National Audit Office (NAO), Audit Commission & Office for National Statistics (2001). Choosing the right FABRIC. A Framework for Performance Information. London: HM Stationary Office. pp. 35. Joyce, P. (2003). Linking performance and budgeting: opportunities in the federal budget process. Managing performance and results series. Washington D.C.: IBM Center for the Business of Government. pp. 51. Kamer van Volksvertegenwoordigers (1998). Wet van 10 maart 1998 tot wijziging van de organieke wet van 29 oktober 1846 op de inrichting van het Rekenhof. Brussel: Kamer van Volksvertegenwoordigers. Ministerie van Financiën (2002a). Regeling Prestatiegegevens en Evaluatieonderzoek Rijksoverheid. Den Haag: Sdu Uitgevers. pp. 56. Ministerie van Financiën (2002b). Handreiking doelformuleringen en prestatiegegevens. Den Haag: Ministerie van Financiën. pp. 21. Minister for Family and Community Services & Minister for Children & Youth Affairs (2002). Portfolio Budget Statements 2002-2003 Family and Community Services Portfolio. Canberra: National Capital Printing. pp. 310. National Audit Office (2000). Good practice in performance reporting in executive agencies. London: National Audit Office. pp. 61. National Audit Office (2001). Measuring the performance of government departments. London: National Audit Office. pp. 68.

135


National Audit Office (2002). Department for International Development Performance management. Helping to reduce world poverty. London: National Audit Office. pp. 72. OECD (2000). Examples of recent public management initiatives in Canada. Paris. OECD. pp. 17. OECD & World Bank (2003). Survey on Budget Practices. http://www.oecd.org Office of Management and Budget (OMB) (2003a). Circular A-11: preparation, submission and execution of the budget. Washington D.C.: Office of Management and Budget. pp. 738. Office of Management and Budget (OMB) (2003b). Statistical Programs of the United States Government Fiscal Year 2004. Washington D.C.: Office of Management and Budget. pp. 88. Office

of

Management

and

Budget

(OMB)

(2003c).

Common

performance

measures.

http://www.whitehouse.gov/omb/memoranda Office of the Auditor General of Canada (2003). Audit criteria for the 2003 assessment of the fairness and reliability of performance information. http://www.oag-bvg.gc.ca/. Office of the Auditor General of Canada (2003). Report of the Auditor General of Canada. Chapter 1: Rating Departmental Performance Reports.

Parliament of the Commonwealth of Australia. (1997). Financial Management and Accountability Act 1997. Canberra: Attorney-General Department. pp. 48.

Parliament of the Commonwealth of Australia House of Representatives (2002). Appropriation Bill (No. 1) 2002-2003. Canberra: Parliament of the Commonwealth of Australia. pp. 143. Persson, G. & Lejon, B. (2000). Public Administration in the Service of Democracy: an Action Programme. Stockholm: Government Offices. pp. 32. Public Services Productivity Panel (2000).

Public services productivity: meeting the challenge.

Londen: HM Treasury, pp. 25.

Scheers, B. & Bouckaert, G. (2003). Internationale trends in de modernisering van de overheidsboekhouding. Leuven: Steunpunt Bestuurlijke Organisatie Vlaanderen. pp. 116. Standing Committee on Public Accounts (2001). Eight Report of the Standing Committee on Public Accounts

136

Bibliografie

Statistics Sweden (2003). Annual Report 2002. Stockholm: Statistics Sweden. pp. 46 Swedish National Audit Office (Riksrevisionsverket) (2000). Performance audit reports 1999. Stockholm: Swedish National Audit Office (Riksrevisionsverket). pp. 184. Swedish National Audit Office (Riksrevisionsverket) (2001a). Annual report and accounts 2000. Stockholm: Swedish National Audit Office (Riksrevisionsverket). pp. 47. Swedish National Audit Office (Riksrevisionsverket) (2001b). Performance audit reports 2000. Stockholm: Swedish National Audit Office (Riksrevisionsverket). pp. 139. Swedish National Audit Office (Riksrevisionsverket) (2002). Performance audit reports 2001. Stockholm: Swedish National Audit Office (Riksrevisionsverket). pp. 205. Swedish National Audit Office (Riksrevisionsverket) (2003). Performance audit reports 2002. Stockholm: Swedish National Audit Office (Riksrevisionsverket). pp. 175. Swedish Institute (2002). Fact Sheets on Sweden. Stockholm: Swedish Institute. pp. 4. Swedish National Financial Management Authority (1999). EA-värdering avseende 1998 av myndigheter under regeringen (Rating of the economic management of agencies in 1998). Stockholm: Swedish National Financial Management Authority. Swedish National Financial Management Authority (2001). Accrual accounting in Swedish central government. Stockholm: Swedish National Financial Management Authority. pp. 46. Swedish National Financial Management Authority (2003a). Performance management in Swedish central government. Stockholm: Swedish National Financial Management Authority. pp. 22. Swedish National Financial Management Authority (2003b). Annual Report 2002. Stockholm: Swedish National Financial Management Authority. pp. 52. Talbot, C. (1996). Ministers and Agencies. Control, Performance and Accountability. London: Chartered Institute of Public Finance and Accountancy (CIPFA). pp.37. Tomkin, S.L. (1998). Inside OMB : politics and process in the President's budget office. New York: Sharpe Armonk. pp. 365. Treasury Board Secretariat (TBS) (2003). About the Treasury Board of Canada Secretariat. http://www.tbs-sct.gc.ca Treasury Board Secretariat (2002). Employment Statistics for the Federal Public Service (April 2000March 2001). Treasury Board Secretariat. Ottawa.

137


Treasury Board Secretariat (2003a). Main Estimates 2003-2004. Part I and Part II. Treasury Board Secretariat. Ottawa. Treasury Board Secretariat (2003b). Assessment of 2002 Departmental Performance Reports. Ottawa: Treasury Board Secretariat. pp. 19. Tweede Kamer der Staten-Generaal (2002). Comptabiliteitswet 2001. Den Haag: Sdu Uitgevers. Tweede Kamer der Staten-Generaal (2003). Vaststelling van de begrotingsstaten van het Ministerie van Sociale zaken en Werkgelegenheid voor het jaar 2004: Voorstel van Wet. Den Haag: Sdu Uitgevers. Tweede Kamer der Staten-Generaal (2003). Vaststelling van de begrotingsstaten van het Ministerie van Sociale zaken en Werkgelegenheid voor het jaar 2004: Memorie van Toelichting. Den Haag: Sdu Uitgevers. van Dijken, K. & van Schoten, E. (2003). Zijn overheidsdoelstellingen SMART? In: Tijdschrift voor organisaties in control. 7 (2): 17-21.

138

Internationale trends in prestatiemeting bij de overheid

Recommend Documents