PRESTATIES METEN IN DE VLAAMSE OVERHEID: EEN VERKENNENDE STUDIE

Spoor Indicatoren en Monitoring

PRESTATIES METEN IN DE VLAAMSE OVERHEID: EEN VERKENNENDE STUDIE

Prof. dr. Geert BOUCKAERT Wouter VAN DOOREN Miekatrien STERCK

Rapport D/2004/10106/010 Februari 2003

Tel: 0032 16 32 36 10

Algemeen secretariaat - Steunpunt Beleidsrelevant onderzoek BESTUURLIJKE ORGANISATIE VLAANDEREN E. VAN EVENSTRAAT 2 C - B-3000 LEUVEN – BELGIE Fax: 0032 16 32 36 11 www.steunpuntbov.be

E-mail: [email protected]

“Een priester en een taxichauffeur legden het bijltje erbij neer, en gingen naar de hemel. Sint Pieter toonde de priester zijn eeuwig verblijf - een hut. Dan toonde Sint Pieter de chauffeur zijn eeuwig verblijf - een herenhuis. De priester was verontwaardigd en vraagt Sint Pieter, “Vanwaar het verschil?” Sint Pieter zei, “Als jij preekt, dan slapen de mensen. Als de taxichauffeur in zijn taxi stapt, dan bidden ze!” (geciteerd in Hatry 1999). De moraal van het verhaal: het zijn de resultaten die tellen. Meer en meer verschuift de interesse van overheden van input naar output en effecten in maatschappij. De vraag “welke middelen steken we in de publieke sector?” wordt in het licht gezien van wat die publieke sector realiseert en welke de effecten zijn. In een in hoge mate competitieve en veranderlijke omgeving is het belangrijk dat een overheid het overzicht bewaart over wat er gebeurt in de maatschappij, welke de rol van de overheid in dit alles is en hoe die de overheid zich het best kan organiseren om die rol optimaal te spelen. In essentie gaat prestatiemeting dus over informatie met een brede focus op zowel middelen als op output en effect van overheidsactiviteit. Net zoals de coach van een voetbalploeg de score moet kennen om te kunnen bijsturen, heeft ook de overheid informatie nodig om in de gewenste richting te sturen. Dit rapport geeft een verkenning weer van de meetpraktijken in de Vlaamse overheid, gebaseerd op face to face interviews met een dertigtal ambtenaren die in de praktijk met prestatie-informatie werken en een brede set documenten die u terugvindt in de literatuurlijst. We beschrijven de productie en het gebruik van prestatie-informatie en hopen zo een aanzet te geven tot een reflectie over de mogelijkheden en moeilijkheden van prestatiemeting in de publieke sector in het algemeen en in het Ministerie van de Vlaamse Gemeenschap en de VOI’s in het bijzonder.

Leuven januari 2003

geert bouckaert wouter van dooren miekatrien sterck

1

INLEIDING

7

1. BEGRIPSAFBAKENING

11

1.1 EEN INPUT - OUTPUT MODEL

11

1.2 DE BELEIDSCYCLUS EN DE BEHEERSCYCLUS

12

1.3 EEN TYPOLOGIE VAN INDICATOREN

13

2. PRODUCTIE VAN PRESTATIE-INFORMATIE: PRESTATIEMETING ALS EEN PROCES

17

2.1 EEN GLOBAAL OVERZICHT VAN HET PRESTATIEMETING - PROCES

17

2.2 OORZAKEN EN AANLEIDINGEN

19

2.3 DE DOELSTELLINGEN EN DE IMPLEMENTATIESTRATEGIE

24

2.4 AFBAKENING VAN HET MEETOBJECT

28

2.5 INDICATORENONTWIKKELING

29

2.6 DATAVERZAMELING

35

2.7 ANALYSE VAN DE DATA

40

2.8 RAPPORTEREN VAN DE DATA

45

2.9 KWALITEITSBEWAKING EN AUDIT

47

3. GEBRUIK VAN PRESTATIEMETING

53

3.1 GEBRUIK IN DE BELEIDS- EN BEHEERSCYCLUS

55

3.1.1. Gebruik in de beleidscyclus: modellen en internationale tendensen van strategische planning

55

3.1.2. Verkenning van het gebruik van prestatiegegevens in de beleids- en beheerscyclus in Vlaanderen

57

3.1.3. Gebruik van prestatiegegevens in de beleids- en beheerscyclus volgens het Voorontwerp Comptabiliteitsdecreet en het Voorontwerp Kaderdecreet Bestuurlijk Beleid

60

3.1.4. Een buitenlands voorbeeld: het gebruik van prestatiegegevens in de beleids- en beheerscyclus in Ierland: het Strategic Management Initiative (SMI) 3.2 GEBRUIK IN DE FINANCIËLE CYCLUS

61 67

3.2.1. Internationale tendensen in het gebruik van prestatiegegevens in begroting, boekhouding en audit

67

3.2.2. Verkenning van het gebruik van prestatiegegevens in begroting, boekhouding en audit in Vlaanderen

69

3.2.3. Voorstellen tot een meer prestatiegerichte financiële cyclus volgens het Voorontwerp Comptabiliteitsdecreet

71

3.2.4. Een buitenlands voorbeeld: gebruik van beleids- en beheersinformatie in de financiële cyclus in Nederland: Van Beleidsbegroting Tot Beleidsverantwoording (VBTB) 3.3 GEBRUIK BIJ STURINGS- EN VERANTWOORDINGSRELATIES

76 87

3.3.1. Verkenning van het gebruik van prestatiegegevens in de sturings- en verantwoordingsrelaties in Vlaanderen

87

3.3.2. Gebruik van prestatiegegevens bij de aansturing van verzelfstandigde agentschappen volgens het Voorontwerp Kaderdecreet Bestuurlijk Beleid

92

3.3.3. Een buitenlands voorbeeld: het gebruik van prestatiegegevens bij de aansturing van agentschappen in Zweden

97

BESLUIT

105

BRONNEN EN VERWIJZINGEN

108

3

Figuur 1: een input outputmodel van de organisatie

11

Figuur 2: een procesmatige benadering van prestatie-informatie: focus op de aanbodszijde.

18

Figuur 3: mate van interne en externe motivatie voor het toepassen van het CAF

23

Figuur 4: ervaring met modellen en de score van de ‘goede praktijk’ van de organisatie

33

Figuur 5: bronnen van de prestatie-informatie van VDAB (VDAB, 2002)

37

Figuur 6: verschillende posities in de analyse van prestatiegegevens

40

Figuur 7: kwaliteitsdimensies van meetsystemen

48

Figuur 8: een procesmatige benadering van prestatie-informatie: focus op de vraagzijde.

54

Figuur 9: vergelijking van een LKC (VDAB) in de tijd

91

Figuur 10: vergelijking van verschillende LKC’s (VDAB)

91

Figuur 11: terugvalposities voor indicatoren in een beheersovereenkomst

97

Figuur 12: management & control matrix. (Regeringskansliet, 2000, pp.10)

102

Tabel 1: de beheerscyclus en de beleidscyclus.

13

Tabel 2: voorbeelden van verschillende types indicatoren.

14

Tabel 3: ontwikkelingsfactoren van meetinitiatieven

19

Tabel 4: mogelijke opties in een prestatie-informatie plan naargelang gebruik

25

Tabel 5: indicatoren, afgeleid uit de strategische en operationele doelstellingen

29

Tabel 6: indicatoren van het Lissabon proces

31

Tabel 7: ervaring met modellen en verwarring van factoren en resultaten (X² p=0.079).

32

Tabel 8: ervaring met modellen en interpretatie van criteria (X² p=0.014).

32

Tabel 9: de databronnen; intern of extern?

36

Tabel 10: een vergelijking methoden van datacollectie

39

Tabel 11: een exemplarische invulling voor waterkwaliteit van het uitsplitsen en samenvoegen van indicatoren.

41

Tabel 12: bronnen voor normstelling van indicatoren

44

Tabel 13: belangrijke kwaliteitsvragen over de stappen in het meetproces

49

Tabel 14: gebruikswijzen van het IKAROS systeem

53

Tabel 15: modellen van strategische planning

56

Tabel 16: ratio’s van strategische plannen

56

Tabel 17: actoren en hun bevoegdheden in de nieuwe controlestructuur

72

Tabel 18: begrotingsstaat 2002 Ministerie van Economische Zaken

79

Tabel 19: begrotingsstaat 2002 Ministerie van Volkshuisvesting, Ruimtelijke Ordening en Milieubeheer

80

Tabel 20: analyse van prestatiegegevens in de begroting 2002

85

Tabel 21: de nieuwe plannings- en rapporteringskalender

93

Tabel 22: een evaluatie van 7 beheersovereenkomsten (Rekenhof 2001)

95

Tabel 23: prestatie-indicatoren in de beheersovereenkomst van de VRT Tabel 24: uitdagingen in de verschillende stappen van productieproces van prestatie-informatie

96 107

Box 1: een typologie van indicatoren

14

Box 2: aandachtspunten voor een prestatie-informatie plan

25

Box 3: de invoering van het Management Informatiesysteem van het departement WVC

27

Box 4: afbakening van het meetobject

28

Box 5: enkele validiteittypen

34

Box 6: criteria voor indicatorenselectie

34

Box 7: enkele collectiemethoden

38

Box 8: doelgroepen van prestatie-informatie

46

Box 9: rapporteringsformaten

46

4

Box 10: kwaliteitsbewaking in het MIS - WVC

50

Box 11: betrouwbaarheid van gegevens in het IKAROS systeem van K&G (Rekenhof 2000)

51

Box 12: voorstel van begrotingsstructuur Voorontwerp Comptabiliteitsdecreet

74

Box 13: ramingsstaat: toelichting op de begroting aan de hand van beleidsdoelstellingen en kostprijsgegevens

75

Box 14: voorbeeld Algemene beleidsdoelstelling als maatschappelijk effect in de begroting 2002 van het Ministerie van Sociale Zaken en Welzijn

81

Box 15: voorbeeld Algemene beleidsdoelstelling als effect in de organisatie in de begroting 2002 van het Ministerie van Binnenlandse Zaken en Koninkrijksrelaties Box 16: nader geoperationaliseerde beleidsdoelstelling uit de

81 begroting 2002 van het Ministerie van Verkeer en

Waterstaat

81

Box 17. voorbeeld van inputgegevens in de begroting 2002 van het Ministerie van Landbouw, Natuurbeheer en Visserij

82

Box 18: voorbeeld van inputgegevens in de begroting 2002 van het Ministerie van Buitenlandse Zaken

82

Box 19: voorbeeld van procesindicatoren en prestatie- indicatoren in de begroting 2002 van het Ministerie van Justitie:

82

Box 20: voorbeeld van effectindicatoren in de begroting 2002 van het Ministerie van Economische Zaken:

83

Box 21: effectindicatoren in de begroting van Volkshuisvesting, Ruimtelijke Ordening en Natuurbeheer

83

5

Inleiding Prestatiemeting is een essentieel aspect van het informatiebeleid van de overheid. De realisaties van de overheid worden meer in termen van output en effect gezien. Ook in de toekomst, in het kader van de op til staande hervorming van de Vlaamse overheid, zal prestatieinformatie een belangrijke rol spelen. Zowel in de beleidsmatige als de beheersmatige hervormingen speelt informatie over output en effect een cruciale rol. Bij wijze van inleiding lichten we drie punten uit het voorontwerp kaderdecreet bestuurlijk beleid en uit het voorontwerp comptabiliteitsdecreet waarin prestatie-informatie een kritische succesfactor is.

art 9 §1 (BB): “De beheersovereenkomst regelt volgende aangelegenheden: 1° de concretisering van de kwalitatieve en kwantitatieve wijze waarop het agentschap zijn taken moet vervullen, met strategische en operationele doelstellingen, beschreven aan de hand van meetbare criteria: 5° de rapportering door het agentschap aan de Vlaamse regering op basis van beleids- en beheersrelevante indicatoren en kengetallen; (…).”

De sturingsrelaties tussen de verzelfstandigde agentschappen, en de departementen en de politiek zal in de toekomst sterker op beheersovereenkomsten stoelen. De overeenkomst slaat daarbij op de wijze waarop het agentschap zijn taken moet vervullen en de doelstellingen die het agentschap dient na te streven. Doelstellingen en taken zullen in meetbare termen gesteld moeten worden. Meetbaarheid is trouwens een criterium om een Intern of een Extern Verzelfstandigd Agentschap (IVA, EVA) op te richten (art. 4 BB). Ook de rapportering aan het parlement gebeurt op basis van indicatoren.

Art 33 (BB). “De departementen, de intern verzelfstandigde agentschappen en de extern verzelfstandigde agentschappen staan in voor de interne controle van hun bedrijfsprocessen en activiteiten. De interne controle is in het bijzonder gericht op: 1° het effectief en efficiënt beheer van de risico’s; (…) 4° de effectieve en efficiënte werking van de diensten; (…)”

Effectiviteit- en efficiëntiecontrole impliceert een zicht op de output en de effecten van de organisatie. Prestatiemeting zal de interne audit van voldoende informatie moeten voorzien om deze controle waar te maken.

7

Art. 5 §1(Compt.decr.) “(…) De beleidsnota’s vermelden 1° de strategische doelstellingen voor de regeerperiode die aangeven welke de uiteindelijk beoogde maatschappelijke effecten van het overheidsoptreden op het betrokken beleidsdomein zijn; 2° de operationele doelstellingen voor de regeerperiode die aangeven welke meetbare effecten van het overheidsoptreden beoogd worden op het betrokken beleidsdomein als indicator voor het bereiken van de strategische doelstellingen; 3° de outputindicatoren en de kengetallen die gebruikt worden om de mate van realisatie van de strategische en operationele doelstellingen te meten.”

“§2 Jaarlijks legt de Vlaamse regering op uiterlijk 31 mei een beleidseffectenrapport over aan het Vlaams Parlement” Hierin: 1°

worden de realisaties van de beleidsopties gedurende het vorige begrotingsjaar

geëvalueerd aan de hand van de in §1, eerste lid, 3° bedoelde outputindicatoren en kengetallen; 2°

worden op grond van deze evaluatie en eventueel gewijzigde omstandigheden de in de

beleidsnota’s opgenomen meerjarenplanning en de meerjarenbegroting bijgesteld; 3°

wordt de prognose van de budgetevolutie uitgebreid tot een bijkomend jaar.”

Ook voor wat de nieuwe beleidscyclus betreft, zal er naar gestreefd worden om het informatiegehalte van de beleidsplanning en rapportage op te voeren door een verdere integratie van output en effectgegevens. Weerom stelt zich de vraag naar de meetcapaciteit die opgebouwd moet worden opdat beleidsplannen op basis van prestatiegegevens geen lege doos blijven.

Beleidsnota’s en effectenrapporten, interne audit en beheersovereenkomsten zijn enkele belangrijke gebruikswijzen van prestatie-informatie. Andere mogelijke gebruikswijzen die in de voorontwerpen van decreet voorkomen zijn het efficiëntiekrediet (art 14 Compt.decr), de analytische boekhouding (art. 24 Compt.decr), de budgetcontrolling (art 44 Compt.decr), de a posteriori controle van het Rekenhof (art 51. Compt.decr), verantwoording van subsidies (art 62 Compt.decr), de allocatie van taken aan departement, IVA of EVA (art 4 Decr.BB) en de rapportering aan het Vlaams Parlement (art 36 Decr.BB).

Deze tekst heeft een dubbel doel. Enerzijds wil het een weergave zijn van een reeks gesprekken met ambtenaren van het Ministerie van de Vlaamse Gemeenschap en enkele VOI’s over hun ervaringen met prestatiemeting in de brede zin van het woord. Anderzijds wil het een interpretatiekader bieden waarbinnen prestatiemeting kan worden gezien. Om deze twee doelstellingen te integreren in één tekst is ervoor geopteerd om prestatiemeting als een proces te beschrijven. De verschillende stappen die leiden tot een bepaald aanbod van prestatie-

8

informatie zullen geïllustreerd worden met de Vlaamse praktijken zoals deze in de gesprekken naar voor kwamen. Ook de verschillende gebruikswijzen (de vraagzijde) zullen met concrete Vlaamse praktijken worden toegelicht. Daarbij komen ook een aantal internationale praktijken aan bod. Vooraf worden een aantal begrippen afgebakend.

9

1. Begripsafbakening 1.1 Een input - output model We kaderen prestatiemeting en de gerelateerde begrippen in een input output schema (zie figuur 1). Dit schema structureert de werking van een organisatie in de omgeving. Alle aspecten van administratief rationeel handelen vinden er een plaats.1

a. strategische doelstellingen j. beleidscyclus b. operationele doelstellingen i. beheerscyclus

c. input

d. proces

e. output

organisatie-grens

f. impact

g. effect

h. omgeving

Figuur 1: een input outputmodel van de organisatie

Idealiter ziet het plaatje er als volgt uit. Vooreerst worden er strategische doelstellingen (a) vooropgezet. Dit is het lange termijnperspectief van de organisatie. Juist vanwege de lange termijn zijn ze niet concreet, maar geven een algemene visie op de rol van de organisatie in de maatschappij. De strategische doelstellingen worden regelmatig geconcretiseerd. Deze concretiseringen zijn de operationele doelstellingen (b). Deze doelstellingen zijn meestal heel wat beter grijpbaar en meetbaar. Nu de organisatie heel concreet weet wat de doelstellingen zijn, zullen er middelen (c) ingezet worden, waarmee er processen (d) worden opgestart (activiteiten). Dit resulteert in een output (e). Input, proces en output situeren zich in de organisatie. Nadat de output de deur van de organisatie uit is, zal het een effect doen gelden in de maatschappij. Er wordt een onderscheid gemaakt tussen impact (f) en effect (g). Effect is het uiteindelijke resultaat van de output. Vaak manifesteert het effect zich op de lange termijn. Impact daarentegen geeft de eerste reacties van de maatschappij op de overheidsoutput aan.

1

Zoals bij elke menselijke activiteit kunnen ook in overheidsactiviteit andere ratio’s meespelen. Hierbij denken we ondermeer aan politieke rationaliteit en aan machtsissues. De administratieve rationaliteit dient dan ook vaak in dit licht te worden gezien. Een beschrijving van deze aspecten valt echter buiten het bestek van dit rapport.

11

Meestal zien we al op korte termijn een impact. Vanzelfsprekend spelen omgevingsfactoren meestal een belangrijkere rol op de lange termijn effecten en minder voor wat betreft de korte termijn impact.

Een voorbeeld uit het verkeersbeleid. De strategische doelstelling is het verminderen van het aantal verkeersdoden (Stevaert 2000). De strategische doelstelling is in dit geval al redelijk concreet. Men spreekt immers van een halvering van het aantal verkeersdoden om zo op het niveau van de buurlanden te komen. Deze doelstelling kan verder geoperationaliseerd worden in doelstellingen inzake heraanleg van kruispunten, aantal onbemande camera’s, etc. Om deze operationele doelstellingen te bereiken worden er middelen ingezet. Men zal aanbestedingen uitschrijven voor fietspaden en rotondes, vergunningen afleveren voor camera’s, etc. De output is dan het aantal km. nieuwe fietspaden, het aantal gecontroleerde wagens, etc. Tot zover heeft de organisatie een goede greep op de gebeurtenissen. Maar de proef op de som is het effect in de maatschappij. Op korte termijn kan het fietspad ertoe leiden dat meer kinderen met de fiets naar school gaan en dat het aantal geflitste voertuigen in verhouding tot het aantal gecontroleerde voertuigen afneemt. Dit is de impact van de output. Op lange termijn streeft men echter minder verkeersdoden na. Is dit ook het geval of blijft het bij het korte termijneffect? Tenslotte spelen ook omgevingsfactoren een rol. Verkeersbeleid is niet alleen een Vlaamse, maar ook een federale en een lokale bevoegdheid. In welke mate beïnvloeden deze niveaus het effect? En zou een daling in het aantal aangereden fietsers te wijten kunnen zijn aan een slechte zomer, waardoor er überhaupt minder fietsers op de baan waren?

1.2 De beleidscyclus en de beheerscyclus In het schema van figuur 1 kunnen twee cycli onderscheiden worden. Enerzijds de beleidscyclus, en anderzijds de beheerscyclus. De twee cycli bestaan elk uit vier stappen: de voorbereiding, de bepaling, de uitvoering en de evaluatie. Tabel 1 geeft de twee cycli weer. De beleidscyclus is de belangrijkste. In de beleidscyclus komt het functioneren van de organisatie in de maatschappij aan bod en daarom raakt hij aan de bestaansreden van de overheidsorganisatie. De verschillende fasen zijn de beleidsplanning, de beleidsbepaling, de opvolging en de beleidsevaluatie. Men stelt zich in de beleidsevaluatie de vraag of het effect zich manifesteert en wat de impact van de output is op de effecten. Op basis van de beleidsevaluatie kan er nieuw of bijgestuurd beleid ontworpen worden. Het functioneren van de beleidscyclus is in theorie voornamelijk een politieke verantwoordelijkheid.

Op basis van het beleid, kan er werk gemaakt worden van het beheer. Een goed beheer is in deze optiek dus een noodzakelijke, maar onvoldoende voorwaarde voor het goed functioneren. Een focus enkel en alleen op goed beheer kan tot aberraties leiden, zoals in de BBC serie “Yes, Minister” waar gewag wordt gemaakt van een hospitaal dat de Florence Nightingale Award krijgt

12

voor het meest hygiënische ziekenhuis van de Groot-Brittannië. Het hospitaal heeft echter geen patiënten. Beheer en beleid kunnen niet los staan van elkaar. De beheerscyclus bestaat ook uit vier fasen: voorbereiding, bepaling, opvolging en evaluatie. Men stelt zich de vraag in de beheersevaluatie of de inzet van de middelen en de procedures de gewenste output heeft opgeleverd op de best mogelijke manier. Verschillende aspecten van de beheerscyclus zijn de financiële cyclus, HRM, infrastructuur, ICT, etc. De beheerscyclus is in theorie voornamelijk de verantwoordelijkheid van de topkaders in de administratie.

voorbereiding

bepaling

opvolging

evaluatie

beleidscyclus beheerscyclus Tabel 1: de beheerscyclus en de beleidscyclus.

In realiteit grijpen de beleids- en beheerscyclus in elkaar. Een goede beleidsplanning vereist immers zicht op de kosten, kenmerken en de haalbaarheid van een bepaald outputniveau. Anderzijds zal beleid maar zinvol kunnen geëvalueerd worden als de evaluerende actor zicht heeft op de beheersprocessen. Heel wat beleidsinformatie zit immers verzonken in het beheer. Voorheen werd reeds aangestipt dat beheer zonder beleid voorbij dreigt te gaan aan de bestaansreden van de organisatie. Een goede afstemming van beleids- en beheersinformatie zal dus nodig zijn.

1.3 Een typologie van indicatoren Prestatiemeting heeft tot doel om op een systematische wijze informatie te verzamelen over de werking van de overheid. Er kan informatie verzameld worden over de verschillende aspecten van het input - output model. Dit vormt de basis voor de indeling van de verschillende types indicatoren. Box 1 geeft de indeling weer. Beheersmatig zullen voornamelijk input, proces en outputindicatoren van belang zijn en zal men meer de nadruk leggen op zuinigheid, productiviteit en efficiëntie. Beleidsmatig zal effect en omgevingsinformatie van groter belang zijn en zal men meer de nadruk leggen op (kosten)effectiviteit.

13

Box 1: een typologie van indicatoren

2

Enkelvoudige indicatoren inputindicator

wat gaat in het systeem? Welke middelen zet men in?

outputindicatoren

welke producten en diensten worden afgeleverd?

impactindicatoren

wat zijn de directe gevolgen van de output?

effectindicatoren

wat zijn de uiteindelijke gevolgen van de output?

omgevingsindicatoren

welke omgevingsvariabelen zijn relevant om impact en effect te duiden?

Verhoudingsindicatoren (ratio) zuinigheid

input/input

efficiëntie

input/output

productiviteit

output/input

effectiviteit

output/effect (of impact)

kosteneffectiviteit

input/effect (of impact)

Tabel 2 geeft een aantal voorbeelden van de mogelijke indicatoren, geïnspireerd op het milieubeleidsplan 2003-2007 en het Vlaams actieplan Europese werkgelegenheidsrichtsnoeren 2001 (Ministerie van de Vlaamse Gemeenschap 2002; Ministerie van de Vlaamse Gemeenschap 2001).

inputindicator

outputindicatoren

milieu

werkgelegenheid

financiële middelen voor oppervlaktewater

budget voor de aankoop van computers in

(419 miljoen Euro in 2001)

het secundair onderwijs

aantal toegekende subsidies aan

aantal opleidingen aan werkzoekenden

gemeenten voor kleinschalige waterzuivering impactindicator

aantal gemeenten/totaal dat ingaat op het

% werkzoekenden zonder werk dat aan

subsidieaanbod

opleidingen deelnam

effectindicator

chemische kwaliteit van het

een hogere werkzaamheidgraad

omgevingsindicator

neerslaghoeveelheid

groei bruto regionaal product

zuinigheid

kost per m² kantoorruimte voor de

kost per computer met een bepaalde

administratie

configuratie

efficiëntie

administratiekost per afgewerkt

aantal lesuren per uitgereikt diploma

productiviteit

aantal afgewerkte dossiers per VTE

drop out per lesgever

effectiviteit

aantal kleine waterzuiveringstations per

aantal lesuren per tewerkgestelde

oppervlaktewater verbetert.

subsidiedossier

kwaliteitsverbetering kosteneffectiviteit

kost van een kwaliteitsverbetering in het

kost per tewerkgestelde

oppervlaktewater

Tabel 2: voorbeelden van verschillende types indicatoren.

2

intake indicator: Vaak onderscheid men nog de intake indicator. Hiermee duidt men niet de middelen aan die in het systeem gaan, maar de hoeveelheid ‘grondstof’ (bijvoorbeeld het aantal leerlingen in een school, het aantal m³ water

14

Prestatiemeting is het systematisch opvolgen van indicatoren met bepaalde eigenschappen. Al naargelang de behoefte zal het prestatiemeetsysteem andere types indicatoren kunnen bevatten, met name voornamelijk effectindicatoren voor beleid en input outputindicatoren voor het beheer. Prestatiemanagement gaat een stap verder. Bij prestatiemanagement gaat men de prestatie-informatie bekomen uit het meetsysteem aanwenden in managementbeslissingen. De informatie wordt dan niet alleen verzameld, maar ook gebruikt. In de volgende hoofdstukken worden zowel prestatiemeting als gebruik van prestatie-informatie in het Ministerie van de Vlaamse Gemeenschap en een aantal VOI’s beschreven.

dat in het zuiveringssysteem gaan, etc). Intake kan meestal echter ook gezien worden als een benadering van de output.

15

2. Productie van prestatie-informatie: prestatiemeting als een proces Prestatiemeting kan gezien worden als een proces dat resulteert in een aanbod van prestatieinformatie. De kwestie is dan of dit aanbod voldoet aan de vraag naar prestatie-informatie. Vraag en aanbod worden opgesplitst. Het aanbod komt in dit hoofdstuk aan bod, de vraag in hoofdstuk 3. Een goed informatiebeleid maakt dat vraag en aanbod op elkaar afgestemd zijn. Hierbij dient wel de bedenking te worden gemaakt dat veelal producent en consument dezelfde organisatie zal zijn en dat er dus slechts in beperkte mate concurrentie langs aanbodszijde kan zijn. Zo zal bijvoorbeeld de VDAB de enige organisatie zijn die het aantal opleidingen door werkzoekenden registreert, en bovendien zal de VDAB zelf een van de grootste gebruikers zijn van het aanbod. Dit betekent dat slechts zelden op het marktmechanisme gerekend kan worden om deze afstemming te bereiken. Niettemin zal de opdeling in vraag en aanbod van prestatieinformatie een goed kader vormen om verschillende begrippen te plaatsen.

2.1 Een globaal overzicht van het prestatiemeting - proces Figuur 2 geeft een procesmatige weergave van het proces van prestatiemeting en management. De eerste stap is de oorzaak of de concrete aanleiding van de het initiatief. Wat was de vonk die de organisatie er toe bracht om te gaan meten? De tweede stap is het vaststellen

van

de

doelstellingen

en

het

implementatietraject

van

de

het

meten.

Vanzelfsprekend is het van belang om in deze fase vooruit te kijken naar de gewenste gebruikswijzen. Hierbij gaat het in feite om het ontwikkelen van een prestatie-informatie plan. De derde stap is de afbakening van het meetobject. Wat wordt wel en wat wordt niet in het meetsysteem opgenomen. Vervolgens kunnen er indicatoren worden ontwikkeld. De vijfde stap is de dataverzameling. Indicatoren zonder data zijn als lege dozen. De indicatoren krijgen pas gebruiksnut als er ook data zijn voor de indicatoren. De zesde stap is de analyse van de data. Dit is de stap die data tot informatie te maakt. De laatste stap in het productieproces van prestatie-informatie is de rapportage. Een belangrijk aandachtspunt is de kwaliteit en de audit van de informatie. Alleen informatie met een bepaalde kwaliteit kan zinvol gebruikt worden. Het aanbod van informatie wordt vervolgens geconfronteerd met het gebruik (de vraag). Gebruik van prestatie-informatie komt in hoofdstuk 3 aan bod.

17

Aanbodszijde

Vraagzijde

Wat maakt dat prestatiemeting wordt geïnitieerd? Oorzaak en aanleiding Wat zijn de doelstellingen en implementatiewijze van prestatiemeting? Doelstelling en implementatie

Afbakening meetobject Wat wordt er concreet gemeten? De indicatoren. Indicatoren ontwikkeling Waar haalt men de data om de indicatoren waar te maken? Data verzameling Met welke analyses komt men van data tot informatie?

{

Op welke diensten richt de prestatiemeting zich? beleids- en beheerscyclus

sturingsrelaties

d.i. beleidsvoorbereiding beleidsbeslissing beleidsopvolging beleidsevaluatie

financiële cyclus d.i. begroting boekhouding audit

d.i. relaties tussen overheid en burger Europa en internationale instanties parlement en regering administratie en minister agentschappen en departementen topmanagement en afdelingen

Analyse van de data Hoe wordt de prestatie-informatie naar buiten gebracht? Rapportage Dit proces leidt tot een aanbod van prestatie-informatie. Prestatie-informatie

Gebruik van Prestatie-informatie

Welke systemen zijn er om de kwaliteit van de prestatie-informatie te bewaken? Kwaliteits bewaking en audit

Figuur 2: een procesmatige benadering van prestatie-informatie: focus op de aanbodszijde.

18

2.2 Oorzaken en aanleidingen Uit de literatuur komen heel wat mogelijke oorzaken en aanleidingen naar voor. Bouckaert en Pollitt (1999) benadrukken in een internationaal vergelijkende studie dat de inhoud van veranderingsinitiatieven bepaald wordt door het politiek systeem, de socio-economische context en door kansgebeurtenissen zoals rampen en schandalen. König (1996) schuift financiële druk, een uitgebreide welvaartsstaat, economische structurele crises, en de internationalisering van de publieke zaak naar voor. Vaak wordt het tanend vertrouwen in de instellingen aangewezen als oorzaak van verandering. De assumptie hierbij is dat hervormingen in de overheid tot meer kwaliteit zullen leiden, hetgeen op zijn beurt weer de tevredenheid en het vertouwen opkrikt. Naast deze externe factoren, kunnen ook interne factoren een rol spelen. Zo kan een organisatie zich bijvoorbeeld hervormen omdat het topkader betere aansturingsmogelijkheden of toch tenminste een vollediger zicht op de organisatie wenst. De vraag stelt zich nu hoe deze verschillende factoren spelen in een Vlaamse context en met betrekking tot een concrete veranderingsinhoud, met name prestatiemeting. Tabel 3 geeft de schematisch de verschillende factoren weer Ontwikkelingsfactoren

bewijs in Vlaanderen

van meetinitiatieven Internationale

& ƒ

Europese factoren

Werkgelegenheid:

Vlaams

actieplan

Europese

werkgelegenheidsrichtsnoeren,

Europees Sociaal Fonds, Top van Luxemburg en Lissabon. ƒ

Onderwijs: OECD rapport ‘Education at a glance’; EU ‘Lissabon proces’

ƒ

Klimaatbeleid: ‘Kyoto normen’

ƒ

Milieubeleid: ‘OECD Environmental performance’; ‘World Economic Forum’; ‘Europees Milieu Agentschap’; ‘6de milieu actieprogramma EU’; ‘United Nations Environmental Program’

Politieke factoren

ƒ

Het professionaliseren van de beleidsplanning (beleidsnota’s en beleidsbrieven volgens de methodiek van de strategische planning) garandeert een steunniveau van politieke opvolging en is dusdanig een belangrijke kapstok voor indicatoren.

Belangengroepen

ƒ

Parlementaire vragen kunnen sneller en eenvoudiger beantwoord worden.

ƒ

Het project ‘Kleurrijk Vlaanderen’ wil de beleidsopties in meetbare termen stellen.

ƒ

Adviesraden werden in een aantal gevallen betrokken bij het definiëren van indicatoren maar waren niet de stuwende kracht voor het meten.

Bestuurlijke

ƒ

hervormingen

Beheersovereenkomsten met zelfstandige agentschappen worden anno 2002 als een belangrijke toepassingswijze vermeld.

Vorige initiatieven

ƒ

Kansgebeurtenissen

ƒ

Voornamelijk strategische planning en doelmatigheidsanalyse komen naar voor. De ‘witte woede’ werd als kansgebeurtenis vermeld als aanleiding om het management informatiesysteem van het departement WVC te ontwikkelen.

Besparingsfactoren

ƒ

Besparingen werden niet als ontwikkelingsfactor aangemerkt.

Legitimiteitscrisis

ƒ

Het lage vertrouwen van de burger wordt aangestipt mbt beleidsindicatoren.

Interne factoren

ƒ

Meetsystemen worden veelal ook op aangeven en ten behoeve van leidend ambtenaren ontwikkeld ter ondersteuning van het intern management.

Tabel 3: Ontwikkelingsfactoren van meetinitiatieven

19

De eerste factor is de internationalisering van het beleid. Europese en internationale factoren spelen een belangrijke rol in het uitbouwen van prestatiemeting. Een goed voorbeeld vinden we bij

werkgelegenheid.

De

werkgelegenheidsstrategie.

top De

van

lidstaten

Luxemburg maken

op

(1997) basis

initieerde van

de

de

Europese

Europese

pijlers

(inzetbaarheid, ondernemerschap, aanpassingsvermogen en gelijke kansen) nationale actieplannen

opmaken.

In

België

leveren

de

verschillende

gemeenschappen

hun

respectievelijke bijdrage aan de actieplannen (Administratie Werkgelegenheid 2001). Deze actieplannen dienen sterk onderbouwd te worden met vergelijkbare indicatoren. De meest gekende indicator uit deze set is heeft betrekking op het verhogen van de werkzaamheidsgraad tot 70%. Deze indicator krijgt een aanzienlijke resonantie in de media. Dit heeft vanzelfsprekend te maken met de politieke aandacht voor de beleidskeuze die deze indicator weergeeft. Ook andere indicatoren worden gepubliceerd (Europese Commissie 2001). Het ontwikkelen van prestatiemeting en indicatoren wordt verder ondersteund door de verantwoordings- en beheersvereisten van de Europese fondsen. De nationale invulling van het Europese werkgelegenheidsbeleid wordt gesubsidieerd vanuit het Europees Sociaal Fonds (ESF) (en voor een kleiner budget vanuit het communautaire EQUAL initiatief). In deze programma’s is verantwoording op basis van indicatoren een voorwaarde voor het verwerven van de fondsen met ondermeer de oprichting van een Vlaams Monitoring Comité dat zowel kwantitatieve als kwalitatieve evaluaties van het programma moet voeren (Europese Commissie 2000).

Het onderwijsbeleid is een tweede voorbeeld van hoe internationalisering een belangrijke factor wordt om indicatoren te ontwikkelen. Ook voor wat betreft het onderwijs werden er Europese doelstellingen en indicatoren naar voor geschoven. De top van Lissabon was ook hier een mijlpaal. Het gaat hierbij zowel om inputindicatoren (bv. % van het BNP dat aan onderwijs wordt besteed) als output en effectindicatoren (bv. participatie en scholingsgraad) (Europese Commissie 2002; Departement Onderwijs 2000. Ten tweede vergelijkt ook de OESO het Vlaamse onderwijs met andere landen. De rapportage vindt jaarlijks plaats in het rapport ‘education at a glance’ (OECD 2002). Bovendien gaan er van de OESO initiatieven uit om de monitoring instrumenten van de lidstaten op elkaar af te stemmen (OECD 2002).

Ten derde spelen ook in het energie- en milieubeleid internationale factoren en actoren een belangrijke rol. Hier gaat de druk niet enkel uit van Europa, maar in grote mate van internationale instanties. De Kyoto-norm is hier het meest illustere voorbeeld van een indicator die doorwerkt in de nationale en regionale administraties. Getuige hiervan is het ontwerp Klimaatbeleidsplan

(Ministerie

van

de

Vlaamse

Gemeenschap,

2002).

Verschillende

internationale organisaties vergelijken trouwens de milieuprestaties van verschillende landen. Deze rapporten bepalen mee de beeldvorming van het Vlaamse milieubeleid, zowel in Vlaanderen zelf als in de internationale arena. Enkele organisaties die vergelijkingen van

20

milieuprestaties publiceren zijn het World Economic Forum3 (http://www.weforum.org/), het Europees Milieuagentschap (http://www.eea.eu.int/), de Organisatie voor Economische Samenwerking en Ontwikkeling (OESO www.oecd.org) en het Milieuprogramma van de Verenigde Naties (www.unep.org). Ook internationale milieuverenigingen zoals WWF publiceren vergelijkende rapporten (WWF 2002).

Een tweede factor is de politiek. Politiek is zelden de initiator, maar is voor wat betreft beleidsindicatoren onontbeerlijk om een aangehouden draagvlak te realiseren. Een gebrek aan politiek engagement is vaak een hinderpaal om prestatiemeting aan te houden. Zeker voor wat betreft beleidsinformatie is het de politiek die de eerste afnemer zou moeten zijn. Als dat niet het geval is en gegevens worden niet gebruikt, zal er snel getwijfeld worden aan het nut van prestatiemeting en kan het engagement van de administratie om te meten snel afbrokkelen. Tussen de meetinspanningen, meestal gedragen door de administratie en het politiek niveau ligt vaak een kloof die het meetsysteem kan eroderen. Momenteel zien we in het Ministerie van de Vlaamse Gemeenschap en de VOI’s drie contactpunten. - De introductie van een systematische beleidsplanning volgens de methodiek van de strategische planning (met een vijfjarige beleidsnota en jaarlijkse beleidsbrieven), die afgestemd is op de legislatuur kan de verbinding tussen meten en beleid garanderen. - Ten tweede kunnen projecten zoals Kleurrijk Vlaanderen, met een sterke politieke betrokkenheid, het administratieve karakter van meetsystemen met een meer wervend politiek discours verzoenen tot wederzijds nut. - Ten derde kunnen parlementaire vragen de brugfunctie vervullen, met mogelijk een verhoging van het informatiegehalte en de functionaliteit van het politieke spel als gevolg.

We bespreken korter de andere factoren uit tabel 3. Belangengroepen zijn vaak betrokken bij prestatiemeting via de beleidsplanning. Beleidsplannen zoals het milieubeleidsplan en het klimaatplan worden aan adviesraden voorgelegd, zoals de Milieu en Natuurraad (MINA raad) en de Sociaal Economische Raad Vlaanderen (SERV). Ten tweede stellen belangengroepen vaak interesse in specifieke indicatoren. Hierbij kunnen we denken aan inflatie en loonkost als cruciale indicatoren in loononderhandelingen. Uit de interviews vonden we geen bewijs van belangengroepen als rechtstreekse oorzaak of aanleiding van meetinitiatieven. Bestuurlijke hervormingen kunnen een belangrijke oorzaak zijn voor het ontwikkelen van meetsystemen. In het licht van de huidige hervormingen worden vooral de beheersovereenkomsten vermeld als belangrijke toepassingswijze. Het historisch passief van de organisatie zal in grote mate de startpositie bepalen. Van de vorige initiatieven werden voornamelijk de strategische planning en de doelmatigheidsanalyse vermeld. Van de doelmatigheidsanalyse is voornamelijk het intellectueel kader bewaard gebleven. Kansgebeurtenissen zijn een volgende categorie. Een 3

Het Wereld Economisch Forum rangschikte België op een 127 plaats. De accuraatheid van de gegevens wordt echter

21

interessant voorbeeld van een kansgebeurtenis is de beslissing van het departement WVC om een management informatiesysteem op te zetten. Deze beslissing is er mede gekomen toen de administratie in de onderhandelingen met de zorgsector (‘de witte woede’) niet over de vereiste informatie bleek te beschikken. Besparingsfactoren werden niet dusdanig aangemerkt als oorzaak. Dit is een contextfactor die wel invloed uitoefent op hervormingsinitiatieven (zie bijvoorbeeld de privatiseringstendens in het U.K. in de jaren ’80), maar niet rechtstreeks op prestatiemeting. Legitimiteit van de overheid is een bezorgdheid wanneer het over beleidsindicatoren gaat. Vertrouwen van de burger in de overheid is trouwens een veelgevolgde indicator (VRIND). De achterliggende hypothese stelt dat een betere overheid het vertrouwen van de burger in de overheid zal vergroten.

Tenslotte zijn er ook interne managementoverwegingen die een organisatie ertoe aanzetten om te gaan meten. Management Informatie Systemen worden veelal op aangeven en voornamelijk ten behoeve van leidend ambtenaren ontwikkeld ter ondersteuning van het intern management. Een voorbeeld van een systeem dat in grote mate voor intern gebruik ontwikkeld werd, is het informatiesysteem IKAROS (Geïntegreerd Kind Activiteiten Regio OndersteuningsSysteem) van Kind en Gezin. Het rekenhof concludeert naar aanleiding van een audit van het strategisch plan ‘preventieve kinderzorg’ dat “de informatie binnen de instelling voor verschillende doeleinden wordt gebruikt. Als verantwoording over de bereikte doelmatigheid tegenover de externe omgeving wordt zij nog te weinig aangewend.” (Rekenhof, 2000)

Een belangrijk aandachtspunt is de relatie tussen interne en externe overwegingen om een meetsysteem uit te werken. Figuur 3 geeft de mate van interne en externe motivatie weer voor de organisaties die het Common Assessment Framework toepasten naar aanleiding van de kwaliteitsconferentie.

sterk betwist (Knack, 20 maart 2002). Een gebrekkige doorstroming van de gegevens zou de oorzaak zijn.

22

8,00

A

AA A

6,00

A

A

A

ext

A

er

A

4,00

A

A

A

A

A

A A

A A A

A AA A A

2,00

A

A

A

A A A

2,00

4,00

6,00

8,00

intern

Figuur 3: mate van interne en externe motivatie voor het toepassen van het CAF

(1 lage

motivatie; 10 hoge motivatie)

Het betreft hier een kwaliteitsmodel, en geen prestatiemeetsysteem pur sang. Het zou echter niet verbazen dat de motieven om een kwaliteitsmodel in te voeren, gelijk lopen met de motieven om een prestatiemeetsysteem op te zetten. De interne en externe motivatie werd bevraagd in respectievelijk 7 en 9 items die vervolgens werden geaggregeerd. Deze gegevens tonen aan dat geen van de organisaties een louter externe motivatie had. Wel is er een onderscheid tussen voornamelijk intern gemotiveerde organisaties enerzijds en intern en extern gemotiveerde organisaties anderzijds. Interne motivatie lijkt een noodzakelijke voorwaarde te zijn om tot de invoering over te gaan. Een louter externe motivatie is niet voldoende.

23

2.3 De doelstellingen en de implementatiestrategie DOELSTELLINGEN De doelstellingen van het meetsysteem4 worden bepaald door de verwachte gebruikswijze. Mogelijke doelstellingen zijn (OECD 1997): - het verhogen van het informatiegehalte van de financiële cyclus met het oog op een efficiënte aanwending van de middelen; - het voorbereiden, opvolgen en evalueren van het beleid met het oog op een effectievere beleidsvoering; strategische planning; en allocatie van mensen en middelen. - het ontwikkelen van nieuwe sturings- en verantwoordingsrelaties zowel binnen als tussen organisaties.

Als we de analogie van vraag en aanbod doortrekken, dan kunnen we stellen dat het de doelstelling van het meetsysteem moet zijn om zo goed mogelijk op een bepaalde vraag naar informatie in te spelen. De vraag bepaalt in dit geval het aanbod. Net zoals in een marktsituatie kan het echter ook omgekeerd gaan. Het aanbod creëert dan een vraag. De enorme reclamebudgetten van private firma’s zijn juist gericht op het creëren van een vraag vanuit het aanbod. Dit lijkt in een overheidscontext vaak niet wenselijk. Wat betreft prestatie-informatie is dit nochtans niet noodzakelijk een slechte gang van zaken. Het is vaak moeilijk om langs vraagzijde de mogelijkheden van prestatie-informatie te zien. Het komt er dan op aan het potentieel van het aanbod in te schatten. Het risico op een overaanbod is echter niet ondenkbeeldig. Tenslotte dient nog opgemerkt dat in heel wat gevallen de vragende en aanbiedende partij een en dezelfde organisatie is. Niettegenstaande lijkt het ook in dit geval aangeraden om voor de eigen organisatie een vraag naar prestatie-informatie te formuleren en vervolgens na te gaan hoe deze vraag kan worden ingevuld.

De planning van het meten zal dus moeten aangeven waarom er prestatie-informatie wordt verzameld en hoe. Het is dus een vooruitblikken op de verschillende stappen in het meetproces. Box 2 geeft de verschillende aandachtspunten weer. Voor elke stap zou aangegeven moeten worden welke middelen zullen worden ingezet. Hierbij gaat het niet enkel om financiële middelen, maar ook om personeel, ICT en eventuele externe partnerschappen. Na verloop van tijd kan het meetsysteem dan worden geëvalueerd en worden bijgestuurd.

4

met systeem bedoelen we de elementen van het meetproces en hun onderlinge samenhang: de indicatoren, de analysetechnieken, de normering, de rapporten, enz.

24

Box 2: aandachtspunten voor een prestatie-informatie plan Doelstelling: waarom is de informatie nodig en voor wie? Wat mag de informatie kosten? Wat zal het object van de meting zijn? Hoe zullen de indicatoren ontwikkeld worden? Hoe komen we aan de data die nodig zijn om de indicatoren in te vullen? Hoe gaan we de data analyseren? Hoe zullen we rapporteren? Hoe kunnen we kwaliteit van de prestatie-informatie garanderen?

Het vervolg van de tekst gaat dieper in op de verschillende stappen. Toch werpen we nu reeds een blik vooruit. Elke gebruikswijze stelt immers specifieke eisen aan het meetsysteem. Dit uit zich in de keuzes die in de verschillende stappen van de ontwikkeling van het meetsysteem moeten gemaakt worden. Tabel 4 geeft concrete voorbeelden van gebruikswijzen en de consequenties die dit zou kunnen hebben voor de planning van het prestatiemeetsysteem. Deze tabel is exemplarisch en er kunnen andere gemotiveerde opties genomen worden. gebruik in beheersovereenkomsten focus op output

gebruik allocatiebeslissingen

gebruik in beleidsplanning

focus op input, output en effect

focus op output en effect

indicatoren

belang van wederzijdse

belang van objectieve,

belang van het betrekken van

ontwikkeling

instemming & objectiviteit

onbeïnvloedbare indicatoren

burgers en politici

dataverzameling

veel data zullen door de agent

alle databronnen zijn mogelijk

heel wat data zullen extern

afbakening meetobject

worden geregistreerd

5

worden gezocht

vnl. op basis van de normzetting

technieken om de prestatie-

technieken om

ex ante

informatie te versleutelen naar

omgevingsfactoren te

kostendragers

verdisconteren

rapportage

tussen principaal en agent

eerder intern

in sterke mate extern

kwaliteit

kwaliteit betekent het beschikken

kwaliteit betekent het beschikken

kwaliteit is beschikbaarheid van

over exacte informatie

over naar de toekomst

informatie over een brede waaier

extrapoleerbare informatie

indicatoren over effecten en

analyse van de data

omgeving

Tabel 4: Mogelijke opties in een prestatie-informatie plan naargelang gebruik Een belangrijk aandachtspunt is steeds de kost van prestatie-informatie. Het invoeren van een meetsysteem en de nodige informatisering gaat vaak gepaard met aanzienlijke kosten. De kosten en baten van prestatiemeting moeten afgewogen worden. De kostenbaten analyse is echter vaak overdreven streng voor prestatie-informatie. Dit is niet verwonderlijk. De kosten van prestatie-informatie manifesteren zich direct, zijn vooral in de aanvangsfase hoog, en zijn goed meetbaar in monetaire termen (mensen en financiële middelen). De baten manifesteren zich op

5

In een beheersovereenkomst is de vragende partij de principaal (b.v. het departement) en de uitvoerende partij de agent (b.v. de IVA/EVA).

25

middellange termijn en zijn vaak minder telbaar. Anderzijds dient wel opgemerkt te worden dat de kosten van ICT niet enkel naar prestatiemeting versleuteld kunnen worden. Ook andere activiteiten hebben vaak baat bij informatisering. We geven enkele indicaties van de kost van een meetsysteem. De directe kosten voor hard en software, consultancy en training voor de invoering van het IKAROS systeem van Kind en Gezin bedroegen afgerond 3 225 000 € of zo’n 5000€ per verpleegkundige die de registraties op een eigen notebook ingeven (Rekenhof 2000). De opstartkosten voor het MIS-WVC worden op 625 000 € geschat, met daarbovenop de inzet van 12.45 VTE. De onderhoudskosten na twee opstartjaren worden op 75 000€ geschat (Ministerie van de Vlaamse Gemeenschap - WVC, 1998). In deze bedragen is in tegenstelling tot de schatting van Kind en Gezin de uitrusting van kantoorautomatisering en netwerk niet inbegrepen. De onderhoudskosten van het VDAB systeem vergen de inzet van 2ft/jaar exclusief de gegevensverzameling (VDAB 2002).

IMPLEMENTATIESTRATEGIE Een belangrijk aandachtspunt bij de invoering van prestatiemeting is de implementatiestrategie. Het invoeren van prestatiemeting in een organisatie vergt vaak een belangrijke cultuurwijziging. Vandaar dat men moet stilstaan bij de wijze van invoering. Er moet gestreefd worden naar een balans tussen incrementalisme en alomvattendheid, en tussen een top down en bottom up benadering.

1) Zal men het meten stap bij stap invoeren (incrementeel) of opteert men er voor om één grote operatie uit te voeren (alomvattend)? Een incrementele invoering kan enerzijds de ‘hervormingsstress’ verlengen in duur, of kan de aandacht voor de hervorming doen wegebben. Anderzijds kan de eventuele weerstand tegen het meten verminderen omdat er met meer overleg ingevoerd kan worden. Een alomvattende invoering op zijn beurt zal de druk op de organisatie concentreren in de tijd, maar heeft het risico dat het draagvlak van de organisatie niet sterk genoeg is om een verregaande hervorming te dragen. Allicht is het de beste strategie om klein te beginnen, maar mét een duidelijk alomvattend plan voor ogen. Om het met een boutade te zeggen: “begin klein, maar denk groot”.

2) Zal men het meten top down, of bottom up laten verlopen? Top down heeft als voordeel dat er een grotere homogeniteit in het systeem zit en dat de coördinatiekosten bijgevolg lager zijn. Een van onderuit opgebouwd meetsysteem heeft dan weer het voordeel dat het in grotere mate gedragen

wordt

door

de

medewerkers

van

de

organisatie.

De

planning

van de

implementatiestrategie moet de voor en nadelen van de top down en bottom up benadering meenemen en evalueren in het licht van het gewenste gebruik. Indien bijvoorbeeld de prestatieinformatie moet dienen om een beheersovereenkomst te sluiten, dan zal de uniformiteit van de prestatie-informatie over afdelingen van de uitvoerende organisatie heen zwaarder wegen dan de aanvaarding door de basis. Als de prestatie-informatie moet dienen om de processen op

26

operationeel niveau op te volgen en zo leereffecten te creëren, dan zal de aanvaarding door de basis cruciaal zijn. Box 3 beschrijft de invoering van het MIS van WVC.

Box 3: de invoering van het Management Informatiesysteem van het departement WVC

De implementatie van het MIS was goed gepland en gedocumenteerd (Ministerie van de Vlaamse Gemeenschap - Departement WVC 1998). Het vormt een goede illustratie van de problematiek die in dit hoofdstuk besproken werd. Vooreerst werd voorafgaand aan de invoering de behoefte van het management en het reeds aanwezige aanbod aan gegevens geïnventariseerd. Op basis van een kloofanalyse kon dan een informatieplan worden opgesteld. Hier werd duidelijk vooruit gekeken om aanbod en vraag op elkaar af te stemmen. Er wordt expliciet opgemerkt dat het niet om een louter vraaggestuurd proces ging. Het management kende de technologieën niet voldoende om zicht te krijgen op wat mogelijk was. Vandaar dat er ook vanuit het projectteam (aanbodszijde) een insteek werd gedaan. De implementatie getuigde van incrementalisme met een alomvattend plan. Het departement WVC schat de doorlooptijd van de invoering van een managementinformatiesysteem op 6 jaar. Men legt de nadruk op het realiseren van snelle zichtbare producten (met de vertrouwde informatica), om dan met minder tijdsdruk naar een maximale invulling van het MIS te evolueren (met nieuwe informatica toepassingen). De implementatie tenslotte was een top down aanpak, met een bijzondere aandacht voor het uitdragen van het systeem in de hele organisatie. Eerst was het de zaak om het topmanagement van de organisatie te overtuigen van de nood van een geïntegreerd informatiesysteem. Vervolgens werden er inspanningen gedaan om het lijnmanagement, en de organisatie in haar geheel te betrekken bij het informatiesysteem. Een top down aanpak verhoogt de consistentie van de invoering. De uiteindelijke exploitatie van het MIS zal wel in grote mate decentraal zijn. Men volgt een subsidiariteitsbeginsel, waarbij het streefcijfer is dat 85% van de exploitatie decentraal gebeurt, 10% door de informatiesteunpunten in de administraties en 5% door specialisten op een centraal niveau. Een aantal belangrijke bevindingen van het projectteam met betrekking tot de implementatie zijn: -

het ontwikkelen vergt veel tijd, en gaat niet even snel in alle afdelingen;

-

het overtuigen van het top management gaat verder dan een formele goedkeuring;

-

veel personeelswissels in het projectteam zijn nefast;

-

ook het doelpubliek, het management, moet gevormd worden opdat ze het systeem zouden gebruiken;

-

MIS is een informatieproject, wat meer is dan een informaticaproject;

-

vorming is een must;

-

men moet zuinig zijn met de introductie van nieuwe technologieën;

-

uitbesteding betekent niet steeds werklastvermindering;

-

een open informatiecultuur dient te worden ontwikkeld;

-

politieke interesse gaat vooral naar cliëntgegevens (burger/klant), hetgeen vaak extra registraties vergt.

27

2.4 Afbakening van het meetobject Na een prestatie-informatie plan opgesteld te hebben, zal het object van de meting verder afgebakend dienen te worden, en wel in functie van de gebruikswijze die in de planning vooropgesteld wordt. Hier stelt men zich de vraag waarover het meetsysteem eigenlijk moet gaan. De afbakening bepaalt de dekkingsgraad van het meetsysteem. In hoeverre dekken de meetpraktijken de werking van de organisatie en rol die de organisatie speelt in de maatschappij? Ook hier vertrekken we van het input - output model (zie figuur 1 p.6) dat een weergave is van de organisatie. Het geeft een logisch model van de organisatie en haar werking in de omgeving. Daarbij neemt het input output model causale verbanden aan die de interpretatie van de werking van de organisatie in de maatschappij vereenvoudigen. Een overheidsorganisatie opereert immers in een maatschappelijke omgeving waarop de overheidsorganisatie effect wil hebben.

Welk uitsnede van de organisatie en welke uitsnede van de nagestreefde beleidsdoelstellingen dienen door het meten in kaart gebracht te worden, met het oog op een specifieke gebruikswijze? Box 4 herneemt deze vraag op een meer systematische manier. Hierbij dient men te vermijden dat de niet gemeten uitsneden uit het gezichtsveld verdwijnen en dat er een soort kokerzicht ontstaat waarbij alleen nog wat gemeten wordt in het vizier wordt gehouden.

Box 4: afbakening van het meetobject Welke uitsnede van de organisatie zal gemeten worden? - welk deel van het organogram; alle diensten of partiële opdeling? - welke input; bv. budget, personeel, infrastructuur, …? - welke activiteiten; bv. beleidsinstrumenten? - welke output; welke ‘producten’ van de organisatie worden geïdentificeerd en gemeten? Welke uitsnede van de beleidsdoelstellingen zal gemeten worden? - welke impact; welke doelgroepen, welke geografische omschrijvingen? - welke effecten; enkel hoofdeffecten of ook neveneffecten? - welke omgevingsfactoren worden meegenomen op basis van welke assumpties?

De dekkingsgraad van de indicatoren is in de meeste bevraagde organisaties hoog. Dit betekent dat er voor de meeste van de beleidsdoelstellingen of activiteiten van de organisaties indicatoren zijn. Het gaat hierbij wel meestal om een inschatting van de dekkingsgraad. Cijfermatige gegevens zijn er zelden. Een meer concrete aanwijzing vinden we wel in het opvolgingsysteem van de strategische plannen van de ministers. 90% van de beleidsdomeinen, zoals die gedefinieerd zijn door de beleidsbrieven van de minister, worden opgevolgd aan de hand van indicatoren. In totaal gaat het om zo’n 600 indicatoren. De administraties en VOI’s leveren deze informatie aan, APS brengt ze samen en controleert ze.

28

2.5 Indicatorenontwikkeling Na de bepaling van het meetobject, kunnen de indicatoren worden ontwikkeld. Waar komen de indicatoren vandaan? Het ontwikkelen, of kiezen van de indicatoren wordt opgehangen aan bepaalde kapstokken. Een drietal mogelijke ontwikkelingstrajecten worden besproken.

- Vanuit de doelstellingen. Meestal zullen de indicatoren afgeleid worden uit de strategische doelstellingen en de operationele doelstellingen van de organisatie. Idealiter zijn de doelstellingen verbonden aan het algemeen regeringsbeleid. Zo staan in de beleidsnota’s van de meeste ministers strategische en operationele doelstellingen. De operationele doelstellingen zijn het aanknopingspunt voor de indicatoren. Ook binnen organisaties wordt er vaak vertrokken van de strategische doelstellingen of de missie om zo tot concrete indicatoren te komen. Vaak wordt deze aanpak gecombineerd met generieke modellen zoals BSC of EFQM (infra). Tabel 5 geeft voorbeelden van enkele strategische doelstellingen, operationele doelstellingen en de indicatoren die hiermee verbonden worden uit de beleidsdomeinen onderwijs, buitenlands beleid en personeel. Strategische doelstelling onderwijs dualisering bestrijden optimaliseren onderwijsaanbod investeren in onderwijs en vorming leerkrachten waarderen

Operationele doelstelling

Indicator

wegwerken van financiële drempels

studiekosten in het secundair onderwijs actieplan voor de waardering van het doorstroming doorheen het onderwijs TSO en BSO onderwijs afstemmen op de schoolgrootte verschillen tussen leerlingen aantrekkelijker maken van het leerkracht leerling ratio leerkrachtenberoep

buitenlands beleid Vlaanderen politiek meer stem geven een intensere en directere Vlaamse aantal, organisatie, aard en omvang in de EU en multilaterale organisaties deelname aan de EU en andere van bijeenkomsten met een Vlaamse multilaterale besluitvorming inbreng systematische beleidsafstemming standpuntbepaling

en

tijdige aantal intern en overlegbijeenkomsten

Een snellere omzetting van EU richtlijnen Vlaanderen versterkt zijn positie als werking via geografische en sectorale volwaardige actor/partner voor prioriteiten bilaterale relaties personeel de juiste mens op de juiste plaats een goede instroom, doorstroom en uitstroom permanente ontplooiing mensgericht en resultaatsgericht leiderschap evenwicht tussen organisatie en mens gender en doelgroepenbeleid Beter Bestuurlijk Beleid

Vlaamse

ontwikkeling van een scorebord met graad van implementatie landen en sectoren waarin Vlaanderen actief is en met welke middelen, personeel, overeenkomsten, enz.

- vrijwillige uitstroomratio - gemiddelde kostprijs per vacature kwaliteit van het dagelijks operationeel leidinggeven vertegenwoordiging personen met een handicap interne en externe communicatie over % tevreden over personeel en organisatie gebruiksmogelijkheden van intranet

Tabel 5: indicatoren, afgeleid uit de strategische en operationele doelstellingen

29

- Vanuit internationale organen. In een aantal gevallen worden de indicatoren in internationale organen ontwikkeld. Dit laat de organisatie niet veel ruimte voor een eigen invulling, maar levert anderzijds vaak wel interessante internationaal vergelijkbare informatie op. De indicatoren met betrekking tot het proces van Lissabon zijn hier een voorbeeld van. De Lissabon indicatoren maken dat Vlaanderen kan vergeleken worden met andere Europese regio’s. Tabel 6 geeft deze indicatoren weer. De Vlaamse overheidsinstanties moeten deze indicatoren opvolgen en hebben als dusdanig weinig impact op de concrete inhoud van de indicatoren. INDICATOREN VAN HET LISSABON PROCES ALGEMENE ECONOMISCHE INDICATOREN

ƒ

Gasprijs

per

gigajoule

voor

een

gemiddelde

ƒ

BBP per inwoner in euro

ƒ

Groeivoet BBP in %

ƒ

Arbeidsproductiviteit in %, per persoon

ƒ

Arbeidsproductiviteit in %, per gewerkt uur

huishouden met een jaarconsumptie van 83,7 GJ, in

ƒ

Groei tewerkstelling

euro

ƒ

Inflatiegraad in %

ƒ

Marktstructuur in netwerk industrieën

ƒ

Reële arbeidseenheidkost in %

ƒ

Marktaandeel van de grootste elektriciteitsproducent

ƒ

Saldo overheidsbegrotingen in %

ƒ

Marktaandeel vaste telecom (lokale telefonie)

ƒ

Overheidsschuld in %

ƒ

Marktaandeel vaste telecom (lange afstand)

WERKGELEGENHEID

ƒ

Marktaandeel vaste telecom (internationaal)

ƒ

Werkzaamheidgraad in %, totaal en per geslacht

ƒ

Marktaandeel vaste telecom (mobiele telefonie)

ƒ

Werkzaamheidgraad oudere werknemers in %

ƒ

Waarde

ƒ

Loonkloof M/V in %

ƒ

Belastingsvoet op lage lonen

ƒ

ƒ

Levenslang leren in %

ƒ

ƒ

Arbeidsongevallen

ƒ

Werkloosheidsgraad in %

industriële gebruiker met een jaarconsumptie van 41860 GJ, in euro ƒ

Gasprijs

per

gigajoule

voor

een

overheidsaanbestedingen

gemiddeld

die

openlijk

bekend gemaakt worden in % BBP Staatshulp t.b.v. sectorale hulp in % BBP Bijeengebracht kapitaal op de aandelenmarkt als % BBP ƒ

Bruto vaste kapitaalvorming als % BBP

INNOVATIE EN ONDERZOEK

SOCIALE COHESIE

ƒ

Overheidsuitgaven voor onderwijs in %

ƒ

Inkomensverdeling (S80/S20)

ƒ

O&O uitgaven in %

ƒ

Armoederisico in %

ƒ

Internettoegang voor gezinnen

ƒ

Aanhouden van armoede in %

ƒ

Internet toegang voor bedrijven

ƒ

Regionale cohesie

ƒ

Doctor in wetenschappen en technologie

ƒ

Vroege schoolverlaters die geen opleiding meer

ƒ

Aantal patentaanvragen per miljoen inwoners

ƒ

Aantal verleende patenten door het USPTO

ƒ

Risicodragende investeringen (early stage) in %BBP

ƒ

Risicodragende investeringen (uitbreiding en

ƒ

vervanging) in %BBP

MILIEU

ICT bestedingen als % BBP

ƒ

Emissiegassen in %

ƒ

Energie-intensiteit van de economie in kgoe/1000

ƒ

ECONOMISCHE HERVORMINGEN

volgen in % ƒ

Totale langdurige werklozen (+12 maanden) als % van beroepsbevolking Huishoudens zonder job

ƒ

Relatieve prijsniveaus en prijsconvergenties

EUR

ƒ

Relatieve prijsniveaus van het private eindverbruik ƒ

Transportvolume als % van BBP

incl. indirecte belastingen

ƒ

Volume personenvervoer als % BBP

ƒ

Prijzen in netwerk industrieën

ƒ

Transportvolume als % van BBP

ƒ

Telecom lokale gesprekken (10 minuten – weekdag),

ƒ

Volume vrachtvervoer als % BBP (ton-km)

ƒ

Telecom nationale gesprekken (10 min. – weekdag)

ƒ

Wegtransport als % totale goederenvervoer

30

ƒ

ƒ

Telecom gesprek met VS (10 min. – weekdag)

ƒ

Elektriciteitsprijs per 100 KWh voor een gemiddelde ƒ

Luchtvaart passagiers als % van totale

industriële gebruiker met een jaarconsumptie van

personenverkeer

ƒ

2000 MWh, in euro

ƒ

Elektriciteitsprijs per 100 KWh voor een gemiddeld

ƒ

Luchtkwaliteit in stedelijk milieu Afval opgehaald, gestort en verbrand in kg per persoon per jaar

huishouden met een jaarconsumptie van 3500 KWh, ƒ

in euro

Wagenverkeer als % totale privé-vervoer

ƒ

Aandeel hernieuwbare energie Aandeel elektriciteit met vernieuwbare energiebronnen als % totale verbruik

Tabel 6: indicatoren van het Lissabon proces

- Vanuit generieke modellen. Generieke modellen zoals de Balanced Scorecard (BSC) of het EFQM model suggereren vaak indicatoren, voornamelijk over de interne werking, die niet noodzakelijk rechtstreeks uit de strategische en operationele doelstellingen voortvloeien (maar daar anderzijds niet mee in strijd zijn). Deze modellen richten zich meer op het apparaat van de overheidsproductie dan op de output en effecten. BSC’s en EFQM vinden ook toepassingen in het Ministerie van de Vlaamse Gemeenschap. In het departement Leefmilieu en Infrastructuur zijn de waarschijnlijk meest uitgewerkte EFQM toepassingen te vinden. De Administratie Ondersteunende Diensten en Opdrachten (AOSO) heeft de volledige EFQM toepassing doorlopen. De invoering van het EFQM model in deze administratie werd geselecteerd als goede praktijk in het kader van de eerste kwaliteitsconferentie in België (Staes, Dochot en Thijs 2002). Andere departementen maken minder gebruik van het EFQM model. De verschillende generieke modellen schrijven voor dat de resultaten zoveel mogelijk in meetbare termen worden gesteld. Er zullen bijgevolg indicatoren ontwikkeld dienen te worden om deze meetbaarheid te realiseren. Welke deze indicatoren zijn, wordt in sterke mate bepaald door wat het model voorschrijft.

Ook binnen VOI’s worden vaak generieke modellen toegepast. Zo paste Kind en Gezin reeds het CAF toe naar aanleiding van de kwaliteitsconferentie. Daarnaast past de dienst Inspectie en Audit van de organisatie een Balanced Scorecard (BSC) toe. Binnen VDAB worden EFQM en BSC ingevuld. Hier ziet men BSC als een onderliggend systeem waarboven het EFQM model wordt geplaatst. Opvallend is dat beide organisaties benadrukken dat de keuze voor een bepaald model een pragmatische keuze is. De dienst inspectie en audit van Kind en Gezin stelt: “voor dit (BSC)model is gekozen vanuit pragmatisch oogpunt: enerzijds ging ze uit van de vaststelling

dat

deze

vier

perspectieven

de

nodige

elementen

in

een

(interne)

beheersovereenkomst konden dekken, anderzijds was ze ingegeven door de noodzaak tot een snelle operationalisering”. Ook VDAB stelt dat de naam ‘BSC’ niet belangrijk is, en relatief in de tijd.

31

Uitweiding: Het effect van kwaliteitsmodellen op de organisatie.

Deze uitspraken bevestigen de vaststelling dat niet de naam van het model belangrijk is, maar wel het feit dàt er een model wordt toegepast. Ook uit de hoger vermelde studie naar de toepassing van het CAF in het kader van de eerste kwaliteitsconferentie bleek dat organisaties die ervaring hadden met eender welk model, heel wat minder problemen hadden met de toepassing van het CAF (Van Dooren & Van de Walle 2002). De klassieke fouten in de toepassing van het CAF model, met name de verwarring van factoren en resultaten en de verkeerde interpretatie van de criteria, werden door de externe assessors minder aangetroffen in organisaties die reeds modellen toepasten. Dit leidt tot de conclusie dat de modellen zoals BSC, CAF, EFQM en andere in grote mate onderling uitwisselbaar zijn.

Verwarring van factoren en resultaten? Ervaring met modellen? Freq Kolom % nee Nee 30 (62.50 %) Ja 18 (37.50 %) Totaal 48

ja 13 (86.67 %) 2 (13.33 %) 15

Totaal 43 20 63

Tabel 7: Ervaring met modellen en verwarring van factoren en resultaten (X² p=0.079).

Verkeerde interpretatie van de criteria? Ervaring met modellen? Freq Kolom % Nee Geen aanwijzingen 21 (43.75 %) Wel aanwijzingen 27 (56.25 %) Totaal 48

Ja 12 (80.00 %) 3 (20.00 %) 15

Totaal 33 30 63

Tabel 8: Ervaring met modellen en interpretatie van criteria (X² p=0.014).

Bovendien bleek dat organisaties die reeds een model toepasten, ook betere ‘good practices’ indienden (figuur 4). De score die de assessors aan de goede praktijk gaven, was hoger in organisaties die een kwaliteitsmodel toepasten. Deze vaststelling kan minstens op drie manieren verklaard worden. Ten eerste zou het kunnen zijn dat kwaliteitsmodellen leiden rechtstreeks tot meer kwaliteit. Ten tweede kan het zijn dat er een intermediaire variabele is. Het zou immers kunnen zijn dat het juist de meest responsieve organisaties zijn die kwaliteitsmodellen toepassen, en daarom moet het niet verbazen dat in die organisaties de origineelste goede praktijken te vinden zijn. De verklarende variabele is dan niet het kwaliteitsmodel, maar de kenmerken van de organisatie zelf. Een derde verklaring zou men

32

kunnen vinden in de cognitieve theorie. De hypothese is in dit geval dat de externe assessors en de organisaties die reeds een model toepasten dezelfde interpretatiekaders gebruiken, en dat de assessors daarom de goede praktijken van de organisaties een hogere rating gaven. Met andere woorden, omdat beoordelaar en beoordeelden dezelfde taal spreken. Deze verklaringen zijn hypothesen en tot dusver niet empirisch getoetst.

Figuur 4: ervaring met modellen en de score van de ‘goede praktijk’ van de organisatie

Wat ook het ontwikkelingstraject is (vanuit de doelstellingen, vanuit internationale organen of vanuit generieke modellen), steeds zal de vraag gesteld moeten worden of de individuele indicator een goede indicator is. Hiertoe zijn er een aantal criteria voor indicatoren voorhanden. Deze lijsten moeten niet te strikt geïnterpreteerd worden. Weinig indicatoren zullen aan al de criteria voldoen. De bedoeling van de criteria van indicatoren is het ideaaltypische beeld te zijn waaraan de indicatoren zich zo goed mogelijk kunnen spiegelen. Cruciaal is wel de validiteit van de indicator. Een indicator is valide als men meet wat men denkt te meten. Er zijn verschillende types van validiteit (gebaseerd op Kumar 1999) (Box 5).

33

Box 5: enkele validiteittypen

Face validity:

hebben de indicatoren een logisch verband met de doelstellingen, en vragen

Content validity:

Dekken de indicatoren alle aspecten van de te meten doelstellingen of

Concurrent validity:

Hoe vergelijkbaar zijn de resultaten van de indicator met andere indicatoren die

die de organisatie zich stelt?

organisatie onderdelen af?

hetzelfde zouden moeten meten? Predictive validity:

Hoe goed kan een indicator voorspellen?, Hoe goed komen de geobserveerde data overeen met feiten die zich in een later stadium voltrekken?

Hatry (1999) onderscheidt de volgende criteria om indicatoren te selecteren. Deze lijst is in de eerste plaatst gericht op impact en effectindicatoren, maar kan toch ook interessante aanwijzingen leveren voor input en output indicatoren (Box 6).

Box 6: criteria voor indicatorenselectie

- Relevantie voor de missie en de doelstellingen van de organisatie of het programma. - Belang voor het effect dat gemeten wordt. Meet de indicator een belangrijk aspect van het nagestreefde effect? - Verstaanbaarheid door gebruikers van hetgeen gemeten en gerapporteerd wordt? - De impact van het programma of de organisatie op de indicator. Indien er geen of een zeer beperkte impact is, kan de meting overbodig zijn. - De haalbaarheid van een redelijk valide dataverzameling. - De kost van de datacollectie. Kosten en baten moeten afgewogen worden. - De uniciteit van een indicator. Indien er andere indicatoren hetzelfde meten, neemt de toegevoegde waarde van een extra indicator af. - Manipuleerbaarheid. Indicatoren die in hoge mate manipuleerbaar zijn zullen in bepaalde gevallen vermeden moeten worden. - Alomvattendheid. Ook neveneffecten en mogelijke negatieve effecten moeten in kaart gebracht kunnen worden.

Alle informatie over een specifieke indicator kan samengebracht worden op een metafiche over de indicator. Een metafiche bevat meestal punctuele informatie over de indicator zoals de verantwoordelijke, de definitie, de databron, datum van de eerste meting, de periodiciteit van de meting, wijzigingen in de indicator, enz. De belangrijkste toegevoegde waarde schuilt echter in de mogelijkheid om de context van de indicator te beschrijven. Dit stelt gebruikers van de indicator in staat de indicator met de nodige omzichtigheid interpreteren.

34

2.6 Dataverzameling Nadat de indicatoren gedefinieerd zijn, kan de dataverzameling aanvangen. Vanzelfsprekend is dit een cruciale stap. Zonder data blijven de indicatoren immers een lege doos. Verschillende databronnen kunnen aangesneden worden. Hiertoe zijn verschillende methoden van datacollectie voorhanden (United Way of America 1996). Vervolgens moeten vaak nog de instrumenten voor de datacollectie ontwikkeld worden. Kortom, databronnen worden aangeboord volgens een bepaalde methode van datacollectie met bepaalde datacollectie instrumenten.

DATABRONNEN: WAAR GAAT MEN DE DATA HALEN?

Intern of extern

In een steeds meer verweven overheidscontext kan de informatie van andere organisaties relevant zijn voor de eigen organisatie. Vooral wanneer het gaat om omgevingsindicatoren zijn deze externe bronnen een interessante piste. De andere organisaties kunnen studie- en statistiekdiensten zijn. Voorbeelden zijn het Nationaal Instituut voor de Statistiek, Eurostat, universiteiten, wetenschappelijke instellingen van de Vlaamse Gemeenschap, enz. Anderzijds kunnen

de

externe

organisaties

ook

lijndiensten

zijn

die

vanuit

hun

records

en

registratiesystemen zinvolle data voor andere organisaties genereren. Een populair integrerend concept voor data van verschillende organisaties is het Geografisch Informatie Systeem (GIS) waarbij verschillende indicatoren worden toegewezen aan geografische omschrijvingen.

Prestatiemeetsystemen in de Vlaamse overheid snijden zowel interne als externe bronnen aan. Er zijn significante verschillen in het gewicht van de verschillende bronnen. Er zijn een aantal factoren die het al dan niet extern beschikbaar zijn van data verklaren (die ook onderling kunnen correleren). Ten eerste heeft dit te maken met de mate van institutionalisering van de data in een beleidsveld. Dit is de mate waarin het werken met data en statistieken in het beleidsveld ingeburgerd is; in welke mate wordt er tussen actoren in een beleidsveld in kwantitatieve termen over het beleid gesproken? Meestal is het bestaan van statistiek- en studiediensten die data verzamelen een teken van een sterke institutionalisering. Ten tweede spelen kenmerken van het beleidsveld een rol. De mate van verzelfstandiging van organisaties in een beleidsveld zal in belangrijke mate de versnippering van de data bepalen. Een verwante problematiek is de proliferatie van bevoegdheden in een bepaald beleidsveld over verschillende overheidslagen. Indien federale, Vlaamse en zelfs lokale overheden bevoegd zijn voor bepaalde aspecten van een beleidsveld, dan zal de informatie verder versnipperen. Een goede informatie-uitwisseling is dan van groot belang.

35

intern extern

(1) ••••

(2) ••••

(3) ••••

(4) ••••

(5) ••

(6) •

(7) ••

(8) •••

••

•••

••

•

(9) ••••

(10) ••••

(1) Afdeling Gesubsidieerde Infrastructuur (2) Administratie Algemene Administratieve Diensten - Leefmilieu en Infrastructuur (3) Administratie Werkgelegenheid (4) Administratie Buitenlands Beleid (5) Departement Onderwijs (6) Afdeling Natuurlijke Rijkdommen (7) AMINAL (8) Departement WVC (9) VDAB (10) Kind en Gezin

Tabel 9: de databronnen; intern of extern? Tabel 9 geeft aan voor een aantal Vlaamse meetinitiatieven of de data intern, dan wel extern worden gegenereerd. Vier bolletjes betekent een volledige of hoofdzakelijke interne, rep. externe meting. Drie geeft aan dat de meting vooral intern of extern is; twee geeft een verdeeld beeld en één betekent dat de meting in geringe mate intern of extern is.

- De Afdeling Gesubsidieerde Infrastructuur en de Administratie Algemene Administratieve Diensten (LIN) zijn ondersteunende functies, eerder gericht op beheersmatige aspecten van de overheid dan op beleidsmatige. Omwille van de aard van hun dienstverlening (met name beheersondersteuning) snijden ze bijna uitsluitend interne bronnen aan. De andere meetsystemen meten voornamelijk beleid. - De administratie werkgelegenheid steunt in zeer sterke mate op andere organisaties voor de datacollectie. Deze organisaties zijn het NIS, Eurostat, het steunpunt Werkgelegenheid Arbeid en Vorming, de VDAB en haar Waalse en Brusselse tegenhangers FOREM en BGDA en de RVA. Werkgelegenheid is een typevoorbeeld van een sector waar het werken met indicatoren in sterke mate is geïnstitutionaliseerd. Het maatschappelijk en economisch gewicht van werkloosheidsstatistieken is hier niet vreemd aan. Bovendien is het een versnipperde sector, waar de beleidsverantwoordelijkheid verspreid zit over verschillende overheidslagen en er een belangrijke traditie van verzelfstandiging is. Ook de afdeling natuurlijke rijkdommen gaat voornamelijk extern op zoek naar gegevens. Belangrijke aanspreekpunten zijn het VITO (Vlaamse Instelling voor Technologisch Onderzoek) en de Organisatie voor Duurzame Energie. Er wordt in eigen beheer een tweejaarlijkse survey georganiseerd naar het energiebewust gedrag van de Vlaming. - Buitenlands beleid is bijna een tegenhanger van werkgelegenheid. Deze sector kent geen meettraditie. Er is een zeer lage institutionalisering van kwantitatieve data en statistieken. Bijgevolg moeten de data intern verzameld worden. Bovendien is buitenlands beleid ook niet in dezelfde mate van verzelfstandigd. Net zoals werkgelegenheid zijn de bevoegdheden echter wel verspreid over verschillende overheidslagen. Ook Welzijn, Volksgezondheid en Cultuur snijdt voornamelijk interne databronnen aan. Er is niet echt een lange meettraditie, er is wel een

36

sterke verzelfstandiging. Bovendien verschillen deze parameters al naargelang het over welzijn, volksgezondheid of cultuur gaat. - Onderwijs en Milieu laten een gemengd beeld zien. Voor de onderwijsindicatoren van de indicatorenpublicatie worden zowel interne als externe data gebruikt. Er komen heel wat omgevingsindicatoren en vergelijkingen met het buitenland aan te pas, en voor die data wordt er teruggegrepen naar het NIS en de OESO. Voorts worden een aantal data verzameld aan wetenschappelijke instellingen (hogescholen en universiteiten). Interne data komen ondermeer uit de leerlingendatabank. Voor milieu zijn er ook verschillende actoren actief in de dataverzameling. Een belangrijke bron zijn de MIRA studies (Milieu rapportages) in beheer van de VMM (Vlaamse Milieu Maatschappij). - De VOI’s Kind en Gezin en VDAB buigen voornamelijk terug op interne bronnen. Kind en Gezin gebruikt zowel voor het IKAROS systeem voor de opvolging van de preventieve kinderzorg als voor het ISI-BIS inspectie beleidsinformatiesysteem vaste elektronische verslagstructuren. Deze worden door de verpleegkundigen en inspectieambtenaren van Kind en Gezin ingevuld na hun bezoeken. De datagaring gebeurt dus intern. Ook VDAB zoekt de prestatie-informatie intern. De verschillende bronnen zijn weergegeven in figuur 5. Voor een extensief meetsysteem in een grote organisatie zoals VDAB blijken er een brede waaier aan informatiebronnen aangesproken te kunnen worden.

Klantentevredenheid

Kwaliteit Exit polls

Mobiele werkwinkels Begeleidingspremies IBO

Interne metingen

VLAS - IBO Zomeracties WIS + Campusacties Flexibele

projecten

Werkzoekenden

Basisdiens Trajectwe

Arbeidsmarktinformatiesysteem Vacatures (AMI)

Fietsen bromfietsen Clipper PC's Basisvaardigheden ICT

Bedrijven

Gratis rijbewijs + netabonnement De Lijn

Opleidingen

CIR

Betalende opleidingen

People Soft Financiële resultaten

Arbeidsmarktrijpheidstes Jobmanager WATIS Dossiermanager

Data en bronnen

Opleidingsmager Vacatures

Easy Pay

HRM en personeelsadministratie

On line WIS Rest: opleiding, inschrijving, info,... Jobspot Spoor21 Betaalfunctie

KISS

"Stand alone" - databanken

Extern

Telefoon

Call center

CV's BIM -rapportering CIM Inbound Outbound

Mail Fax

Figuur 5: bronnen van de prestatie-informatie van VDAB (VDAB, 2002)

37

METHODEN VAN DATACOLLECTIE: HOE GAAT MEN DE DATA VERZAMELEN?

Als de data niet extern (met een bepaalde kwaliteit voor een redelijke prijs) kunnen worden binnengehaald, zal de organisatie dus zelf op zoek moeten gaan. Een aantal mogelijke collectiemethoden worden hieronder besproken.

Box 7: enkele collectiemethoden studie van eigen records en registraties Vooraleer nieuwe bronnen van informatie aan te snijden, is het vaak interessant na te gaan welke informatie er reeds in de organisatie verzameld wordt (bijvoorbeeld de opvolging van de erkenning en subsidiëringscriteria in subsidiedossiers, het aantal uitkeringen dat toegekend werd, etc.). Operationele informatie zal misschien niet dadelijk (h)erkend worden als relevant voor management of beleid. Nochtans schuilt er vaak in de operationele informatie heel wat relevante beleidsinformatie en kunnen er zinvolle indicatoren op gebaseerd worden. Een voorbeeld uit de bijzondere jeugdzorg; aantal jongeren in de bijzondere jeugdzorg (eerste plaatsing, begeleiding), aantal herplaatsingen, enz.

gerichte bevraging van bepaalde respondenten Doelgroepen, personeel, bevoorrechte getuigen, en andere sleutelfiguren kunnen vaak heel wat informatie leveren over de werking van de organisatie en de effecten in de maatschappij. Wel moet een inschatting gemaakt worden van een mogelijke bias op de gegevens omwille van sociale wenselijkheid en te verdedigen belangen. Klantenbevragingen zijn een typisch voorbeeld.

de bevolking in het algemeen Soms is er informatie nodig die naar het algemeen effect in de bevolking van een geografische omschrijving (bijvoorbeeld een buurt, gemeente, regio, natie, Europees) peilt. Representativiteit is in dit opzicht een belangrijke waarde. Het instrument voor deze bevraging zal veelal een survey zijn. De APS-survey bijvoorbeeld wordt regelmatig vermeld als databron.

getrainde waarnemers Indien het te meten object fysisch waargenomen kan worden en geschaald kan worden, kunnen getrainde waarnemers een bron van informatie zijn. Een voorbeeld van een registratie is het beoordelen van de netheid van de straten aan de hand van een scorekaard. Getrainde waarnemers kunnen extern worden aangenomen, maar het kunnen ook de eigen personeelsleden zijn. Het scoren van de omzetting van Europese regelgeving in Vlaanderen is een goed voorbeeld van getrainde waarnemers -in dit geval het eigen personeel.

mechanische metingen Officiële schalen, meetpunten en dergelijke kunnen tenslotte een belangrijke bron van informatie zijn. In het milieubeleid (bijvoorbeeld de beoordeling van de waterkwaliteit) worden vaak technische apparaten gebruikt om te meten. Een typisch voorbeeld is het MAP meetnet (Mest Actie Plan) dat de nitraatconcentratie in de waterlopen meet.

38

Verschillende methoden van collectie hebben verschillende voor- en nadelen. Tabel 10 vat de voor- en nadelen van enkele methoden samen (United Way of America 1996; p. 88). Eigen records zijn het goedkoopst, het snelst, en kennen een hoge respons. De studie van de eigen records zou het eerst moeten gebeuren. Het residu kan dan aangevuld worden met andere collectiemethoden zoals registraties van klanten en dienstverlening en vragenlijsten, al dan niet in eigen beheer. collectiemethode studie van records

een vragenlijst in

interviews

eigen beheer

kosten

laag (hoger indien

gemiddeld

rating door getrainde waarnemers

gemiddeld tot hoog

het om nieuwe

afhankelijk van kost van de waarnemers

registraties gaat) behoefte aan training

gering (hoger indien

geen tot geringe

gemiddelde tot hoge

gemiddeld tot hoog,

voor dataverzamelaars

het om nieuwe

behoefte

behoefte, afhankelijk

afhankelijk van de

van complexiteit en

complexiteit en de

ervaring van

subtiliteit van de

interviewers

waarnemingen

gemiddeld tot lang

lang

kort tot gemiddeld

hoog

registraties gaat)

de tijdsduur tot

korte tijdsduur

voltooiing de respons

hoog

hangt af van

gewoonlijk een

verdeling van de

gemiddelde tot hoge

vragenlijst

respons

Tabel 10: een vergelijking methoden van datacollectie

INSTRUMENTEN OM DATA TE VERZAMELEN

Het derde punt met betrekking tot de datacollectie is het opstellen van robuuste instrumenten om het veld mee in te trekken. Hierbij gaat het om duidelijke vragenlijsten, handleidingen voor interviews, waarnemingsschalen, enzovoort. Deze instrumenten moeten op voorhand getest worden, anders loopt men het risico dat de data ongeldig blijken te zijn. Proefdraaien vergt tijd, maar vermijdt latere verassingen. Het ontwikkelen van meetinstrumenten sluit aan bij de studie van methoden van sociaal-wetenschappelijk onderzoek.

39

2.7 Analyse van de data De analyse van de data heeft tot doel data om te zetten in informatie. Tot op zekere hoogte heeft men na de meting al beschikking over informatie. Als de werkzaamheidsgraad niet stijgt, wil dat al iets zeggen. Heel wat actoren zullen met een dergelijke vaststelling al tevreden zijn. Een goede analyse kan echter het informatiegehalte van een indicatorenset gevoelig verhogen. Waarom stijgt de werkzaamheid niet? Wat was de norm die gesteld werd? Heeft het te maken met beleidsmaatregelen of met economische conjunctuurcycli? En, hoe verhouden we ons ten opzicht van het buitenland? Zulke vragen kunnen maar beantwoord worden als de data geïnterpreteerd worden. Drie sporen van analyse kunnen onderscheiden worden. Steeds gaat het erom de data om te zetten in informatie waarmee men kan werken, die meer betekenis heeft voor de gebruiker. Op de geanalyseerde data moeten acties gebaseerd kunnen worden. Merk op dat de drie analysesporen die hieronder aan bod komen elkaar niet uitsluiten maar eerder complementair kunnen werken. De drie sporen zullen in zekere mate steeds gevolgd worden. Wel zal al naargelang de gebruikswijze van de prestatie-informatie de nadruk verschillen. Zo zal bij gebruik in de beleidscyclus vooral een causaliteitsanalyse van betekenis zijn en zal bij gebruik in de beheersovereenkomsten eerder de normstelling belangrijk zijn. Figuur 6 geeft de verschillende posities aan.

6

ja

2

Normering

7

1 geen verdere analyse 2 enkel normering 3 normering en uitsplitsing/samenvoeging 4 enkel uitsplitsing/samenvoeging 5 enkel causaliteit 6 causaliteit en normering 7 causaliteit, normering en uitsplitsing/samenvoeging 8 causaliteit en uitsplitsing/samenvoeging

3

ja 5

8

causaliteitsonderzoek

4

1

nee

ja uitsplitsing en/of samenvoeging

Figuur 6: verschillende posities in de analyse van prestatiegegevens

40

UITSPLITSEN EN SAMENVOEGEN VAN DATA.

Een eerste analysespoor is het samenvoegen en uitsplitsen van informatie over een object. Voor sommige doeleinden zal er samengevoegde informatie nodig zijn (bijvoorbeeld een rapportage aan het parlement), soms zal de informatie in hoge mate opgesplitst moeten zijn (bijvoorbeeld voor kostenanalytische berekeningen). Zowel in de literatuur als in de praktijk spreekt men van consolideren en aggregeren, en de omgekeerde beweging deconsolideren en desaggregeren. De termen worden vaak door elkaar gebruikt. Hier benadrukken we enkele wezenlijke aspecten van consolideren en aggregeren, gebaseerd op het onderscheid tussen het meetobject en de indicator die iets zegt over dat meetobject6.

Het uitsplitsen en samenvoegen kan zich ten eerste op de meetobjecten richten, zoals bijvoorbeeld regio’s. Zo kan men bijvoorbeeld de indicator aantal verkeersslachtoffers in elke provincie samenvoegen tot op Vlaams niveau. Anderzijds kan men dezelfde provinciale gegevens uitsplitsen tot op gemeentelijk niveau. Ten tweede kan het uitsplitsen en samenvoegen zich richten op de verschillende indicatoren (die iets zeggen over het meetobject), om zo een completer beeld te krijgen van het meetobject. Een voorbeeld is het samenbrengen van gegevens in een leefbaarheidsindex van een buurt. Het meetobject blijft hetzelfde (de buurt), maar de informatie over de buurt wordt samengevoegd. Andersom kan algemene informatie over de leefbaarheid in een buurt na verder onderzoek verder opgesplitst worden in verschillende componenten van leefbaarheid met als indicatoren aantal misdaden per capita,

aantal

voertuigen

dat

passeert,

gemiddelde

bewoonbare

oppervlakte

van

gezinswoningen, en dergelijke meer. Tabel 11 geeft het voorbeeld van de waterkwaliteit. Merk op dat data zowel tegelijk in de twee richtingen kunnen samengevoegd of uitgesplitst worden.

richting indicator richting meetobject meetobject 1: Netebekken

Σ indicatoren

indicator

indicator

indicator

stikstofgehalte

visbestand

zuurstofgehalte

stikstofgehalte in het

visbestand in het

zuurstofgehalte in

waterkwaliteit in het

Netebekken

Netebekken

Netebekken

Netebekken

stikstofgehalte in het

visbestand in het

zuurstofgehalte in

waterkwaliteit in het

meetobject X meetobject Xn: IJzerbekken Σ meetobjecten

IJzerbekken

IJzerbekken

IJzerbekken

IJzerbekken

stikstofgehalte in de

visbestand in de

zuurstofgehalte in de

waterkwaliteit van

Vlaamse waterlopen

Vlaamse waterlopen

Vlaamse waterlopen

de Vlaamse waterlopen

Tabel 11: een exemplarische invulling voor waterkwaliteit van het uitsplitsen en samenvoegen van indicatoren.

6

Dit onderscheid kan duidelijk gemaakt worden aan de hand van een voorbeeld. De mens kan als een meetobject worden gezien en de lichaamstemperatuur als indicator. Het meetobject geeft aan WAAROVER men iets zegt, de indicator geeft aan WAT men zegt.

41

Het uitsplitsen van gegevens is vaak cruciaal om de data om te zetten in bruikbare gegevens. De uitsplitsing volgens geografische omschrijving wordt zeer vaak toegepast. Heel het GIS systeem is hierop gebaseerd. Er kunnen echter ook andere uitsplitsingscategorieën gehanteerd worden. Een andere populaire opdeling is de opdeling volgens kenmerken van doelgroepen: mannen en vrouwen, leeftijdscategorieën, afkomst, inkomen. Informatie kan ook opgesplitst worden naar organisatieonderdelen, bijvoorbeeld om na te gaan in welke afdeling een efficiëntiewinst zich nu eigenlijk precies manifesteert. Deze toepassing vinden we vaak terug in de interne managementsystemen zoals die bijvoorbeeld zijn opgezet bij Kind en Gezin en VDAB. In het geval van VDAB worden de gegevens uitgesplitst naar de verschillende lokale klantencentra. Er wordt steeds sterk de nadruk gelegd dat de informatie gebruikt dient te worden als verbeteringsstimulans en niet als een sanctie. Indicatoren die steeds groen licht krijgen moeten evengoed bestudeerd worden dan indicatoren met een rode markering. Het is cruciaal na te gaan welke categorieën zinvol zijn en of er eventueel op voorhand in de datacollectie extra registraties moeten worden gedaan om achteraf de uitsplitsing te maken.

Het is belangrijk de methodologie aan te geven voor wat betreft de samenvoeging en uitsplitsing van gegevens. Belangengroepen, politici, auditeurs en andere specialisten kunnen zich zo een beeld vormen van hoe de samenstelling is gebeurd. Indien de methodologie niet voorhanden is, wordt het samenvoegen van indicatoren gauw verdacht. Men kan immers negatieve gegevens mooier voorstellen door ze te verdunnen in een samengevoegde maat. Anderzijds kan men positieve (of negatieve) resultaten zoeken door een bepaalde uitsplitsingscategorie te definiëren. Het kan zijn dat de verschillende indicatoren en/of meetobjecten gewogen moeten worden om tot een zinvolle samenstelling te komen. Zo zal allicht het aantal inbraken een groter gewicht krijgen in een leefbaarheidsindex van een buurt dan het aantal groenperkjes. Hoewel een gewogen samengestelde indicator vaak een hogere validiteit kent, is het ook een mogelijke bron van manipulatie. Men kan onderwegen wat niet goed uitkomt en overwegen wat goed uitkomt. Achter de weging gaan vaak enigszins arbitraire beslissingen schuil. Door de weging van de samenstellende delen te expliciteren, expliciteert men ook de (vaak ideologisch gebaseerde) wegingsbeslissing. Al naargelang de ideologie zullen verschillende politieke invalshoeken bijvoorbeeld andere aspecten van leefbaarheid benadrukken. Dit vernauwt de ruimte voor (de perceptie van) manipulatie. Men expliciteert gewoon de gewichtigheid van een keuze voor aan bepaald aspect.

42

CAUSALITEITSONDERZOEK

Een tweede analysespoor is het causaliteitsonderzoek. Men gaat hierbij op zoek naar verklarende variabelen voor een bepaalde uitkomst van een indicator. Dit analysespoor sluit aan bij het uitsplitsen van data, in de zin dat meestal achter de uitsplitsingcategorieën (bijvoorbeeld geslacht, afkomst) hypothesen schuilgaan met betrekking tot verklarende variabelen. Toch kan het causaliteitsonderzoek een stuk verder gaan. Zo kan men verschillende indicatoren in een causaal model plaatsen en zo dit model statistisch testen. Er kan ook gebruik gemaakt worden van kwalitatieve, beschrijvende gegevens om op zoek te gaan naar oorzaken.

Vaak zal er dus bijkomend onderzoek moeten verricht worden indien men dieper inzicht in een problematiek wil hebben. Indicatoren zijn als een instrumentenbord. De verschillende knipperlichten geven aan dat er iets niet klopt. Wàt er juist aan de hand is, zal vaak pas na diepgaandere studie naar boven komen. Indicatoren en diepgaand onderzoek zijn dus complementen. De indicatoren geven immers aan waar er verder in de diepte gezocht moet worden. Voornamelijk statistische technieken (beschrijvende statistieken, regressie analyse, e.d.) zullen bij een verdergaande analyse nuttig zijn.

NORMERING

Een derde analysespoor is de normering van de indicatoren. Wanneer is een bepaalde uitkomst op een indicator goed, wanneer slecht en in welke mate is het goed of slecht? Deze vragen worden opgelost door de uitkomst van een indicator te vergelijken met een norm. Maar waar komen die normen vandaan? Er zijn verschillende mogelijke bronnen van normen. Ten eerste zijn er vergelijkingen doorheen de tijd. De norm is in dit geval meestal om beter of minstens even goed te doen als vroeger. Ten tweede kan er een vergelijking zijn met andere organisaties; binnen de sector, buiten de sector, of uit het buitenland. Ook kunnen binnen grote organisaties verschillende organisatieafdelingen worden vergeleken. De norm kan dan het gemiddelde zijn, het top kwartiel of de best presterende organisatie. Ten derde zijn er wetenschappelijke standaarden. De dioxinenorm is een norm voor de indicator “dioxinegehalte” die op een wetenschappelijke manier is vastgelegd. Ten vierde is er de vergelijking met een politieke norm. Soms worden normen omwille van hun wervende of ideologische karakter door politici naar voor geschoven. De normen van het klimaatverdrag van Kyoto lijken een dergelijke norm te zijn. Een ander voorbeeld is de norm ‘100% bereik voor huisbezoeken in de preventieve kinderzorg’. 100% is een absoluut aantal dat allicht nooit bereikt zal worden. Om ideologische redenen moet dit echter het streefcijfer zijn. Men kan niet op zijn lauweren rusten bij een bereik van bijvoorbeeld 90%. Tabel 12 geeft bij elk type een voorbeeld uit de Vlaamse praktijk en evalueert kort de voor en nadelen van de soorten normen.

43

Bron

Beoordeling

Voorbeeld

tijdsegmenten

- geschikt om unieke beleidsinitiatieven te beoordelen

- aantal jongeren in bijzondere jeugdbijstand is niet toegenomen

- geschikt indien er geen vergelijkingbare organisaties zijn

- aantal gedwongen plaatsingen / totaal aantal plaatsingen naar 40% (op basis

- omgevingsvariabelen kunnen verstorend werken

van een tijdsreeks)

- geschikt voor vertrouwelijke informatie andere organisaties in de sector

- geschikt om beleidsresultaten te vergelijken

- de stressindex van het personeel van de federale ambtenaren bedraagt 18.81;

- omgevingsvariabelen spelen minder indien organisatie in quasi dezelfde

die van departement LIN 19,14 en die van het departement onderwijs 21,85; de

omgeving opereert.

ambtenaren van stad Antwerpen hebben een stressindex van 18,48 wat overeenkomt met het Belgisch gemiddelde - het ziekteverzuim bij de Post is 9.4%, bij het Ministerie van de Vlaamse Gemeenschap 4.74%

andere organisaties buiten de sector

- geschikt om beheersresultaten te vergelijken

- het ziekteverzuim in de privé sector is 4.48%. In het Ministerie van de

- sectoroverschrijding kan nieuwe impulsen en ideeën opleveren

Vlaamse Gemeenschap is dit 4.74%

- moeilijkere vergelijkbaarheid buitenlandse organisaties

- geschikt voor monopolisten die geen interne vergelijkingspunten hebben

- vergelijking van het Vlaamse onderwijs met OESO landen waarbij de

(en organisaties uit andere regio’s)

- mogelijke leereffecten zijn groot

internationale vergelijking de norm bepaalt

- vergelijking moet nationale verschillen in acht nemen

- Uit de beleidsnota buitenlands beleid; “De minister voor ontwikkelingssamenwerking engageert zich dat de inspanningen op het terrein van sensibilisatie minstens 10% van zijn budget moeten beslaan. Dit is conform de internationale normen zoals die door de OESO worden naar voor geschoven”.

wetenschappelijke standaarden

politieke en ideologische norm

- goed gefundeerd

- nitraatrichtlijn: 50mg nitraat per liter

- technisch, risico op technocratie

- vaccinatiegraad nodig om een infectieziekte uit te roeien

- sterk gedragen, verhoogt acceptatie van het gehele meetsysteem

- het verhogen van de werkzaamheidsgraad van 61,4% naar 66.5% tegen 2004

- wervende normen, symboolnormen

- “De Vlaamse en federale regering hebben al laten horen dat ze het aantal

- vaak geïnspireerd door bovenstaande bronnen (bv. internat. vgl.)

verkeersslachtoffers tegen 2005 met een derde willen verminderen.”

- niet altijd even realistisch, (maar niet noodzakelijk onrealistisch)

www.radio1.be - “De Vlaamse overheid stelt zich tot doelstelling een aandeel van 3% groene stroom in het totale energieaanbod tegen eind 2004 en een aandeel van 5% in het globaal elektriciteitsverbruik tegen het jaar 2010.” beleidsnota energie

Tabel 12: bronnen voor normstelling van indicatoren

44

Een tweede aandachtspunt met betrekking tot normen zijn de (positieve en negatieve) sancties die met de norm gepaard gaan. Des te hoger de sancties, des te hoger de druk op het meetsysteem. Dit kan enerzijds tot motivatie en engagement in het meten leiden, anderzijds zal ook het risico op perverse effecten van het meten (zoals het opdrijven van prestaties ten koste van kwaliteit). Sancties kunnen financieel zijn, maar kunnen ook te maken hebben met prestige van de organisatie.

Om vergelijkingen te maken, zowel doorheen de tijd als tussen organisatie(afdelingen), bestaan er specifieke technieken. Data Envelopment Analysis (DEA) is zo een specifieke techniek die het organisaties mogelijk maakt zich te vergelijken met inachtname van verschillende vergelijkingspunten (bijvoorbeeld verschillen in middelen en intake). Vanzelfsprekend kunnen ook statistische technieken nuttig zijn om bijvoorbeeld de significantie van verschillen te beoordelen. De toepassing van DEA en andere productiviteitstechnieken blijkt niet verspreid te zijn in het Ministerie van de Vlaamse Gemeenschap. De statistische technieken blijven meestal beperkt tot het berekenen van gemiddelden en enkele andere eenvoudige beschrijvende statistieken. Het voordeel van deze eenvoudige technieken is de directe interpreteerbaarheid en gebruiksgemak van de data. Het nadeel is het verlies aan robuustheid van de interpretatie. Een scatterplot van de geobserveerde meetobjecten bijvoorbeeld kan de interpretatie van een indicator sterk verrijken. Verdere analyses kunnen nog meer inzicht verschaffen. Allicht kan deze competentie slechts worden opgebouwd in een beperkt aantal kenniscentra in het Ministerie van de Vlaamse Gemeenschap en de VOI’s.

2.8 Rapporteren van de data De voorlaatste stap in het meetproces is de rapportage van de informatie. Om informatie klaar te stomen voor gebruikers zal er meestal een bewerking van de informatie nodig zijn. Al naargelang de gebruiker zal de rapportage verschillen. Zo zal de rapportage aan het topkader van een organisatie vanzelfsprekend sterk verschillen van de rapportage aan de media of aan belangengroepen. De verschillende wijzen van rapportage kunnen dezelfde prestatie-informatie bruikbaar maken voor verschillende doelgroepen. De afstemming van vraag en aanbod betekent hier dat de juiste rapportage voor de juiste doelgroep wordt gehanteerd. We overlopen kort enkele vragen die men zich met betrekking tot de rapportage kan stellen.

Wat zijn de doelgroepen van de prestatie-informatie? Dit is de eerste vraag die men zich moet stellen. Zoals gezegd, zal de rapportage immers al naargelang de doelgroep verschillen. De belangrijkste mogelijke doelgroepen worden in box 8 weergegeven. Merk op dat de eerste categorie ‘de bevolking in het algemeen’ in theorie zeer vaak de doelgroep zal zijn. Hier wordt de bevolking echter maar als doelgroep aangemerkt, indien het de bedoeling is dat een significant deel van de bevolking rechtstreeks kennis neemt van de informatie. Dit kan

45

verwezenlijkt worden via de massamedia (bijvoorbeeld via advertentieruimte). Vaak zal de bevolking niet rechtsreeks de doelgroep zijn, maar zal men om de bevolking te bereiken via de media (kranten, radio en televisie) passeren. In dat geval zijn de media de doelgroep.

Box 8: doelgroepen van prestatie-informatie de bevolking in het algemeen: de Vlaamse burgers de media: kranten, radio en televisie belangengroepen: vakbonden, werkgeversorganisaties, milieuorganisaties, etc. adviesorganen: SERV, MINA raad, etc. internationale organen overlegorganen en andere overheden de bevoegde minister de ministerraad het parlement de raad van bestuur: in het geval van een verzelfstandiging met rechtspersoon het topkader

Eens de doelgroepen zijn afgebakend, kan men zich een aantal vragen stellen naar de vorm en inhoud van de rapportage. Men gaat dan steeds na hoe de rapportage georganiseerd kan worden zodat de doelgroep zo goed mogelijk wordt bereikt.

Wat is het geschikte formaat van de rapportage? Er zijn verschillende mogelijke manieren om de prestatie-informatie te rapporteren. Box 9 geeft de belangrijkste mogelijkheden weer. Al naargelang de doelgroep zal er voor een bepaald formaat gekozen worden. Zo zal jaarplanning en jaarverslaggeving een goed instrument zijn om te rapporteren naar stakeholders zoals belangengroepen, parlement, regering. Ook publicaties zoals de Vlaamse Regionale Indicatoren (VRIND) en de Vlaamse Onderwijsindicatoren vinden allicht vooral hun weg naar sterk betrokken actoren. Financiële documenten kunnen een goed rapporteringsinstrument zijn ten aanzien van het politieke niveau. Mondelinge rapportage en boordtabellen zijn dan weer uitermate geschikt voor een rapportage aan het topkader. Via nieuwsbulletins en advertentieruimte kunnen de media en het algemene publiek bereikt worden.

Box 9: rapporteringsformaten jaarplan, jaarverslag financiële documenten gepubliceerde documenten; in hard copy of op website interpreteerbare gegevens op een website; mondelinge getuigenissen nieuwsbulletins advertentieruimte in media boordtabellen

46

Welke informatie stellen we beschikbaar op internet? Het internet wordt meer en meer een belangrijk medium. Mensen die informatie wensen over de organisatie zullen zich steeds vaker tot de website richten. De website is trouwens een relatief goedkope verspreidingswijze van prestatie-informatie in vergelijking met gedrukte documenten (hoewel ze niet gratis is; ontwerp en update van prestatie-informatie op een website vergt zekere bijkomende investeringen in de website). De vraag stelt zich welk profiel mensen op zoek gaat naar informatie over de prestaties van de organisatie via de website. In functie van dat profiel kan besloten worden of enkel beheersinformatie, enkel beleidsinformatie of beiden op het internet worden geplaatst?

Op de website van APS bijvoorbeeld zijn uitgebreide reeksen statistieken beschikbaar. Het gaat om ruwe (te interpreteren) statistieken die voor een aantal indicatoren kunnen uitgesplitst worden tot op gemeentelijk niveau en binnengebracht in een rekenblad. Daarnaast zijn er links naar andere instanties die specifieke datasets beheren. Het is een uitgebreide bron van gegevens voor beleid en studie van beleid. Het gaat bijna uitsluitend om omgevings- en effectindicatoren. Outputinformatie van overheden komt er minder naar voor. Naast de data zelf zijn ook de metadata beschikbaar. Meestal blijft de rapportage via internet beperkt tot de on-line publicatie van het jaarverslag en enkele specifieke rapporten.

2.9 Kwaliteitsbewaking en audit De kwaliteitsbewaking en audit van de prestatie-informatie is een essentieel aspect. Men kan alleen maar verwachten dat prestatie-informatie gebruikt wordt wanneer een zekere kwaliteitsgarantie gegarandeerd kan worden. Omgekeerd kan het niet gebruiken van informatie te maken hebben met een gebrekkige kwaliteit van de informatie. De externe audit van informatie is niet ontwikkeld in het Ministerie van de Vlaamse Gemeenschap. Externe audit van meetsystemen houdt in dat de interne kwaliteitsbewaking van gegevens wordt gecontroleerd door een extern orgaan. Hiertoe dienen er kwaliteitsmaatstaven en ideaaltypische beschrijvingen van systemen van kwaliteitsbewaking ontwikkeld te worden. De interne audit van de kwaliteit van informatie is wel ontwikkeld en is veelal de verantwoordelijkheid van de metende actoren zelf (in casu de departementen en administraties). In wat volgt gaan we dieper in op het kwaliteitsbegrip. Kwaliteit is een breed begrip. Het is geen louter technische zaak. Er kunnen drie kwaliteitsaspecten onderscheiden worden (Bouckaert 1993).

- Ten eerste is er de technische validiteit en betrouwbaarheid. Betrouwbaarheid geeft aan dat herhaalde metingen van hetzelfde object dezelfde resultaten opleveren. Bij de validiteitstoets gaat men na of men wel meet wat men wenst te meten. Interne validiteit geeft aan dat de indicatoren goede benaderingen zijn van de te meten concepten. De externe validiteit geeft aan dat de uitkomst van de indicatoren representatief is voor een brede populatie. Indien de

47

prestatie-informatie niet technisch betrouwbaar en valide is, zal er steeds discussie ontstaan wanneer de informatie gebruikt wordt.

- De tweede as richt zich op de functionaliteit van het meetsysteem. Hiermee wordt bedoeld dat de indicatoren moeten bijdragen tot de objectieven van de organisatie of van de vragende partij. Indien dit niet het geval is, ligt het voor de hand dat de informatie waarschijnlijk niet gebruikt zal worden en eventueel zelfs de streefdoelen van de organisatie kan uithollen (bijvoorbeeld door een verschuiving van de focus naar de gemeten activiteiten.

- Een derde kwaliteitsaspect is de legitimiteit van het meetsysteem. Idealiter wordt het meetsysteem in de gehele organisatie gedragen. Het eigenaarschap zal het grootst zijn indien er een bottom up benadering gevolgd werd bij het ontwerp en de implementatie van het meetsysteem. Indien het eigenaarschap groot is, zal manipulatie van de prestatie-informatie om strategische redenen minder voorkomen.

Functionaliteit

optimum

Technische validiteit en betrouwbaarheid

Legitimiteit

Figuur 7: kwaliteitsdimensies van meetsystemen

Figuur 7 geeft de drie assen weer en positioneert drie fictieve meetsystemen op het assenstelsel. Het optimum is tevens aangegeven: een gedragen meetsysteem, met betrouwbare en valide gegevens, dat de organisatiedoelstellingen ondersteunt.

Kwaliteitsbewaking wordt hier voorgesteld als de laatste stap in een proces. Dit is misleidend. Kwaliteit is een aandachtspunt doorheen het meetproces waarbij de ketting maar zo sterk kan

48

zijn als de zwakste schakel. Ook indien er een audit op het meetproces zou plaatsvinden, dan zal die audit teruggrijpen naar de verschillende stappen van het meetproces. Tabel 13 geeft enkele vragen weer die men zich zou kunnen stellen bij de beoordeling van de kwaliteit van een meetsysteem. Voor elke stap in het meetproces kan de functionaliteit, de betrouwbaarheid en de validiteit, en de legitimiteit worden geanalyseerd. Wel zal het zwaartepunt van de beoordeling verschillen al naargelang de stap in het meetproces. Zo zullen bijvoorbeeld bij de afbakening van het meetobject voornamelijk vragen naar de functionaliteit gesteld worden, terwijl bij de dataverzameling betrouwbaarheids- en validiteitscriteria opgeld zullen doen. Stap in het

Functionaliteit

Betrouwbaarheid en validiteit

Legitimiteit

Geeft men aan op welke vraag

Wordt er een afweging gemaakt

Worden de ‘metende‘ actoren

naar informatie de meting

tussen kosten en baten van een

betrokken bij de planning?

inspeelt?

bepaald niveau van validiteit en

meetproces informatieplan

betrouwbaarheid? afbakening

wordt het meetobject afgebakend

meetobject

op basis van de vraag naar informatie?

indicatoren

Meten de indicatoren wel wat ze

Worden medewerkers betrokken

ontwikkeling

moeten meten?

bij de ontwikkeling van indicatoren over het eigen werk?

dataverzameling

Wat is de omvang van de (eventuele) steekproef?

analyse van de data

Maken de analyses de data meer

Wordt de betrouwbaarheid en de

Wordt de toegevoegde waarde

inzichtelijk en bruikbaar om aan

validiteit gecontroleerd (b.v. door

van de analyses duidelijk

de vraag naar informatie te

statistisch onderzoek)?

gemaakt en gecommuniceerd?

voldoen? rapportage

Is de rapportage aangepast aan

Wordt er teruggekoppeld naar de

de specifieke gebruikswijze

betrokkenen in het

(vraag) van de informatie?

meetsysteem?

Tabel 13: belangrijke kwaliteitsvragen over de stappen in het meetproces

De kwaliteitsbewaking is voornamelijk een verantwoordelijkheid van de administraties die het meetsysteem beheren. Ook voor het opvolgingsysteem dat beheerd wordt door APS ligt het zwaartepunt van de kwaliteitsbewaking bij de administraties. Een uitgebouwd systeem voor kwaliteitsbewaking vinden we terug in het managementinformatiesysteem van WVC. De MIS bril om te komen tot kwalitatieve data wordt besproken in box 10 (Ministerie van de Vlaamse Gemeenschap, Departement Welzijn Volksgezondheid en Cultuur, 1998).

49

Box 10: kwaliteitsbewaking in het MIS - WVC Het management informatie systeem van het departement WVC besteedt veel aandacht aan datakwaliteit. De volgende kwaliteitsaspecten worden onder de loep genomen bij de beoordeling van brongegevens;

- Volledigheid op sectorniveau: hoe volledig kan een sector in beeld gebracht worden? Een onvolledig beeld kan bijvoorbeeld veroorzaakt worden doordat bevoegdheden versnipperd zijn over verschillende overheden (bijvoorbeeld gezondheidszorg) en/of omdat ook private actoren initiatieven nemen sector en dus een deel van de publieke dienstverlening op zich nemen (bijvoorbeeld cultuur).

- Volledigheid op bestandniveau: stemt het aantal records overeen met het verwachte aantal records? Als men 308 observaties verwacht (d.i. het aantal gemeenten), dan mag het aantal records hier niet te sterk van afwijken.

- Volledigheid op recordniveau: zijn de verschillende velden voor een bepaalde record ingevuld? Missende waarden moeten bestudeerd worden.

- Volledigheid in de tijd: zijn er historische reeksen voorhanden? Historische reeksen zijn van cruciaal belang om ontwikkelingstrends te detecteren. Zoals gezegd zijn vergelijkingen doorheen de tijd een belangrijk element van de analyse.

- Gesloten en open velden: kunnen open velden op een zinvolle manier gesloten worden? Dit betekent dat er rekening moet gehouden worden met alle mogelijke antwoordcategorieën en met eventuele multi-dimensionaliteit in antwoorden.

- Codeerschema’s: worden dezelfde codeerschema’s gebruikt door verschillende registrerende actoren en zijn de verschillende categorieën samenstelbaar? Leeftijdscategorieën zijn samenstelbaar als de exacte leeftijd wordt geregistreerd. Indien er één registratie slechts registreert of iemand ouder is dan 14 en een andere of iemand ouder is dan 18, kan men niet meer hercoderen naar een gemeenschappelijke standaard.

- Interpretatieruimte: de betekenis van waarden in een veld moeten eenduidig te interpreteren zijn.

- Consistentie: data binnen eenzelfde bestand mogen elkaar niet tegenspreken (bijvoorbeeld het item geslacht en het item aantal bevallingen).

- Eenvoud: operationele en registratiesystemen moeten eenvoudig bruikbaar zijn.

De kwaliteitsbewaking van het IKAROS systeem werd in 2000 beschreven door het Rekenhof (Rekenhof 2000). Box 11 geeft hun evaluatie weer. Interessant zijn de verschillende technieken en controles om de betrouwbaarheid van de informatie te garanderen. In een context waar 600 personen gegevens invoeren, is het risico dat een herhaalde gegevensverzameling niet dezelfde resultaten oplevert aanzienlijk. De situatie waarin een groot aantal personeelsleden administratieve registraties doet, zal allicht in heel wat overheidsdiensten voorkomen en bijgevolg zal de beschreven praktijk overdraagbaar zijn.

50

Box 11: betrouwbaarheid van gegevens in het IKAROS systeem van K&G (Rekenhof 2000)

De instelling wenst een redelijke zekerheid te verkrijgen over de betrouwbaarheid door de toepassing van de volgende technieken en controles:

Gericht op een correcte en uniforme toepassing: a. het gebruik van handleidingen: IKAROS Help Systeem, afsprakenbundel, Help desk en programma op de notebook; b. procedures: zitten verweven in de handleidingen; er is geen geheel van geschreven procedures van registratie tot rapportering opgemaakt (zie ook vorige punten); c. opleidingen: uitvoerige opleiding van ongeveer 4 weken bij de introductie van het systeem, aangevuld met terugkomdagen voorzien in het vormingsplan, alsook provinciale IKAROS- vergaderingen.

Interne controles op het proces: a. regelmatige queries op foutmeldingen op provinciaal vlak: de queries hebben onder meer betrekking op de volgorde van de kinderen en dubbele registraties van namen of adressen; aan de foutmeldingen moeten de verpleegkundigen zelf gevolg geven met feedback naar provincie en eventueel centraal bestuur; de verantwoordelijkheid van de betrouwbaarheid van de gegevens ligt decentraal bij de provinciale afdelingen; b. benchmarking als controle-instrument: vergelijkingen in de tijd en tussen regio’s; anomalieën worden gemeld; c. controle van geaggregeerde gegevens: bij de redactie van het jaarverslag vinden nog extra controles plaats.

Interne controle door de bedrijfscultuur: De teamwerking binnen de regio’s zorgt voor een efficiënte sociale controle (inzage in de agenda van de teamleden, vervangingen bij bepaalde prestaties,…); het kinddossier wordt door verscheidene teamleden ingekeken en gebruikt.

De instelling maakt momenteel geen gebruik van volgende instrumenten: 7

interne audit, conform de standaarden van het IIA , externe evaluaties van de betrouwbaarheid van het systeem (IKAROS is nog maar recent volledig operationeel).

7

IIA: The Institute of Internal Auditors : www.theiia.org

51

3. Gebruik van prestatiemeting Hoofdstuk twee beschreef het productieproces van prestatie-informatie. Dit is het aanbod. Het zou echter niet zo mogen zijn dat prestatie-informatie wordt gegenereerd zonder dat er een gebruik voor voorzien wordt. Theoretisch gezien is symbolisch gebruik natuurlijk ook een gebruikswijze,

maar

o.i.

met

onvoldoende

overtuigingskracht

om

een

uitgebreide

prestatiemeting te motiveren. Dit gezegd zijnde is het ook belangrijk dat er niet te snel geconcludeerd wordt dat prestatie-informatie niet gebruikt wordt. Aangezien er verschillende gebruikers en verschillende gebruikswijzen mogelijk zijn, kan het zijn dat de prestatie-informatie gebruikt wordt buiten de vooropgestelde gebruikswijze. Het komt er dan op aan de niet geplande gebruikswijze te evalueren op wenselijkheid en nut en eventueel het meetsysteem aan te passen. Tabel 14 geeft de verschillende gebruikswijzen van het IKAROS systeem van Kind en Gezin aan (Rekenhof 2000). De gegevens worden gebruikt voor de allocatie van personeel,

voor

het

organisatieafdelingen. omgesprongen

bepalen Met

omwille

van

het

van

doelbereiking

gebruik

de

druk

voor die

en

voor

benchmarking

personeelsevaluatie dergelijke

evaluaties

wordt leggen

tussen

omzichtig op

het

prestatiemeetsysteem en de kwaliteit van de data. Dit hoofdstuk gaat dieper in op de verschillende gebruikswijzen van prestatie-informatie.

Mogelijk gebruik

Informatie aanwending door Kind en Gezin

1. Middelenallocatie- beslissingen

Door middel van een rekenmodel wordt de relatie vooropgezette prestaties-werklast-benodigde FTE gelegd. IKAROS wordt derhalve aangewend bij de personeelsallocatie.

2. Personeels- en managementsevaluaties

Niet gebruikt voor evaluaties. Wel gebruikt als incentive; in de kwartaalrapporten aan het Comité van Afdelingshoofden krijgen de beste regio’s per provincie en verbeteringen in doelbereik per regio eervolle vermeldingen.

3. Doelbereiking bepalen

Belangrijke taak van IKAROS. Onder meer door middel van kwartaalrapporten wordt doelbereik nagegaan.

4. Processen bijschaven of organisatiestructuur

Nog niet

aanpassen 5. Benchmarking

Hoofdzakelijk tussen de regio’s binnen de provincies (zie ook incentive) en tussen de provincies.

6. Doelstellingen bijstellen

Nog niet

7. Meetsysteem perfectioneren

Niet systematisch. Er kunnen wel suggesties worden gedaan tot verbetering of aanpassing van de in te vullen velden.

Tabel 14: gebruikswijzen van het IKAROS systeem

53

Aanbodszijde

Vraagzijde

Wat maakt dat prestatiemeting wordt geïnitieerd? Oorzaak en aanleiding Wat zijn de doelstellingen en implementatiewijze van prestatiemeting? Doelstelling en implementatie

Afbakening meetobject Wat wordt er concreet gemeten? De indicatoren. Indicatoren ontwikkeling Waar haalt men de data om de indicatoren waar te maken? Data verzameling Met welke analyses komt men van data tot informatie?

{

Op welke diensten richt de prestatiemeting zich? beleids- en beheerscyclus

sturingsrelaties

d.i. beleidsvoorbereiding beleidsbeslissing beleidsopvolging beleidsevaluatie

financiële cyclus d.i. begroting boekhouding audit

d.i. relaties tussen overheid en burger Europa en internationale instanties parlement en regering administratie en minister agentschappen en departementen topmanagement en afdelingen

Analyse van de data Hoe wordt de prestatie-informatie naar buiten gebracht? Rapportage Dit proces leidt tot een aanbod van prestatie-informatie. Prestatie-informatie

Gebruik van Prestatie-informatie

Welke systemen zijn er om de kwaliteit van de prestatie-informatie te bewaken? Kwaliteits bewaking en audit

Figuur 7: een procesmatige benadering van prestatie-informatie: focus op de vraagzijde.

54

Hierboven wordt figuur 1 herhaald, met dit verschil dat in dit hoofdstuk de klemtoon op de vraagzijde komt te liggen. We onderscheiden drie grote categorieën van gebruik. Ten eerste is er het gebruik in de beleids- en beheerscyclus. Zo zal bijvoorbeeld voor strategische planning heel wat informatie voorhanden moeten zijn. Ten tweede is er het gebruik in de financiële cyclus. Prestatiegegevens kunnen gebruikt worden om het informatiegehalte van de begroting en de financiële verantwoording te verrijken. Een derde gebruikswijze manifesteert zich in de verschillende verantwoordings- en sturingsrelaties tussen actoren. Het kan hierbij gaan om relaties tussen organisaties zoals een departement en een verzelfstandigd agentschap, maar ook om relaties tussen administratie en politiek, tussen organisaties en burgers en/of gebruikers, of om relaties binnen organisaties.

3.1 Gebruik in de beleids- en beheerscyclus In de analyse van het gebruik van prestatiegegevens in de beleids- en beheerscyclus ligt de nadruk op het gebruik van prestatiegegevens bij strategische planning. Ten eerste wordt er een overzicht gegeven van de conceptuele modellen van strategische planning en de internationale tendensen terzake. Vervolgens wordt een beeld gegeven van het gebruik van strategische planning en beleidsopvolging in Vlaanderen. Ten derde worden de voorstellen inzake beleidsplanning en -opvolging uit het Voorontwerp Comptabiliteitsdecreet en het Voorontwerp Kaderdecreet Bestuurlijk Beleid besproken. Ten slotte is er aandacht voor een buitenlands voorbeeld van het gebruik van prestatiegegevens in de beleidscyclus, namelijk het Ierse Strategic Management Initiative.

3.1.1 Gebruik van prestatiegegevens in de beleidscyclus: modellen en internationale tendensen van strategische planning Het concept strategische planning is hoofdzakelijk afkomstig uit de private sector. Sinds de jaren ’70 is er echter ook bij de overheid een toenemende interesse voor het gebruik van strategische planning in de beleids- en beheerscyclus. Hierbij is het wel belangrijk dat de private modellen van strategische planning aangepast worden aan de typische eigenschappen van de overheid zoals de afwezigheid van het marktprincipe, de concurrentie van doelstellingen en het afleggen van externe verantwoording.

55

Mintzberg onderscheidt enerzijds prescriptieve modellen van strategische planning en anderzijds descriptieve modellen van strategische planning.

“Strategy formation is judgmental designing, intuitive visioning, and emergent learning; it is about transformation as well as perpetuation; it must involve individual cognition and social interaction, cooperative as well as conflictive; it has to conclude analyzing before programming after as well as negotiating during; and all this must be in response to what may be a demanding environment. Try to omit any of this, and watch what happens” (Mintzberg & Lampel, 1999, pp.26)

Prescriptive

Descriptive

School

Process

Design

Conceptual

Planning

Formal

Positioning

Analytical

Cognitive

Mental

Entrepreneurial

Visionary

Learning

Emergent

Political

Power

Cultural

Ideological

Environmental

Passive

Configurational

Episodic

Tabel 15: modellen van strategische planning (Mintzberg & Lampel 1999) Haselhoff onderscheidt drie ratio’s op basis waarvan de modellen van strategische planning ingedeeld kunnen worden: macht, informatie en stakeholders. In het synoptisch model wordt strategische planning beschouwd als een rationeel proces waarin op basis van betrouwbare en geldige informatie de strategie van de organisatie uitgestippeld wordt. Volgens het politieke model is de strategie van de organisatie het resultaat van een onderhandelingsproces tussen verschillende belanghebbenden. Het constructiemodel beschouwt strategische planning als ‘management of meaning’. (Haselhoff 1977: pp.20-21) (ter Braak & van ’t Spijker 1993: pp.5-6)

Variable Function

Procedure

Format

School Synoptic approach

Political approach

Interpretative approach

• • •

Efficiency

Rational thought process

•

Informative

effectiveness

•

Planning unit

•

Well structured

Increase of power

•

Negotiating process

•

Compromise

•

Top down

•

Indefinite

•

Construction of reality

•

Metaphorical

•

Bottom-up

•

Persuasive

Management of meaning

Tabel 16: ratio’s van strategische plannen

56

and •

In realiteit kunnen de verschillende modellen van strategische planning samen voorkomen. Bryson stelde dat de politieke benadering en de rationele benadering complementair zijn.

“Most of the new management innovations have tried to improve governmental decision making and operations by imposing a formal rationality on systems that are not rational, at least in the conventional meaning of the word. Public and non-profit organizations are politically rational. Thus any technique that is likely to work well in such organizations must accept and build on the nature of political rationality.” (Bryson 1995: pp.10) De hypothese van multifunctionaliteit van strategische planning wordt bevestigd door internationaal vergelijkend onderzoek naar de toepassing van planningsmethoden. Waar in de eerste fase van de hervormingen van het overheidsmanagement de verhoging van de efficiëntie en het outputdenken het debat domineert, lijkt er vervolgens een nieuwe fase aan te breken waarin het belang van de effectiviteit van het beleid aan aandacht wint. Dit was bij voorbeeld het geval in het Verenigd Koninkrijk waar de aandacht voor strategische beleidsontwikkeling toenam met de invoering van het Public Service Agreement Framework (1998) en Better Policymaking (1999). Andere voorbeelden zijn Strengthening the Policy Capacity of the Government of Canada (1995), Improving the Quality of Policy Advice (1998) in Nieuw-Zeeland en het Strategic Management Initiative (1994) in Ierland (zie paragraaf 3.1.4.).

3.1.2 Verkenning van het gebruik van prestatiegegevens in de beleids- en beheerscyclus in Vlaanderen Er zijn in Vlaanderen, zowel centraal als decentraal, reeds verschillende initiatieven ondernomen om het gebruik van prestatiegegevens in de beleidscyclus te bevorderen. In wat volgt worden twee initiatieven nader besproken, namelijk de strategische planning en het beleidsopvolgingssysteem.

HET GEBRUIK VAN STRATEGISCHE PLANNING BIJ DE BELEIDSVOORBEREIDING

Doelstellingen en functies van strategische planning Bij het begin van elke legislatuur moet de regering binnen de zes maanden na de eedaflegging haar beleidsnota’s indienen bij het Vlaams Parlement. Zeven van de negen ministers stelden de beleidsnota’s op volgens de methode van strategische planning. Strategische planning is een managementinstrument ontwikkeld in het kader van Beter Bestuurlijk Beleid met als doelstelling de ondersteuning van de regering bij beleidsbepaling, beleidsevaluatie en de creatie van een sturend referentiekader voor de IVA’s en EVA’s.

“Strategische planning is dus een instrument dat de Vlaamse Regering ondersteunt bij het opstellen en doeltreffend uitvoeren van een beleid dat gericht is op het doorvoeren van

57

noodzakelijke veranderingen in de externe omgeving” (Administratie Planning en Statistiek 1999). De strategische planning kadert in een breder strategisch managementsysteem, waarin omgevingsanalyses,

actieplannen

en

meerjarenprestatiebegroting

een

plaats

hebben.

“Omgevingsanalyses en prestatiebegroting zijn complementaire en noodzakelijke elementen van het strategisch managementsysteem” (Administratie Planning en Statistiek 1999).

Naast de verantwoordingsfunctie ten opzichte van het Vlaams Parlement (zie 3.3.1.), heeft het strategisch management dus een functie te vervullen bij de bepaling en uitvoering van het beleid. De methode van strategische planning introduceert het langetermijndenken, de omgevingsanalyse en resultaatgerichtheid in de beleidsontwikkeling en betekent een professionalisering van het beleid. In het verkennende onderzoek van het Ministerie van de Vlaamse Gemeenschap gaf het merendeel van de geïnterviewde ambtenaren aan dat het strategisch

management

geresulteerd

had

in

een

sterker

resultaatgericht

en

langetermijndenken en een versterkte beleidsvoorbereidende rol voor de administratie.

Dit sluit aan bij de derde functie van het systeem van strategische management, de afstemming van het intern management op de beleidsdoelstellingen. De strategische plannen worden namelijk geoperationaliseerd in doelstellingen voor de administraties en de afdelingen. Vervolgens worden de doelstellingen vertaald in individuele doelstellingen op basis waarvan de ambtenaren geëvalueerd worden. In die zin vormen de beleidsnota’s en beleidsbrieven een kapstok waaraan de activiteiten van de organisatie opgehangen kunnen worden en die de organisatie richting geven. De beleidsnota’s en beleidsbrieven dienen ook de basisleidraad te vormen bij de opmaak van beheersovereenkomsten waarin de strategische en politieke doelstellingen dan vertaald worden naar doelstellingen voor de VOI’s. Het strategisch management heeft dus ook een functie te vervullen in de aansturing van de departementen en van de VOI’s. Het systeem van strategisch management is dus een multifunctioneel systeem.

Proces van strategische planning De Administratie Planning en Statistiek heeft een proces van strategische planning uitgewerkt om de beleidsnota’s op te maken. Bij de opmaak van de beleidsnota’s in 1999 werd deze methode gebruikt door zeven van de negen van de zeven ministers. Het proces van strategische planning verloopt binnen een strikte timing en bestaat uit de volgende acht fasen:

1. voorbereiding van de beleidsplanning 2. analyse en beoordeling van de uitgangssituatie 3. verduidelijken van de missie en de visie 4. opmaken van een eerste ontwerp van strategische doelstellingen en beleidseffecten 5. bepalen van de kritische succesfactoren en van de beoogde beleidseffecten 6. tussentijdse evaluatie en oriëntatie met de minister

58

7. opmaken van de beleidsindicatoren 8. opmaken van het synthesedocument

Na het voorbereiden van het planningsproces wordt aangevat met de analyse en beoordeling van de startsituatie. De betrokken actoren en belanghebbenden en de maatschappelijke tendensen worden in kaart gebracht. Op basis hiervan maakt men een analyse van de sterkten en zwakten en van de kansen en bedreigingen van het beleidsdomein. Tot slot wordt er een rangorde opgesteld van het relatieve belang van de verschillende onderdelen van de SWOTanalyse. In de derde fase worden de missie en de visie door de minister verduidelijkt. Deze vloeien normaal gezien voort uit de regeringsverklaring. Op basis van de informatie uit de vorige fasen, stelt het planningsteam dan een eerste voorstel van strategische doelstellingen en beleidseffecten op. Na overleg in subgroepjes wordt er plenair beslist. Op dezelfde wijze worden in de volgende fase de kritische succesfactoren en de resultaten die men hieraan verbindt, bepaald. De zesde stap is een tussentijdse evaluatie door de minister. De inventarisatie van de omgevingsfactoren, de SWOT-analyse en het eerste ontwerp van plan worden voorgelegd aan de minister. Vervolgens worden de indicatoren om het beleid op te volgen bepaald. Tot slot wordt er een synthesedocument opgesteld.

Het planningsteam bestaat uit vertegenwoordigers van de bevoegde minister, de betrokken administraties, aangrenzende administraties, de betrokken VOI’s, de adviesorganen en de Administratie Planning en Statistiek. Binnen APS zijn er domeinverantwoordelijken aangeduid die een bepaald beleidsdomein ondersteunen inzake strategische planning. De Administratie Planning en Statistiek is verantwoordelijk voor de methodologische begeleiding en de kwaliteitsbewaking. Het hele proces wordt bijgewoond en ondersteund door een consultant. Binnen het planningsteam is er ook een kerngroep, bestaande uit een topmedewerker van de administratie, van het kabinet en eventueel van de VOI’s. De administratie zorgt voor de inhoudelijke voorbereiding en de gedetailleerde uitwerking van de plannen. De administraties hanteren de pen en de minister richt zich hoofdzakelijk op de politieke hoofdlijnen.

BELEIDSUITVOERING EN MONITORING: HET BELEIDSOPVOLGINGSSYSTEEM

De Administratie Planning en Statistiek ontwikkelde een elektronisch beleidsopvolgingssysteem om de beleidsmakers te ondersteunen bij de besluitvorming. Hiertoe werden per beleidsdomein en per strategische doelstelling beleidsindicatoren gedefinieerd die regelmatig geactualiseerd worden. Zo kan het managementteam bestaande uit kabinetsleden en topambtenaren dat toegang heeft tot het beleidsopvolgingssysteem de realisatie van de vooropgestelde beleidsdoelstellingen en strategie opvolgen. De informatie uit het beleidsopvolgingssysteem kan dan door de minister gebruikt worden in de externe verantwoording aan het Parlement of aan de burger. Vooralsnog is het beleidsopvolgingssysteem enkel intern raadpleegbaar.

59

3.1.3 Gebruik van prestatiegegevens in de beleids- en beheerscyclus volgens het Voorontwerp Comptabiliteitsdecreet en het Voorontwerp Kaderdecreet Bestuurlijk Beleid Momenteel wordt de opmaak van beleidsnota’s en beleidsbrieven vereist door het Reglement van het Vlaams Parlement (Vlaams Parlement, 2002, art.73 en art. 74). In de toekomst zou de beleidsplanning zoals ze nu bestaat decretaal verankerd worden in het Comptabiliteitsdecreet. Volgens het Voorontwerp Comptabiliteitsdecreet zouden de beleidsnota’s de volgende elementen dienen te bevatten: -

strategische doelstellingen voor de regeerperiode die aangeven welke de uiteindelijk beoogde maatschappelijke effecten zijn van het overheidsoptreden op het betrokken beleidsdomein,

-

operationele

doelstellingen

die

aangeven

welke

meetbare

effecten

van

het

overheidsoptreden beoogd worden als indicator voor de realisatie van de strategische doelstellingen, -

outputindicatoren en kengetallen die gebruikt worden om de mate van realisatie van de strategische en operationele doelstellingen te meten (Vlaamse Regering 2002a: art.5 §1).

Opvallend is dat er in het Voorontwerp Comptabiliteitsdecreet hoofdzakelijk gesproken wordt over outputindicatoren. Het lijkt erop dat in deze pragmatische keuze de haalbaarheid van het voorstel primeert op het belang van effectinformatie. Outputindicatoren bieden ten opzichte van effectindicatoren het voordeel dat ze makkelijker meetbaar zijn en dat ze niet vereisen effecten te meten die men niet zelf onder controle heeft. In Nieuw-Zeeland werd in de jaren ’80 ook duidelijk gekozen voor een outputbenadering. Dit leidde echter tot een dominantie van de managerial accountability op de political accountability. Recentelijk zijn er dan ook een aantal initiatieven genomen om de ontwikkeling en het gebruik van effectindicatoren te bevorderen. (Strategic Result Area Networks 1998, Managing for Outcomes 2002, Pathfinder Project 2002)

Naast de beleidsplanning is het ook de bedoeling jaarlijks een evaluatie te maken van het gevoerde beleid aan de hand van een beleidseffectenrapportage. In het beleidseffectenrapport zou de realisatie van de beleidsdoelstellingen geëvalueerd worden aan de hand van outputindicatoren en andere kengetallen. (Vlaamse Regering 2002a: art.5)

60

3.1.4 Een buitenlands voorbeeld: het gebruik van prestatiegegevens in de beleids- en beheerscyclus in Ierland: het Strategic Management Initiative (SMI) De Ierse overheid is in de laatste drie decennia niet fundamenteel, maar eerder incrementeel hervormd. Naar administratieve organisatie komt de Ierse republiek overeen met het Verenigd Koninkrijk, Nieuw-Zeeland en Australië. Het verschil met deze landen is echter dat de principes van New Public Management eerder incrementeel ingevoerd werden. De rode draad doorheen de Ierse hervormingen werd gevormd door de nood aan afbakening van de ministeriële verantwoordelijkheid en de bepaling van de politiek-ambtelijke verhoudingen in de context van een groeiende publieke sector. Reeds in 1969 verscheen hieromtrent het Devlin Report dat stelde dat de ministeriële verantwoordelijkheid beperkt diende te worden tot het algemeen beleid en beheer zodat er een duidelijke scheiding zou ontstaan tussen beleidsbepaling en beleidsuitvoering. De minister en de leidende ambtenaren zouden met mekaar overleggen in zogenaamde policy units. De modernisering van de overheid verdween echter van de agenda en bijgevolg werd het Devlin Report niet uitgevoerd.

In 1985 kwamen deze ideeën echter opnieuw aan de orde in de White Paper “Serving the Country Better”. Het voorstel rees om in departementen met veel uitvoerende taken executive offices op te richten met een zeker graad van beheersautonomie. Decentralisering, klantgerichtheid en planning waren de belangrijkste doelstellingen van deze hervorming. De opkomende economische crisis verdrong de veranderingsideeën echter van de agenda. Bovendien was het initiatief duidelijk verbonden aan een bepaalde politieke partij en was de uitvoering van het plan dus niet verzekerd bij regeringswissel.

In 1994 ondernam men een nieuwe poging om de werking van de overheid drastisch te veranderen, het Strategic Management Initiative. De Ministers and Secretaries Act 1924 werd gewijzigd

met

een

nieuwe,

meer

transparante

managementstructuur.

Naast

de

organisatorische wijzigingen van de administratie werden er ook acties ondernomen op het vlak van HRM, IT en financieel management. Door de invoering van een cyclus van planning onder de vorm van Strategy Statements en statements of customer service standards en rapportering aan de hand van regular reports on progress, zou de verantwoording en de aansprakelijkheid over het gevoerde beleid toenemen. De ideeën van het Strategic Management Initiative werden in 1996 geïntegreerd in het alomvattende hervormingsprogramma Delivering Better Government en wettelijk verankerd in de Public Service Management Act of 1997.

61

DOELSTELLINGEN VAN HET STRATEGIC MANAGEMENT INITIATIVE

Het Delivering Better Government Initiative beoogt de volgende algemene doelstellingen: •

Ontwikkeling van een sluitende beleids- en beheerscyclus

•

Debureaucratisering en verhoging van de efficiëntie en effectiviteit

•

Responsabilisering en hervormingen van de verantwoordingsstructuur

•

Verbetering van de kwaliteit van de dienstverlening

De initiatieven benadrukken dus de verbetering van de dienstverlening en het efficiënt en effectief beheer van de middelen. Het debat over de rol en de functies van de overheid bevindt zich niet op de voorgrond. Men poogt de interne werking van de overheid te verbeteren binnen het bestaande takenpakket. Dit vermindert de politieke controverse rond de hervormingen en verklaart waarom de initiatieven verschillende regeringen en parlementaire meerderheden overleefd hebben.

Het Strategic Management Initiative kadert met de ontwikkeling van Strategy Statements en Business Plans binnen deze algemene doelstellingen. Op departementaal niveau zou de strategische planning een kader moeten creëren waarbinnen de activiteiten van het departement, de afdelingen, de teams en de individuele medewerkers betekenis krijgen. De Strategy Statements spelen ook een rol in de politiek-ambtelijke verhoudingen: ze geven de minister en het parlement een duidelijk beeld van het beleid en beheer van de departementen zodat de politieke verantwoordelijken in staat zijn op hoofdlijnen te sturen onder andere bij de allocatie van financiële middelen. Voor de burger kunnen de strategische documenten een standaard betekenen waaraan ze de beleidsvoering en dienstverlening kunnen toetsen (Boyle & Fleming 2000: pp.16).

ACTOREN BETROKKEN BIJ HET STRATEGIC MANAGEMENT INITIATIVE

Zowel de Eerste Minister als de Minister van Financiën zijn bevoegd voor de hervorming van de administratie. Waar de kanselarij vooral verantwoordelijk is voor de algemene politieke coördinatie, regelt het Ministerie van Financiën de managementaspecten van de hervorming zoals organisatieontwikkeling en personeelsmanagement.

Deze grens is echter moeilijk te

trekken. Zo werd het Strategic Management Initiative in 1994 opgestart door de toenmalige Eerste Minister, Albert Reynolds. De interdepartementale Coordinating Group of Secretaries werd onder het departement van de Eerste Minister geplaatst. Zijn autoriteit en invloed zou de hervorming meer kans op slagen geven. Bovendien nam de kanselarij traditioneel het voortouw in interdepartementale comités (Corte-Real, Nomden & Kelly 2000).

62

Naast het begroting-, fiscaal en economisch beleid is het Ministerie van Financiën dus ook bevoegd

voor

ambtenarenzaken

wat

zowel

het

personeelsbeheer

als

de

organisatieontwikkeling en de uitbouw van managementmethoden en –systemen omvat. Aan het hoofd van ambtenarenzaken staat de Secretary-General, Public Service Management and Development. De deskundige ondersteuning van de hervormingen wordt geleverd door het Centre for Management and Organisation dat een aantal eerder bestaande diensten zoals het Civil Service Training Centre, de Management Services Unit and Operations Research Section en de Central IT Services groepeert.

Vanuit het Assistant Secretary Network, een opleidingsinitiatief van het Ministerie van Financiën, groeide de visie dat er nood was aan een meer strategische benadering van beleid en beheer. De ideeën van strategisch management sijpelden door tot bij de Secretarissengeneraal die het initiatief namen tot de hervorming. Er was politieke steun voor deze hervorming en in februari 1994 stelde de Eerste Minister het Strategic Management Initiative voor. Vervolgens

kreeg

een

Coordinating

Group

of

Secretaries

het

mandaat

om

de

hervormingsvoorstellen verder uit te werken en de vooruitgang ervan op te volgen. Op het niveau van de Assistant Secretaries ontstonden er werkgroepen rond personeelsmanagement, financieel

management

en

besparingsmaatregelen.

In

1996

rapporteerde

de

interdepartementale Coordinating Group of Secretaries in Delivering Better Government aan de regering over de vooruitgang van het Strategic Management Initiative en

formuleerde ze

aanbevelingen voor een geïntegreerd hervormingsinitiatief voor de Ierse overheid.

Samenvattend kan men stellen dat het Strategic Management Initiative vanuit een informeel debat tussen topambtenaren ontstaan is en nadien politiek geconsolideerd werd. Het debat werd

door

het

Ministerie

van

Financiën

aangewakkerd

door

de verspreiding

van

discussieteksten en door de ontwikkeling van netwerken. Er groeide een interdepartementale consensus over de nood aan modernisering van de administratie die uitgroeide tot een politieke consensus.

PROCES VAN STRATEGISCHE PLANNING VOLGENS HET STRATEGIC MANAGEMENT INITIATIVE

Hoe verloopt de strategische planning en rapportering? Welke actoren zijn hierbij betrokken en volgens welke richtlijnen dient het proces te verlopen? Is er een verband tussen het strategisch management en het human resources management? Deze paragraaf geeft een antwoord op deze vragen.

Binnen de zes maanden na het aantreden van de minister dient de Secretaris-generaal van het betrokken departement een Strategy Statement in bij de minister. Nadat de minister het

63

strategisch document al dan niet geamendeerd, heeft goedgekeurd, wordt het doorverwezen naar beide kamers van het parlement.

Er wordt gebruikt gemaakt van het standaard model van strategische analyse en planning uit de privé-sector dat aangepast werd aan de specifieke overheidsomgeving. Het proces werd in vele gevallen begeleid door een externe consultant. Volgens de richtlijnen van de Implementation Group dienen de Strategy Statements zo goed mogelijk de collectieve visie van de hele organisatie weer te geven. Het senior management moet een coherente visie ontwikkelen op de richting die de organisatie dient uit te gaan en consulteert daartoe ook medewerkers van alle niveaus. De betrokkenheid van de hele organisatie bij de strategische planning vergroot het eigenaarschap en de kennis van de doelstellingen van de organisatie. Het planningsproces neemt een centrale rol in in het management van de departementen en offices.

Het verband tussen de strategische planning en het personeelsmanagement wordt gelegd in de ontwikkeling van een Performance Management and Development System. In dit geïntegreerd systeem worden de doelstellingen uit de Strategy Statements en Business Plans vertaald naar individuele doelstellingen en vereiste kennis, vaardigheden en attitude. Indien nodig worden de competenties aangescherpt door vormings- en ontwikkelingsinitiatieven. Als dusdanig heeft elk personeelslid een

duidelijk

beeld

van

zijn

of haar

takenpakket,

doelstellingen en

loopbaanmogelijkheden. Men participeert aan het planningsproces en men draagt, individueel of als team bij aan de realisatie van de Business Plans en Strategy Statements. Het is namelijk de bedoeling dat de Strategy Statements deel gaan uitmaken van de dagelijkse werking van de organisatie.

FORMATTERING VAN DE

BELEIDSPLANNEN OF STRATEGY STATEMENTS

Volgens de Public Service Management Act 1997 dient een Strategy Statement een beeld te geven van de kerndoelstellingen, de belangrijkste outputs en de strategieën om deze doelstellingen te bereiken. Deze bepaling werd in 1998 door de Implementation Group uitgewerkt in concrete richtlijnen. De Strategy Statement dient als een kader voor de activiteiten van een departement. Het plan dient dan ook op maat van de organisatie geschreven te zijn en voldoende flexibel te zijn om zich aan te passen aan interne en externe veranderingen. Het dient ook de doelstellingen uit regeringswijde, departementsoverschrijdende strategieën zoals het National Development plan 2000-2006, de National Childrens’ Strategy en het Programme for Prosperity and Fairness te reflecteren. De Strategy Statements worden opgesteld voor een periode van drie jaar. Wanneer een minister ontslag neemt, maakt de nieuwe minister opnieuw een Strategy Statement op.

64

Een Strategy Statement wordt verwacht de volgende elementen te bevatten: -

Missie en mandaat De missie is een beknopte uitdrukking van de waarden en de bestaansreden van de

-

organisatie. Het mandaat geeft de bevoegdheden van de organisatie weer

-

Omgevingsanalyse

-

Goals, objectives, strategieën en outputs

-

Prestatie-indicatoren

-

Middelenallocatie en herallocatie issues

-

Behoeften en belangen van klanten

-

E-government en IT-initiatieven

-

Cross-cutting issues

-

Aanpassingen aan interne capaciteit

-

Rol van agentschappen

-

Monitoring en rapportering

De Strategy Statements focussen zich echter hoofdzakelijk op de te bereiken effecten en prestaties en in mindere mate op de middelen nodig om het beleid te realiseren. “There is little financial commentary in statements of strategy, suggesting that the prioritisation and allocation of resources is not necessarily a central feature of the strategic process.” (PA Consulting 2002: pp.92) Naast de strategische planning, werd er ook een proces van operationele planning opgestart. De Strategy Statements worden operationeel vertaald in Business Plans. Ter ondersteuning van het Strategic Management Initiative werd er in 1999 een Management Information Framework Initiative opgestart om de ontwikkeling van prestatiemanagement te bevorderen zodat de inhoud van de Strategy Statements en Business Plans versterkt kan worden.

EVALUATIE VAN HET STRATEGIC MANAGEMENT INITIATIVE

Tussen augustus 2001 en januari 2002 maakte PA Consulting een kwantitatieve en kwalitatieve evaluatie van het Strategic Management Initiative aan de hand van een bevraging van ambtenaren, interviews met ministers en topambtenaren en een bevraging van externe stakeholders. Ter conclusie stelde PA Consulting dat de werking van de administratie in 2002 effectiever is dan een decennium geleden en dat een groot deel van deze evolutie te wijten is aan het moderniseringsprogramma.

65

“The civil service has mapped out a transition path from a traditional administrative culture towards a more overtly managerial one- this journey however is by no means complete. We believe a broad consensus exists around the concepts behind the Strategic Management Initiative and the change program it introduced.” (PA Consulting, 2002, pp.83) Alle departementen hebben Strategy Statements en Business Plans opgesteld zoals vereist in de Public Management Act of 1997. PA Consulting stelde vast dat de departementen nu beter in staat zijn omgevingsanalyses te maken en strategische alternatieven te evalueren en deze analyse op een gestructureerde wijze neer te schrijven. In een aantal departementen is de strategische planning en business planning al geïntegreerd in de praktijken en het management van het departement. In een aantal andere departementen is het moeilijker de bestaande activiteiten en het management te plannen en te monitoren aan de hand van de methode van strategische planning en business planning. (PA Consulting 2002: pp.86) Ondanks het succes van het Strategic Management Initiative zijn er nog een aantal knelpunten. Ten eerste is er nog een gebrek aan regeringswijde coördinatie en integratie van de verschillende Departmental Statements of Strategy.

“No attempt is made to bring together the aggregate set of Statements of strategy, to establish some coherence and integration among them, and to evaluate their alignment with the priority areas of the government programme.” (PA Consulting 2002) Ook binnen de departementen blijkt het aan coördinatie van de verschillende componenten van het strategisch management te ontbreken.

“Our observations lead us to say that there is not always sufficient alignment between political intent, strategy development, business planning and service delivery.” (PA Consulting 2002: pp.85)

66

3.2 Gebruik in de financiële cyclus Prestatiegegevens spelen niet enkel een rol in de beleidscyclus, maar ook in de financiële cyclus. In deze paragraaf worden ten eerste de internationale tendensen in het gebruik van prestatiegegevens in begroting, boekhouding en audit weergegeven. Vervolgens wordt een inventarisatie gemaakt van het gebruik van prestatiegegevens in de financiële cyclus in Vlaanderen en is er aandacht voor de voorstellen tot een meer prestatiegerichte financiële cyclus volgens het Voorontwerp Comptabiliteitsdecreet. Tenslotte bekijken we een buitenlands voorbeeld

van

resultaatgericht

begroten,

namelijk

het

Nederlandse

initiatief

Van

Beleidsbegroting Tot Beleidsverantwoording (VBTB).

3.2.1 Internationale tendensen in het gebruik van prestatiegegevens in begroting, boekhouding en audit De financiële cyclus vormt het sleutelmechanisme waarmee de overheid middelen toewijst en haar beleid en beheer vormgeeft, zowel bij de voorbereiding en besluitvorming, bij de opvolging en bijsturing als bij de evaluatie achteraf. Internationaal vergelijkend onderzoek wijst uit dat er in de financiële cyclus van overheden steeds meer gebruik wordt gemaakt van niet-financiële beleids- en beheersinformatie. Deze trend is zowel merkbaar inzake begroting, boekhouding als audit.

BEGROTING

Wat de begroting betreft, wordt in verschillende OESO-landen vastgesteld dat zowel het begrotingsproces als het begrotingsdocument meer resultaatgericht worden. Technieken van strategische en operationele planning worden geïntroduceerd in het begrotingsproces, zowel in de strategische fase van het begrotingsproces als bij de toewijzing van enveloppes aan verzelfstandigde agentschappen. Ook de structuur en inhoud van het begrotingsdocument wordt meer resultaatgericht. Hierbij dient een onderscheid gemaakt te worden tussen de machtigende begroting en de toelichting op de begroting. In de meeste landen kent de machtigende begroting een programmastructuur die ingebed is in een organisatorische structuur.

In de toelichting of in afzonderlijke documenten wordt de toewijzing van middelen

verantwoord aan de hand van de missie, de strategische en operationele doelstellingen en bijhorende indicatoren. In het Verenigd Koninkrijk bijvoorbeeld wordt de begroting toegelicht aan de hand van strategische Public Service Agreements en meer operationele Service Delivery Agreements. In een aantal landen zet men nog een stap verder en wordt ook de structuur van de machtigende begroting output- of outcomegericht. In Nederland is de

67

machtigende begroting ingedeeld in beleidsartikelen die een beeld moeten geven van de beleidsdoelstellingen van het departement. In Australië worden de middelen toegewezen aan de te bereiken effecten aan de hand Outcome Statements.

BOEKHOUDING

De hervorming naar een meer resultaatgerichte boekhouding kan een belangrijke hefboom betekenen voor de modernisering van de begroting. In verschillende OESO-landen werd de traditionele overheidsboekhouding gebaseerd op het kas- en verplichtingenstelsel verlaten en werd de algemene economische boekhouding ingevoerd. Belangrijk voor de evolutie naar een meer resultaatgerichte uitvoering van de begroting, is dat er aan de dubbele boekhouding een kostenanalytisch luik wordt verbonden. Een resultaatgerichte methode van kostprijsberekening is bijvoorbeeld Activity Based Costing (ABC). Hierbij worden kosten toegewezen aan activiteiten en vervolgens aan producten en diensten op basis van deze kostenveroorzakende factoren. De directe kosten worden rechtstreeks toegewezen aan de kostendragers. De indirecte kosten daarentegen worden eerst toegewezen aan activiteiten met behulp van een verdeelsleutel, de resource driver die de mate voorstelt waarin de activiteit de kostensoort verbruikt. Vervolgens worden de kosten van de activiteiten toegewezen aan kostendragers aan de hand van een tweede verdeelsleutel, de activity driver, die de mate weergeeft waarin de kostendrager de activiteiten verbruikt (Jorissen, A. & Levebvre, C. e.a. 1998).

AUDIT

Wanneer zowel de begroting als de boekhouding evolueren naar meer resultaatgerichtheid, dient ook de audit aangepast te worden. In de meeste OESO-landen werden de traditionele financiële audits (controle van de rekeningen) en rechtmatigheidsonderzoeken (controle van de wettigheid van inkomsten en uitgaven) aangevuld met performance audits of value-for-money audits. In deze doelmatigheidsonderzoeken wordt de efficiënte besteding van de middelen onderzocht. Uit het onderzoek van Pollitt naar performance audit in 5 landen bleek dat de focus van deze audits hoofdzakelijk ligt op goede managementpraktijken. (Pollitt, C., Lonsdale, J. & Summa H. 1999 : pp. 204). Dit neemt echter niet weg dat er ook effectiviteitsonderzoeken worden uitgevoerd. Zo voerde het Britse National Audit Office bijvoorbeeld een onderzoek naar het beleid inzake zwaarlijvigheid, Tackling Obesity in England (National Audit Office 2001).

68

3.2.2 Verkenning van het gebruik van prestatiegegevens in begroting, boekhouding en audit in Vlaanderen In deze paragraaf worden de internationale tendensen in het gebruik van prestatiegegevens in financiële cyclus getoetst aan de huidige stand van zaken in Vlaanderen.

GEBRUIK VAN BELEIDSPLANNEN EN PRESTATIEGEGEVENS IN HET BEGROTINGSPROCES

De begrotingsrichtlijnen vereisen dat de begrotingsvoorstellen tijdens de technische bilaterale verantwoord worden in functie van de beleidsprioriteiten en getoetst worden aan de criteria van zuinigheid, efficiëntie en effectiviteit. Door de strikte timing en het belang van de budgettaire beheersing, is er op de technische bilaterales echter weinig aandacht voor beleidsdoelstellingen en prestatiegegevens. Tijdens de politieke bilaterale die daarop volgt kunnen er ook herschikkingen gebeuren die moeilijk op een zinvolle wijze in verband kunnen gebracht worden met de beleidsprioriteiten. De ministers leggen de beleidsbrieven vervolgens samen met de begroting ter bekrachtiging voor aan het Vlaams Parlement. Ondanks de formele binding tussen beide wordt de jaarlijkse begroting niet enkel door de strategische keuzen op langere termijn gestuurd, maar interveniëren ook ad hoc ingrepen als antwoord op acute problemen.

Het reglement van het Vlaams Parlement vereist dat elke minister jaarlijks samen met de begroting een beleidsbrief indient waarin de doelstellingen en activiteiten voor het komende jaar worden uiteengezet (Vlaams Parlement 2002: art. 74). Deze documenten worden meestal pas opgemaakt in de herfst, nadat de begrotingsbeslissingen reeds genomen zijn tijdens de technische

en

politieke

bilaterales

en

vormen

dus

geen

input

voor

de

begrotingsonderhandelingen binnen de uitvoerende macht. De beleidsbrieven zijn dus een politieke vertaling van de begrotingsbeslissingen van de regering.

De beleidsbrieven worden dan besproken bij de begrotingsdiscussies in de parlementaire commissies. Uit de verkennende interviews bij het Ministerie van de Vlaamse Gemeenschap blijkt echter dat de externe verantwoording aan het parlement eerder een symbolische oefening is en het discours van de begrotingsbespreking niet echt beïnvloedt. Een mogelijke verklaring hiervoor is dat de informatie opgenomen in de beleidsbrieven niet afgestemd is op de informatievraag van de Vlaamse parlementsleden. Een andere mogelijke verklaring is dat voor de leden van het Vlaamse Parlement de autorisatiefunctie van de begroting primeert op de beleids- en beheersfunctie en dat de bespreking van de begroting dus meer aandacht krijgt dan de bespreking van de beleidsbrieven.

69

GEBRUIK VAN BELEIDSDOELSTELLINGEN EN PRESTATIEGEGEVENS IN HET BEGROTINGSDOCUMENT

De huidige Vlaamse uitgavenbegroting kent een programmastructuur. De informatie over de prestaties die met de toegewezen middelen geleverd zullen worden en de te bereiken effecten komt aan bod in het niet-machtigende gedeelte van de begroting, namelijk in de memorie van toelichting. Hierbij wordt de toewijzing van de middelen verantwoord aan de hand van de strategische en operationele doelstellingen en prestatiegegevens uit de strategische plannen en beleidsbrieven. Voor een aantal programma’s wordt in de memorie van toelichting ook een tabel opgenomen waarin het verband gelegd wordt tussen de te bereiken strategische en operationele doelstellingen en de basisallocaties.

GEBRUIK VAN PRESTATIEGEGEVENS IN DE BOEKHOUDING: ORAFIN EN MANAGEMENT ACCOUNTING

Sinds oktober 2001 is men in het Ministerie van de Vlaamse Gemeenschap gestart met de invoering van een geïntegreerde economische en budgettaire boekhouding, Orafin.

“De

implementatie van Oracle Financials is een feit, maar ook de onverwachte grote moeilijkheden om Orafin ten volle, probleemloos in productie te brengen en te houden, zijn ook opgevallen in 2002 (Van Mechelen 2002). “

Naast

de

implementatie

van

een

geïntegreerde

algemene

boekhouding

en

begrotingsboekhouding werd er ook de aanzet gegeven tot de ontwikkeling van een analytische boekhouding. Het voorstel is in de analytische boekhouding de dimensies van de Doelmatigheidsanalyse te gebruiken, namelijk kostensoort, kostenplaats, kostendrager, project en doelgroep.

Het is de bedoeling uiteindelijk een systeem van management accounting te ontwikkelen dat de organisatie ondersteunt in de besluitvorming en waarin zowel financiële informatie als nietfinanciële informatie geïntegreerd wordt. Hiertoe zouden onder andere kosten-batenanalyses, investeringsanalyses, efficiëntiemetingen, kostprijsberekeningen en allocatie van indirecte kosten en opbrengsten aan objecten ingevoerd worden. Management accounting kan echter maar met succes geïntroduceerd worden als de analytische boekhouding reeds voldoende ontwikkeld is. Analytische boekhouding en management accounting kunnen dan weer bekeken worden als de bouwstenen van prestatiemanagement (Van Mechelen 2002: pp.52). In de toekomstige organisatiestructuur zou de verantwoordelijkheid voor management accounting op micro-niveau toegewezen worden aan de ministeries en zou het Ministerie van Financiën en Begroting verantwoordelijk worden voor de macro management accounting.

70

GEBRUIK VAN PRESTATIEGEGEVENS IN DE AUDIT: HET DOELMATIGHEIDSONDERZOEK

Sinds de Wet Duquesne van 1998 kan het Rekenhof, naast het uitvoeren van financiële audits en wettigheidsonderzoeken ook doelmatigheidsonderzoeken uitvoeren, waarbij de zuinigheid, doelmatigheid en doeltreffendheid van het gevoerde beleid onderzocht worden. Het Rekenhof bepaalt onafhankelijk welke prestatie-audits zij uitvoert, maar kan ook door een resolutie van een wetgevende kamer verzocht worden een doelmatigheidsonderzoek uit te voeren. Dit was bijvoorbeeld het geval met het onderzoek van het Rekenhof naar de goede besteding van de rijksgelden door de werking van de NMBS in 2001 dat gevraagd werd door een resolutie van de Kamer. Bij de Vlaamse Gemeenschap onderzocht het Rekenhof bijvoorbeeld de verdieping van de Westerschelde, de opmaak en uitvoering van het strategisch plan preventieve kinderzorg van Kind en Gezin, het gebruik van convenanten, de afsluiting van beheersovereenkomsten met de VOI’s en de beleidsuitvoering door de musea van de Vlaamse Gemeenschap.

3.2.3 Voorstellen tot een meer prestatiegerichte financiële cyclus volgens het Voorontwerp Comptabiliteitsdecreet Het voorstel voor een nieuwe bestuurlijke organisatie en een meer resultaatgerichte beleids- en beheerscyclus van het Voorontwerp Kaderdecreet Bestuurlijk Beleid, wordt ook vertaald naar de financiële cyclus in het Voorontwerp Comptabiliteitsdecreet.8 Artikel 50 §2 en artikel 51 van de Bijzondere Wet van 16 januari 1989 betreffende de financiering van de Gemeenschappen en Gewesten maken het voor de Vlaamse Gemeenschap mogelijk een eigen comptabiliteit uit te werken binnen het kader van een Federale Algemene Bepalingenwet. Op deze wijze kunnen de principes van Beter Bestuurlijk Beleid vertaald worden in de financiële cyclus.

RESPONSABILISERING VAN HET MANAGEMENT

In de lijn van het Voorontwerp Kaderdecreet Bestuurlijk Beleid beoogt het Voorontwerp Comptabiliteitdecreet meer ruimte te creëren voor de responsabilisering van het management. In wat volgt worden een aantal voorbeelden gegeven van voorstellen uit het Voorontwerp Comptabiliteitsdecreet om de managementautonomie te verhogen.

Een nieuwe controlestructuur Ten eerste is het de bedoeling de traditionele controlehiërarchie te hertekenen. Het is namelijk van primordiaal belang dat de toename van de autonomie voldoende gecompenseerd wordt 8

Het Comptabiliteitsdecreet bevindt zich momenteel in de fase van voorontwerp. Wanneer de Algemene Bepalingenwet goedgekeurd wordt door de Kamer en de Senaat, kan de Raad van State advies uitbrengen over het Voorontwerp Comptabiliteitsdecreet en kan het ingediend worden in het Vlaams Parlement.

71

door

nieuwe

controle-

en

verantwoordingsmechanismen.

Daarom

werd

er

een

controlestructuur voorgesteld die niet in cascade gestructureerd is en meer aandacht besteed aan ex post verantwoording dan aan a priori controle. De volgende tabel geeft een overzicht van de voorgestelde controlemechanismen en de verantwoordelijke actoren.

Controlemechanisme

Verantwoordelijke actor

Bevoegdheden

Budgetcontrolling

Inspectie van Financiën

-

Advisering m.b.t. budgettaire gevolgen van beleid Aanbevelingen

m.b.t.

alle

fasen

van

de

beleids-

en

beheerscyclus -

Bewaken

van

de

budgettaire

doelstellingen

en

de

begrotingsnormering -

Bevordering en coördinatie van onderzoek naar doelmatigheid Advisering

m.b.t.

afsluiting,

uitvoering

en

evaluatie

beheersovereenkomsten -

Ontwikkeling van normen en standaarden voor de decentrale controlling

Interne controle

Financiële controle en

Departement

-

Het effectief en efficiënt beheer van de risico’s

IVA’s

-

De betrouwbaarheid van de financiële en beheersrapportering

EVA’s

-

De naleving van de regelgeving en de procedures

-

De effectieve en efficiënte werking van de diensten

-

De bescherming van de activa

-

Toezicht op de goede werking van de interne controle

-

Ex post steekproefsgewijze dossiercontrole

Financiën en begroting

certificering Interne audit

Entiteit Interne Audit

-

Evaluatie van de systemen van interne controle aan de hand van financiële audits, overeenstemmingsaudits, operationele audits en administratieve onderzoeken

Externe controle

Rekenhof

-

Financiële audit

-

Rechtmatigheidsonderzoek

-

Doelmatigheidsonderzoek (EEE)

Tabel 17: actoren en hun bevoegdheden in de nieuwe controlestructuur

Herverdeling van kredieten Ten tweede zou er ook de mogelijkheid ontstaan om gedurende de laatste twee maanden van het begrotingsjaar de gemachtigde kredieten te herverdelen tussen de functionele afdelingen van een zelfde beleidsdomein. (Vlaamse Regering 2002a: art.23) De herverdelingen zouden echter wel aan een aantal beperkingen onderworpen worden.

Er zouden

geen kredieten

kunnen worden overgeheveld van de functionele afdeling beleidsuitvoering naar de functionele afdelingen personeel en eigen werking. De herverdeling zou ook maximaal 15 procent mogen bedragen van het laatst door het Vlaams Parlement gemachtigde krediet. Tenslotte zou de herverdeling ook goedgekeurd moeten worden door de Minister van Financiën en Begroting.

72

Efficiëntiekrediet Ten derde is het de bedoeling de efficiënte besteding van middelen te bevorderen door de invoering van een efficiëntiekrediet voor de functionele afdelingen personeel en eigen werking (Vlaamse Regering 2002a: art.14). Dit houdt in dat wanneer er als gevolg van een efficiënte werking een positief saldo bereikt wordt op het krediet begrotingsuitgaven, binnen de functionele afdeling personeel of eigen werking, dit saldo voor het volgende jaar wordt overgedragen naar een efficiëntiekrediet. Het saldo dient verantwoord te worden aan de hand van efficiëntiecriteria. De wijze waarop deze efficiëntiecriteria gemeten en geïnterpreteerd worden en dus bepaald wordt of het saldo op de begrotingsuitgaven het gevolg is van de efficiënte werking, dient nader bepaald te worden aan de hand van uitvoeringsbesluiten.

RESULTAATGERICHTE BEGROTINGSSTRUCTUUR

Een tweede belangrijke doelstelling van het Voorontwerp Comptabiliteitsdecreet is de begrotingsstructuur af te stemmen op de nieuwe organisatorische structuur. De afstemming van de begrotingsstructuur op de bestuurlijke organisatie vergroot de potentiële bruikbaarheid van de begroting als beleids- en beheersinstrument. De begroting zou geformatteerd worden volgens de beleidsdomeinen en zou per beleidsdomein de volgende elementen bevatten (Vlaamse Regering 2002a: art. 9): 1. Begroting Vlaams Ministerie, a. Structurele afdeling Diensten van de minister, b. Structurele afdeling Departement, c.

Structurele afdeling IVA zonder rechtspersoonlijkheid,

d. Structurele afdeling Dotaties aan IVA’s met rechtspersoonlijkheid, aan EVA’s of andere instanties, 2. Begrotingen IVA’s met rechtspersoonlijkheid, 3. Begrotingen publiekrechtelijk vormgegeven EVA’s.

Zowel voor het Ministerie, de IVA’s met rechtspersoonlijkheid als voor de publiekrechtelijk vormgegeven EVA’s

worden per structurele afdeling de volgende functionele afdelingen

onderscheiden: i. Functionele afdeling ontvangsten en uitgaven voor personeel, ii. Functionele afdeling ontvangsten en uitgaven voor de eigen werking, iii. Functionele afdeling ontvangsten en uitgaven voor de uitvoering van het eigen beleid.

De machtiging van het parlement zou betrekking hebben op de kredieten per functionele afdeling. Dit zou overeenkomen met de vroegere indeling in programma’s. Het voorstel is de vroegere basisallocaties op te nemen in de niet-machtigende ramingsstaten en aan te vullen

73

met doelstellingen, indicatoren en kostprijsgegevens. Enerzijds zou het aggregatieniveau van de begroting dus toenemen en zou dit gepercipieerd kunnen worden als een vermindering van de parlementaire controle. Anderzijds zou het Vlaams Parlement over meer beleids- en beheersinformatie beschikken en zou zij aan de hand van deze informatie de parlementaire controle kunnen versterken. Daarenboven stelt het Voorontwerp Comptabiliteitsdecreet ook dat het Vlaams Parlement de begrotingen van de publiekrechtelijk vormgegeven EVA’s afzonderlijk machtigt waardoor de parlementaire controle ook versterkt kan worden. De volgende box illustreert de begrotingsstructuur zoals voorgesteld in het Voorontwerp Comptabiliteitsdecreet:

Box 12: Voorstel van begrotingsstructuur Voorontwerp Comptabiliteitsdecreet VLAAMS MINISTERIE 1 Structurele afdelingen Minister 1 Eigen werking

Departement 1

IVA 1-1

Eigen werking + Eigen werking Beleidsondersteuning

IVA 1-2

Dotaties

Eigen werking

Werking EVA11 Werking EVA12

Publiekrecht. EVA 1-1

Publiekrecht. EVA 1-2

Eigen werking Eigen werking

Beleidsveld 1C Beleidsveld 1C Beleidsveld 1D Beleidsveld 1D Beleidsveld 1E

Beleidsveld 1E

Beleidsveld 1D Beleidsveld 1E

Beleidsveld 1F

Functionele afdelingen

Beleidsveld 1B

Functionele afdelingen

Functionele afdelingen

Beleidsveld 1A

Beleidsveld 1D

Beleidsveld 1F

Beleidsveld 1G

AFSTEMMING BEGROTING EN BELEIDSPLANNING

Ten derde beoogt het Voorontwerp Comptabiliteitsdecreet een verbeterde afstemming tussen de begroting en de beleidsplanning, zowel procesmatig als qua formattering. Hiertoe werden de volgende voorstellen gelanceerd: -

decretale verankering meerjarenplanning aan de hand van beleidsnota’s

-

afstemming meerjarenbegroting en meerjarenplanning

-

invoering beleidseffectenrapportage

-

toelichting op de begroting aan de hand van outputindicatoren, kengetallen en ramingsstaten

74

In artikel 5 van het Comptabiliteitsdecreet wordt de meerjarenplanning aan de hand van beleidsnota’s decretaal verankerd en in verband gebracht met de meerjarenbegroting. Ook wordt er gesteld dat er jaarlijks een beleidseffectenrapportage dient te worden opgemaakt waarin aan de hand prestatiegegevens verslag wordt uitgebracht over de realisatie van de beleidsdoelstellingen. Deze beleidseffectenrapportage zou dan jaarlijks, in mei ingediend moeten worden bij het Vlaams Parlement en zou de input vormen voor de bijsturing van de meerjarenbegroting en voor de uitbreiding van de meerjarenprognose met één jaar. Er werd door het Rekenhof opgemerkt dat het beter zou zijn de beleidseffectenrapportage samen in te dienen met de algemene rekening. (Rekenhof 2002: pp. 11). Enerzijds kan de afstemming tussen de beleidsevaluatie en de financiële verantwoording zo inderdaad verhogen, anderzijds dreigt een puur financiële discussie het debat dan wel te domineren.

Box 13: Ramingsstaat: toelichting op de begroting aan de hand van beleidsdoelstellingen en kostprijsgegevens

IVA 1 – 2 EIGEN WERKING - UITGAVEN/Verbintenissen Personeel Recurrente uitgaven Wedden en vergoedingen

850,00

Werking 140,00

Overheidsopdrachten 116,90

Aanleg voorziening 50,00

850,00

0,00

0,00

50,00

Algemene werking

0,00

45,00

0,00

0,00

Vorming

0,00

5,00

0,00

0,00

Informatica

0,00

90,00

100,00

0,00

M eubilair

0,00

0,00

16,90

0,00

Strategische doelstelling 01-01 Operationele doelstelling 01-01-01

50,00 50,00

10,00 10,00

50,00 50,00

0,00 0,00

Actie/maatregel 1

50,00

10,00

25,00

0,00

Actie/maatregel 2

0,00

0,00

25,00

0,00

TOTAAL

900,00

150,00

166,90

50,00

1.266,90

Over de memorie van toelichting op de jaarlijkse uitgavenbegroting stelt Artikel 16 van het Voorontwerp Comptabiliteitsdecreet dat deze de begrotingscijfers dient te verantwoorden aan de hand van outputindicatoren, kengetallen en andere niet-financiële informatie. In de memorie van toelichting zou de begroting ook in een meerjarig perspectief geplaatst moeten worden door ze te situeren ten opzichte van de meerjarenbegroting. Het is dus de bedoeling dat in de memorie van toelichting accrual ramingsstaten worden opgenomen waarin per strategische en operationele doelstelling de personeelskosten, werkingskosten, overheidsopdrachten en de aanleg van voorzieningen wordt weergegeven. Box 13 illustreert de voorgestelde structuur en

75

inhoud van de ramingsstaat (Administratie Budgettering, Accounting en Financieel Management 2002: pp.9).

ECONOMISCHE BOEKHOUDING MET KOSTENANALYTISCHE COMPONENT

Volgens het ontwerp van Algemene Bepalingenwet dient er een algemene economische boekhouding gevoerd te worden. Artikel 24 van het Voorontwerp Comptabiliteitsdecreet stelt dat naast de budgettaire en algemene economische boekhouding een analytische boekhouding gevoerd moet worden. Deze bepaling is uniform voor zowel de Vlaamse Gemeenschap als de verzelfstandigde agentschappen. De wijze waarop de analytische boekhouding gevoerd moet worden, zal verder bepaald worden aan de hand van een uitvoeringsbesluit.

3.2.4

Een

buitenlands

beheersinformatie

in

de

voorbeeld: financiële

gebruik cyclus

van in

beleids-

Nederland:

en Van

Beleidsbegroting Tot Beleidsverantwoording (VBTB) “De tijd is rijp om de begroting in een nieuw jasje te steken. Deze jas moet eigentijdser zijn en de gebruikers ervan beter in staat stellen hun functies uit te oefenen.”(Tweede Kamer der Staten-Generaal 1999: pp.4) In Nederland bestonden er bij de overheid reeds sinds de jaren ’70, met de Commissie Ontwikkeling Beleidsanalyse, ideeën over het gebruik van beleids- en beheersinformatie in de financiële cyclus. In de jaren ’80 tot het begin van de jaren ’90 domineerde de beheersbaarheid en de rechtmatigheid van de overheidsuitgaven de agenda (Operatie Comptabel Bestel 19861992). Wanneer de overheidsfinanciën opnieuw op orde waren, ontstond er meer aandacht voor resultaatgericht management met de invoering van het agentschapsmodel vanaf 1991 en de Voorhoedeprojecten Prestatiegegevens en Beleidsevaluatie vanaf 1998.

In

1999

werd

dan

aangevat

met

het

project

VBTB,

Van

Beleidsbegroting

tot

Beleidsverantwoording, dat als voornaamste doelstelling heeft de begroting en de verantwoording meer beleidsgericht en transparant te maken. De begrotingen 2002 en 2003 werden opgemaakt volgens de nieuwe beleidsgerichte formattering.

De Comptabiliteitswet

werd aangepast. Er werd ook een Regeling Prestatiegegevens en Evaluatieonderzoek opgesteld om de departementen een leidraad te bieden bij de uitvoering van VBTB (Ministerie van Financiën 2001).

76

Ondertussen groeit ook de aandacht voor de beheersfunctie van de begroting. In 2001 werd namelijk een voorstel gelanceerd om over te gaan op een economische begroting of accrual budgeting (Eigentijds Begroten). Ook neemt het belang van de rapportering over de bedrijfsvoering in de begroting en verantwoording toe (Referentiekader Mededeling over de Bedrijfsvoering 2002).

DOELSTELLINGEN VBTB

De algemene doelstelling van VBTB is het verhogen van de informatiewaarde van de begroting en verantwoording voor de gebruikers. “De begrotingen en de verantwoordingen moeten toegankelijker worden, beter hanteerbaar, en prettiger leesbaar. De hoofdlijnen van beleid zijn thans moeilijk te herkennen en vaak ontbreekt een directe relatie tussen de financiële voorstellen en de achterliggende beleidsplannen. Naast de inzichtelijkheid, is ook de tijdigheid waarop de diverse stukken beschikbaar zijn voor verbetering vatbaar” (Tweede Kamer der Staten-Generaal 1999: pp.4). “VBTB biedt kansen om de begrotingsfuncties voor de Tweede Kamer te versterken” (Stolk, Rebergen, and Berkenbosch 2001: pp.13). Er moet meer samenhang zijn tussen de begroting en verantwoording en tussen de onderdelen van deze documenten. De huidige informatie- en communicatietechnologie kan de presentatie van deze financiële documenten verbeteren (Tweede Kamer der Staten-Generaal 1999).

ACTOREN BETROKKEN BIJ DE ONTWIKKELING EN UITVOERING VAN VBTB

De centrale aansturing van VBTB bevindt zich in het Ministerie van Financiën, bij de Directie Begrotingszaken van het Directoraat-generaal Rijksbegroting. De Directie Begrotingszaken telt 85 medewerkers en is bevoegd voor de beleidsontwikkeling inzake begroting en de organisatie van vorming. Binnen deze Directie is de Afdeling Beleidsevaluatie en –Instrumentatie verantwoordelijk voor de beleidsontwikkeling en ondersteuning van de departementen inzake strategische planning en prestatiemeting.

Binnen de departementen dient er te worden samengewerkt tussen de Beleidsdirecties en de Directies Financieel-Economische Zaken (FEZ).

Door de invoering van het beleidsgericht

begroten en verantwoorden, wordt de positie van de Secretaris-generaal versterkt aangezien de Secretaris-generaal nu verantwoording dient af te leggen aan de minister over het al dan niet realiseren van de departementale doelstellingen en de hiertoe ingezette middelen. (Vos, 2002). Door de toegenomen aandacht voor de bedrijfsvoering wordt de positie van de plaatsvervangende Secretaris-generaal versterkt aangezien hij/zij de verantwoordelijkheid draagt voor de interne bedrijfsvoering en hierover verantwoording aflegt aan de minister.

77

De departementale Directie Financieel-Economische zaken (FEZ) is het financieel geweten van het departement en vervult een spilpositie aangezien de directie de vertaalslag maakt van het beleid van het Ministerie van Financiën naar het departement. Onder de Operatie Comptabel Bestel die als doelstelling had de overheidsfinanciën opnieuw op orde te brengen, werden de departementale FEZ-Directies versterkt. Een groot aandeel van de nieuwe personeelsleden van de directie Financieel-Economische Zaken is afkomstig van het Ministerie van Financiën waardoor de know-how van het Ministerie van Financiën uitgedragen werd en het draagvlak voor de hervormingen versterkt werd (Vos, 2002).

De verantwoordelijkheid voor de beleidsplanning ligt bij de beleidsdirecties. Het blijkt echter moeilijk te zijn de beleidsdirecties te mobiliseren om te werken volgens het VBTB-raamwerk (Vos, 2002). De beleidsdirecties zijn daarnaast ook verantwoordelijk voor de uitvoering van de interne controle zoals ingericht en georganiseerd door de Directie Financieel-Economische Zaken.

GEVOLGEN VAN VBTB VOOR HET BEGROTINGSPROCES

De implementatie van VBTB heeft hoofdzakelijk gevolgen voor de formattering van de begroting en verantwoording, maar wijzigt ook de procedures van de financiële cyclus. Om meer aandacht te kunnen besteden aan de politieke verantwoording over het gevoerde beleid, is de indiening van het jaarverslag immers vervoegd van de derde dinsdag in september naar de derde woensdag van mei. Daarnaast is het ook belangrijk dat met VBTB de leden van de Tweede

Kamer

beleidsartikelen

machtigen.

De

compactere,

meer

transparante

en

beleidsgerichte begroting geeft de leden van de Tweede Kamer de mogelijkheid te autoriseren op de hoofdlijnen van beleid. Een van de doelstellingen van VBTB is namelijk dat het discours van het begrotingsproces meer beleidsgericht en minder inputgericht wordt. Dit is echter een veel bediscussieerd punt: aangezien de machtiging betrekking heeft op de artikelen en niet op de artikelonderdelen zouden al te omvangrijke beleidsartikelen volgens een aantal Tweede Kamerleden kunnen leiden tot een uitholling van het budgetrecht.

DE FORMATTERING VAN DE BELEIDSBEGROTING EN BELEIDSVERANTWOORDING

VBTB heeft in eerste plaats betrekking op het informatiegehalte en de transparantie van de begroting en de verantwoording. De begroting nieuwe stijl moet een antwoord geven op de vragen “Wat willen we bereiken?”, “Wat gaan we daarvoor doen?” en “Wat mag dat kosten?”. Om de cirkel rond te maken, behandelt de beleidsverantwoording de vragen “Hebben we bereikt wat we hebben beoogd?”, “Hebben we gedaan wat we daarvoor zouden doen?” en “Heeft het gekost wat we dachten dat het zou kosten?” .

78

Formattering van de beleidsbegroting Ten eerste verandert met VBTB de structuur van de machtigende begroting. In de begroting nieuwe stijl worden middelen toegekend aan beleidsartikelen. De beleidsartikelen worden in de memorie van toelichting verder ingedeeld in programma-uitgaven en apparaatuitgaven, maar de machtiging gebeurt dus op het niveau van de beleidsartikelen. De nieuwe indeling van de begrotingsartikelen geeft de ministeries meer vrijheid bij het schuiven tussen apparaat- en programma-uitgaven. “Het doel is tot een artikelindeling te komen, waarin beleidsterreinen duidelijk herkenbaar zijn, voldoende homogeen zijn en waar een verband te leggen is tussen beleid, middelen en prestaties” (Van der Knaap & van Dijkhuizen 1999). In tabel 18 en 19 wordt een illustratie gegeven van de middelenallocatie aan beleidsartikelen aan de hand van de begrotingsstaat 2002 van het Ministerie van Economische Zaken en het Ministerie van Volkshuisvesting, Ruimtelijke Ordening en Milieubeheer.

Oorspronkelijk vastgestelde begroting (Bedragen in EUR1000) Verplichtingen TOTAAL

Uitgaven

Ontvangsten

1 786 237

2 849 963

Beleidsartikelen 1.Werking Binnenlandse markten

47 727

49 114

97 096

2. Bevorderen van innovatiekracht

594 228

580 750

154 648

3. Bevorderen van ondernemingsklimaat

604 644

302 330

21 158

4. Doelmatige en duurzame energievoorziening

248 579

228 426

20 987

5. Buitenlandse economische betrekkingen

231240

201 578

1 815

6. Vitale belangen ten tijde van crisis

82 300

82 300

81 998

7. Beheer bodemschatten

75 844

75 844

2 379 170

8. Economische analyses en prognoses

10 856

10 856

43

153 368

153 368

10 528

3 647

9.

Voorzien

in

maatschappelijke

behoeften

aan

statistieken 21. Algemeen

83 829

84 276

22. Nominaal en onvoorzien

11 472

11 472

23. Afwikkeling oude verplichtingen

5 297

5 932

78 873

Tabel 18: Begrotingsstaat 2002 Ministerie van Economische Zaken

79

Oorspronkelijk vastgestelde begroting (Bedragen in EUR1000) Verplichtingen

Uitgaven

Ontvangsten

3 403 485

109 921

67 981

71 456

4 084 74 395

TOTAAL Beleidsartikelen 1. Strategische beleidsontwikkeling en monitoring 2. Betaalbaarheid van het wonen

1 809 831

1 884 198

3. Duurzame woningen en gebouwen

32 294

208 078

4. Aantrekkelijke fysieke woonomgeving

149 525

276 467

5. Sociale kwaliteit van het wonen en de woonomgeving

41 348

71 161

2 473

6. Versterken ruimtelijke kwaliteit stedelijke gebieden

24 182

32 940

7. Verbeteren integrale milieukwaliteit op lokaal niveau

290 376

255 887

357

8. Versterken ruimtelijke kwaliteit landelijke gebieden

11 929

15 176

9. Versterken ruimtelijke kwaliteit in Europees verband

10 541

10 606

10. Verbeteren nationale milieukwaliteit

17 412

22 484

4 992

11. Tegengaan milieurisico’s en emissies

235 827

241 022

3 176

12. Beheersen milieurisico’s van stoffen, afval en straling

35 513

37 781

908

13. Handhaving

74 100

77 094

882

14. Huisvesting Koninklijk Huis, Hoge Colleges van Staat en

47 504

47 504

15. Algemeen

156 471

158 888

16. Nominaal en onvoorzien

- 7 257

- 7257

Ministerie van Algemene Zaken

Niet-beleidsartikelen 18 654

Tabel 19: Begrotingsstaat 2002 Ministerie van Volkshuisvesting, Ruimtelijke Ordening en Milieubeheer

Ten tweede dient ook de memorie van toelichting meer transparant en beleidsgericht te worden. In dit document wordt de middelenallocatie verantwoord aan de hand van de drie WWWvragen. Het bestaat uit een beleidsagenda en een gedetailleerde toelichting per beleidsartikel. De beleidsagenda beschrijft wat de beleidsdoelstellingen zijn, welke instrumenten hiertoe ingezet worden, welke prestaties geleverd worden en welke middelen hiervoor begroot zijn. Het is dus de bedoeling dat de regering haar nieuw beleid aan de Staten-Generaal voorstelt op de derde dinsdag van september. Als het beleid nog niet volledig uitgeklaard is, mag ook verwezen worden naar een komende beleidsnota. De beleidsagenda moet bondig en overzichtelijk zijn.

Naast de algemene beleidstoelichting aan de hand van de beleidsagenda, wordt er ook per beleidsartikel een gedetailleerde toelichting voorzien. De belangrijkste elementen van deze gedetailleerde toelichting per beleidsartikel zijn de volgende:

80

1. Algemene beleidsdoelstelling: Men begint met het aangeven van het finale beleidseffect. Hierbij is het belangrijk dat men de doelgroep, de timing en de streefwaarden van het beleid weergeeft. “Beseft wordt dat niet altijd sprake is van beoogde effecten in de maatschappij. De beoogde effecten kunnen bijvoorbeeld ook betrekking hebben op de overheidsorganisatie zelf” (Tweede Kamer der Staten-Generaal, 1999). Dit wordt geïllustreerd in box 14 en box 15.

Box 14: Voorbeeld Algemene beleidsdoelstelling als maatschappelijk effect in de begroting 2002 van het Ministerie van Sociale Zaken en Welzijn Beleidsartikel “Basisdienstverlening Werk en Inkomen” Algemene beleidsdoelstelling: “De Centrale Organisatie Werk en Inkomen (CWI) bevordert de werking van de arbeidsmarkt door het bij elkaar brengen van vraag en aanbod ten behoeve van werklozen, andere werkzoekenden en werkgevers. Het CWI zorgt voor een zodanige dienstverlening (…) dat werkzoekenden op een zo kort mogelijke termijn aan het arbeidsproces kunnen deelnemen en werkgevers hun vacatures op zo kort mogelijke termijn kunnen invullen”

Box 15: Voorbeeld Algemene beleidsdoelstelling als effect in de organisatie in de begroting 2002 van het Ministerie van Binnenlandse Zaken en Koninkrijksrelaties o

Beleidsartikel: “Kwaliteit van de Rijksdienst”

o

Algemene beleidsdoelstelling: “De zorg voor een goede personele en organisatorische kwaliteit van de Rijksdienst.”

2.

Nader geoperationaliseerde beleidsdoelstellingen: Het kan hier zowel gaan over

intermediaire effecten als over concretiseringen van finale beleidseffecten. De doelgroep en de streefwaarden worden aangegeven, “idealiter in een perspectief van de realisatiecijfers van het jaar t-2 en de tussenliggende jaren, tot het laatste meerjarencijfer t+4” (Tweede Kamer der Staten-Generaal 1999: pp.15). Zo wordt het mogelijk de doeltreffendheid van het beleid

te

beoordelen.

Hiervoor

werkt

men

met

prestatiegegevens

of

met

evaluatieonderzoek. Indien het onmogelijk is de beoogde effecten te meten en kwantificeren, moet men zich concentreren op het meten van de activiteiten of prestaties. Box 16 bevat hiervan een voorbeeld.

Box 16: Nader geoperationaliseerde beleidsdoelstelling uit de begroting 2002 van het Ministerie van Verkeer en Waterstaat o o

Beleidsartikel “Veilig goederenvervoer”: Operationele doelstelling: “Leveren van bijdrage aan het verminderen van het aantal doden in het wegverkeer met 30% (tot 750 per jaar) en het aantal ziekenhuisgewonden met 25% (tot 14.000 per jaar) in het jaar 2010 ten opzichte van 1998.

81

3. Budgettaire gevolgen van het beleid: Per beleidsartikel worden de verplichtingen, uitgaven en ontvangsten weergegeven van het jaar t-2 tot het jaar t+4. Er wordt een onderscheid gemaakt naar programma- en apparaatuitgaven. Deze worden nog verder uitgesplitst. In één cijferoverzicht worden de verplichtingen, uitgaven en ontvangsten vanaf het jaar t-2 tot het jaar t+4 vermeld. De uitgaven worden onderverdeeld naar apparaat- en programma-uitgaven. Deze worden onderling nog opgesplitst.

4. Toelichting zoveel mogelijk aan de hand van prestatiegegevens: Het is de bedoeling het verband tussen de geraamde bedragen en de prestatiegegevens zo duidelijk mogelijk te maken. “De programma-uitgaven worden zoveel mogelijk toegelicht door middel van ramingkengetallen: het geraamde bedrag wordt onderbouwd door middel van een hoeveelheids- en prijscomponent. Het apparaatbudget wordt zoveel mogelijk onderbouwd in termen van doelmatigheidskengetallen, de uitvoeringskosten per prestatie” (Tweede Kamer der Staten-Generaal 1999: pp.17).

Box 17. Voorbeeld van inputgegevens in de begroting 2002 van het Ministerie van Landbouw, Natuurbeheer en Visserij

-

Beleidsartikel: “Bevorderen duurzame productie”

-

Operationele doelstelling: “Verbeteren dierenwelzijn”

-

Inputindicator: “bijdrage Landelijke Inspectiedienst voor Dieren”

Box 18: Voorbeeld van inputgegevens in de begroting 2002 van het Ministerie van Buitenlandse Zaken

-

Beleidsartikel: “Bilaterale ontwikkelingssamenwerking”

-

Operationele doelstelling: “Concentratie van de structurele bilaterale hulp op een beperkt aantal landen”

-

Inputindicatoren: “Verdeling structurele hulp in euro’s per concentratieland voor waterbeheer, gezondheidszorg, onderwijs en rurale ontwikkeling”

Box 19: Voorbeeld van procesindicatoren en prestatie- indicatoren in de begroting 2002 van het Ministerie van Justitie: -

Beleidsartikel: “Toelating Asiel en Regulier”

-

Operationele doelstelling: “Het binnen de gestelde termijn verstrekken van of onthouden van

verblijfsvergunningen” -

Prestatie-indicatoren: “de doorlooptijd in weken van asiel gehoor, asiel beslissing, asiel eerste

aanleg, asiel bezwaar benoemd”, “de aantallen te nemen beslissingen inzake asiel en te verstrekken statusverleningen”

82

Box 20: Voorbeeld van effectindicatoren in de begroting 2002 van het Ministerie van Economische Zaken: -

Beleidsartikel: “Bevorderen van innovatiekracht”

-

Operationele doelstelling: “Stimuleren van innovatief ondernemerschap”

-

Effectindicatoren: “aantal technostarters als% van het totaal aantal starters”, “aandeel snelle

groeiers als % van het aantal middelgrote bedrijven”

Box 21: Effectindicatoren in de begroting van Volkshuisvesting, Ruimtelijke Ordening en Natuurbeheer

-

Beleidsartikel: “Beheersen van milieurisico’s van stoffen, afvalstoffen en straling”

-

Operationele doelstelling: “Beheersen van milieurisico’s van afvalstoffen”

-

Effectindicatoren voor het jaar 2012:

Beperking van de groei van het afvalaanbod zodat de in Beperkte groei afvalaanbod tot 16% bij een de periode 1985-1998 bereikte relatieve ontkoppeling van voorspelde economische groei van het BBP het BBP en het totale afvalaanbod wordt versterkt

van 45% Afval aanbod 64,0 MTon

Storten (exclusief fosforzuurgips en niet reinigbare grond)

2,0 Mton

Verbranden (verwijdering niet gevaarlijk afval exclusief 5,5 Mton zuiveringsslib ) Verbranden (verwijdering gevaarlijk afval) Totaalverwijdering

(exclusief

fosforzuurgips

0,5 Mton en 8 Mton

zuiveringsslib)

Indien beleidsdoelstellingen gespreid zijn over verschillende departementen worden in de departementale begrotingen overzichtsconstructies opgenomen om de Staten-Generaal te informeren. De individuele ministeriële verantwoordelijkheid blijft weliswaar behouden.

Formattering van de beleidsverantwoording Om de cirkel rond te maken dient ook de structuur en inhoud van het jaarverslag aangepast te worden aan de beleidsbegroting. De beleidsverantwoording focust dan ook op de volgende vragen. Het begrip ‘departementale financiële verantwoording’ wordt vervangen door de term ‘departementaal jaarverslag’. De wijzigingen in de verantwoording zijn analoog aan die in de begroting.

“De beleidsagenda betreft een samenvatting van de bereikte resultaten op hoofdlijnen. Een meer uitgebreide beschrijving wordt opgenomen in de toelichting op de beleidsartikelen. De samenvatting wordt aangevuld met een tabel waarin de oorspronkelijk geraamde verplichtingen, uitgaven en ontvangsten per beleidsartikel worden afgezet tegen de realisaties. Tevens worden de belangrijkste beleidsintensiveringen en –extensiveringen op totaalniveau zichtbaar gemaakt” (Tweede Kamer der Staten-Generaal 1999: pp. 22-23).

83

De indeling van de gedetailleerde toelichting per beleidsartikel is bijna analoog aan die van de beleidsartikelen in de begroting. Ten eerste wordt aangegeven in hoeverre de algemene en nader geoperationaliseerde doelstellingen bereikt zijn en welke prestaties daartoe geleverd zijn. Er wordt gebruik gemaakt van de meest recent beschikbare doeltreffendheidkengetallen. “Indien mogelijk worden desbetreffende prestatiegegevens verstrekt voor de jaren t-4 tot en met t

en wordt voor het jaar t een expliciete vergelijking gemaakt tussen de beoogde en de

gerealiseerde effecten. Verschillen worden zo goed mogelijk toegelicht” (Tweede Kamer der Staten-Generaal 1999: pp.23).

De bedrijfsvoeringsparagraaf is een uitzonderingsrapportage die aan de Tweede Kamer een beeld moet geven van de bijzonderheden van de kwaliteit van de bedrijfsvoering zoals knelpunten en maatregelen ter verbetering. Op advies van de Algemene Rekenkamer heeft het Ministerie van Financiën een referentiekader ontwikkeld voor de invulling van de bedrijfsvoeringsparagraaf. Bedrijfsvoering heeft niet enkel betrekking op financieel beheer en materiaalbeheer, maar ook op doelmatigheid. Onder bedrijfsvoering wordt verstaan de sturing en beheersing van primaire bedrijfsprocessen (ontwikkeling, aansturing en uitvoering van beleid) en ondersteunende bedrijfsprocessen (personeel, informatisering, organisatie, financiën, automatisering en huisvesting) binnen een ministerie om de beleidsdoelstellingen te kunnen realiseren. Sturing is het proces waarbij richting wordt gegeven aan een organisatie om de beleidsdoelstellingen te kunnen realiseren. Onder beheersing wordt verstaan het proces waarbij een stelsel van maatregelen en procedures wordt ingevoerd en gehandhaafd om vast te stellen of de uitvoering in overeenstemming is en blijft met de gemaakte plannen en om zonodig maatregelen voor de bijsturing te treffen om de beleidsdoelstellingen te kunnen realiseren. (Ministerie van Financiën 2002)

EVALUATIE VAN DE IMPLEMENTATIE VAN VBTB

De begrotingen voor het jaar 2002 en 2003 zijn opgesteld volgens de nieuwe methode. De Algemene Rekenkamer ondernam een explorerend onderzoek naar de mate waarin de departementen in de begrotingen 2002 heldere beleidsdoelstellingen hebben geformuleerd, onderbouwd met concrete prestatiegegevens. De Algemene Rekenkamer ging per ministerie op zoek naar twee beleidsartikelen die een voorbeeldfunctie kunnen vervullen voor het formuleren van heldere doelstellingen en het benoemen van prestatiegegevens overeenkomstig het VBTBgedachtegoed. Om een beter beeld te krijgen sprak de Algemene Rekenkamer met de Directies Financieel-Economische Zaken en met de beleidsdirecties.

Inzake de formulering van doelstellingen in de begrotingen 2002 deed de Algemene Rekenkamer de volgende vaststellingen. (Algemene Rekenkamer 2002) Bij de meeste beleidsartikelen worden algemene doelstellingen geformuleerd in termen van effecten in de

84

maatschappij of in termen van effecten in de organisatie. De algemene doelstellingen worden geconcretiseerd in operationele doelstellingen waar meestal ook de doelgroep en de tijdshorizon geformuleerd worden. De operationele doelstellingen zijn vaak kwalitatief geformuleerd. Deze bevatten dus enkel potentieel meetbare streefwaarden.

De Algemene Rekenkamer onderzocht de begrotingen 2002 ook op de focus van de prestatiegegevens

(MAPE).

Tabel

20

geeft

een

overzicht

van

de

verdeling

van

prestatiegegevens in de begrotingen 2002. Middelen Activiteiten

Prestaties

Intermediaire

Effecten

effecten (percentages < 15 % werden niet

Prestaties

Prestaties

opgenomen in de tabel)

lokale

bedrijven,

overheden,

burgers

RWT’s # Buitenlandse Zaken

115

Justitie

220

Finaal in

de

en maatschappij

en instellingen

ZBO’s 90% 30%

40%

Binnenlandse Zaken en 75

33%

33%

Koninkrijksrelaties Onderwijs,

Cultuur

en 240

60%

25%

15%

Wetenschappen Financiën

65

50%

Defensie

230

Volkshuisvesting,

130

40%

Verkeer en Waterstaat

175

35%

35%

Economische Zaken

110

45%

30%

Landbouw,

85

25%

40%

60% 33%

Ruimtelijke Ordening en Milieubeheer

15% 35%

24%

40%

Natuurbeheer en Visserij Sociale

Zaken

en 145

20%

45%

15%

Werkgelegenheid Volksgezondheid,

70

15%

30%

17%

effect

23%

Welzijn en Sport

Tabel 20: Analyse van prestatiegegevens in de begroting 2002 (Algemene Rekenkamer 2002: pp. 55)

85

De Algemene Rekenkamer formuleerde ook een aantal rijksbrede conclusies inzake de VBTBbegrotingen 2002 (Algemene Rekenkamer 2002).

-

De begrotingen zijn toegankelijker geworden en bevatten meer resultaatgerichte informatie.

-

Er

is

wel

nog

verbetering

mogelijk:

“scherpere

doelstellingen,

completere

prestatiegegevens en een duidelijker verband tussen doelstellingen, prestatiegegevens en middelen”. -

Voor de klassieke overheidstaken, internationaal beleid en coördinerend beleid kan een dekkende programmering van evaluatieonderzoek het proces nog verbeteren, voor de andere beleidsartikelen ligt er nog een mogelijkheid tot verbetering in het duidelijk bepalen van doestellingen en prestatiegegevens

In het verlengde hiervan formuleerde de Algemene Rekenkamer ook enkele aanbevelingen (Algemene Rekenkamer 2002).

-

Een verdere benoeming van dekkende prestatiegegevens en daaraan gekoppeld- in aanvulling op systemen van reguliere prestatiegegevens- de programmering van periodiek evaluatieonderzoek

-

Een betere explicitering van de relatie tussen doelen, prestaties en middelen door presentatie van de uitgaven en ontvangsten per operationeel doel en per type beleidsinstrument

-

Een helderder en eenduidiger weergave van de reikwijdte van de verantwoordelijkheid van de minister voor de realisering van de doelstellingen

86

3.3 Gebruik bij sturings- en verantwoordingsrelaties Ten

derde

kunnen

prestatiegegevens

ook

gebruikt

worden

in

sturings-

en

verantwoordingrelaties. In deze paragraaf wordt ten eerste aangegeven in welke sturings- en verantwoordingsrelaties prestatiegegevens gebruikt kunnen worden en hoe dit ingevuld wordt in Vlaanderen. Vervolgens wordt dieper ingegaan op de voorstellen terzake van het Voorontwerp Kaderdecreet Bestuurlijk Beleid. Ten slotte wordt een beeld geschetst van het gebruik van prestatiegegevens bij de aansturing van verzelfstandigde agentschappen in Zweden.

3.3.1 Verkenning van het gebruik van prestatiegegevens in de sturings- en verantwoordingsrelaties in Vlaanderen Prestatie-informatie wordt vaak gebruikt om verantwoordings- en sturingsrelaties op een andere manier te laten verlopen. Traditioneel wordt er gestuurd en verantwoord op basis van input. De vragen die men zich stelt, richten zich op de middelen die men in de overheidsorganisaties investeert. Meer en meer wordt deze vraag aangevuld met de vraag naar de output - wat uit de organisaties komt, en het effect, - wat deze output betekent in de maatschappij. Output en effect worden een permanent aandachtspunt in de sturings- en verantwoordingsrelaties9. Er kunnen verschillende sturings- en verantwoordingsrelaties worden onderscheiden:

1. Verantwoording van de overheid aan de burger als klant 2. Verantwoording van de overheid aan de burger als burger 3. Verantwoording ten opzichte van Europese instanties en internationale instanties 4. Verantwoording en sturing tussen parlement en regering 5. Verantwoording en sturing tussen administratie en minister 6. Verantwoording en sturing tussen administratie en verzelfstandigde organisaties 7. Verantwoording en sturing tussen het top management en organisatieafdelingen, teams en/of individuele leden van een organisatie VERANTWOORDING VAN DE OVERHEID AAN DE BURGER ALS KLANT10

Overheidsorganisaties die directe dienstverlening verzorgen aan de burgers en die dusdanig de burger als klant kunnen beschouwen, nemen vaak engagementen inzake de kwaliteit van de dienstverlening. Handvesten van de gebruiker zijn hier een voorbeeld van. De organisatie definieert minimale kwaliteitsstandaarden waaraan de burger zich als klant mag verwachten. 9

Het is fout te stellen dat de aandacht voor output en effect van beleid nieuw is. Er worden reeds lange tijd beleidsevaluaties gedaan. Het is echter pas de laatste decennia dat de aandacht voor effect op een meer systematische manier wordt geïntegreerd in de sturingsarrangementen van de overheid.

87

Een typisch voorbeeld zijn bepalingen inzake de tijdigheid van de dienstverlening zoals de maximale doorlooptijd van een dossier. Vanzelfsprekend moet er dan een informatiesysteem zijn dat deze prestatie-informatie kan leveren.

In het Verenigd Koninkrijk bijvoorbeeld werden in het kader van Modernising Public Services (2000) regeringswijde indicatoren en normen ontwikkeld

voor het beantwoorden van

correspondentie, de wachttijden aan het loket, de wachttijden aan de telefoon, het verlenen van contactinformatie, de klachtenprocedure en de klantgerichtheid.

VERANTWOORDING VAN DE OVERHEID AAN DE BURGER ALS BURGER

Informatie over de output en de effecten van de overheid in de maatschappij moet zich niet noodzakelijk enkel richten op de burger als klant. De burger kan ook aangesproken worden als lid van de gemeenschap; als burger dus. Hier stelt zich wel de vraag welk communicatiekanaal zal gebruikt worden. Het lijkt wat overmoedig te veronderstellen dat een individuele burger zich na het werk aan het lezen zet in een jaarverslag van pakweg een VOI. Vandaar dat men zich de vraag moet stellen of men zich richt op elke individuele burger of op de georganiseerde burgers (belangengroeperingen, het middenveld). Indien de georganiseerde burger de doelgroep is, kan jaarverslaggeving of gespecialiseerde rapportage volstaan. Indien men zich tot de individuele burger richt, zullen gevulgariseerde rapporten, de pers of advertentieruimte als intermediair optreden.

In Vlaanderen wordt op verschillende wijzen verantwoording afgelegd ten opzichte van de burgers als burgers. Ten eerste zijn de beleidsnota’s en de beleidsbrieven beschikbaar voor het publiek, aangezien ze opgenomen worden in de stukken van het Vlaams Parlement. Ook de Vlaamse Regionale Indicatoren (VRIND) zijn publiek beschikbaar en spelen een rol in de communicatie van de Vlaamse overheid naar de burger. Recent kan hier het Pact van Vilvoorde als voorbeeld aan toegevoegd worden. In het pact zijn 21 indicatoren opgenomen over zaken als werkgelegenheid, cultuur, zorg, economie, ondernemerschap, onderwijs; mobiliteit (www.kleurrijkvlaanderen.be). Het gaat hier om een relatie tussen de Vlaamse Regering enerzijds en de sociale partners en de natuur- en milieuverenigingen anderzijds. Het gaat hierbij dus niet om de individuele burger, maar om de burgers die zich organiseren; de georganiseerde burger.

10

Merk op dat er met betrekking tot de relaties met burgers geen sprake is van een sturingsrelatie. Nochtans stuurt de burger in een democratisch bestel de overheid. Verkiezingen zijn hiertoe veruit het belangrijkste instrument. Deze interessante thematieken vallen buiten de focus van het rapport.

88

VERANTWOORDING

EN STURING TUSSEN

VLAAMSE

INSTANTIES EN

EUROPESE

EN INTERNATIONALE

INSTANTIES

Meer en meer worden beleidsvelden geïnternationaliseerd. Europa wordt stap bij stap een sterkere partij. De Europese administratie is echter relatief klein, en de diversiteit van administratieve praktijken in Europa is groot. Dit maakt het moeilijk om een eenvormig Europees beleidsinstrumentarium voor te schrijven. Vandaar dat de Europese instanties vaak terugvallen op output- en effectindicatoren. Vanuit de keuze van de indicatoren gaat immers een beleidsbepalende kracht uit. Achter de keuze van een indicator gaan vaak beleidsopties schuil. In die zin komt er via de Europese indicatoren wel degelijk sturing van Europa.

VERANTWOORDING EN STURING TUSSEN PARLEMENT EN REGERING

De wetgevende macht heeft de grondwettelijke taak om de uitvoerende macht te controleren. Vaak wordt deze controle concreet in het stellen van parlementaire vragen aan de minister en zijn of haar administratie. Parlementaire vragen kunnen zich richten op de output van organisaties en het effect ervan in de maatschappij. Vanzelfsprekend gaat het gewoonlijk om maatschappelijk gevoelige items en wordt de informatie gebruikt volgens een politieke rationaliteit. Via de parlementaire vragen is het parlement een belangrijke potentiële afnemer van prestatie-informatie.

Anderzijds kunnen er ook nieuwe verantwoordingmechanismen gecreëerd worden. Zo legt de regering in Canada verantwoording af aan het Parlement aan de hand van Reports on Plans and Priorities

als gevolg van het Improved Reporting to Parliament Initiative. Het is de

bedoeling de prestatie-informatie aantrekkelijker te maken voor het parlement onder andere door het benadrukken van indicatoren voor levenskwaliteit (quality of life indicators). Een ander voorbeeld is de Amerikaanse Government Performance and Results Act 1993 die vereist dat agentschappen een Strategic Plan, een Performance Plan en een Performance Report indienen bij het Congres.

De Vlaamse regering verschaft ook op een pro-actieve wijze prestatie-informatie (zowel op output als effectniveau) aan het Vlaams Parlement aan de hand van beleidsnota’s en beleidsbrieven. Het parlementaire werk kan verrijkt worden indien er informatie over belangrijke maatschappelijke effecten naar voor wordt geschoven. De verantwoording lijkt echter eerder een symbolische oefening te zijn, aangezien er in het Vlaams Parlement over het algemeen weinig interesse lijkt te zijn voor de beleidsdocumenten.

89

VERANTWOORDING EN STURING TUSSEN MINISTER EN ADMINISTRATIE

De verantwoording en sturing tussen politiek en administratie wordt geconcretiseerd in de aansturing van het topmanagement door de minister. Er is een internationale tendens naar een meer resultaatgerichte aansturing van topambtenaren. In Nederland worden er bijvoorbeeld werkafspraken gemaakt tussen de minister en de Secretaris-generaal en tussen de Secretarisgeneraal en de Directeurs-generaal.

In Nieuw-Zeeland worden de Chief Executives

aangestuurd op basis van een Performance Agreement, een overeenkomst over de doelstellingen van de topmanager die in het verlengde liggen van de doelstellingen van het agentschap uit de beheersovereenkomst of Purchase Agreement.

Het is ook de bedoeling van Beter Bestuurlijk Beleid om voor de aansturing van het top- en middenkader (N en N-1) een mandaatstelsel in te voeren. Daarnaast wordt er ook een managementcode ontwikkeld waarin de principes van goed personeelsbeleid worden bepaald. Om de prestaties van het topmanagement en de toepassing van de managementcode te evalueren, zal er

dus nood zijn aan goede prestatiegegevens. Het gebruik van

prestatiegegevens in het human resources management lijkt dus ook in Vlaanderen steeds belangrijker te worden.

VERANTWOORDING EN STURING TUSSEN ADMINISTRATIE EN VERZELFSTANDIGDE ORGANISATIES

De meest vernoemde gebruikswijze van prestatie-informatie is het gebruik van informatie in de beheersovereenkomsten tussen departementen en verzelfstandigde organisaties. In het kader van de hervorming Beter Bestuurlijk Beleid zullen beheersovereenkomsten een belangrijk beheersinstrument worden (zie 3.3.2.). De verzelfstandigde agentschappen zullen op output verantwoording moeten afleggen.

VERANTWOORDING

EN STURING TUSSEN HET TOP MANAGEMENT EN ORGANISATIEAFDELINGEN, TEAMS

EN/OF INDIVIDUELE LEDEN VAN EEN ORGANISATIE

Ook intern kan informatie gebruikt worden om sturings- en verantwoordingsrelaties in te vullen. Het kan hierbij gaan om relaties tussen leidinggevenden en personeelsleden, tussen de top van de organisatie en de organisatieafdelingen of teams. De meest beruchte vorm is waarschijnlijk de prestatiebeloning in de vorm van financiële boni (pay for performance). Er kunnen echter ook minder extreme vormen van interne verantwoording en sturing voorkomen. Zo kan de verantwoording van een projectteam zich baseren op output- en effectinformatie. Ook kan de interne efficiëntie van verschillende organisatie-afdelingen beoordeeld worden aan de hand van outputinformatie. De regionale afdelingen van zowel VDAB als RVA worden zo bijvoorbeeld in een vergelijkend perspectief geplaatst. Twee figuren geven een beeld van dergelijke

90

vergelijkingen uit het VDAB systeem. De verschillende Lokale Klanten Centra worden doorheen de tijd (figuur 9) en met elkaar (figuur 10) vergeleken.

Figuur 8: vergelijking van een LKC (VDAB) in de tijd

Figuur 9: vergelijking van verschillende LKC’s (VDAB)

91

Ook in het Ministerie van de Vlaamse Gemeenschap zijn er interne sturingsrelaties op basis van prestatie-informatie. Hiertoe werd bijvoorbeeld het instrument PLOEG uitgewerkt. Vanuit de beleidsnota en de beleidsbrief dient de Secretaris-generaal de doelstellingen van het departement te bepalen. Dit departementaal actieplan wordt dan door de Directeurs-generaal verder vertaald in doelstellingen voor de administraties. Vervolgens worden deze doelstellingen verder geoperationaliseerd in doelstellingen per afdeling die tenslotte ook geïndividualiseerd worden.

Tenslotte wijzen we nog op het beleidsinformatiesysteem van de dienst Inspectie en Audit van Kind en Gezin (Kind en Gezin 2001). Hier wordt de prestatie-informatie gebruikt om intern beheersovereenkomsten af te sluiten tussen het topmanagement van Kind & Gezin en de dienst Inspectie en Audit. De beheersovereenkomst wordt jaarlijks geëvalueerd. De inpassing van Inspectie en Audit in de algemene doelstellingen van Kind & Gezin gebeurt aan de hand van een Strategische Intentieverklaring die afgeleid wordt uit de missie van Kind & Gezin. Op deze manier vindt men een evenwicht tussen enerzijds de onafhankelijkheid die een inspectiedienst nodig heeft en anderzijds de inschakeling van inspectie in de organisatie en haar doelstellingen. Daarnaast heeft ook het IKAROS systeem de rapportage aan het directiecomité als een zeer belangrijke finaliteit (supra).

3.3.2

Gebruik

van

prestatiegegevens

bij

de

aansturing

van

verzelfstandigde agentschappen volgens het Voorontwerp Kaderdecreet Bestuurlijk Beleid De

implementatie

van

Beter

Bestuurlijk

en

de

verdere

verzelfstandiging

van

de

beleidsuitvoering, vereist dat er beleids- en beheersinformatie aanwezig is om de IVA’s en EVA’s aan te sturen en op te volgen. De toename van de autonomie wordt gecompenseerd door de invoering van nieuwe vormen van verantwoording. De volgende tabel geeft een overzicht van de kalender van planning en rapportering volgens het Voorontwerp Kaderdecreet Bestuurlijk Beleid en het Voorontwerp Comptabiliteitsdecreet:

92

TIMING

PLANNING & RAPPORTERING

ACTOREN

6 maanden na de eedaflegging

Beleidsnota

Minister en Beleidsraad

onbepaald

Beheersovereenkomsten

Minister en IVA’s en EVA’s

onbepaald

Operationeel Plan

IVA’s en EVA’s

Herfst t-1

Beleidsbrief jaar t

Minister en Beleidsraad

onbepaald

Jaarlijks ondernemingsplan t

IVA’s en EVA’s

1 maart t+1

Jaarrapport uitvoering beheersovereenkomst t

IVA’s en EVA’s

Mei t+1

Beleidseffectenrapport t

Minister

Mei t+1

Activiteitenverslag

uitvoering Minister

beheersovereenkomsten 6 maanden voor het einde van Eindrapport uitvoering beheersovereenkomsten

IVA’s en EVA’s

de beheersovereenkomst

Tabel 21: de nieuwe plannings- en rapporteringskalender

De doelstellingen van de beleidsnota worden vertaald in beheersovereenkomsten die afgesloten worden met de IVA’s en EVA’s. De beheersovereenkomsten bevatten

“de

concretisering van de kwalitatieve en kwantitatieve wijze waarop het agentschap zijn taken moet vervullen, met strategische en operationele doelstellingen, beschreven aan de hand van meetbare criteria en de toekenning van middelen voor de eigen werking van het agentschap en de toekenning van middelen voor de uitvoering van de doelstellingen en taken waarvoor het agentschap werd opgericht (Vlaamse Regering, 2002b art. 9 §1, art 15 §1). Nadere bepalingen inzake de vereiste vorm en inhoud van de beheersovereenkomsten kan de Vlaamse regering vastleggen in een uitvoeringsbesluit.

Om verantwoording af te leggen aan het Vlaams Parlement over de planning van de activiteiten, dienen de verzelfstandigde agentschappen een jaarlijks ondernemingsplan en een operationeel plan op middellange en lange termijn op te stellen (Vlaamse Regering, 2002b, art. 9 §1).

In maart rapporteren de agentschappen aan de Vlaamse Regering over de uitvoering van de beheersovereenkomst in het afgelopen kalenderjaar aan de hand van een jaarlijks rapport. Zes maanden voor het aflopen van de beheersovereenkomst wordt een eindrapport aangeboden aan de Vlaamse Regering. De Vlaamse Regering brengt jaarlijks verslag uit aan het Vlaamse Parlement over de uitvoering van de beheersovereenkomsten.

93

Er is in Vlaanderen reeds ervaring met beheersovereenkomsten. Er zijn ondermeer overeenkomsten met: o

De Vlaamse Vervoersmaatschappij (VVM - De Lijn)

o

De Vlaamse Dienst voor Arbeidsbemiddeling en Beroepsopleiding (VDAB)

o

De Vlaamse Radio en Televisieomroep (VRT)

o

De Vlaamse Instelling voor Technologisch Onderzoek (VITO)

o

De Vlaamse Opera (Vlopera)

o

De Dienst voor de Scheepvaart (DS)

o

Het Vlaams Fonds voor de Letteren

Prestatie-indicatoren spelen een belangrijke rol in de beheersovereenkomsten, maar niet in dezelfde mate. Het Rekenhof deed een audit van de beheersovereenkomsten van bovenstaande VOI’s. De conclusies voor wat betreft het onderdeel ‘verplichtingen, prestaties, indicatoren, normering en timing’ staan in tabel 22 (Rekenhof 2001). Daarnaast verwijzen we naar een studie in opdracht van de administratie cultuur (Bouckaert, Verhoest & Voets 2002) die de beheersovereenkomsten in de culturele sector bekeek. Er bleek een brede waaier aan beheersovereenkomsten te bestaan met allerhande instellingen; VOI’s (supra), culturele instellingen (bv. Stichting Ons Erfdeel, Koninklijk Ballet van Vlaanderen), 8 steunpunten (bv. Vlaams Theater Instituut), gebouwen en infrastuctuur (bv. Kaaitheater, AB) en een aantal andere instellingen zoals de VZW De Rand en het KMSKA. Slechts in beperkte mate werden er prestatie-indicatoren opgenomen. Regelmatig wordt er in de culturele sector geargumenteerd dat cultuur niet meetbaar is. Indien activiteiten moeilijk meetbaar zijn, horen ze ofwel niet thuis in een beheersovereenkomst, ofwel dient men terug te vallen op activiteiten en procesindicatoren (infra).

94

VVM (sui generis)

VDAB (categorie B)

VRT (sui generis)

VITO (sui generis)

Vlopera (sui generis)

DS (categorie B)

VFL (sui generis)

- Beheersovereenkomst legt een aantal verplichtingen en uit te voeren prestaties op aan de VVM. Er is geen duidelijke relatie met strategische doelstellingen in beheersovereenkomst. - De overeenkomst omvat een aantal kwantitatieve indicatoren met normwaarden: a. Minimaal aantal kilometers (art.7, §5); b. Gebruik van aanbod (vervoersontvangsten art.7, §6); c. Evenwicht in exploitatierekening (art.7, §2); d. Levensduur rollend materieel (art.14)

- Beheersovereenkomst bevat 6 verbintenissen. De meeste zijn toetsbaar gemaakt door middel van kwantitatieve parameters (hoofdzakelijk outputindicatoren) en genormeerd (optimalisatie%). Timing voorzien. (art. 5 en bijlage 1) - Kwalitatieve parameters moeten worden ontwikkeld (art. 5) - Andere verbintenissen (niet trajectgerelateerde activiteiten, optimaal beheer van werkingsmiddelen, …) zijn niet genormeerd, enkele zijn moeilijk meetbaar.

- Beheersovereenkomst bepaalt voor elke strategische doelstelling verschillende performantiemaatstaven. De meeste zijn meetbaar gemaakt door indicatoren en normen (zowel kwantitatieve en kwalitatieve, output en effect indicatoren.) - Voor de meeste indicatoren is een timing voorzien (meestal te behalen tegen einde van overeenkomst). - Daarbuiten bevat de beheersovereenkomst nog een aantal andere verplichtingen: *enkele projecten voor radio en televisie uit te voeren - … binnen looptijd eerste overeenkomst (art. 2,§ 1 & art. 3, §1); *duidelijke profilering radio- en televisienetten; *Participatie in Vlaamse onafhankelijke audiovisuele productie (art. 3, §1); *Besparing op personeelskosten (art. 6); *Hernegociatie pensioencontract (art. 7);

- Het technisch dossier omvat voor elke onderzoeksafdeling concrete resultaatsverbintenissen. Deze zijn niet altijd toetsbaar gemaakt. - Het protocol bepaalt 8 performantie-indicatoren. Er is geen duidelijke link met de resultaatsverbintenissen in het technisch dossier. Er is één globale en relatieve norm: performantie evolueert gunstig als minstens 5 van de 8 indicatoren gunstig evolueren. - Art. 5, §4 bepaalt dat in overleg met de voogdijminister specifieke streefcijfers inzake performantie-indicatoren worden vooropgesteld - De beheersovereenkomst bevat een beperkt aantal andere verplichtingen (ter beschikking stellen van doctoraatsmandaten art.9, …)

- De beheersovereenkomst bevat een beperkt aantal indicatoren voor de twee strategische doelstellingen (art.4). De indicatoren zijn vaag geformuleerd en niet genormeerd. Het zijn kwalitatieve en effectindicatoren. - Het ondernemingsplan bevat geen duidelijke indicatoren. - Daarnaast bevat de overeenkomst nog een aantal concrete verbintenissen (art.5): * minimumaantal operaproducties, eigen producties en voorstellingen per seizoen; * minimumaantal concerten per seizoen; * Spreiding voorstellingen tussen beide plateaus; * contingent betrekkingen waarmee de instelling kan werken; * Minimumpercentage eigen inkomsten 12,5%

- Voor alle doelstellingen zijn één of meerdere indicatoren vermeld (output- en effectindicatoren). - Voor alle indicatoren is norm en timing vastgelegd. - Niet alle indicatoren zijn reeds uitgewerkt in beheersovereenkomst - Andere verplichtingen zijn: * De DS commercialiseert de watergebonden gronden. (punt 4.2) * De DS treedt op als bouwheer voor investeringswerken en stelt jaarlijks investeringsprogramma voor (punt 4.3 en 4.4). * Deelname aan beleid en overleg (punt 4.6).

- De beheersovereenkomst bevat geen meetbare doelstellingen (indicatoren en normen). - De overeenkomst bevat wel een beperkt aantal andere concrete verplichtingen: * bestaande verbintenissen tussen de Vlaamse Gemeenschap en literaire organisaties met betrekking tot de subsidiëring overnemen. (art. 3) * deelnemen aan initiatieven genomen door de Nederlandse en Vlaamse ministers van Cultuur en door de Nederlandse Taalunie met het oog op de integratie van het Vlaamse en het Nederlandse letterenbeleid (art. 4) * Het totaal van de werkingskosten, personeelskosten en vergoedingen mag ten hoogste 12% van de totale dotatie bedragen (art. 6 §2); * Op eigen initiatief of op verzoek alle nuttige en nodige informatie meedelen aan de bevoegde administratie (art. 21)

De normen moeten in principe jaarlijks worden gehaald. - De overeenkomst omvat ook aantal andere verplichtingen: * Lastenboek uitwerken en mededinging organiseren voor contracten exploitanten (art.8); * Samenwerking met andere vervoermaatschappijen (art.13); * Uitwerken van kwaliteitsmeetsysteem (art. 7, §4);

Tabel 22: een evaluatie van 7 beheersovereenkomsten (Rekenhof 2001)

95

Het hoeft niet te verbazen dat de beheersovereenkomst tussen de Vlaamse regering en de VRT één van de meer gemediatiseerde beheersovereenkomsten is. Deze beheersovereenkomst kan goed

als

voorbeeld

dienen

van

het

gebruik

van

prestatie-informatie

in

een

beheersovereenkomst. Tabel 23 geeft aan hoeveel van elke soort indicatoren er in deze beheersovereenkomst opgenomen worden en geeft telkens een voorbeeld. Het gaat voornamelijk om kwalitatieve procesindicatoren. Daarnaast zijn er enkele kwantitatieve indicatoren die voornamelijk de output en de impact van de VRT meten. Effectindicatoren op langere termijn komen niet voor. Tenslotte valt de clausule op die stelt dat het Rekenhof het meetsysteem van VRT kan controleren (artikel 25§4).

Input

Proces

Output

Impact

2 indicatoren

39 indicatoren

11 indicatoren

10 indicatoren

“De

personeelskosten “HRM organiseert voor alle “De totale output van de “Televisie bereikt met zijn

blijven binnen de perken niveaus van het financieel plan”

en

voor

opleidingen

beantwoorden behoeften

netten

functioneel op minimaal 48 000 uur per weekbasis

departementen zinvolle

alle binnenlandse radio wordt drie

aan van

samen

70%

van

op de

bevolking”

die jaar gegarandeerd” de zijn “Het

aandeel

van

de “Televisie

zal

Vlaamse TV producties en ontspanning-

personeel”

van de co-producties zal ten fictieprogramma’s

met

zijn en een

“De VRT verbindt zich ertoe minste 50% bedragen van gemiddelde waardering van jaarlijks een aantal concrete het doelstellingen

totale

programma 75% behalen”

en aanbod uitgezonden tussen

maatregelen te formuleren 18u en 23u.” om de kwaliteit van de programmering te bewaken en te versterken

Tabel 23: prestatie-indicatoren in de beheersovereenkomst van de VRT De grotere nadruk op output en proces is een logisch gevolg van de specifieke gebruikswijze, met name het gebruik in beheersovereenkomsten. Het gaat hier immers om het afspreken en afrekenen op verantwoordelijkheden. Dit impliceert enerzijds dat de resultaten goed meetbaar moeten zijn en anderzijds dat causale verbanden duidelijk vastgesteld moeten kunnen worden. Des te verder men opschuift van output naar effect, des te moeilijker wordt het om te meten en des te zwakker het causale verband wordt tussen wat de organisatie doet en het resultaat. Vandaar dat in beheersovereenkomsten vaak voor output en procesindicatoren wordt gekozen. Veelal binden procesindicatoren de agent (i.c. de VOI) minder dan de outputindicatoren. Procesindicatoren laten aanzienlijke ruimte voor interpretatie en zijn vooral geschikt als terugvalpositie wanneer er geen zinvolle outputindicatoren vooropgesteld kunnen worden. De terugvalposities worden weergegeven in onderstaande flowchart.

96

ja

kan de causaliteit worden vastgesteld?

zijn effecten meetbaar?

ja effectindicatoren

nee ja

nee Is de output meetbaar?

outputindicatoren procesindicatoren

nee

Figuur 10: terugvalposities voor indicatoren in een beheersovereenkomst

3.3.3 Een buitenlands voorbeeld: het gebruik van prestatiegegevens bij de aansturing van agentschappen in Zweden De Zweedse bestuurlijke organisatie wordt gekenmerkt door een lange historische traditie van verzelfstandiging van de beleidsuitvoering. De centrale ministeries zijn eerder klein en stellen ongeveer 4000 ambtenaren te werk. Er zijn een 300-tal agentschappen waar ongeveer 200.000 mensen werken.

Reeds op het einde van de jaren ’60 vatte de Zweedse overheid aan met de invoering van Programme Budgeting. Dit resulteerde ook in de ontwikkeling van een meer resultaatgerichte aansturing van de agentschappen aan de hand van Management by Objectives. In 1988 werd het

Performance

Management

ontworpen

dat

de

resultaatgerichte

sturings-

en

verantwoordingsrelatie tussen ministeries en agentschappen uittekent. In de eerste helft van de jaren ’90 werd het resultaatgericht management van de agenda verdrongen door de sterke nood aan besparingen. Op het eind van de jaren ’90 herwon het resultaatgericht management aan aandacht met het VESTA-project.

DOELSTELLINGEN PERFORMANCE MANAGEMENT EN VESTA

Het Performance management initiatief had als bedoeling de dialoog en de interactie tussen de ministeries en agentschappen meer te focussen op resultaten eerder dan op te besteden middelen, zodat de overheid in haar geheel efficiënter en effectiever zou gaan werken. Het was dus niet de bedoeling om de basisstructuur van de overheid te veranderen, maar wel om de samenwerking tussen de beleidsvoorbereiding en de beleidsuitvoering te versterken en te formaliseren in contracten.

97

VESTA beoogt enerzijds een meer beleidsgerichte begrotingsstructuur die de organisatorische indeling combineert met een activiteitendimensie. Anderzijds is het ook de bedoeling de beheersfunctie van de begroting te versterken door de invoering van accrual budgeting in het verlengde van economische boekhouding die reeds in 1993 geïmplementeerd werd (Regeringskansliet 2000).

ACTOREN

BETROKKEN BIJ DE ONTWIKKELING EN UITVOERING VAN HET

PERFORMANCE MANAGEMENT

EN VESTA

De centrale

beleidsontwikkeling en aansturing inzake het resultaatgericht sturingsmodel is

verspreid over verschillende organisatorische eenheden en agentschappen van het Ministerie van Justitie en het Ministerie van Financiën. Het National Agency for Administrative Development of Statskontoret is een agentschap van het Ministerie van Justitie en is verantwoordelijk voor de ontwikkeling van systemen van performance management en voor de advisering ter zake van ministeries en agentschappen. Het Statskontoret heeft enkele beste praktijkonderzoeken naar managementmethoden ondernomen. Deze gevalstudies formuleren faal- en succesfactoren, maar beogen geen algemeen normatief managementmodel te formuleren.

Aangezien het resultaatgericht sturingsmodel geïntegreerd is in het begrotingsproces, is ook het Ministerie van Financiën bevoegd. De VESTA-hervorming werd hoofdzakelijk geïnitieerd vanuit het Budget Department van het Ministerie van Financiën. Binnen het Budget Department neemt de Division for Budget Development and Management de verantwoordelijkheid op inzake performance management. Belangrijker nog zijn de activiteiten van the Swedish Financial Management Authority (ESV), een autonoom agentschap van het Ministerie van Financiën dat zeer actief is inzake performance management.

PROCES VAN PERFORMANCE MANAGEMENT

In het begin van de jaren ’90 dienden de agentschappen een driejaarlijkse in-depth budget request onderbouwd met prestatie-informatie in te dienen bij het Ministerie van Financiën. Deze in-depth budget requests bestonden uit een resultaatsanalyse van de activiteiten en effecten in een vijfjarig perspectief (t-2 tot t+3), een omgevingsanalyse en een middelenanalyse. In het tweede en het derde jaar werden iets minder gedetailleerde budgetaanvragen ingediend. Deze driejaarlijkse cyclus bleek echter niet te werken. Deze rapporten werden echter niet gebruikt in het begrotingsproces. Ze bevatten te veel en weinig objectieve prestatie-informatie. Volgens de uitvoerende instellingen was er te weinig sturing van de moederministeries bij het opstellen van het in-depth budget request. Men heeft het proces dan ook gewijzigd.

98

“Een belangrijke reden was de kritiek op de periodiciteit: een driejaarlijkse rapportering was te weinig frequent om te fungeren als een opvolgingsinstrument, en te kort om volledige, globale evaluaties te maken. Bovendien was er in het begrotingsproces vaak onvoldoende tijd om deze aanvragen behoorlijk te behandelen. Bovendien was het in een periode van budgettaire inkrimping ook niet mogelijk om een bepaalde financiering voor een termijn van drie jaar te garanderen.” (Bouckaert, Hoet, en Ulens 2000: pp.39) Het huidige resultaatgericht beheerssysteem van jaarlijkse instructiebrieven en rapporten sluit dus dichter aan bij de begrotingscyclus. Naast dit opvolgingssysteem worden er op lange termijn ook meer diepgaande evaluatieonderzoeken ondernomen.

De prestatie-informatie speelt dus ten eerste een rol in bij de beslissing over de toewijzing van fondsen aan de uitvoerende instellingen. Na de Cabinet Meeting eind maart heeft elke minister twee maanden de tijd om binnen de beperkingen van zijn of haar expenditure area, het uitgavenplafond dat voor zijn portefeuille is vastgelegd, de fondsen per agentschap te bepalen en voor te stellen aan de Minister van Financiën.

“The incremental impact of performance information is of such a magnitude that it can be accommodated for by reallocations within a given expenditure area. Furthermore the spending ministries are in the best position to judge the merit of performance information and it would be inappropriate to have such detailed information accompany each budget submission to the Ministry of Finance.” (Blöndal 2001: pp.51) De moederministeries stellen de instructiebrieven op in overleg met de uitvoerende instellingen en met het Ministerie van Financiën. Het is zeer belangrijk dat er duidelijke afspraken gemaakt worden tussen het ministerie en de uitvoerders. Binnen elk moederministerie is er een ambtenaar verantwoordelijk voor elk agentschap. De verantwoordelijke wordt bij het opstellen van de instructiebrieven inzake technische zaken en overeenkomst met richtlijnen, bijgestaan door een Planning and Budgeting Secretariat. Om de activiteiten van verschillende agentschappen op mekaar af te stemmen overlegt het ministerie ook met andere moederministeries en met het National Audit Office.

Ten tweede wordt de prestatie-informatie gebruikt in het intern management van de uitvoerende agentschappen. Om de uitvoering van de afgesproken doelstellingen uit de Regleringsbrev te plannen en te rapporteren, ontwikkelen de agentschappen een intern management systeem. Het interne managementsysteem van de agentschappen beslaat alle administratieve en technische activiteiten met als doel de omzetting van de beschikbare middelen in de gewenste resultaten. De beleids- en beheerscyclus start bij de planning en begroting en leidt over de implementatie en opvolging tot de evaluatie en audit.

99

In de jaren ’70 ontwikkelde het National Audit Office een methode van operationele planning voor

de

agentschappen.

Het

was

een

systematische

planningsmethode

met

een

omgevingsanalyse die resulteerde in een explicitering van de organisatiestructuur, de behoeften, de resultaten in het verleden en de middelen. Dit leidde tot een meerjarenplan waarin de doelstellingen van de regering en het parlement geoperationaliseerd werden in activiteiten en de nodige middelen. Het National Audit Office publiceerde handleidingen over procedures voor planning en begroting en over het ontwerp van prestatiemeetsystemen.

In de vroege jaren ’80 is het National Audit Office gestopt met de ontwikkeling van generieke managementmodellen vanuit de visie dat uitvoerende instellingen nood hebben aan een beheerssysteem dat afgestemd is op hun specifieke organisatiekenmerken. De agentschappen ontwikkelen nu dus zelf hun managementmethoden en worden daarin dikwijls bijgestaan door private consultants. De algemene principes van de operationele planning hebben de tijd weliswaar overleefd en zijn terug te vinden in de meeste huidige beheerssystemen. Momenteel is er dus geen sprake van één vorm van intern beheerssysteem voor alle uitvoerende instellingen. Er wordt gebruik gemaakt van verschillende methoden zoals project management, benchmarking, Balanced Scorecard en interne boekhoudsystemen om de uitvoering van activiteiten en het behalen van doelstellingen op te volgen.

FORMATTERING VAN DE DOCUMENTEN VAN HET PERFORMANCE MANAGEMENT

Toewijzingsdocument of Regleringsbrev De Regleringsbrev is zowel een autorisatiedocument als een managementinstrument. Het bevat enerzijds de dotatie die aan de budgetgebruiker, namelijk de uitvoerende instelling, toegekend wordt door de regering en het parlement en anderzijds de instructies van het moederministerie inzake de te bereiken doelstellingen en resultaten. Dit document integreert dus het financieel management en het resultaatgericht management. Waar het oorspronkelijk een instrument was in de middelencontrole, werd het een communicatie-instrument inzake te verwachten prestaties en effecten.

De instructiebrief of Regleringsbrev betreft een periode van een jaar en heeft de volgende structuur: -

activiteiten o

o

100

doelstellingen ƒ

effect goal (social impact)

ƒ

operationele doelstellingen (activiteiten)

ƒ

prestatiebegroting

speciale opdrachten

o

vereisten van resultaatsrapportering (te rapporteren prestatiegegevens)

-

financiën

-

uitzonderingen

-

andere regels en richtlijnen

De effectdoelstellingen, voor 1997 algemene doelstellingen genoemd, verwijzen naar de lange termijn doelstellingen die de regering wil bereiken met

de activiteiten van de uitvoerende

agentschappen. Het beoogde effect is het verschil tussen de maatschappelijke situatie met en zonder overheidsoptreden. De effecten dienen niet kwantitatief geformuleerd te zijn. Deze doelstellingen overschrijden de jaarlijkse planning en begroting en worden dus ook opgenomen in de organieke wetgeving van de agentschappen, de Standing General Instruction.

De operationele doelstellingen worden afgeleid van de effectdoelstellingen en worden gezien als middelen om deze te bereiken. Voor de operationele doelstellingen wordt duidelijk aangegeven tot welke effectdoelstellingen ze bijdragen. Deze doelstellingen dienen zodanig geformuleerd te worden dat de realisatie ervan kan opgevolgd worden door de regering. Ze worden dus zoveel mogelijk kwantitatief geformuleerd en zoniet dient een andere wijze van opvolging mogelijk te zijn. Binnen de operationele doelstellingen wordt een onderscheid gemaakt tussen outputdoelstellingen en procesdoelstellingen. Er is ook aandacht voor de kwaliteit van de output. Naast de doelstellingen, formuleert het moederministerie ook de specifieke vereisten waaraan het agentschap bij de jaarlijkse rapportering moet voldoen, daar waar deze vroeger algemeen, sectoronafhankelijk bepaald werden.

Blöndal stelde een grote diversiteit vast in de informatie-inhoud van de Regleringsbrev of instructiebrieven. Sommige instructiebrieven waren zeer gedetailleerd en bevatten specifieke outputindicatoren en te halen outputnormen. Andere gaven enkel de algemene doelstellingen van de agentschappen weer. Daartussen liggen de instructiebrieven die nadruk leggen op de performantie van een bepaalde activiteit, maar niet van het geheel (Blöndal 2001).

Het Parlement uitte reeds zijn bezorgdheid over de kwaliteit van de prestatie-informatie in de begrotingsdocumenten. De informatie is te beknopt en te veel outputgericht. Blöndal stelt voor dat de ministeries de outputindicatoren van de agentschappen samenvatten en aangeven hoe de verschillende outputs kunnen bijdragen tot de beleidseffecten.

Fondsen en beleidsdoelstellingen hebben niet altijd betrekking op dezelfde eenheden. Verschillende

agentschappen

kunnen

namelijk

verantwoordelijk

zijn

voor

dezelfde

beleidsdoelstelling. Daarom stelt het VESTA- project voor over te gaan naar een prestatiemanagement in twee dimensies, met op de horizontale as de activiteit en op de verticale as de uitvoerende instelling. Het is de bedoeling dat de begrotingsonderhandelingen

101

focussen op de activiteitsdimensie, met andere woorden de doelstellingen, indicatoren en het financieel kader. De institutionele dimensie is belangrijk als wettelijk bindend kader waarin de fondsen per uitvoerende instelling bepaald worden.

Beleidsdomein Programma Subprogramma Dotatie

Figuur 11: Management & control matrix. (Regeringskansliet, 2000, pp.10) De activiteitsdimensie bestaat uit drie niveaus: beleidsdomein, programma en subprogramma. Deze drie niveaus worden verbonden door strategieën die het verband aangeven tussen de niveaus. Hoe dragen de subprogramma’s bij tot de realisatie van de programma’s? Hoe leiden de programma’s naar de doelstellingen van de beleidsvelden? Deze structuur is strikt hiërarchisch om te passen in het topdown begrotingsproces.

De beheers- en sturingsinstrumenten zijn identiek op de drie niveaus en bestaan uit doelstellingen en resource frames in de planningsfase en uit outputs/outcomes en kosten in de opvolgingsfase. Om de vaagheid van doelstellingen te verminderen dienen de ministeries en agentschappen zich bij het definiëren van doelstellingen te laten leiden door het SMARTprincipe: de doelstellingen dienen specifiek, meetbaar, aanvaard, relevant en tijdsgebonden te zijn. Indien er conflicterende doelstellingen zijn, dienen deze gerangschikt te worden zodat er slechts één hoofddoelstelling is en de andere kunnen beschouwd worden als beperkingen voor de realisatie van de hoofddoelstelling. De doelstellingen zelf dienen niet meetbaar te zijn, eerder wordt er per beleidsdomein, activiteit, programma en subprogramma een set van indicatoren geformuleerd die de outputs en outcomes vatten. Aan deze indicatoren kan een normstelling verbonden worden, maar dit is niet verplicht. Omdat de effecten van beleid ook beïnvloed worden door externe factoren zullen deze ook expliciet erkend en opgevolgd worden.

102

Jaarverslagen of annual reports De structuur en inhoud van de jaarrapporten die de agentschappen indienen bij het Parlement evolueerde over de tijd. Sinds 1993 stellen de agentschappen jaarlijks een rapport op waarin ze verslag uitbrengen over de realisatie van hun doelstellingen en waarin ze een balans, een financiële analyse en de uitvoering van de appropriation account opnemen. Sinds 1995 produceren ze ook halfjaarlijkse rapporten om de begroting op te volgen waarin ze een inschatting maken van de uitvoering van de appropriation account en de realisatie van de doelstellingen op het einde van het jaar.

Tussen 1991 en 1996 bepaalden de agentschappen of budgetgebruikers zelf welke informatie in de jaarlijkse rapporten wordt verzameld binnen een standaard kader. Sinds 1996 zijn het echter niet meer de agentschappen, maar wel de moederministeries die in het verlengde van de strategische planning, bepalen welke prestatie-informatie gerapporteerd moet worden in het jaarverslag. Zo zou de relevantie en het gebruik van de indicatoren in de beleids- en beheerscyclus toenemen. Het topdown bepalen van wat gerapporteerd moet worden is een van de algemene vereisten die aan de jaarlijkse rapporten gesteld worden en in de Ordinance on the Annual Reports of Agencies zijn opgenomen. De andere bepalingen zijn:

-

de regering beslist hoe de processen gegroepeerd moeten worden,

-

er moet gerapporteerd worden over de voltooiing van de doelstellingen van de regering,

-

er moet gerapporteerd worden over kosten en opbrengsten,

-

er moet een vergelijking gemaakt worden met voorgaande jaren,

-

de regering beslist welke prestatie-informatie het jaarlijks rapport dient te bevatten.

Meer agentschapspecifieke vereisten van prestatie-informatie in de jaarverslagen

worden

opgenomen in de instructiebrieven of Regleringsbrev.

De jaarlijkse rapporten worden geaudit door het National Audit Office en worden getoetst aan de kwaliteitscriteria van relevantie, begrijpbaarheid, vergelijkbaarheid, tijdigheid, consistentie, geldigheid en betrouwbaarheid.

Volgens The Swedish National Financial Management Authority (ESV) bevatten de jaarlijkse rapporten hoofdzakelijk kwantitatieve outputindicatoren en financiële informatie. Ze bevatten in mindere mate procesindicatoren, effectindicatoren, informatie over de kwaliteit van de output en doelmatigheidskengetallen. De jaarlijkse rapporten focussen eerder op outputindicatoren dan op indicatoren van sociale impact. Dit laatste komt eerder aan bod in diepgaande evaluatieonderzoeken.

103

EVALUATIE VAN HET ZWEEDSE RESULTAATGERICHTE STURINGSMODEL

Wat is nu de werkelijke impact van het resultaatgericht management op de efficiëntie en effectiviteit van de overheid en welke veranderingen heeft het met zich meegebracht? Enerzijds zijn er bronnen die stellen dat algemeen bevonden wordt dat de toegenomen aandacht voor resultaten een positief effect heeft gehad op de productiviteit van de overheid. Door de alomvattende aanpak, namelijk het resultaatgericht begroten voor alle activiteiten en uitgaven, werden inefficiënte activiteiten ontdekt en geëlimineerd. Ook inzake de impact van resultaatgericht management op de effectiviteit van het beleid zijn verschillende instellingen positief. De transparantie van de overheid is toegenomen waardoor er ook meer mogelijkheid is tot een verbeterd en helder politiek debat. De verantwoordingsfunctie is zeker toegenomen ten bate van de politieke besluitvorming en de democratie in het algemeen. (Swedish National Audit Office 1998: pp.152)

Anderzijds zijn er auteurs die effecten van het resultaatgericht management op de interactie tussen ministeries en agentschappen en werking van de overheid minder ingrijpend inschatten. “The reform was a success in that line-item budgeting was abandoned for comprehensive cost frames to agencies. But developing performance indicators has not been a high-priority task. A survey made a couple of years after the reform indicated that performance information covered only a limited fraction of total central outlays. And whereas the performance information subsequently have been developed and introduced in some areas, the information generated is not received by competent task managers in the government offices, let alone used for strategic deliberation.” (Molander, Nilsson & Schick 2002: pp.150) Er zijn dus verschillende factoren die een invloed uitoefenen op het gebruik en de functionaliteit van een systeem van resultaatgericht management. Ten eerste kan men zich de vraag stellen of een resultaatgericht management systeem de scheef gegroeide machtsverhouding tussen de ministeries en agentschappen kan rechttrekken en dus een voldoende voorwaarde is voor het meer resultaatgericht sturen van de agentschappen. Kunnen formele plannings- en rapporteringsverplichtingen alleen de informatie-uitwisseling tussen de ministeries en de agentschappen verhogen en de sturing van de agentschappen versterken? Naast een sterke plannings- en rapporteringscyclus, dient de beleidsvoorbereidende en sturende capaciteit van de ministeries ook versterkt te worden. Ten tweede bleek door de verslechterde economische situatie in de eerste helft van de jaren ’90 de politieke aandacht ook meer te verschuiven naar de controle van de uitgaven. Ten derde zijn er ook een aantal moeilijkheden inherent aan de ontwikkeling van een systeem van planning en prestatiemeting

zoals de ontwikkeling van

indicatoren voor moeilijk meetbare prestaties en effecten, de problematiek van tegenstrijdige en organisatieoverschrijdende doelstellingen, en de nood aan historische tijdsreeksen die ertoe leiden dat er voldoende tijd nodig is om een functioneel systeem van resultaatgericht management op te starten.

104

Besluit Vlaanderen is zeker geen braakland meer wat prestatiemeting betreft. Er zijn verschillende initiatieven die de output en het effect van de overheid in de maatschappij pogen in kaart te brengen. De nadruk ligt in het Ministerie van de Vlaamse Gemeenschap bij de meeste initiatieven op beleidsindicatoren, eerder dan op beheersindicatoren. Dit betekent dat in het Ministerie van de Vlaamse Gemeenschap eerder de effectiviteit van het gevoerde beleid dan het interne beheer van de organisatie in het meetsysteem wordt opgenomen. Bij de onderzochte VOI’s daarentegen ligt de nadruk eerder op beheersindicatoren. Dit volgt uit hun taakstelling als uitvoerende overheidsorganisaties. Het neemt echter niet weg dat er ook in de uitvoerende overheidsorganisatie heel wat beleidsinformatie besloten ligt. De ontsluiting van deze informatie vergt een open informatiecultuur en een duidelijk afgelijnde informatievraag.

Wat betreft de aanleiding van het meten is de vraag naar data vanuit internationale en Europese instanties een opvallende factor. In de beleidsvelden werkgelegenheid, onderwijs, klimaatbeleid en het milieubeleid blijkt de informatievraag van internationale en vooral Europese instanties een belangrijke stimulus om beleidsindicatoren op te volgen. Een tweede belangrijke ontwikkelingsfactor voor meetsystemen in het Ministerie van de Vlaamse Gemeenschap is de nakende ‘Beter Bestuurlijk Beleid’ hervorming. Voornamelijk in het kader van de beheersovereenkomsten die zullen moeten worden afgesloten, worden prestatiemeting en indicatoren belangrijk geacht. Indien de relaties tussen departementen, IVA’s en EVA’s op resultaatssturing zullen gebaseerd worden, zal het inderdaad cruciaal zijn dat er goede, betrouwbare meetsystemen bestaan. De reeds bestaande beheersovereenkomsten met ondermeer VDAB en VRT bewijzen het belang van evenwichtige informatiesystemen. Daarnaast zal ook de invulling van het nieuwe comptabiliteitsdecreet een verdere ontwikkeling van meetsystemen en indicatoren vergen. De methodiek van strategische planning wordt in het voorstel van decreet geïntegreerd in de financiële cyclus. Er zullen strategische en operationele doelstellingen moeten worden bepaald per beleidsdomein, die bovendien in meetbare termen moeten worden gesteld. Interne managementmotieven tenslotte spelen een sterke rol bij de ontwikkeling van meetsystemen in de cases van VDAB en Kind en Gezin. Een louter externe motivering zal, tenzij het om een wettelijke verplichting gaat, allicht nooit voldoende zijn om een meetinitiatief te verantwoorden. Bij wijze van besluit geven we in tabel 24 aan welke repercussies het gebruik van prestatiegegevens in beheersovereenkomsten en in strategische beleidsplannen zal hebben voor de verschillende stappen in het meetsysteem, en hoe de onderzochte cases in het Ministerie van de Vlaamse Gemeenschap zich hiertoe momenteel verhouden.

105

gebruik in beheersovereenkomsten afbakening

o

meetobject

focus op output; d.i. afrekenbare eenheden

gebruik in beleidsplanning per beleidsdomein o

de output leidt tot de gewenste

kan worden gesteld. De focus op output en

maatschappelijke effecten. Uitgebreide sets beleidsindicatoren zijn voorhanden.

meer bepaald hoe de activiteiten van de organisatie tot een bepaalde output leiden, is

o

focus op output en effect; d.i. de mate waarin

waarvoor het management verantwoordelijk

o

gericht op beleidsprioriteiten; de indicatoren

slechts beperkt ontwikkeld langs de zijde van

zullen de beleidsprioriteiten van het politieke

het Ministerie van de Vlaamse Gemeenschap

niveau moeten opvolgen. Momenteel hebben

hoge dekkingsgraad; de

7/9 ministers hun beleidsprioriteiten vertaald

beheersovereenkomst zal het grootste deel

in een aantal indicatoren, zonder hierbij een

van de organisatie moeten dekken. De

volledige dekking van alle beleidsprioriteiten

dekkingsgraad wordt in de meeste cases

te realiseren.

hoog ingeschat en is dus voldoende. indicatoren

o

ontwikkeling

o

belang van wederzijdse instemming &

o

Voor beleidsindicatoren is het van belang dat

objectiviteit. Het moet om onderhandelde

er politieke en maatschappelijke steun en

indicatoren gaan.

interesse is. Dit kan gerealiseerd worden door

om een permanente opvolging van de

het betrekken van politici, het middenveld en

beheersovereenkomst mogelijk te maken,

burgers in de indicatorenontwikkeling.

dienen de indicatoren aan te sluiten op interne managementinstrumenten dataverzameling

o

Veel data zullen door de agent worden

o

11

gezocht.

geregistreerd en als dusdanig intern zijn. o

Daar het over output gaat, zal de studie van

Effectinformatie moet veelal extern worden

o

Er zullen dan ook andere bronnen

de eigen records en registraties de

aangesneden dienen te worden. Naargelang

belangrijkste collectiemethode zijn.

het beleidsveld kan het om getrainde waarnemers, mechanische metingen, survey of gerichte bevragingen gaan. o

De begroting zal vanzelfsprekend een belangrijke bron van informatie zijn, wanneer de operationele doelstellingen en indicatoren gelinkt worden aan budgetten. Tot nog toe is de link met de begroting beperkt.

analyse van de data

o

de normzetting zal ex ante gebeuren.

o

de normen dienen het juiste splitsingsniveau aan te geven, bv. regio’s, doelgroepen, etc.

o

o

o

o

beleidsnorm zijn.

assessment of een externe doorlichting zijn.

11

de methodiek van normering zal allicht een

Internationale vergelijkingen zullen in Europees perspectief een belangrijke

(onder)presteren. Dit kan een self

o

Zowel ex ante als ex post kan er genormeerd worden.

ex post kan een causaliteitsonderzoek plaatsvinden (op zoek naar oorzaken voor

Normzetting is in de eerste plaats een politieke keuze.

o

technieken om omgevingsfactoren te

combinatie zijn van trendlijnen, politieke

verdisconteren zijn cruciaal. Het gaat immers

doelstellingen. Het realistisch gehalte van een

om effecten, waarbij de causaliteit met de

norm dient in deze toepassing goed bewaakt

bestuursproducten niet steeds eenduidig

te worden.

vastligt.

In een beheersovereenkomst is de vragende partij de principaal (b.v. het departement) en de uitvoerende partij de agent (b.v. de IVA/EVA).

106

rapportage

kwaliteit

o

o

De rapportage zal in de eerste plaats een

o

zaak tussen principaal en agent zijn. De

Er zal een breder mediapalet aangesproken

rapportage kan dan ook meer technisch zijn.

dienen te worden.

kwaliteit betekent in de eerste plaats

o

omgevingsvariabelen.

indicatoren de realiteit weer? Geven de meetresultaten de feitelijke resultaten weer?

o

de interpretatieruimte zal vaak groter zijn en voorwerp uitmaken van debat.

Hierbij zal de interpretatieruimte klein moeten zijn.

kwaliteit is beschikbaarheid van informatie over een brede waaier effecten en

betrouwbaarheid van de gegevens. Geven de

o

De rapportage zal in sterke mate extern zijn.

o

ook in dit geval zal de betrouwbaarheid en

Aangezien er wordt afgerekend op resultaten,

validiteit belangrijk zijn. Het zal echter vaak

en het meetsysteem veelal door de agent zal

moeilijker zijn om een zeer hoge

worden beheerd, zal de kwaliteitscontrole

betrouwbaarheid te bereiken. In dit geval

robuust moeten zijn.

kunnen de gegevens toch nog een belangrijke indicatie geven.

Tabel 24: uitdagingen in de verschillende stappen van productieproces van prestatieinformatie

De verkennende studie naar meetpraktijken in het Ministerie van de Vlaamse Gemeenschap geeft aan dat er reeds een draagvlak voor prestatiemeting is. In de toekomst zal het informatieaanbod echter nog verder geoptimaliseerd moeten worden om aan de vereisten van de vraag (o.a. de beheersovereenkomsten en de strategische planning) te voldoen. Dit zal acties vergen in de verschillende stappen van het aanbodsproces.

107

Bronnen en verwijzingen

Algemene Rekenkamer (2002). VBTB in begrotingen 2002. Den Haag: Sdu Uitgevers. Audit Commission (2000 ). Aiming to improve: the principles of performance measurement. London: Audit Commission. Blöndal, J. R. (2001). Budgeting in Sweden. OECD Journal on Budgeting , 1, (1): 27-57. Bouckaert, G., Hoet, D. & Ulens, W. (2000). Prestatiemeetsystemen in De Overheid: Een Internationale Vergelijking. Brugge: Die Keure. Bouckaert, G. Verhoest, K. & Voets, J. (2002). Beheersovereenkomsten binnen de culturele sector: eindrapport. Leuven: Instituut voor de Overheid. Boyle, R. & Fleming, S. (2000). The role of Strategy Statements.

Dublin: Institute of Public

Administration. Bryson, J. M. (1995) Strategic Planning for Public and Nonprofit Organizations: a Guide to Strengthening and Sustaining Organizational Achievement. San Fransisco: Jossey-Bass. Corte-Real, I., Nomden, K. & Kelly, M. (2000). Administrations in Transition: Modernisation of Public Administration in Four Countries : Portugal, the Netherlands, Ireland and France. Maastricht : European Institute of Public Administration. European Commission (2001). Employment policies in the EU and in the member states - joint report 2001. Brussels: European Commission. Europese Commissie (2000).

E.S.F. Vlaanderen: enkelvoudig programmeringsdocument

Doelstelling 3. Brussel: Europese Commissie. Europese Commissie (2002).

Gedetailleerd Werkprogramma voor de follow up inzake de

doelstellingen voor de onderwijs en opleidingsstelsels in Europa.

Brussel: Europese

Commissie. Haselhoff,

F.

(1977)

Ondernemingsstrategie,

Een

Dilemma.

De

Moderne

Ondernemingsorganisatie in Het Spanningsveld Van Doelmatigheid, Overleving En Zingeving. Alphen aan den Rijn : Samsom. Jorissen, A., Lefebvre,C., Popleu, A., Roodhooft, F. (1998) Cost accounting. Antwerpen: Standaard Uitgeverij.

109

Kind en Gezin (2001). Strategisch Kader 2001-2004. Kind en Gezin: Brussel. Kind en Gezin (2001) Elementen van IKZ in de sturing van gedeconcentreerde diensten: een goede

praktijk

vanuit

de

inspectiedienst

van

Kind

en

Gezin.

Nota

nav

de

1ste

kwaliteitsconferentie. Brussel: Kind en Gezin. Landuyt, R. (2000). Beleidsnota Werkgelegenheid 2000-2004. Brussel: Vlaamse Parlement. Ministerie van de Vlaamse Gemeenschap - Administratie Buitenlands Beleid (2002). Indicatoren buitenlands beleid getoetst aan het strategisch plan. Brussel: Ministerie van de Vlaamse Gemeenschap. Ministerie van de Vlaamse Gemeenschap - Administratie Werkgelegenheid (2000). Strategisch Plan Werkgelegenheid - Monitoring van de beoogde beleidseffecten - stand van zaken oktober 2000. Brussel: Ministerie van de Vlaamse Gemeenschap. Ministerie van de Vlaamse Gemeenschap - Administratie Werkgelegenheid (2001a). Strategisch Plan Werkgelegenheid - Monitoring van de beoogde beleidseffecten - stand van zaken oktober 2001. Brussel: Ministerie van de Vlaamse Gemeenschap. Ministerie van de Vlaamse Gemeenschap - Administratie Werkgelegenheid (2001b). Vlaams Actieplan Europese Werkgelegenheidsrichtsnoeren 2002. Brussel: Ministerie van de Vlaamse Gemeenschap. Ministerie van de Vlaamse Gemeenschap - Afdeling Bijzondere Jeugdbijstand (2002). Prestatiebegroting 2002.

Brussel: Ministerie van de Vlaamse Gemeenschap - Afdeling

Bijzondere Jeugdbijstand. Ministerie van de Vlaamse Gemeenschap - Afdeling Natuurlijke Rijkdommen (2001) Intern Jaarverslag ANRE. Brussel: Ministerie van de Vlaamse Gemeenschap - Afdeling Natuurlijke Rijkdommen. Ministerie van de Vlaamse Gemeenschap - Departement Onderwijs (2000). Educational Indicators in an International Perspective.

Flemish

Brussel: Ministerie van de Vlaamse

Gemeenschap. Ministerie van de Vlaamse Gemeenschap - Departement Welzijn, Volksgezondheid en Cultuur (1998). Het MIS-project - Eindverslag. Brussel: Ministerie van de Vlaamse Gemeenschap. Ministerie van de Vlaamse Gemeenschap (2000). Ministerie van de Vlaamse Gemeenschap.

110

Milieujaarprogramma 2001.

Brussel:

Ministerie

van

de

Vlaamse

Gemeenschap

(2000).

Milieujaarprogramma

2001

-

Achtergronddocument. Brussel: Ministerie van de Vlaamse Gemeenschap. Ministerie

van

de

Vlaamse

Gemeenschap

(2001).

Vlaams

Actieplan

Europese

Werkgelegenheidsrichtsnoeren 2001. Brussel: Ministerie van de Vlaamse Gemeenschap. Ministerie van de Vlaamse Gemeenschap (2002). Het Vlaamse milieubeleidsplan voor de komende vijf jaar? Jij beslist. Brussel: Ministerie van de Vlaamse Gemeenschap. Ministerie van de Vlaamse Gemeenschap (2002). Beleidsrapport Personeel & Organisatie. Brussel: Vlaams Parlement. Ministerie van de Vlaamse Gemeenschap, Administratie Budgettering, Accounting en Financieel Management (2002). Vlaams Comptabiliteitsdecreet. Voorstelling aan Vlaams Parlement. Ministerie van Financiën (2001).

Regeling prestatiegegevens en evaluatieonderzoek.

Den

Haag: Ministerie van Financiën. Ministerie van Financiën (2002). Het referentiekader mededeling over de bedrijfsvoering. Den Haag: Ministerie van Financiën. Mintzberg, H. & Lampel J. (1999). Reflecting on the Strategy Process. Sloan Management Review 40(3):21-31. Molander, P., Nilsson, J.-E. & Schick, A. (2002). Does anyone govern?

The Relationship

Between the Government Office and the Agencies in Sweden. Stockholm: SNS. National Audit Office (2001) Tackling Obesity in England. London: National Audit Office. OECD (1996). Environmental Indicators in OECD countries - Progress in the 1990s. Paris: OECD. PA Consulting Group (2002). Evaluation of the progress of the strategic management initiative/ delivering better government modernisation programme. Pollitt, C. , Lonsdale, J. & Summa, H. (1999) Performance or compliance ? Performance audit and public management in five countries. Oxford: Oxford University Press. Raad van de Europese Unie (2001). Gezamenlijk verslag inzake sociale integratie - Deel III bijlagen. Brussel: Raad van de Europese Unie. Regeringskansliet (2000). Performance budgeting in Sweden: outline of a reform programme. Stockholm: Regeringskansliet, Ministry of Finance.

111

Rekenhof (200). Verslag van het rekenhof over het onderzoek naar de opmaak en de uitvoering van het strategisch plan preventieve kinderzorg van Kind en Gezin. Brussel: Rekenhof. Rekenhof

(2001).

Auditrapport

van

het

Rekenhof

over

het

onderzoek

naar

beheersovereenkomsten met de Vlaamse Openbare Instellingen. Brussel: Rekenhof. Sociaal Economische Raad Vlaanderen (2002). Advies over het Vlaams Klimaatplan 20032005. Brussel: SERV. Stevaert, S. (2000). Beleidsnota Vlaamse Statistieken 1999-2004. Brussel: Vlaams Parlement. Stevaert, S. (2001). Beleidsbrief Planning en Statistiek - Beleidsprioriteiten 2001-2002. Brussel: Vlaams Parlement. Stolk, E., Rebergen, A. C. C. & Berkenbosch, J. M. (2001). VBTB en de begrotingsfuncties. Openbare Uitgaven , 33, (1): 13-25. Swedish National Audit Office (2002). Report of the Auditor General to the Government 2001. Stockholm: Swedish National Audit Office. ter Braak, H.J.M. & van 't Spijker W.J.H. (1993). Overheid en strategie, een Introductie. Bestuurskunde, 2, (1):2-7. Tweede Kamer der Staten-Generaal (1999). Van beleidsbegroting tot beleidsverantwoording. Den Haag: Sdu Uitgevers. Van Dooren, W. & Van De Walle, S. (2002). Self promotion or Self assessment: a study on the motives underlying the application of the CAF in the Belgian Public Sector. Congres paper. Leuven: Instituut voor de Overheid en SBOV. Van Mechelen, D. (2002), Beleidsbrief 2003 Financiën en Begroting. Brussel: Vlaams Parlement. Van Mechelen, D. (2002).

Beleidsbrief 2002 Financiën en Begroting.

Brussel: Vlaams

Parlement. Vlaamse Dienst voor Arbeidsbemiddeling en Beroepsopleiding (2002). De BSC in een veranderende VDAB: Levenslang leren. ppt -presentatie Bart Van Schel. Vlaamse Radio en Televisieomroep (2002). Beheersovereenkomst tussen de VRT en de Vlaamse Gemeenschap 2002-2006. Brussel: VRT. Vlaamse Regering (2002). Vlaams Klimaatbeleidsplan 2002-2005. Brussel: Vlaamse Regering.

112

Vlaamse Regering (2002a). Voorontwerp van decreet houdende regeling van de begrotingen, de boekhouding, de controle inzake subsidies, en de controle door het Rekenhof. Brussel: Vlaamse Regering. Vlaamse Regering (2002b). Voorontwerp van kaderdecreet bestuurlijk beleid.

Brussel:

Vlaamse Regering. Vos, R. (2002a).

Een blik vanuit het buitenland.

Presentatie Op De Studiedag Nieuwe

Comptabiliteitswetten En De Nieuwe Federale Budgetcyclus, Brussel 9 december 2002.

113