Workshop: “zin en onzin van prestatiemeting” In het kader van de presentatie van het Jaarboek 2002 van het Steunpunt Bestuurlijke Organisatie Vlaanderen.
“Tussen Bestuurskunde en Bestuurspraktijk: bijdragen voor duurzaam besturen in Vlaanderen” Brussel, 17 juli 2003
Wouter van Dooren E. Van Evenstraat 2C B 3000 Leuven
[email protected]
Planning van de workshop •10.45 – 11.15; introductie Geert Bouckaert •11.15 – 11.25; uw ervaringen (fiches) •11.25 – 11.55; praktijkvisie; Luc Deschamps •11.55 – 12.25; debat •12.25 – 12.30; afsluiting
1. Introductie door Geert Bouckaert (de ppt presentatie kan u downloaden)
kernpunten: - Prestatiemeting is maar zinvol als vraag en aanbod van gegevens elkaar vindenDe vraagzijde bestaat uit verschillende gebruikswijzen, zowel in management als beleidstoepassingen - De aanbodszijde bestaat uit de verschillende stappen die een meetproces doorlopen. - Kwaliteit is essentieel: prestatiemeetsystemen moeten valide, betrouwbaar, functioneel en legitiem zijn
2. Uw ervaringen Hieronder geven we een letterlijke weergave van de positieve en negatieve aspecten van prestatiemeting, zoals die door de deelnemers werden weergegeven.
a. Positieve ervaringen: o “Rationalisering” o “Verhoogde transparantie” o “Meer resultaatgerichtheid” o -“
WAAR
Æ
WAARDE
Æ
WAARDERING” o “Meer resultaatgericht werken”
o “Monitoring … een nauwkeurige opvolging van de gang van zaken Æ maakt tussentijds ingrijpen mogelijk” o “Informatie voor bestuur en beleid” o “Transparantie inzake functioneren” o “Vergelijkingsbasis” o “stemt tot nadenken Æ beter beleid?!” o “Meten van wetenschappelijke output (publicaties) werkt prestatiebevorderend (zie ook rode fiche)” o “Richtinggevend: weg van “vage” strategie” o “Stimulans tot het nieuwe” o “LAT relatie tussen BSC en EFQM” o “meten is weten (zie ook rode fiche)” o “meer zakelijkheid bij de interne dialoog” o “indicatoren bewerkstelligen een common sense” o “Zicht op horizontale en verticale samenhang van activiteiten” kernpunt: kans op een rationeler, transparanter beleid en beheer. “Meten is meer weten”
b. Negatieve ervaringen o “gebruik: red tape, dysfunctioneel” o “gebrek aan geïntegreerde systemen met uniforme regels” o “Meting: indicatoren kunnen de realiteit niet vatten” o “bureaucratie: inflexibiliteit bij processen die een onzeker verloop kennen” o “Prestatiemeting enkel een gevaar: meten van ‘meetbare’ zaken” o “De regellast verminderen met 25% (Vlaams regeerakkoord)” o “Heel veel extra regels edm.” o “Misbruik van de interpretatie van de resultaten” o “kwantiteit ipv kwaliteit” o “Men meet teveel wat zonder inspanning voorhanden is” o “Ruimte: één indicator vat niet altijd het geheel” o “= eerste stap, is niet evaluatie?, is niet planning?”
o “Geen loon naar werken” o “Instabiliteit indicatoren (definities wijzigen, soms te snel gedefinieerd, geen data - niet valide) o “Convenanten met de Vlaamse overheid = meten van kilogram papier” o “Indicatorenontwikkeling: outcome indicatoren voor buitenlands beleid?” o “Géén (te weinig) overeenstemming tussen systemen. vb. analytische kostenplaatsen op basis van activiteiten zijn niet gelijk aan de processen opgenomen in BBB. Gevolg: tweemaal informatie zoeken, tweemaal verwerken. Oplossing; één systeem volledig uitwerken. o “voorbeeld: opstellen van de jaarrekening door VOI’s. Æ Discettes die ter invulling worden doorgestuurd door ABAFIM wijken af van de bepalingen in het decreet van 1997 o.a. wat betreft de indeling van de resultatenrekening. Hoe representatief zijn cijfers dan nog? o “Binnen de wetenschappelijke wereld werden tal van maatstaven ontwikkeld zodanig dat iedereen wel ergens in uitblinkt (zie ook groene fiche)” o “vertaling van meetresultaten naar management informatie is moeilijk” o “cijferfetisjisme” o “maakt van iedereen een boekhouder” kernpunt: risico op bureaucratisering, een overdreven focus op cijfers ten koste van het minder meetbare; een moeilijke en soms misleidende interpretatie van gegevens.
3. Praktijkvisie door Luc Deschamps (de ppt presentatie kan u downloaden)
kernpunten: - Indicatoren moeten aan referentiekaders gelinkt worden, anders worden het slechts cijfers - Omgevingsfactoren moeten mee in de verklaring van beleidseffecten opgenomen worden - Indicatoren zijn slechts het complement van diepgaandere analyses - Ook over de meetsystemen zelf moet er evaluatie en feedback op gang worden gebracht
4. Debat We beschrijven kort enkele topics die in het debat aan bod kwamen: - Het probleem van de causaliteit. Zeker voor wat beleidseffecten betreft, is het vaak moeilijk uit te maken of de effecten het resultaat zijn van overheidsoutput, of van externe factoren. De vraag stelt zich dan in welke mate omgevingsindicatoren opgenomen dienen te worden in de meetsystemen, en in welke mate er op kan teruggevallen worden wanneer er een evaluatie wordt gemaakt. Meer concreet werd het voorbeeld van de evaluatie van leidend ambtenaren aangehaald. Worden omgevingindicatoren niet enkel gebuikt in het geval van een slecht functioneren? Als het goed gaat, dan is er geen sprake van omgevingsindicatoren. In ieder geval dienen omgevingindicatoren zinvol te zijn en in het geval van managementevaluaties moeten ze van tevoren opgenomen worden. Dit vereist een causaal inzicht in het beleidsveld. - Er werd een discussie gevoerd over het nut van de indicator ‘aantal artikels’ voor wetenschappelijke performantie. Er werd aangegeven dat een aantal perverse effecten
kunnen
optreden.
Zo
kunnen
publicatielijsten
kunstmatig
worden
opgeblazen. Er werd echter ook opgemerkt dat deze indicator ook zinvolle informatie kan geven, met name ‘of er gewerkt wordt’. De dubbele potentialiteit van indicatoren komt hier ook naar vaoor. - Hoe kan de administratieve overlast beperkt worden. Bijvoorbeeld in het Vlaamse convenantenbeleid is er sprake van een zware administratieve belasting. Zijn er teveel regels of zijn er te weinig goede? Sommigen wensen een betere coördinatie en afstemming met uniforme regels; anderen vinden de regellast nu al zwaar. Allicht moet het debat rond de administratieve overlast die prestatiemeting kan veroorzaken niet zozeer in termen van meer of minder regels gevoerd worden, maar eerder in termen van goede regels. - Normering is vaak een probleem. Zo kwam het voorbeeld van de administratieve vereenvoudiging aan bod. De regering heeft zich ertoe verbonden de regellast met 25% te verminderen. Maar vanwaar komt die 25%? En wat zou er dan juist
verminderd moeten worden? Zowel een goede omschrijving van het te meten concept als van de normering van de doelstelling zijn van primordiaal belang. - Cijfers en indicatoren. Het debat kwam terug op de stelling van Luc Deschamps die zei dat indicatoren vaak verworden tot cijfers zonder referentiekader, en dus onthecht van het gebruik. Allicht moet de administratie meer belang hechten aan het vertalen en het voorbereiden van gegevens zodat ze sneller bruikbaar zijn voor het beleid. - Managementinformatie en beleidsinformatie wordt vaak geïntegreerd. Een deelnemer pleit ervoor om toch niet alle informatie op één hoop te gooien. Eén indicator kan niet steeds voor alles worden gebruikt. Misschien is een duidelijker onderscheid tussen managementinformatie en beleidsinformatie duidelijk, elk met een eigen finaliteit. De vraag stelt zich waar de overheid zich idealiter moet situeren tussen de twee extremen: voor elk gebruik een apart systeem, of een integratie van alle systemen om te komen tot één systeem voor alle gebruikswijzen. - Er wordt wat meer informatie gegeven over de nieuwe rol van APS na BBB, die dan de ‘studiedienst van de regering’ zal heten. De beleidsplannende functie en de statistiekfunctie zullen worden geïntegreerd in één dienst. Dit is een uniek model. Het dient zo vermeden te worden dat planning en statistiek zich ontkoppelen van elkaar. Er werd hierbij verwezen naar het Nationaal Instituut voor de Statistiek, dat een aantal irrelevante cijferreeksen zou aanmaken. Ook de indicatoren van het proces van Lissabon werden door diezelfde deelnemer als een cijferreeks zonder referentiekader aangestipt. De zin van internationale benchmarking werd in vraag gesteld. Als voorbeelden werd door de deelnemer de culturele sector aangehaald.
Algemene conclusie Als algemene conclusie uit de debatten, ervaringen en de interventies, stellen we een gematigd positieve evaluatie voorop. Cijfers en indicatoren hebben zin. Ze hebben trouwens een lange traditie. Maar minstens een drietal aandachtspunten zijn noodzakelijk. Er moet capaciteit zijn om de indicatoren in een ruimere context te zien. Indicatoren geven aan waar er problemen zijn; “Scratching the surface”. Een
diepgaandere studie en evaluatie zullen vaak nodig zijn om tot oplossingen te komen. In die zin zijn meetsystemen complementair aan andere informatiebronnen zoals diepgaandere analyses, ervaringsdeskundigheid, etc. Er moet ten tweede eigenaarschap zijn bij de actoren die met de indicatoren moeten werken of die beoordeeld worden aan de hand van de indicatoren. Het beperken van de administratieve last is van groot belang om eigenaarschap te behouden. Ten derde moet er aandacht zijn voor mogelijke perverse effecten van indicatoren. Het risico bestaat dat er op een disfunctionele manier omgegaan wordt met indicatoren. Indien dit het geval is, dan moet het meetsysteem herdacht worden zonder het dadelijk af te voeren. Men mag het kind niet met het badwater weggooien.
