Lokale Benchmarking. Rapport. Jesse Stroobants & Geert Bouckaert

Lokale Benchmarking Conceptualisering, buitenlandse praktijken en verkennende oefeningen voor benchmarking van gemeentelijke dienstverlening via nietparametrische grensmethoden





Rapport

Jesse Stroobants & Geert Bouckaert

Inhoudstafel Samenvatting

7

Inleiding

13

1.

Benchmarking: what’s in a name?

17

> 1.1.

Naar een hanteerbare definitie

17

> 1.2.

Een instrument voor meerdere doelen

18

> 1.3.

Twee wijzen van benchmarking

19

> 1.4.

Benchmarking: een onvertaalbaar begrip?

20

> 1.5.

Benchmarking vs. Benchlearning

20

2.

> 1.6. Lokale benchmarking: drie niveaus van informatie > 1.6.1. Informatie over de gemeentelijke dienstverlening (microniveau) > 1.6.2. Informatie over de beleidssectoren (mesoniveau) > 1.6.3. Informatie over de bestuurskracht (macroniveau)

21

Buitenlandse praktijken

27

> 2.1. Verenigd Koninkrijk > 2.1.1. Audit Commission Performance Indicators > 2.1.2. Best Value Performance Indicators > 2.1.3. National Indicator Set

27 28 30 31

> 2.2. Nederland > 2.2.1. ‘Waarstaatjegemeente.nl’ > 2.2.1.1. Subjectieve burgeroordelen: ‘De Staat van de Gemeente’ > 2.2.1.2. Feitelijke prestatiegegevens: ‘Watdoetjegemeente.nl’ > 2.2.1.3. Integratie tot één platform: ‘Waarstaatjegemeente.nl’ > 2.2.2. Kwaliteitsinstituut Nederlandse Gemeenten (KING) > 2.2.3. Een benchmarkhuis met drie verdiepingen > 2.2.4. Informatieaanlevering > 2.2.5. Bottom-up en consultantgedreven

33 33

21 23 24

34 35 35 36 36 37 39 ‫׀‬i‫׀‬

3.

4.

> 2.3. Duitsland > 2.3.1. New Steering Model (NSM) > 2.3.2. Intergemeentelijke prestatievergelijking > 2.3.3. Bottom-up gedreven benchmarking

40 40 40 42

> 2.4. Canada > 2.4.1. Ontario Municipal Benchmarking Initiative > 2.4.2. Succesfactoren en -instrumenten voor OMBI > 2.4.3. Doelstellingen van OMBI

43 43 44 45

> 2.5. Vergelijking en algemene bevindingen > 2.5.1. Sturing en regime > 2.5.2. Focus indicatoren > 2.5.2.1. Verenigd Koninkrijk > 2.5.2.2. Nederland > 2.5.2.3. Duitsland > 2.5.2.4. Canada

47 47 49 50 51 53 53

Indicatoren vs. grensmethoden

55

> 3.1.

56

> 3.2. Benchmarking via niet-parametrische grensmethoden > 3.2.1. Free Disposal Hull (FDH) > 3.2.2. Data Envelopment Analysis (DEA) > 3.2.3. Voor- en nadelen van grensmethoden

58 59 60 63

> 3.3.

64

Conclusie

Benchmarking via FDH en DEA: een casestudie van openbare bibliotheken in Vlaanderen

65

> 4.1.

Benchmarkingsrichtingen: bewegen langs drie assen

66

> 4.2.

Dertien centrumsteden, 2010, één input en één output

68

> 4.3.

Dertien centrumsteden, 2010, meer inputs en/of meer outputs

76

Dertien centrumsteden, 2006-2010, één input en één output

84

> 4.5.

Meerdere DMU’s, 2010, één input en één output

91

> 4.6.

Effectiviteit en kosteneffectiviteit

97

> 4.4.

‫ ׀‬ii ‫׀‬

Benchmarking via prestatie-indicatoren

> 4.7. 5.

Aandachtspunten

Uitdagingen voor slagkrachtige lokale besturen

102 105

Besluit

109

Bijlage 1: Prestatie-indicatoren voor lokale besturen in het Verenigd Koninkrijk

113

Bijlage 2: Gemeentelijke benchmarks in Nederland

117

Bijlage 3: Duitse benchmarkingscirkels

121

Bijlage 4: Het Canadese Ontario Municipal Benchmarking Initiative

123

Bijlage 5: Efficiëntieanalyse van bibliotheken: specificatie van inputs en outputs

125

Bijlage 6: Data casestudie

129

Referenties

137

Beleidsaanbevelingen

145

‫ ׀‬iii ‫׀‬

Lijst tabellen Tabel 1: Samenvatting informatieplatform ‘Waarstaatjegemeente.nl’ Tabel 2: Algemene bevindingen uit buitenlandse lokale benchmarkingsinitiatieven Tabel 3: FDH efficiëntiescores, 1 input (jaarlijkse uitgaven) en 1 output (aantal uitleningen) Tabel 4: DEA efficiëntiescores, 1 input (jaarlijkse uitgaven) en 1 output (aantal uitleningen) Tabel 5: FDH efficiëntiescores, 2 inputs (personeel, uitgaven collectie) en 1 output (aantal uitleningen) Tabel 6: DEA efficiëntiescores, 2 inputs (personeel, uitgaven collectie) en 1 output (aantal uitleningen) Tabel 7: FDH efficiëntiescores, 3 inputs (personeel, werking, infrastructuur) en 4 outputs (openingsuren, jeugdboeken, fictie- en non-fictie boeken, andere media) Tabel 8: DEA efficiëntiescores, 3 inputs (personeel, werking, infrastructuur) en 4 outputs (openingsuren, jeugdboeken, fictie- en non-fictie boeken, andere media) Tabel 9: FDH en DEA efficiëntiescores, 1 input (jaarlijkse uitgaven) en 1 output (aantal uitleningen), 2006-2010 Tabel 10: FDH en DEA efficiëntiescores, 79 woongemeenten, 2010, 1 input (jaarlijkse uitgaven) en 1 output (aantal uitleningen)

‫ ׀‬iv ‫׀‬

38 48 72 74 78 80 81 82 86 93

Lijst figuren Figuur 1: MAPE-spectrum Figuur 2: Het maatschappelijke stakeholdersperspectief Figuur 3: Opbouw van ‘Waarstaatjegemeente.nl’ Figuur 4: Free Disposal Hull (FDH) Figuur 5: Data Envelopment Analysis (DEA) Figuur 6: Basisschema efficiëntieanalyse ‘Openbare Bibliotheken’ Figuur 7: 13 centrumsteden, 2010, 1 input en 1 output Figuur 8: Efficiëntiegrens FDH en DEA, 13 centrumsteden, 2010, 1 input en 1 output Figuur 9: 13 centrumsteden, 2010, meerdere inputs/outputs Figuur 10: 13 centrumsteden, 2010, 1 input en 1 output Figuur 11: 13 centrumsteden, tijdspad voor 1 input en 1 output (2006-2010) Figuur 12: 79 woongemeenten, 2010, 1 input en 1 output Figuur 13: Efficiëntiegrens FDH en DEA, 79 woongemeenten, 2010, 1 input en 1 output Figuur 14: Effectiviteitsgrens FDH en DEA, 13 centrumsteden, 2010, 1 output en 1 effect Figuur 15: Kosteneffectiviteitsgrens FDH en DEA, 13 centrumsteden, 2010, 1 input en 1 effect Figuur 16: Informatiebehoeften voor lokale benchmarking

22 24 37 60 61 67 69 75 77 84 88 92 96 100 101 106

‫׀‬v‫׀‬

“Men nearly always follow the tracks made by others and proceed in their affairs by imitation, even though they cannot entirely keep to the tracks of others or emulate the prowess of their models. So a prudent man should always follow in the footsteps of great men and imitate those who have been outstanding. If his own prowess fails to compare with theirs, at least it has an air of greatness about it.” Niccolò Machiavelli (1469-1527)

‫ ׀‬vi ‫׀‬

Samenvatting In dit eerste onderzoeksrapport binnen het SBOVIII-project ‘Lokale Benchmarking’ verkennen we het terrein van prestatievergelijkingen op het niveau van de lokale besturen. Na een conceptualisering van het begrip ‘benchmarking’ binnen de context van de (lokale) publieke sector, bekijken we enkele relevante buitenlandse praktijken inzake benchmarking van lokale overheden. Vervolgens voeren we in dit rapport een concrete oefening uit voor prestatievergelijkingen van gemeentelijke dienstverlening, met de openbare bibliotheken als specifieke case van lokale publieke diensten. Met deze oefening demonstreren we het potentieel van nietparametrische grensmethoden voor het benchmarken van de relatieve prestaties van lokale overheden. Benchmarking 

Prestaties meten, beoordelen en vergelijken in een relevante context, m.a.w. ten opzichte van een betekenisvol uitgangspunt.



Of nog: het contextualiseren van de huidige prestaties van een organisatie door vergelijkingen met andere (gelijkaardige) organisaties of met het eigen verleden, met het oogmerk om te verbeteren.



Geen doel, maar instrument om doel te bereiken - Voor managers (interne werking verbeteren, onderbouwde besluitvorming); - Voor hogere overheden, politici en auditoren (controle en evaluatie); - Voor cliënten (verantwoording naar burgers, bedrijven en organisaties.



Twee wijzen van benchmarking: - Ten opzichte van de eigen prestaties in het verleden (vergelijken in de tijd); - Ten opzichte van de prestaties van gelijkaardige entiteiten (vergelijken in de ruimte).

‫׀‬7‫׀‬



Benchmarking is een moeilijk te vertalen begrip, al hanteren we vaak de term ‘prestatievergelijking’ als een Nederlandstalig synoniem (hoewel dit niet de volledigheid van het begrip omvat).



Benchlearning is een onderdeel van benchmarking, eerder dan een verschillend concept.



Lokale benchmarking: drie niveaus van informatie - Benchmarking op het niveau gemeentelijke dienstverlening (micro); - Benchmarking op het niveau van beleidssectoren (meso); - Benchmarking op het niveau van ‘bestuurskracht’ (macro), waarbij eerst duidelijk omschreven dient te worden wat er onder deze term begrepen wordt.

Buitenlandse praktijken Verenigd Koninkrijk ▪

▪ ▪ ▪

Reeds twee decennia van ontwikkeling, specificeren, verzamelen, publiceren en gebruiken van prestatie-informatie voor lokale dienstverlening; Aangestuurd door de Audit Commission; Top-down benadering: centralistisch en verplicht; ‘National Indicators Set’ (NIS) als meest recente lokale benchmarkingsinitiatief: 198 duidelijke, gestandaardiseerde en technisch gedefinieerde indicatoren, met focus op effecten en partnerschappen.

Nederland ▪ ▪ ▪ ▪ ▪

‫׀‬8‫׀‬

Aangestuurd door het Kwaliteitsinstituut Nederlandse Gemeenten (KING); Deels bottom-up, deels consultantgedreven; Informatieplatform ‘waarstaatjegemeente.nl’; Mogelijkheid tot deelname aan meer uitdiepende benchmarks; Voornamelijk enkelvoudige input-, proces- en outputindicatoren, met bijkomend oog voor burger-/klantentevredenheid.

Duitsland ▪ ▪

▪

Aangestuurd door de Kommunale Gemeinschaftsstelle für Verwaltungsmanagement (KGSt); Bottom-up benadering: lokale besturen beslissen vrijwillig of ze meestappen in de benchmarking en of de verkregen informatie publiek gemaakt wordt; Interbestuurlijke prestatievergelijking (IKO-benchmarkingscirkels) met focus op kosten (inputs) en producten (outputs).

Canada ▪ ▪ ▪

Lokaal gestuurde initiatieven, bottom-up benadering (vrijwillig); Ontario Municipal Benchmarking Initiative (OMBI): prestatiemaatstaven voor 26 domeinen van gemeentelijke dienstverlening; Focus op output, effect, klantentevredenheid en efficiëntie.

Benchmarking via indicatoren vs. grensmethoden Om de prestaties, met focus op de kernaspecten efficiëntie en effectiviteit, van lokale besturen te meten en te vergelijken (benchmarking), kunnen we twee alternatieve methoden van elkaar onderscheiden. Benchmarking via prestatie-indicatoren ▪ ▪ ▪ ▪ ▪ ▪ ▪

In de beleidspraktijk meest toegepaste methode; Managementinstrument; Relatief eenvoudig te meten, te valideren en te interpreteren; Worden in absolute termen voor elke organisatie ingevuld; Slechts gedeeltelijke prestatiemetingen; Daarom vaak gecombineerd tot set van indicatoren; Mogelijk tegenstrijdige resultaten, afhankelijk van de keuze van indicatoren.

Benchmarking via niet-parametrische grensmethoden ▪ ▪

Meer globale prestatiemetingen; Specialistische methoden, die gebruik maken van mathematische programmeringstechnieken;

‫׀‬9‫׀‬

▪

▪ ▪ ▪

Construeren een omhullende, maximale prestatiegrens op basis van een set van observaties (organisaties), waartegenover de prestaties van elke observatie wordt afgemeten; Beoordelen de prestaties van organisaties dus in relatieve termen (‘pure vorm van benchmarking’); Deterministisch van aard: elke afwijking van de grens wordt toegeschreven aan prestatieverlies; Gevoelig aan extreme datawaarden, dus belang van datakwaliteit is groot.

Twee niet-parametrische grensmethoden 

Free Disposal Hull (FDH): Voor elke organisatie wordt de benchmarkingsscore bepaald d.m.v. een vergelijking met de beste praktijk bij de andere bestaande organisaties in de set. FDH stelt de minste assumpties voorop, wat resulteert in de meest nauwe omhulling van de set van observaties. Een grafische voorstelling van FDH levert een trapvormige grens op.



Data Envelopment Analysis (DEA): DEA veronderstelt bijkomend een convexe productieset, waarbij bestaande observaties ook vergeleken worden met virtuele observaties (convex samengestelde combinaties van bestaande observaties). Grafisch vormt de DEA-grens dus een convexe omhulling van de trapvormige FDH-grens.

Benchmarking via FDH en DEA: casestudie openbare bibliotheken Aan de hand van een casestudie wordt de toepassing geïllustreerd van de twee niet-parametrische grensmethoden voor het benchmarken van lokale besturen. De casestudie heeft tot doel een didactisch voorbeeld te zijn, om op basis van reële data exemplarisch te demonstreren wat de mogelijkheden van FDH en DEA zijn, en zo ook de databehoeften aan te geven. Hierbij worden de openbare bibliotheken als specifiek domein van lokale publieke dienstverlening genomen, omwille van de zeer uitgebreide Bios2databank, die meer dan 140 kengetallen bevat op welke sinds 2006 gerapporteerd wordt door alle 309 openbare bibliotheken in Vlaanderen. Dit maakt enerzijds dat vergelijkingen in de tijd mogelijk zijn voor elke

‫ ׀‬10 ‫׀‬

bibliotheek, en anderzijds dat bibliotheken onderling kunnen vergeleken worden. De Bios2-databank vormt een ‘beste praktijk’ van beschikbaarheid en verzameling van lokale gegevens, die voor elke gemeentelijk dienst zou moeten plaatsvinden om een brede ‘lokale benchmarking’ te realiseren. Voor de FDH- en DEA-analyses maken we gebruik van de software ‘DEAFrontier’, een invoegtoepassing in Microsoft Excel. Uitdagingen voor slagkrachtige lokale besturen Benchmarking kan een essentiële rol spelen in het traject naar slagkrachtige lokale besturen, maar brengt tegelijk een aantal uitdagingen met zich mee. 

Tegemoet komen aan de datavereisten voor benchmarking: - Meer dan alleen inputinformatie, ook gegevens over outputs, effecten en omgeving; - Gegevens moeten op recurrente wijze verzameld worden (benchmarking in de tijd); - Gegevens moeten op gestandaardiseerde wijze verzameld worden, en dienen dus eenduidig en concreet gedefinieerd te worden (benchmarking in de ruimte).



Hoe kan dit soort benchmarking in Vlaanderen georganiseerd worden voor ‘alle’ lokale dienstverlening?



Hoe kunnen de nieuwe regels voor de beleids- en beheersrapportering van de lokale overheden gekoppeld worden aan deze oefening (indicatoren en doelstellingen)?



Hoe kan ingezet worden op een combinatie van benchmarking en andere instrumenten voor het verbeteren en het versterken van de prestaties van lokale overheden?



Hoe kunnen hier debatten aan gekoppeld worden die nuttig zijn voor beleid en beheer?

‫ ׀‬11 ‫׀‬

Inleiding Ook de lokale besturen in Vlaanderen ontsnappen niet aan de gevolgen van de huidige, aanslepende financiële en economische crisis. De Vlaams minister van Binnenlands Bestuur geeft in zijn beleidsbrief 2011-2012 aan dat de druk op de lokale financiën sterk toeneemt, zowel ten gevolgde van terugvallende (fiscale) ontvangsten als door de budgetbeperkingen van de centrale overheid (Bourgeois, 2011). Bovendien blijft de vraag naar kwalitatieve diensten verder stijgen. Zo zorgt onder meer de vergrijzing voor toenemende lokale behoeften in de zorgsector. En ook op de domeinen van infrastructuur, mobiliteit, milieu, etc. blijven de eisen van burgers, bedrijven en organisaties alsmaar toenemen. Dit alles heeft tot gevolg dat de lokale overheden zelf in volle verantwoordelijkheid zullen moeten werken aan hun zuinigheid, efficiëntie en effectiviteit om met minder middelen een beter bestuur en een betere dienstverlening tot stand te brengen. Het is daarbij van groot belang dat deze lokale autoriteiten een duidelijke en transparante verantwoording afleggen over wat zij doen en welke diensten ze leveren met de beschikbare financiële (publieke) middelen (Rhodes, 1994). Goede prestatiemetingen, accurate prestatiebeoordelingen en het gebruik van 'benchmarking' vormen alvast nuttige en waardevolle instrumenten om de performantie van lokale besturen te analyseren, te evalueren, te interpreteren en met elkaar te vergelijken. Deze uitkomsten zijn niet enkel nuttig voor de gemeenten zelf, onder meer om hun performantie te kunnen vergelijken in de tijd en met gelijkaardige lokale besturen. Eveneens zijn ze zinvol voor de Vlaamse overheid om zowel algemeen als per beleidsdomein de beleidsprocessen beter af te stemmen op de lokale besturen, het beleid beter te sturen, subsidiëringsbeslissingen te nemen, toezicht te houden, … Om het instrument van ‘benchmarking’ of ‘prestatievergelijkingen’ voor lokale besturen in Vlaanderen sterker en wetenschappelijk te onderbouwen, is vanuit de Vlaamse overheid het project ‘Lokale Benchmarking’ geïnitieerd dat uitgevoerd wordt onder de koepel van het Steunpunt Bestuurlijke Organisatie - Slagkrachtige Overheid (SBOVIII). Dit project heeft tot doel om

‫ ׀‬13 ‫׀‬

na te gaan op welke manier de huidige, beschikbare gegevens1 vanuit lokale overheden samengebracht en geïntegreerd kunnen worden om (eventueel aangevuld met relevante informatie uit andere regionale en centrale, overheidsbronnen) tot zinvolle en bruikbare (kwantitatieve en kwalitatieve) informatie te komen over de prestaties van lokale besturen, eveneens in vergelijking met andere, binnenlandse of buitenlandse, lokale overheden. Bijkomend dient, vertrekkend vanuit de nu reeds beschikbare lokale data (en informatie), verder onderzocht te worden welke gegevens momenteel ontbreken en toch relevant zijn om systematisch inzicht te verkrijgen in de kwaliteit, de prestaties en de werking van (en tussen) de lokale besturen. Aangezien in het huidige, moeilijke financiële klimaat door de lokale overheden verder ingezet dient te worden op onder andere efficiëntieverhogingen, eerder dan het verhogen van de belastingen of het indijken van investeringsuitgaven (Bourgeois, 2012: 33), is een diepere analyse van de huidige prestaties van lokale besturen immers essentieel, zowel in vergelijking met het eigen verleden als met andere, gelijkaardige besturen. Op basis hiervan kunnen terreinen van potentiële prestatiewinsten geïdentificeerd en bewandeld worden. In het voorliggende rapport presenteren we de eerste bevindingen van het onderzoeksproject ‘Lokale Benchmarking’, waarbij we aan de hand van definities en buitenlandse praktijken het terrein verkennen van (prestatie)vergelijkingen op het niveau van de lokale besturen, en waarbij we met een concrete casestudie — gebruik makend van niet-parametrische grensmethoden — illustreren hoe gemeentelijke diensten in verschillende lokale overheden beoordeeld en vergeleken kunnen worden. Het onderzoeksrapport vangt aan met een conceptualisering van het begrip ‘benchmarking’. Rekening houdend met de vele omschrijvingen die er van de term beschikbaar zijn, trachten we tot een toepasbare definitie van benchmarking te komen binnen de context van de (lokale) publieke sector. Daarnaast beschrijven we ook de motieven waarom en de wijze waarop diverse actoren overgaan tot het instrument van benchmarking. Voor wat

1

Momenteel bestaat er een brede waaier aan Vlaamse bronnen en databanken van lokale gegevens, zoals wordt aangegeven in een recente SBOV-studie van Stroobants & Bouckaert (2011b).

‫ ׀‬14 ‫׀‬

betreft benchmarking in de lokale publieke sector kunnen daarbij drie niveaus van informatie onderscheiden worden aan de hand waarvan de lokale besturen hun prestaties kunnen meten, beoordelen en vergelijken. Meer bepaald beschouwen we informatie over de gemeentelijke dienstverlening als het microniveau, informatie over beleidssectoren als het mesoniveau en informatie over de bestuurskracht als het macroniveau van lokale benchmarking. Het tweede hoofdstuk van dit rapport is gewijd aan buitenlandse praktijken. In hun pogingen om de prestaties van de lokale overheden te beoordelen en met elkaar te vergelijken, hebben verschillende landen reeds — in meer of mindere mate — initiatieven genomen voor het opzetten van een kader voor ‘lokale benchmarking’. We beschrijven achtereenvolgens voorbeelden in het Verenigd Koninkrijk, Nederland, Duitsland en Canada, waarna we een aantal algemene bevindingen formuleren omtrent de sturing en het regime van deze buitenlandse praktijken en de focus van de prestatiemaatstaven die erin zijn opgenomen. In het derde hoofdstuk introduceren we niet-parametrische grensmethoden als een alternatieve techniek voor het gebruik van prestatie-indicatoren bij publieke sector benchmarking. In tegenstelling tot het benchmarken met indicatoren, die in absolute termen worden ingevuld voor elke organisatie afzonderlijk, analyseren niet-parametrische grensmethoden de betrokken organisaties ten opzichte van elkaar. Zodoende worden bij deze vorm van benchmarking de prestaties van de betrokken organisaties in relatieve termen in kaart gebracht. Hierop voortbouwend voeren we in hoofdstuk vier een concrete oefening uit voor het benchmarken van de prestaties van lokale besturen op vlak van gemeentelijke dienstverlening met behulp van deze niet-parametrische grensmethoden, waarbij we de openbare bibliotheken als specifiek domein van gemeentelijke dienstverlening nemen. In de casestudie zullen we voornamelijk de focus leggen op de efficiëntie van de publieke dienstverlening, eerder dan op effectiviteit en kwaliteit. Met deze oefening demonstreren we het potentieel van niet-parametrische grensmethoden om de relatieve prestaties van lokale overheden voor een betreffende dienst in kaart te brengen, en geven we aan hoe de uitkomsten van de analyses dienen geïnterpreteerd te worden. Bovendien worden op die manier ook de databehoeften aangegeven die zich stellen bij lokale benchmarking.

‫ ׀‬15 ‫׀‬

We eindigen dit onderzoeksrapport met het oplijsten van enkele uitdagingen waarmee de overheden in Vlaanderen geconfronteerd worden indien ze verder willen inzetten op het waardevolle instrument van benchmarking in het traject naar slagkrachtige lokale besturen. Deze uitdagingen situeren zich onder meer op het vlak van datavereisten, dataverzameling en de debatten die aan de benchmarkingsuitkomsten gekoppeld dienen te worden.

‫ ׀‬16 ‫׀‬

1. Benchmarking: what’s in a name? Benchmarking heeft zijn intrede gedaan in het bedrijfsleven in de late jaren 19702 als instrument om de prestaties en competitiviteit van organisaties te evalueren en te verbeteren. Meer recent is de scope van benchmarking uitgebreid, van grote bedrijven naar kleine ondernemingen en van de privésector naar zowel de publieke als de semipublieke sector (Kyrö, 2003). Vandaag de dag is benchmarking een veelgebruikte term, al varieert de definitie en de classificatie ervan sterk naargelang de context waarin het als techniek toegepast wordt en de criteria waarop gefocust wordt. > 1.1.

Naar een hanteerbare definitie

Zowel in de literatuur als in de (bedrijfs- of beleids)praktijk zijn er tal van definities en conceptualiseringen van de term ‘benchmarking’ beschikbaar, elk met zijn eigen focus, context en nuances. Zo stellen Bhutta & Huq (1999) dat “benchmarking eerst en vooral een instrument is voor verbetering door middel van het vergelijken met andere organisaties die beschouwd worden als de beste in het domein”. Anand & Kodali (2008) breiden de definitie uit en beschrijven benchmarking als “een voortdurende analyse van strategieën, functies, processen, producten of diensten, prestaties, etc. waarbij — aan de hand van vergelijkingen binnen of tussen organisaties en via geschikte methoden van datacollectie — informatie verzameld wordt met de intentie om de huidige organisationele standaarden te beoordelen en zo zichzelf te verbeteren door het implementeren van veranderingen die deze standaarden overstijgen”. Behn (2003) en Kouzmin et al. (1999) leggen dan weer de nadruk op het lerende aspect van benchmarking en definiëren de term als “een instrument voor het beoordelen van de organisationele prestaties en voor het faciliteren van transfer en leren van andere gebenchmarkte organisaties”. Rekening houdend met deze verscheidenheid aan definities, kunnen we algemeen en in brede zin stellen dat benchmarking betrekking heeft op het

2

De meeste auteurs situeren het startpunt van het concept ‘benchmarking’ in 1979 wanneer het werd toegepast door Rank Xerox als een middel om terug te vechten tegen de Japanse concurrentie die tegen lagere prijzen gelijkaardige, kwaliteitsvolle producten aanboden.

‫ ׀‬17 ‫׀‬

meten, het beoordelen en het vergelijken van prestaties, met de intentie om te leren en te verbeteren. Met andere woorden omvat benchmarking het meten, beoordelen en vergelijken van prestaties in een relevante context, en dus ten opzichte van een betekenisvol uitgangspunt (Ammons, 1997). Wanneer we dit toepassen op de publieke sector komen we volgende brede definitie die we zullen hanteren voor ons onderzoek (Askim et al., 2007; Berg, 2010): “publieke sector benchmarking is het contextualiseren van de huidige prestaties van een overheidsorganisatie door vergelijkingen met andere (gelijkaardige) organisaties of met het eigen verleden, met het oogmerk om te verbeteren”. > 1.2.

Een instrument voor meerdere doelen

Gegeven onze brede definitie van benchmarking als het meten, beoordelen en vergelijken van prestaties in een relevante context, zijn verschillende redenen te formuleren waarom overheidorganisaties in het algemeen, en lokale besturen in het bijzonder, zelf tot benchmarking willen overgaan of waarom andere partijen geïnteresseerd zijn in benchmarking van en tussen overheidsentiteiten. Al deze redenen wijzen er echter op dat benchmarking geen doel op zich mag zijn, maar wel een instrument vormt om de doelen te bereiken (de Lancer Julnes & Holzer, 2008). Benchmarking in de publieke sector is grotendeels gericht naar drie voorname actoren, en kan dus een waardevol instrument zijn voor: (1) (managers van) de betrokken overheidorganisaties: om de domeinen te kennen waar ze sterk presteren en het goed doen, om de gebieden te identificeren waar ze opportuniteiten hebben om te verbeteren, om goede praktijken te identificeren en hiervan te leren, om op die manier hun interne werking te verbeteren, als informatiebron voor meer ‘evidence-based’ besluitvorming, als basis voor meer gedetailleerde analyse van bepaalde diensten, etc.; (2) hogere overheden en toezichthoudende partijen (bv. parlement, audit): als instrument voor sturing, controle en evaluatie van de publieke sector activiteiten; (3) burgers, bedrijven en organisaties (en dus cliënten van de overheidsorganisaties): als instrument ter verantwoording van de overheidsorganisaties (i.e. ‘accountability’). Benchmarking, en het

‫ ׀‬18 ‫׀‬

publiek beschikbaar stellen van de informatie en resultaten, biedt een vorm van rapportering naar de belastingsbetalers toe. Bovendien wordt benchmarking in de publieke sector vaak gezien als een belangrijk surrogaat voor de marktmechanismen zoals die bestaan in de competitieve, private sector (Bowerman et al., 2001; van Helden & Tillema, 2005). Immers, binnen de openbare sector bestaat er op zichzelf geen evaluatiemechanisme of -procedure die slecht presterende producenten van publieke diensten afstraft of stopt, daar waar de dreiging van faillissement in de private sector wel voor een tastbare sanctie zorgt (Smith, 1996). In de afwezigheid van zulke competitieve marktkrachten kan benchmarking beschouwd worden als een belangrijk instrument bij het beoordelen van de publieke dienstverlening. > 1.3.

Twee wijzen van benchmarking

Algemeen kunnen we twee wijzen van (publieke sector) benchmarking onderscheiden (Berg, 2010). Enerzijds kan een overheidsentiteit haar prestaties meten relatief tegenover de eigen prestaties in het verleden (dus vergelijken in de tijd), wat ook wel eens verticale benchmarking wordt genoemd. Anderzijds kunnen organisaties hun prestaties vergelijken tegenover relevante standaarden of prestaties van andere, gelijkaardige organisaties (dus vergelijken in de ruimte), wat als horizontale benchmarking beschouwd wordt. Beide wijzen van benchmarking zijn nuttig en noodzakelijk, en een vergelijking die zowel tijdreeksen als verschillende organisaties inhoudt, zal de meeste informatie opleveren (Bovaird & Löffler, 2009). Prestaties van verschillende entiteiten in vergelijkbare situaties tegenover elkaar uitzetten, laat toe te beoordelen hoe goed (of minder goed) organisaties het doen ten opzichte van de best presterende organisaties (Afonso & Fernandes, 2006). Zo ontstaan relatieve rangschikkingen die waardevolle informatie bevatten voor de organisaties, de beleidsmakers en de cliënten (cfr. §1.2). Echter, aangezien de zwakste presteerder in een bepaalde groep van vergelijkbare organisaties misschien betere prestaties levert dan de beste entiteit in een andere groep, zijn ook absolute vergelijkingen noodzakelijk. Organisaties willen bijvoorbeeld weten of ze daadwerkelijk beneden hun mogelijkheden presteren. Prestaties meten tegenover een relevante standaard kan hiervoor een aangewezen instrument

‫ ׀‬19 ‫׀‬

zijn. Ten slotte dienen prestaties ook gebenchmarkt te worden overheen de tijd, zodat de organisaties kunnen beoordelen of hun performantie al dan niet in stijgende lijn gaat (Berg, 2010). > 1.4.

Benchmarking: een onvertaalbaar begrip?

Net zomin er een eenduidige definitie bestaat van benchmarking (cfr. §1.1), of net omwille van dit gebrek aan een uniforme invulling, is er geen Nederlandstalige term beschikbaar die een accurate vertaling inhoudt van dit begrip. Een ‘benchmark’ laat zich vertalen als een referentiepunt (een maatstaf, een ijkpunt, een standaard) en geeft als dusdanig wel aan dat benchmarking tot doel heeft om een referentiekader te creëren, maar dit volstaat niet om het concept in zijn geheel te benaderen. In de meest brede zin — en in de context van dit onderzoeksproject — kunnen we het woord ‘prestatievergelijking’ als Nederlandstalig synoniem van ‘benchmarking’ hanteren, wat we in dit rapport ook vaak doen, maar we erkennen dat deze vertaling niet de volledigheid van de term omvat. Immers, naast het vergelijken van de organisationele prestaties ten opzichte van het eigen verleden of ten opzichte van de prestaties van gelijkaardige organisaties, omvat benchmarking minstens ook de doelstelling om op basis van deze vergelijkingen trajecten voor verbetering te ontwikkelen en te implementeren. > 1.5.

Benchmarking vs. Benchlearning

Van Dooren et al. (2010) onderscheiden drie soorten doelen voor het gebruik van prestatie-informatie: om te leren, om te sturen en te controleren, en om verantwoording af te leggen. Binnen elk van de drie categorieën geven de auteurs mogelijke instrumenten aan om deze functie te vervullen, waarbij ze benchmarking beschouwen als een techniek met hoofdzakelijk een lerende oriëntatie. Dit is een meer strikte invulling dan veelal elders in de literatuur gehanteerd wordt, waar benchmarking breder gedefinieerd wordt als een mogelijk instrument voor het bereiken van alle drie de soorten doelen (cfr. §1.2), en waar de meer specifieke term ‘benchlearning’ doorgang heeft gevonden om de lerende focus te benadrukken. In die zin dient benchlearning beschouwd te worden als een onderdeel van benchmarking, eerder dan als een verschillend concept. Benchlearning

‫ ׀‬20 ‫׀‬

betekent dus dat niet enkel vergelijkingen en/of ranglijsten gemaakt worden tussen organisaties, maar dat ook verbeterpunten worden geïdentificeerd. Op deze punten dient de organisatie naar andere, beter presterende, organisaties te kijken, waarvan “geleerd” kan worden hoe er beter te presteren valt. > 1.6.

Lokale benchmarking: drie niveaus van informatie

Zoals hierboven reeds is aangegeven, definiëren we benchmarking in de publieke sector als het contextualiseren van de huidige prestaties van een overheidsorganisatie door middel van vergelijkingen met andere, gelijkaardige organisaties of met het eigen verleden. Wanneer men wil overgaan tot een benchmarking is een volgende vraag uiteraard wat men wil benchmarken, of anders gezegd, op welke aspecten men organisaties wil vergelijken en dus welke prestaties men onder de loep wil nemen. Het antwoord op deze vraag varieert logischerwijs naargelang het doel van de betreffende benchmarkingsoefening, en het type van informatie dat hiervoor aangewend wordt. Dit geldt eveneens voor het benchmarken van lokale besturen. Concreet kunnen we drie verschillende types van informatie onderscheiden aan de hand waarvan de (Vlaamse) lokale besturen (en hun prestaties) gemeten, beoordeeld en vergeleken kunnen worden. Voor elk van deze mogelijke analyseniveaus zal een geschikt conceptueel kader dienen bepaald te worden, en zullen specifieke (prestatie-)indicatoren en/of variabelen ontwikkeld of geselecteerd moeten worden. In wat volgt gaan we kort in op deze drie mogelijke informatieniveaus voor benchmarking van lokale overheden. > 1.6.1.

Informatie over de gemeentelijke dienstverlening (microniveau)

Een gemeente produceert goederen en diensten. Dat kan op het gebied van de beleidsontwikkeling zijn of in de uitvoering (Abma, 2012). Dit eerste niveau van lokale benchmarking richt zich op de laatste rol — de uitvoering — waarbij de burgers, bedrijven en organisaties klant zijn van de gemeente. In deze rol voor de gemeente gaat het dus om de (ambtelijke) dienstverlening aan burgers, bedrijven en organisaties, zoals bijvoorbeeld het afleveren van paspoorten, het onderhouden van voet- en fietspaden,

‫ ׀‬21 ‫׀‬

voorzien in kinderopvang, uitlening van boeken in de openbare bibliotheek, etc. We beschouwen het meten, beoordelen en vergelijken van lokale besturen op vlak van de gemeentelijke dienstverlening als het microniveau van lokale benchmarking. Om de gemeentelijke dienstverlening te meten en te beoordelen, en om besturen op dit vlak onderling te vergelijken, dient een set van sleutelindicatoren (KPI’s) geïdentificeerd te worden die samen een duidelijk inzicht bieden in de prestaties van gemeenten op het bestudeerde aspect van dienstverlening. Hiervoor kan een conceptuele kader van het transformatieproces van publieke dienstverlening een waardevolle basis bieden. Het (productie)proces van gemeentelijke dienstverlening kan beschreven worden aan de hand van het MAPE-spectrum (Bouckaert & Auwers, 1999), zoals weergegeven in onderstaande figuur 1. Figuur 1: MAPE-spectrum KOSTENEFFECTIVITEIT

M

A

P

E

input

throughput

output

outcome

EFFICIËNTIE doelmatigheid

ZUINIGHEID

EFFECTIVITEIT doeltreffendheid

DOELBEREIKING

Via het identificeren van gegevens omtrent de verschillende MAPEelementen (Middelen, Activiteiten, Prestaties en Effecten) van de gemeentelijke dienstverlening, kunnen prestatie-indicatoren omtrent de

‫ ׀‬22 ‫׀‬

efficiëntie, (kosten)effectiviteit (en onder meer omtrent kwaliteit en klantentevredenheid) van deze dienstverlening ontwikkeld worden. > 1.6.2.

Informatie over de beleidssectoren (mesoniveau)

Lokale overheden (en hun dienstverlening) kunnen uiteraard ook beoordeeld en met elkaar vergeleken worden op het bredere niveau (i.e. breder dan enkel het lokale bestuur) binnen een bepaald beleidsdomein (zoals bijvoorbeeld onderwijs, sociale zaken, huisvesting, sport, cultuur en vrije tijd, …). We noemen dit in onze categorisering het mesoniveau van informatie voor lokale benchmarking. Binnen dit mesoniveau wordt dus niet enkel gekeken naar de producten en diensten die een gemeentebestuur zelf voortbrengt binnen een bepaalde beleidssector (zoals bij het bovenstaande microniveau van analyse), maar worden alle individuele — publieke en private — actoren in acht genomen die onderling afhankelijk van elkaar zijn en gecoördineerd actie moeten ondernemen om binnen de betreffende beleidssector tot een effectieve dienstverlening te kunnen komen. Nemen we bijvoorbeeld de beleidssector cultuur: de effectieve dienstverlening (en dus het geheel van culturele activiteiten, zowel actief als passief, als deelnemer dan wel als toeschouwer) wordt mogelijk gemaakt door interactie van het gemeentebestuur, lokale cultuurverenigingen, organisaties, burgers, etc. Met andere woorden wordt de lokale overheid in dit niveau benaderd vanuit een maatschappelijk stakeholdersperspectief, met name als een netwerk van onderling onafhankelijke en gerelateerde entiteiten, die bijkomend de interactie tussen de overheid en de samenleving in beschouwing neemt. Dit perspectief wordt geïllustreerd in figuur 2 (Bouckaert et al., 2011). Ook binnen dit niveau van benchmarking vormt het MAPE-spectrum (cfr. figuur 1) een bruikbaar conceptueel kader. Per bestudeerde beleidssector kan nagegaan worden welke informatie beschikbaar is omtrent middelen, activiteiten, prestaties en effecten. Voor wat betreft benchmarking van Vlaamse lokale besturen in dit niveau van analyse, kunnen we verwijzen naar waardevolle bestaande initiatieven zoals de Stadsmonitor, die reeds tal van omgevingsindicatoren samenbrengen voor de dertien Vlaamse centrumsteden, en de lokale informatie binnen de Vlaams Regionale Indicatoren (VRIND).

‫ ׀‬23 ‫׀‬

Figuur 2: Het maatschappelijke stakeholdersperspectief

x

x

scholengemeenschap

x

lokale politiezone

vzw

ziekenhuis

vzw

x

OCMW

Stad interlokale organisatie

service flat

PPS

x

kerkfabriek

rusthuis

NGO autonoom gemeentebedrijf

filiaal

x x

(Bron: Bouckaert et al., 2011)

> 1.6.3.

Informatie over de bestuurskracht (macroniveau)

Het hoogste (en dus macro)niveau van informatie over het functioneren van een lokale overheid zit vervat in het concept ‘bestuurskracht’. Bestuurskracht sluit daarbij volgens Bouckaert et al. (2003) aan bij het begrip ‘governance performance’, waarbij niet alleen de bedrijfsvoering

‫ ׀‬24 ‫׀‬

(‘organizational performance’) maar ook de invloed van het bestuur (de prestaties: het vermogen om lokale problemen op te lossen en in lokale behoeften te voorzien) meegenomen wordt. Met andere woorden is bestuurskracht gericht op bestuurskundige indicatoren, bijvoorbeeld betreffende de financiële functie, het personeelsbeleid, de openbaarheid van bestuur, vertrouwen in de instellingen en de communicatie met de burger. Echter, in de literatuur wordt de term bestuurskracht veranderlijk gedefinieerd, en zijn tal van verschillende invullingen aanwezig (Abma, 2012). Voor dit macroniveau van benchmarking dient dus eerst en vooral tot een duidelijke omschrijving gekomen te worden van het begrip bestuurskracht voor gemeenten, om zo inzicht te krijgen in de diverse aspecten van bestuurskracht die onderscheiden kunnen worden en om aan de hand hiervan tot een beoordelings- en benchmarkingskader te komen van de bestuurskracht van de lokale besturen.

‫ ׀‬25 ‫׀‬

2. Buitenlandse praktijken In hun pogingen om de prestaties van de lokale overheden te beoordelen en met elkaar te vergelijken, hebben verschillende landen reeds — in meer of mindere mate — initiatieven genomen voor het opzetten van een kader voor ‘lokale benchmarking’. Uiteraard kan het niveau van zulke benchmarking voor elk van de landen verschillen, naargelang de omvang van de lokale structuren (gaande van een eerder kleine invulling zoals gemeenten in onze contreien, tot een grotere scope van communities en councils). Voortbouwend op de definiëring en conceptualisering van benchmarking in het vorige hoofdstuk, en in het kader van de verdere uitwerking van het SBOV-onderzoeksproject ‘lokale benchmarking’, is het nuttig om een aantal van deze buitenlandse praktijken meer in detail te bekijken. In dit hoofdstuk behandelen we achtereenvolgens initiatieven van lokale benchmarking in het Verenigd Koninkrijk, Nederland, Duitsland en Canada. > 2.1.

Verenigd Koninkrijk

Het Verenigd Koninkrijk heeft reeds een jarenlange traditie van prestatiemeting en -beoordeling in de publieke sector, zo ook bij lokale besturen (Bowerman et al., 2001). Dit heeft tijdens de afgelopen decennia geresulteerd in een golf van prestatie-indicatoren (PI’s), prestatiebeoordelingen, audits en controles (Kurunmäki & Miller, 2006). Dit gebeurde telkens op uitdrukkelijk verzoek van de centrale overheid, maar werd wel uitgevoerd door derde partijen. Zo werd in de jaren 1980 de Audit Commission3 opgericht, die tot doel had de zuinigheid, efficiëntie en effectiviteit van lokale overheden te verhogen, voornamelijk via processen van audit en controle. Op die manier heeft de Audit Commission gedurende meer dan 30 jaar een specifieke betrokkenheid gehad in het ontwikkelen, specificeren, verzamelen en publiceren van prestatie-informatie over de Britse lokale overheden en hun dienstverlening.

3

Hoewel de Audit Commission opereerde als een onafhankelijk orgaan, kreeg ze vaak specifieke taken opgelegd vanuit de centrale overheid (en werd ze bovendien sinds 1998 door deze centrale overheid gefinancierd).

‫ ׀‬27 ‫׀‬

Aan de hand van sets van gestandaardiseerde indicatoren werd prestatieinformatie bij de lokale besturen verzameld, op basis waarvan van de lokale overheden verwacht werd dat ze hun prestaties vergelijken met de best presterende besturen, bijvoorbeeld door middel van benchmarkingsclubs (DETR, 1998), of met hun eigen prestaties in het verleden. In augustus 2010 raakte bekend dat de Britse regering de Audit Commission zou opdoeken, voornamelijk in het kader van de grote besparingen die doorgevoerd dienden te worden. De regering uitte daarbij wel de expliciete wil om de activiteiten van prestatiebeoordeling en -vergelijking te transfereren naar de non-profit- of privésector, voornamelijk door middel van uitbestedingscontracten (DCLG, 2011). Deze transitie is momenteel volop aan de gang. Aangezien de centrale overheid een derde partij, met name de Audit Commission, belastte met het uitwerken en uitvoeren van prestatiebeoordelingen van lokale besturen, is er in het Verenigd Koninkrijk duidelijk sprake van een centralistische, top-down benadering inzake lokale benchmarking. Het initiatief en de uitvoering ligt dus bij de centrale overheid. Dit wordt bevestigd door Downe et al. (2007) die stellen dat: “vanuit een internationaal perspectief, het Verenigd Koninkrijk een extreme ‘outlier’ is inzake top-down toezicht op de prestaties van lokale overheden”. Wanneer we kijken naar de laatste twee decennia, kunnen we drie grote initiatieven van prestatiemeting en -vergelijking bij de lokale besturen onderscheiden, telkens aan de hand van een set van prestatie-indicatoren. > 2.1.1.

Audit Commission Performance Indicators

Begin jaren 1990 werd door de Britse regering het ‘Citizen’s Charter’initiatief gelanceerd, dat voornamelijk tot doel had de kwaliteit van de publieke dienstverlening te verhogen en de publieke diensten meer af te stemmen op de concrete noden van de burgers en cliënten. Dit initiatief gaf onder meer aan de Audit Commission de opdracht om een stelsel van prestatie-indicatoren te ontwerpen voor lokale besturen, en eveneens de audit en publicatie ervan uit te voeren. Door het publiek te voorzien van objectieve en vergelijkbare data over kwaliteit en kosten, fungeerden deze zogenoemde ‘Audit Commission Performance Indicators’ (ACPI’s) in wezen

‫ ׀‬28 ‫׀‬

als een raamwerk voor (lokale) benchmarking, wat ook duidelijk werd vooropgesteld door de ‘Local Government Act’ in 1992 (Bowerman, 1995): “Audit Commission […] ontwikkelen van sets van prestatieindicatoren die het maken van gepaste vergelijkingen moeten faciliteren (aan de hand van criteria over kosten, zuinigheid, efficiëntie en effectiviteit) tussen de gerealiseerde prestatiemaatstaven van verschillende overheden en de geleverde prestatiemaatstaven in verschillende jaren.” Een grote rol voor de Audit Commission bestond er dus in om die indicatoren te selecteren die het beste de prestatieniveaus van lokale overheden konden weergeven. Om vergelijkingen mogelijk te maken, dienden deze indicatoren bovendien uniform te zijn overheen alle lokale besturen. Dit laatste vereiste duidelijke en technische definities van de ontwikkelde indicatoren. Op basis van onderzoek naar de noden van de burgers, en na consultatie van consumentengroepen en dienstverleners, kwam de Audit Commission (2012a) eind 1992 met een eerste lijst van 77 ACPI’s4, die in de loop der jaren aangroeide tot een 200-tal indicatoren. De set van ACPI’s dekte in totaal 17 categorieën van dienstverlening door of prestaties van lokale besturen (Bowerman, 1995). Deze 17 domeinen hebben we opgelijst in bijlage 1.a. Het merendeel van de ACPI’s had betrekking op activiteiten of kosten, of vereiste een sterk detail aan procedurele informatie. Dit had tot gevolg dat de ACPI’s als kritiek kregen dat ze niet altijd werkelijk de prestaties van lokale besturen in kaart brachten (bv. enkel gericht op uitgaven, en te weinig op efficiëntie, effectiviteit en kwaliteit). Bovendien kwam naar voren dat, hoewel ze door de Audit Commission werden gepubliceerd, slechts enkele indicatoren op hun accuraatheid gecontroleerd werden. Ze waren dus van twijfelachtige waarde en onbetrouwbaar, en er werd zelfs vermoed dat de verantwoordelijke lokale managers de data vaak gewoon verzonnen (Boyne et al., 2006). In een poging om aan deze kritieken tegemoet te komen, ontwikkelde de Audit Commission in 2000 een tweede generatie van prestatie-indicatoren voor lokale benchmarking.

4

In de literatuur wordt ook wel eens gerefereerd naar de ‘Citizen’s Charter Indicators’, aangezien de ACPI’s in voege kwamen na de invoering van het ‘Citizen’s Charter’ in 1992.

‫ ׀‬29 ‫׀‬

> 2.1.2.

Best Value Performance Indicators

In 2000 bracht de Britse regering een nieuwe benadering van prestatiemanagement in voege, het zogenaamde ‘Best Value’-raamwerk, dat vooral betrekking had op individuele diensten verleend door lokale overheden, en dat stelde dat lokale besturen de plicht hebben om “diensten te leveren die voldoen aan duidelijk standaarden (zowel wat betreft kosten als kwaliteit) met de meest zuinige, efficiënte en effectieve inzet van beschikbare middelen” (Audit Commission, 1999). Anders gesteld dienen lokale besturen “… regelingen te treffen om een continue prestatieverbetering te verzekeren omtrent de wijze waarop de functies uitgevoerd worden, en met betrekking tot een combinatie van zuinigheid, efficiëntie en effectiviteit” (Sanderson, 2001). In de context van dit nieuwe kader van prestatiemanagement ontwikkelde de Audit Commission een nieuwe set van indicatoren, met name de ‘Best Value Performance Indicators’ (BVPI’s), ter vervanging van de voorheen geldende ‘Audit Commission Performance Indicators’ (ACPI’s). Deze BVPI’s moesten de burgers nog beter informeren over de kwaliteit van de verkregen lokale diensten. Daarvoor dienden de BVPI’s, in vergelijking met de voorgaande ACPI’s, meer te focussen op de kernaspecten van de prestaties van publieke dienstverlening, en bovendien werden de indicatoren onderhevig aan een strikter regime van externe audit en inspectie (Boyne et al., 2006). Bovendien focusten de BVPI’s meer op de centrale overheidsprioriteiten (‘key national interest issues’), daar waar de ACPI’s ook aandacht hadden voor domeinen die door de burgers naar voren werden geschoven. De in totaal circa 125 BVPI’s (cfr. bijlage 1.b voor de brede categorieën van publieke diensten waarin de indicatoren zijn onderverdeeld) werden gedetailleerd en technisch gedefinieerd door de Audit Commission (2012b), om standaardisatie van de verzamelde informatie te verhogen en om zo vergelijkingen tussen lokale besturen mogelijk te maken. Bovendien waren de lokale autoriteiten onder het ‘Best Value’-regime verplicht om zelf hun prestaties te beoordelen en te verbeteren, en werden er voor alle lokale overheden concrete doelstellingen met betrekking tot de BVPI’s opgelegd, waarbij de besturen jaarlijks hun voortgang ten opzichte van deze targets dienden te rapporteren (Buxton & Radnor, 2012).

‫ ׀‬30 ‫׀‬

> 2.1.3.

National Indicator Set

In 2008 werden de BVPI’s vervangen door een derde generatie van centraal ontwikkelde prestatie-indicatoren voor lokale besturen, de ‘National Indicator Set’ (NIS) genoemd. Deze National Indicator Set bestond uit 198 indicatoren (Audit Commission, 2012c), die zeer gedetailleerd en aan de hand van technische definities beschreven werden, wat standaardisatie in de hand werkt en ook toelaat om op correcte basis vergelijkingen uit te voeren. Hiervoor werd een informatieportaal (‘National Indicator Information Portal’) opgezet die online toegang bood tot de gedetailleerde definities voor elk van de NIS-indicatoren. De NIS werd afgeleid uit de ‘Public Service Agreements’ (die de prioriteiten en de doelstellingen van de Britse overheidsdepartementen vastleggen voor een periode van drie jaar) en goedgekeurd binnen de ‘Comprehensive Spending Review’ (die de uitgaven alloceert overheen alle departementen) (DCLG, 2008). Op die manier weerspiegelen de NIS-indicatoren dus eveneens de nationale prioriteiten van de regering. De 198 indicatoren in de NIS werden onderverdeeld in vier hoofddomeinen van publieke dienstverlening, die op hun beurt verder opgesplitst werden in tien subthema’s (Audit Commission, 2012c). Deze onderverdeling, en een uittreksel van de indicatoren, zijn opgenomen in bijlagen 1.c en 1.d. In tegenstelling tot de vorige ACPI’s en BVPI’s, vormde de NIS een prestatiemanagementraamwerk waarbij de focus op de outcomes (i.e. op de effecten) van de publieke dienstverlening kwam te liggen, en op het realiseren van deze effecten door betere samenwerking en netwerken van actoren. Vele indicatoren in de set (cfr. bijlage 1.d voor een uittreksel van deze indicatoren) waren daarom niet enkel relevant voor het lokale bestuur in strikte zin, maar voor verschillende lokale partners zoals bijvoorbeeld de lokale politie, de lokale zorgsector en andere lokale entiteiten. Voor elke lokale overheid in Engeland werden vervolgens de prestaties ten opzichte van deze NIS-indicatoren afgezet. Dit vormde meteen ook de enige basis waarop de centrale overheid de prestaties van lokale besturen trachtte te managen. Dit gebeurde door het onderhandelen van een ‘Local Area Agreement’ (LAA) tussen een lokaal bestuur en de centrale overheid waarbij specifieke, concrete doelstellingen (targets) ten opzichte van de NIS werden bepaald (DCLG, 2008). Immers, de comparatieve informatie die

‫ ׀‬31 ‫׀‬

vrijkwam uit de NIS-rapportering liet de centrale overheid en regulatoren toe om te oordelen over waar een lokale overheid goed dan wel slecht presteerde, en waar bijgevolg de focus diende gelegd te worden. De NIS-rapportering gebeurde op COUNT-basis (i.e. ‘collect once, use numerous times’) via een ‘Data Interchange Hub’. Dit enkelvoudige systeem voor rapportering verzekert dat al wie de prestatie-informatie nodig heeft, toegang heeft tot de meest up-to-date gegevens (DCLG, 2008). Dit laat een systematisch gebruik toe van deze prestatie-informatie toe, bijvoorbeeld voor benchmarkingsdoeleinden. De technische definities van de indicatoren geeft stakeholders bovendien een inzicht in de methodologie, de frequentie van rapportering en de databronnen voor de verschillende indicatoren. Toch kwam er steeds meer kritiek vanuit de lokale besturen in het Verenigd Koninkrijk op de administratieve last die de ‘National Indicator Set’ met zich meebracht. Door het opleggen van nationale standaarden vonden de lokale overheden dat ze voortdurend dienden te focussen op aspecten die door de centrale overheid belangrijk gevonden werden, ongeacht wat de lokale bevolking aanbelangde. Om die reden schrapte de staatssecretaris voor lokale besturen eind 2010 de ‘Local Area Agreements’, en de verplichting van de lokale besturen om te rapporteren aan de centrale overheid (dat sinds 2008 gebeurde op basis van de National Indicator Set): “in plaats van de NIS, en in plaats van de eindeloze verzoeken van elk individueel departement om dit, dat of iets anders te meten, zal er slechts één (overeengekomen) lijst komen met de data die de centrale overheid nodig heeft vanuit het lokale niveau” (DCLG, 2012). Met deze beslissing doofde dus ook de ‘National Indicator Set’ uit, en de NIS werd definitief stopgezet in maart 2011. Hiermee kwam een eind aan twee decennia van top-down opgelegde regimes van prestatie-indicatoren in het Verenigd Koninkrijk, die enerzijds de centrale overheid toeliet om de (prestaties van de) lokale overheden te managen, en die anderzijds een uitgelezen instrument waren voor lokale benchmarking (gedefinieerd als het meten, beoordelen en vergelijken van prestaties in een relevante context, ten opzichte van een betekenisvol uitgangspunt).

‫ ׀‬32 ‫׀‬

> 2.2.

Nederland

Sinds 2005 bestaat er in Nederland één centraal informatieplatform dat inzicht biedt in de gemeentelijke prestaties en dat prestatievergelijkingen tussen gemeenten onderling mogelijk maakt. Dit informatiesysteem is publiek toegankelijk en wordt elektronisch geëxploiteerd via de website ‘Waarstaatjegemeente.nl’ (WSJG). Het adres van deze website is meteen ook de naam waaronder dit initiatief van lokale prestatiebeoordeling en -vergelijking (i.e. lokale benchmarking) bekend staat. Het traject van WSJG levert in de eerste plaats kennis op voor gemeenten en hun medewerkers. Zo kunnen de betrokken politici, lokale overheidsmanagers en ambtenaren dit instrument hanteren ter verbetering van de gemeentelijke dienstverlening, bijvoorbeeld door de prestaties te vergelijken met andere gemeenten, of door prestaties te vergelijken ten opzichte van het eigen verleden. Zelfreflectie is immers een belangrijke voorwaarde voor lerende organisaties (KING, 2010a). Bovendien vormt het platform (door de publieke toegankelijkheid ervan) eveneens een instrument voor gemeenten om verantwoording af te leggen richting de afnemers van lokale publieke dienstverlening (burgers, bedrijven en organisaties), en richting collega-overheden, onderzoekers en overige stakeholders. Hiermee komt dit instrument tegemoet aan de verschillende doelen van lokale benchmarking die opgelijst werden in paragraaf 1.2. Concreet identificeert het Nederlandse onderzoeks- en adviesbureau Newcom (2011) vier inzichten die WSJG oplevert voor de aan het platform deelnemende gemeenten: ▪ Hoe staat de gemeente er volgens haar burgers voor? ▪ Hoe servicegericht vinden de burgers de gemeente? ▪ Waarover zijn de burgers tevreden en minder tevreden? ▪ Hoe doet de gemeente het in vergelijking met andere, vergelijkbare gemeenten? > 2.2.1.

‘Waarstaatjegemeente.nl’

De informatie die beschikbaar is op ‘Waarstaatjegemeente.nl’ bestaat in feite uit twee verschillende onderdelen: enerzijds feitelijke prestatiegegevens (wat overeenkomt met het laatste van de vier bovenvermelde

‫ ׀‬33 ‫׀‬

inzichten) en anderzijds oordelen van burgers (de eerste drie inzichten). Deze twee onderdelen bestonden aanvankelijk (bij de start in 2005) los van elkaar als ‘Watdoetjegemeente.nl’ en ‘De Staat van de Gemeente’ (PON & Deloitte, 2011). > 2.2.1.1. Subjectieve burgeroordelen: ‘De Staat van de Gemeente’ ‘De Staat van de Gemeente’ is een gemeentemonitor die inzicht biedt in de prestaties van gemeenten volgens het oordeel van de burgers en die vergelijking tussen gemeenten mogelijk maakt. Afhankelijk van de situatie kan een burger op verschillende manieren naar een gemeente kijken. Daarom worden zes mogelijke burgerrollen onderscheiden: de burger als kiezer, als klant, als onderdaan, als partner, als wijkbewoner en als belastingsbetaler. Zo is het dus mogelijk dat een burger vanuit zijn rol als klant zeer tevreden is over zijn gemeente (een vlotte dienstverlening met hoge kwaliteit), maar ontevreden is vanuit zijn rol als belastingsbetaler (er wordt volgens zijn mening niet zuinig en efficiënt omgegaan met de publieke middelen). In dit onderdeel van WSJG wordt dus de waardering van burgers van hun gemeente onderzocht vanuit deze verschillende rollen. Om na te gaan of, en in welke mate, burgers tevreden zijn over hun gemeente worden de zes conceptuele burgerrollen meetbaar gemaakt via een set van indicatoren. Op iedere indicator kan een gemeente een bepaalde score behalen die de basis vormt voor rapportcijfers die een gemeente krijgt voor de verschillende burgerrollen. De informatie die nodig is om te achterhalen hoe een gemeente scoort op de verschillende indicatoren komt voort uit twee soorten bronnen. Enerzijds is er een burgerpeiling, die de mening van burgers over hun gemeente in het algemeen (als organisatie) onderzoekt. Hier komen onder andere vragen over de woonomgeving, de veiligheid, het gemeentebestuur, de gemeentelijke organisatie en -informatie aan bod. Anderzijds peilt een klanttevredenheidsonderzoek naar de mening van burgers over de dienstverlening aan de publieksbalie van hun gemeente. Allerlei aspecten van het bezoek van burgers aan het gemeentehuis worden hierbij bevraagd. Tot slot worden een aantal achtergrondgegevens (omgevingsfactoren) van de gemeenten in kaart gebracht om de resultaten van de monitor in een juiste context te plaatsen. Immers, niet alles is door de gemeente te beïnvloeden. Denk bijvoorbeeld aan de economische conjunctuur, de

‫ ׀‬34 ‫׀‬

toenemende behoefte aan mobiliteit, de woningbouwopgaven, een groot deel van de luchtvervuiling, etc. > 2.2.1.2. Feitelijke prestatiegegevens: ‘Watdoetjegemeente.nl’ Samen met de opstart van ‘De Staat van de Gemeente’ liep de ontwikkeling van ‘Watdoetjegemeente.nl’. Via deze website werden de feitelijke prestatiegegevens van gemeenten, op een groot aantal beleidsterreinen, in kaart gebracht via indicatoren over prestaties en uitgaven. Op die manier werden lokale besturen in staat gesteld om zich met elkaar te vergelijken en van elkaar te leren (door bijvoorbeeld te rade te gaan bij gemeenten die beter lijken te scoren op een bepaald beleidsdomein). > 2.2.1.3. Integratie tot één platform: ‘Waarstaatjegemeente.nl’ Aangezien de twee onderdelen ‘De Staat van de Gemeente’ en ‘Watdoetjegemeente.nl’ een ander type gemeentelijke informatie in kaart brachten, namelijk subjectieve burgeroordelen versus feitelijke informatie, ontstond het idee om deze twee instrumenten te integreren om zo een meer compleet beeld van gemeentelijke prestaties te verkrijgen. Door de feitelijke data aan te vullen met subjectieve gegevens (of andersom) zouden gemeenten beter in staat zijn om hun prestaties in de juiste context te beoordelen. Bovendien hadden zowel ‘De Staat van de Gemeente’ als ‘Watdoetjegemeente.nl’ uiteindelijk hetzelfde doel. Niet alleen wilden ze een goed beeld geven van het functioneren van de eigen gemeenten in vergelijking tot andere gemeenten, ze wilden ook meer ruimte creëren voor eigen verantwoordelijkheid van gemeenten. Indien gemeenten zelf voortdurend inzicht hebben in hun functioneren en de beoordeling daarvan door de burgers, dan kan dit op termijn leiden tot minder tussenkomsten van hogere overheden in het lokaal functioneren van gemeenten (PON & Deloitte, 2011). Begin 2008 was de integratie van de twee instrumenten een feit. Door de samenvoeging van de twee onderdelen op de website ‘Waarstaatjegemeente.nl’ is er nu één platform waar gemeentelijke informatie (zowel feitelijke gegevens als subjectieve oordelen van de burgers) verzameld en geraadpleegd kan worden, en maakt dus een systeem lokale benchmarking

‫ ׀‬35 ‫׀‬

mogelijk. Immers, via dit informatieplatform kunnen gemeenten zich vergelijken met andere gemeenten (horizontaal benchmarking), en kunnen hogere overheden en andere stakeholders inzichten krijgen in de prestaties van de afzonderlijke gemeenten (verticale benchmarking). > 2.2.2.

Kwaliteitsinstituut Nederlandse Gemeenten (KING)

Sinds 1 oktober 2009 ressorteert ‘Waarstaatjegemeente.nl’ onder de vlag van het Kwaliteitsinstituut Nederlandse Gemeenten (KING). KING is een klein, zelfstandig instituut, in 2009 opgericht door de Vereniging van Nederlandse Gemeenten (VNG), met een duidelijke eigenstandige positie: VNG is belangenbehartiger, KING adviseert onafhankelijk, begeleidt, stimuleert, en ondersteunt gemeenten in hun organisatie(-ontwikkeling) en uitvoering van gemeentelijke taken (KING, 2011). Op die manier werkt KING aan de kwaliteit van de Nederlandse lokale overheid, met als doel het bevorderen van de gemeentelijke dienstverlening aan burgers en organisaties, en het verbeteren van de relatie tussen overheid en burgers. ‘Waarstaatjegemeente.nl’ is één van de instrumenten van KING die gemeenten moeten ondersteunen in dit proces (Waarstaatjegemeente.nl, 2011). > 2.2.3.

Een benchmarkhuis met drie verdiepingen

KING (2010b) illustreert het instrumentarium op ‘Waarstaatjegemeente.nl’ als een benchmarkhuis met drie verdiepingen dat gemeenten helpt bij het kwalitatief verbeteren van de dienstverlening, het transparant maken van prestaties en het boeken van betere resultaten, door van vergelijkingen te leren (Stade Advies, 2008). Iedere verdieping heeft daarbij een eigen functie, zoals weergegeven in onderstaande figuur 3. Op de bovenste verdieping kunnen voor elke gemeenten rapporten worden aangemaakt die zijn samengesteld uit objectieve (prestatie)gegevens en uit subjectieve oordelen van burgers. Aangezien er bovendien met gestandaardiseerde indicatoren gewerkt wordt, is onderlinge vergelijking tussen gemeenten of overheen de tijd mogelijk. Dit brengt ons tot een tweede verdieping van het benchmarkhuis, dat bestaat uit vergelijkingen tussen gemeenten, op basis van een database bestaande uit zowat 350 kengetallen, die gekoppeld zijn aan de standaardindeling voor

‫ ׀‬36 ‫׀‬

gemeentelijke begrotingen. Bij wijze van voorbeeld is een uittreksel van deze kengetallen opgenomen op het einde van bijlage 2. Op de bovenste twee verdiepingen kunnen gemeenten dus hun prestaties meten, tegenover andere gemeenten of ten opzichte van het eigen verleden. Zo brengen ze verbeterpunten in kaart. Op basis daarvan kunnen gemeenten besluiten deel te nemen aan een of meerdere benchmarks, al dan niet gecertificeerd door KING (KING, 2010a). Dit wordt geïllustreerd door de onderste verdieping in figuur 3. In totaal worden er momenteel 46 gemeentelijke benchmarks aangeboden, verdeeld over verschillende beleidsterreinen en domeinen van de gemeentelijke werking waarvoor kengetallen beschikbaar zijn op WSJG. Bijlage 2 biedt een overzicht van de huidig beschikbare gemeentelijke benchmarks.

rapport van een gemeente op hoofdlijnen

vergelijken tussen gemeenten

gemeenten leren in benchmarks

BENCHMARKHUIS

Figuur 3: Opbouw van ‘Waarstaatjegemeente.nl’

Bron: KING (2010b) > 2.2.4.

Informatieaanlevering

De feitelijke prestatiegegevens moeten voor een groot deel door de gemeenten zelf worden aangeleverd (‘zelfonderzoek’ genoemd). Hiervoor ontvangen zij jaarlijks een vragenlijst van KING. De overige gemeentelijke prestatiegegevens worden door KING zelf aangeleverd vanuit bestaande databronnen zoals bijvoorbeeld het CBS, adviesoverheid.nl, de Kamer van Koophandel en diverse ministeries.

‫ ׀‬37 ‫׀‬

Het Centraal Bureau voor de Statistiek (CBS) in Nederland is een belangrijke leverancier van gegevens voor deze gemeentelijke prestatiegegevens. Behalve voor indicatoren op de verschillende beleidsterreinen, is het CBS ook de bron voor belangrijke basisgegevens zoals het aantal inwoners, huishoudens en woningen. Deze gegevens gebruikt de Vereniging van Nederlandse Gemeenten (VNG) op haar beurt voor het samenstellen van indicatoren. Ook de oordelen van de burgers dienen de deelnemende gemeenten zelf aan te leveren. Een gemeente kan ervoor kiezen om de twee nodige onderzoeken (‘burgerpeiling’ en ‘klanttevredenheidsonderzoek’) zelf uit te voeren of om dit uit te besteden aan een, door KING gecertificeerd (of kandidaat voor de certificatie), onderzoeksbureau. Voor de burgerpeiling en het klanttevredenheidsonderzoek geldt dat deze twee jaar geldig zijn, nadien moeten deze onderzoeken herhaald worden door de gemeente om de gegevens te kunnen actualiseren. De feitelijke en subjectieve gegevens uit de drie onderzoeken (zie onderstaande samenvattende tabel 1) worden vervolgens ingevoerd in de database van ‘Waarstaatjegemeente.nl’. Deze database wordt zoveel als mogelijk transparant gemaakt. Zo is bij elke grafiek, tabel of indicatoromschrijving, te zien wie de data heeft aangeleverd. Voor alle onderzoeken geldt dat een gemeente minstens 75% van de gegevens moet aanleveren om deelnemer te zijn aan WSJG. Als een gemeente minder gegevens aanlevert, worden deze wel opgenomen in de database, maar tellen ze echter niet mee voor de deelnamestatus van de gemeente (Waarstaatjegemeente.nl, 2011). Tabel 1: Samenvatting informatieplatform ‘Waarstaatjegemeente.nl’ Waarstaatjegemeente.nl Feitelijke prestatiegegevens

Burgerrollen

Objectieve informatie

Subjectieve informatie

Zelfonderzoek Jaarlijks

‫ ׀‬38 ‫׀‬

Burgerpeiling

klanttevredenheidsonderzoek Tweejaarlijks

> 2.2.5.

Bottom-up en consultantgedreven

Aangezien het lokale benchmarkingsinstrument WSJG aangestuurd wordt vanuit KING (en dus vanuit de VNG), kunnen we deze vorm van lokale prestatiemeting en -vergelijken beschouwen als bottom-up, vanuit de lokale besturen zelf. Bovendien zijn de lokale overheden niet verplicht om deel te nemen aan WSJG en houden ze dus vrijheidsgraden. Momenteel doet circa driekwart (300) van de 418 Nederlandse gemeenten mee aan één of meer onderzoeken van ‘Waarstaatjegemeente.nl’. Van het aantal deelnemende gemeenten doen 169 gemeenten mee aan alle drie de onderzoeken (zelfonderzoek van de feitelijke prestaties, 1x per jaar; burgerpeiling en klanttevredenheidsonderzoek, 1x per twee jaar), 131 gemeenten doen één of twee onderzoeken. Naast de bottom-up kan het Nederlandse initiatief van lokale benchmarking ook deels beschouwd worden als consultantgedreven, aangezien verschillende elementen van WSJG kan of dient uitgevoerd te worden door externe actoren. We verwijzen hier naar de subjectieve informatie die gemeenten dienen aan te leveren en waarvoor ze de nodige onderzoeken kunnen uitbesteden aan een door KING gecertificeerd onderzoeksbureau (consultants). En voornamelijk het derde niveau van het hierboven beschreven ‘benchmarkhuis met drie verdiepingen’, namelijk de uitdiepende gemeentelijke benchmarks, wordt aangeboden en uitgevoerd door externe onderzoeksbureaus of consultancy-organisaties.

‫ ׀‬39 ‫׀‬

> 2.3.

Duitsland

Ook in Duitsland speelden intergemeentelijke prestatievergelijkingen tijdens de afgelopen twee decennia een belangrijke rol bij prestatiemanagement op het lokale overheidsniveau (Kuhlmann, 2010). Deze initiatieven van lokale benchmarking werden opgezet vanuit de ‘Kommunale Gemeinschaftsstelle für Verwaltungsmanagement’5 (KGSt), een zeer invloedrijke en politiek onafhankelijke non-profit organisatie (bestaande uit een commissie van experten) die haar leden (met name de aangesloten Duitse lokale besturen) ondersteunt in alle aspecten van overheidsmanagement, met als doel een efficiënte en effectieve administratie op het lokale niveau (Vogel & Frost, 2009). Hiervoor organiseert de KGSt onder meer ervaringsuitwisselingen en benchmarkingsprojecten. > 2.3.1.

New Steering Model (NSM)

De opkomst van prestatiemanagement in de Duitse lokale besturen vanaf de jaren 1990 werd geïnspireerd door het New Steering Model (NSM), dat ontwikkeld en gepromoot werd door de KGSt als een holistisch concept voor modernisering van het lokale overheidsmanagement, gebaseerd op de concepten van New Public Management (NPM) (Reichard, 2003). NSM houdt managementaspecten en -principes in zoals decentralisatie, outputsturing, marktoriëntatie, participatie, contractmanagement, kwaliteitsmanagement, nieuwe budgetteringsprocedures en controlesystemen. Het NSM-model wordt algemeen beschouwd als de Duitse variant van NPM, en verwijst in wezen naar de voorwaarden aan dewelke voldaan moet worden vooraleer publieke entiteiten zich kunnen omvormen tot bedrijfsachtige dienstverleners (Vogel & Frost, 2009; Kuhlmann, 2010). > 2.3.2.

Intergemeentelijke prestatievergelijking

In dit traject naar de NSM-implementatie werden door de Duitse lokale besturen in de jaren 1990 (via de KGSt) verschillende hervormingsprojecten doorgevoerd, waaronder de invoering van instrumenten van prestatie-

5

Wat we letterlijk kunnen vertalen als de ‘gemeenschappelijke organisatie van lokale overheden voor administratief management’. Het is een soort Duitse tegenhanger van de Vereniging voor Vlaamse Steden en Gemeenten (VVSG) in Vlaanderen, of de Vereniging voor Nederlandse Gemeenten (VNG) in Nederland.

‫ ׀‬40 ‫׀‬

management. Een van deze instrumenten was intergemeentelijke prestatievergelijking. Hiervoor werden door de KGSt (in samenwerking met de Bertelsmann Foundation) zogenoemde ‘Interkommunale Vergleichsringe’ (IKO-benchmarkingscirkels) opgesteld, die Duitse gemeenten toelaat om aan te sluiten bij regionaal georganiseerde vergelijkingen voor verschillende sectorale domeinen. In bijlage 3 wordt een overzicht gegeven van de verschillende thema’s waarvoor er momenteel zulke vergelijkingscirkels beschikbaar zijn, samen met enkele voorbeelden van kengetallen die hierbij gebruikt worden. De KGSt formuleert de doelstellingen en de werkwijze van deze intergemeentelijke (IKO) benchmarkingscirkels als volgt (KGSt, 2012a): “Gemeenten optimaliseren hun prestaties in vergelijkingscirkels. In gemodereerde zittingen bediscussiëren ze kengetallen en wisselen ze ervaringen uit. Ze zoeken naar sterktes en zwaktes en willen hun prestaties kunnen verbeteren. Op basis van ervaringen van vergelijkbare gemeenten worden processen geoptimaliseerd en goede praktijken ingevoerd. Zo besparen de gemeenten geld uit of verhogen ze de kwaliteit. Voor elke vergelijkingscirkel wordt een projectgroep met vertegenwoordigers van de deelnemende gemeenten ingesteld. De kengetallen en indicatoren worden in de projectgroep bediscussieerd en overeengekomen. Zo ontstaan vergelijkbare en hanteerbare kengetallen, die een belangrijke bijdrage leveren voor managementsturing, controle en rapportering.” De intergemeentelijke prestatievergelijking in Duitsland heeft als voornaamste doel om de structuren, procedures, kosten en kwaliteit van de verschillende gemeentelijke dienstverleningen te vergelijken. De KGSt heeft daarvoor duidelijke indicatoren of kengetallen gedefinieerd6, met gedetailleerde meetinstructies. De voorgestelde prestatie-indicatoren (cfr. bijlage 3 voor enkele voorbeelden) zijn daarbij wel voornamelijk beperkt

6

De KGSt heeft daartoe een ‘musterkennzahlensysteme’ (i.e. een lijst van modelindicatoren of voorbeeldkengetallen) opgesteld. Zoals hierboven is aangegeven, beslissen de besturen zelf binnen hun benchmarkingskring over de uiteindelijk gebruikte indicatoren en kengetallen.

‫ ׀‬41 ‫׀‬

tot makkelijk kwantificeerbare indicatoren voor outputs (‘producten’ zoals ze genoemd worden) en kosten (inputs), met soms ook procesindicatoren, en gaan dus nauwelijks in op de efficiëntie, effectiviteit of gevolgen van de lokale publieke dienstverlening (Kuhlmann, 2010). > 2.3.3.

Bottom-up gedreven benchmarking

De intergemeentelijke prestatievergelijking in Duitsland wordt beschouwd als een vrijblijvend en bottom-up gedreven lokale benchmarkingsregime. De staat (i.e. het centrale overheidsniveau) speelt nauwelijks een rol bij de verschillende initiatieven die door lokale actoren, voornamelijk onder leiding van of gestuurd vanuit de KGSt, bottom-up worden genomen. Zo beslissen de lokale overheden zelf of ze meestappen in een systeem van prestatievergelijking. Zo’n 60% van de besturen heeft in het verleden al deelgenomen aan een of meerdere benchmarkingsprojecten. De Duitse lokale overheden zijn bovendien vrij te beslissen of ze de uit de benchmarking bekomen informatie over hun prestaties publiek maken of niet. Er wordt daarbij vastgesteld dat intergemeentelijke informatie veelal geheim gehouden wordt door de lokale overheden en nauwelijks effect heeft in termen van positieve of negatieve sancties voor goede of slechte prestaties. Kuhlmann (2010) wijst er wel op dat de verschillende initiatieven die vanuit de KGSt worden genomen, extra administratieve lasten creëren in termen van het invullen van indicatoren en benoemen van ‘producten’, bovenop de reeds bestaande bureaucratie van regels en procedures. Bovendien blijkt dat de prestatiemanagementsystemen in de praktijk slechts zelden gebruikt worden in de politieke of ambtelijke besluitvorming, noch voor budgetbeslissingen, noch voor reorganisatie van administratieve procedures, noch voor werkelijke intergemeentelijke vergelijkingen. Sterker nog, 14% van de lokale besturen die werken met prestatie-indicatoren gebruiken deze informatie verder helemaal niet.

‫ ׀‬42 ‫׀‬

> 2.4.

Canada

Na de drie buitenlandse praktijken van lokale benchmarking uit Europa die we hiervoor hebben besproken, gaan we voor een vierde en laatste case aan de andere kant van de Atlantische oceaan kijken, meer bepaald in Canada. Canada heeft de laatste twee decennia een sterke evolutie doorgemaakt voor wat betreft prestatiemanagement in de publieke sector (Halligan et al., 2012), en kent reeds verschillende systemen van prestatiemanagement in lokale besturen die in totaal 2/3 van de Canadese bevolking omvatten (Schatteman & Charbonneau, 2010). In wat volgt gaan we dieper in op één van deze systemen, dat eveneens een goede praktijk is van lokale benchmarking, namelijk het ‘Ontario Municipal Benchmarking Initiative’. > 2.4.1.

Ontario Municipal Benchmarking Initiative

Het ‘Ontario Municipal Benchmarking Initiative’ (OMBI) is een vrijwillig samenwerkingsproject van 16 van de grootste ‘single‘ en ’upper-tier’7 lokale besturen in de Candadese provincie Ontario, met als doel om de kwaliteit van dienstverlening in de betrokken lokale overheden te verhogen, en de betrokkenheid van burgers te vergroten (Finlay, 2007). OMBI werd opgezet in 2001 en wordt geleid door de lokale managers van elk participerend lokaal bestuur. De 16 deelnemende overheden vertegenwoordigen in totaal 9,6 miljoen inwoners of 73% van de totale bevolking in Ontario (OMBI, 2010). Met OMBI hebben de lokale besturen een nieuwe manier ontwikkeld om prestatiestatistieken en operationele praktijken te meten, te delen en te vergelijken. De doelstelling is dat OMBI als een

7

In Ontario refereert de term ‘municipality’ naar verschillende vormen van lokale besturen die publieke diensten leveren. Hierbij kunnen twee brede categorieën van lokale besturen onderscheiden worden (Bird & Slack, 2004): ▪ Enerzijds zijn er de ‘single-tier municipalities’, waarbij slechts één niveau van lokaal bestuur diensten levert aan de gemeenschap; ▪ Anderzijds bestaan er in Ontario ook ‘two-tier municipalities’, in regio’s waar er twee bestuursniveaus zijn die diensten leveren aan burgers en bedrijven. Beide niveaus worden van elkaar onderscheiden. De ‘upper-tier municipalities’ zijn districten, ‘counties’ of regionale overheden die diensten van regionale schaal verzorgen zoals onder meer infrastructuur, politie, transport en economische ontwikkeling. De ‘lower-tier municipilaties’ zijn steden en dorpen die verantwoordelijk zijn voor diensten zoals cultuur, recreatie, huisvesting, groendienst, etc.

‫ ׀‬43 ‫׀‬

betrouwbare bron van informatie kan fungeren die overheden en hun burgers toelaat om na te gaan hoe het bestuur presteert overheen de tijd en in relatie tot andere lokale besturen. Om dit doel te realiseren, hebben de OMBI-leden een bechmarkingsraamwerk ontwikkeld, dat vier soorten prestatiemaatstaven omvat (OMBI, 2011): ▪ ‘Community Impact Measures’ meten de impact (effect) of voordeel dat specifieke programma’s en diensten hebben op de samenleving (bv. het percentage van de bevolking dat gebruikt maakt van sportof recreatieprogramma’s); ▪ ‘Service Level Measures’ meten het aantal (of het niveau van) diensten die geleverd of voorzien worden (bv. het aantal gevallen van sociale begeleiding); ▪ ‘Efficiency Measures’ meten de ratio tussen de ingezette middelen en de hiermee gegenereerde output (vaak uitgedrukt als kosten per eenheid output, of het volume aan output per werknemer); ▪ ‘Customer Satisfaction Measures’ meten de kwaliteit van de dienstverlening (bv. tevredenheidsbevragingen). In het OMBI-raamwerk worden voor in totaal 37 domeinen van lokale publieke dienstverlening prestatiemaatstaven ontwikkeld. Het gaat hierbij niet enkel over thema’s die directe diensten naar burgers, organisaties en bedrijven inhouden (bv. kinderopvang, brandweer, groendienst, etc.), maar eveneens over ondersteunende diensten die nodig zijn voor een goede werking van het lokale bestuur (bv. ICT, HRM, loonadministratie, etc.). We verwijzen naar bijlage 4 voor een volledig overzicht van de domeinen die door OMBI omvat worden, alsook voor een uittreksel van de gebruikte indicatoren (voorbeelden voor elk van de vier types prestatiemaatstaven). > 2.4.2.

Succesfactoren en -instrumenten voor OMBI

OMBI besteedt grote aandacht aan de vergelijkbaarheid van de data en de resultaten over de verschillende lokale besturen heen. Hiervoor werden een aantal instrumenten en processen ontwikkeld, die rechtstreeks bijdragen aan het succes van OMBI. Eerst en vooral werden voor elke prestatiemaatstaf gedetailleerde definities geformuleerd (veelal uitgedrukt op een ‘per capita/persoon’- of ‘per huishouden’-basis), die samen een begrijpbare en technische gids vormen bij de dataverzameling en die

‫ ׀‬44 ‫׀‬

garanderen dat de gegevens vergelijkbaar zijn overheen de OMBI-besturen. Deze definities worden bovendien jaarlijks geüpdatet door de programmaexperten, samen met een lijst van beïnvloedende factoren die de context vormen voor de evaluatie van de resultaten en die de vergelijking tussen de besturen moeten vergemakkelijken (Finlay, 2007; OMBI, 2010). Ten tweede werd er door OMBI een methodologie ontwikkeld voor de toewijzing van indirecte kosten of overheadkosten (zoals ICT- en HR-kosten) om een consistente kostenallocatie over de diensten en programma’s te bekomen. Deze methodologie werd zelfs overgenomen in het verplichte ‘Municipal Performance Measurement Program’8. Vervolgens werd er ook een protocol en een ‘data warehouse’ ontwikkeld voor de verzameling, uitwisseling en publieke rapportering van de prestatiegegevens. Daarnaast wordt er nog voorzien in procedures voor kwaliteitsverzekering en in ‘peerreview’ van de verzamelde data (OMBI, 2011). Tot slot wordt sinds 2007 door OMBI elk jaar een ‘Performance Benchmarking Report’ uitgebracht. In deze rapporten worden de resultaten op een aantal domeinen belicht, waarbij vergelijkingen tussen de verschillende besturen gemaakt wordt, en dus niet afzonderlijk gefocust wordt op alle resultaten voor elk van de lokale overheden. > 2.4.3.

Doelstellingen van OMBI

Met de ontwikkeling van een goed uitgewerkt benchmarkingsraamwerk wil OMBI doelen realiseren die grotendeels overeenkomen met de motieven voor het gebruik van benchmarking als instrument zoals beschreven in hoofdstuk 1. Meer bepaald formuleert OMBI (2011) volgende redenen waarom benchmarking(gegevens) nuttig en nodig zijn voor lokale besturen: ▪ Domeinen identificeren waar ze sterk presteren en het goed doen; ▪ Domeinen identificeren waar er mogelijk een opportuniteit om de diensten te verbeteren, wat kan resulteren in een besparing van kosten of in een verbetering van de dienstverlening;

8

Dit is een opgelegd programma in Ontaria, waarbij de lokale besturen jaarlijs verplicht hun prestaties op een aantal maatstaven dienen te rapporteren aan het ‘Ministry of Municipal Affairs’.

‫ ׀‬45 ‫׀‬

▪ ▪

▪ ▪

Benchmarking integreren in strategieën voor continue verbetering van de gemeentelijke activiteiten; Ideeën delen over nieuwe processen, systemen, technologieën en creatieve oplossingen die bijdragen tot de beste inzet van de schaarse middelen; Beste praktijken identificeren in bepaalde lokale besturen die mogelijk toe te passen zijn in andere lokale overheden; Een basis voorzien voor meer gedetailleerde analyse van de in de benchmarking opgenomen diensten.

De prestatie-informatie die vrijkomt uit OMBI kan daarbij door de lokale overheden gebruikt worden als hulpmiddel om beter geïnformeerde beslissingen te nemen over hoe de gemeentelijke dienstverlening het best uitgevoerd wordt, en als dusdanig het beleid te bepalen betreffende de kwantiteit, kwaliteit en kostprijs van deze dienstverlening. De OMBI-gegevens laten toe om zowel interne tijdreeksen te generen als vergelijkingen tussen besturen uit te voeren. Dit kan leiden tot een verbeterde efficiëntie en effectiviteit van de dienstverlening, en kan nieuwe ideeën voor verbetering naar voren brengen die, rekening houdend met de unieke context van ieder lokaal bestuur, toch steek houden voor andere besturen (OMBI, 2011). Bovendien dienen de OMBI-data transparant en beschikbaar zijn voor externe actoren (bv. burgers). Op die manier vormt OMBI een instrument voor verantwoording (‘accountability’) vanuit de lokale besturen. Immers, de algemene trend in de overheid, net zoals de verwachtingen van burgers, is ‘value for money’, en de wil om kwalitatieve dienstverlening in lijn te brengen met de budgettaire prioriteiten. In die zin helpen prestatiemetingen en benchmarkingsdata lokale overheden om credibiliteit op te bouwen vanuit een burgerperspectief.

‫ ׀‬46 ‫׀‬

> 2.5.

Vergelijking en algemene bevindingen

Tot nu toe hebben we in dit hoofdstuk een aantal voorbeelden toegelicht van lokale prestatievergelijkingen (lokale benchmarking) in vier landen, namelijk het Verenigd Koninkrijk, Nederland, Duitsland en Canada. Wanneer we de verschillende besproken initiatieven met elkaar vergelijken, kunnen we een aantal algemene bevindingen naar voren schuiven, zoals samengevat in onderstaande tabel 2. > 2.5.1.

Sturing en regime

De eerste aspecten waarop we de verschillende praktijken van lokale benchmarking kunnen vergelijken, zijn het institutionele karakter van de initiatieven en de aard van het betreffende benchmarkingsregime. Deze elementen hangen nauw samen met het type van instantie die de lokale benchmarking ontwikkelt, aanstuurt, uitvoert en evalueert. In grote lijnen kunnen we voor de besproken praktijken twee institutionele categorieën onderscheiden in termen van het initiatiefnemend overheidsniveau en wijze van ontwikkeling, aansturing en uitvoering van de lokale benchmarking. Enerzijds onderscheiden we een centralistische, top-down benadering, waarbij de centrale overheid aan de lokale overheden — al dan niet op verplichte basis — een bepaald systeem van prestatiemanagement aanreikt. Tot deze categorie behoren de lokale prestatiemetingen in het Verenigd Koninkrijk, waar de lokale overheden de afgelopen twintig jaar verplicht dienden te rapporteren op een door de centrale overheid opgelegde set van prestatie-indicatoren. Deze top-down implementatie werd in GrootBrittannië gerealiseerd en georganiseerd via de Audit Commission, waarbij dit onafhankelijk maar centraal ingesteld overheidsorgaan belast werd met het ontwikkelen, specificeren, verzamelen en publiceren van prestatieinformatie over lokale overheden en hun dienstverlening. Anderzijds bestaan er ook meer bottom-up georganiseerde systemen van lokale benchmarking, waarbij er door de lokale besturen zelf (en veelal vanuit een reeds bestaande ‘vereniging van lokale besturen’) systemen voor prestatiemeting, -beoordeling en/of -vergelijking opgezet worden. Deze van onderuit georganiseerde benadering is terug te vinden bij de besproken lokale benchmarkingsinitiatieven uit Nederland, Duitsland en Canada. In de

‫ ׀‬47 ‫׀‬

Tabel 2: Algemene bevindingen uit buitenlandse lokale benchmarkingsinitiatieven Land Lokaal benchmarkingsinitiatief

Uitvoerende instantie

Sturing/

Audit Commission

Top-down/

Focus prestatiemaatstaven

Regime

Verenigd Koninkrijk ACPI’s (1992-2000) BVPI’s (2000-2008)

Verplicht

NIS (2008-2011) Bottom-up/

Waarstaatjegemeente.nl

KING

Verplicht

Gemeentelijke benchmarks

Consultants

Vrijwillig

Duitsland

‫ ׀‬48 ‫׀‬

Voornamelijk enkelvoudige input-, proces- en outputindicatoren + burger-/klanttevredenheid

Bottom-up/ KGSt

Canada OMBI

Voornamelijk outputs (kwantiteit en kwaliteit), maar ook efficiëntie, effectiviteit & tevredenheid Nog meer op effecten en samenwerking

Nederland

KGSt IKO-benchmarkingscirkels

Van nauwelijks (begin jaren 1990) tot beperkte (eind jaren 1990) prestatiemaatstaven

Vrijwillig

Kosten (input) en producten (output)

Bottom-up/ OMBI

Vrijwillig

Output, effect, klanttevredenheid en efficiëntie

eerste twee landen wordt er vanuit een bestaand samenwerkingsverband van lokale besturen (respectievelijk het KING als onderdeel van de VNG in Nederland, en de KGSt in Duitsland) vormen van benchmarking opgezet, waarbij de lokale overheden kunnen instappen in deze systemen, hetzij vrijwillig zoals in Duitsland, hetzij zichzelf verplichtend 9 zoals in Nederland. In Canada werd OMBI opgezet dat — zoals de naam het aangeeft — een specifiek voor lokale benchmarking ontwikkeld samenwerkingsverband is. In Nederland wordt er bovendien ook nauw samengewerkt met externe organisaties (vaak consultants) voor de uitvoering van de meer uitdiepende lokale benchmarks. Externe organisaties kunnen er een benchmark (bv. rond een bepaald thema of beleidsdomein) ontwikkelen en aanbieden aan de lokale besturen, waarvoor ze al dan niet een certificering kunnen bekomen bij KING. > 2.5.2.

Focus indicatoren

Een tweede aspect waarop we de verschillende initiatieven van lokale benchmarking kunnen vergelijken, is de focus van de prestatiemaatstaven die in de benchmarking zijn opgenomen. Immers, vertrekkend vanuit het MAPE-raamwerk van publieke dienstverlening (cfr. §1.6.1), kunnen we stellen dat prestatiemetingen in heel wat vormen terug te vinden zijn, gaande van loutere input-, werklast- of outputmetingen waarvan de betekenisvolle waarde beperkt is, tot efficiëntie- en effectiviteitsmetingen die een veel groter inzicht bieden in de performantie van het overheidsoptreden (Ammons, 2001; Holzer et al., 2006). Zoals aangegeven in de samenvattende tabel 2, en geïllustreerd door de voorbeelden van de in verschillende landen gebruikte indicatoren in de bijlage 1-4, blijken de prestatiemaatstaven in Nederland en Duitsland zich voornamelijk te beperken tot indicatoren over inputs (veelal kosten) en outputs (prestaties, producten) zonder expliciet de koppeling tussen beide te maken. In landen zoals Groot-Brittannië, maar ook Canada heerst een meer uitgesproken aandacht voor de kern van prestatie-indicatoren,

9

Op de Buitengewone Algemene Ledenvergadering van de VNG op 26 september 2008 hebben de Nederlandse gemeenten zichzelf verplicht gesteld tot deelname aan WSJG.

‫ ׀‬49 ‫׀‬

namelijk ratio-indicatoren zoals efficiëntie en effectiviteit. We bespreken dit in wat volgt voor elk land nog wat meer in detail. > 2.5.2.1. Verenigd Koninkrijk Wanneer we in de eerste plaats kijken naar de prestatie-indicatoren van de opeenvolgende initiatieven in het Verenigd Koninkrijk, dan stellen we een evolutie vast van indicatoren die slechts in beperkte mate uitspraken doen over de prestaties van lokale besturen, naar indicatoren die gericht zijn op ‘outcomes’ (effecten) en op dienstverlening door betere samenwerking en partnerschappen. De eerste ‘Audit Commission Performance Indicators’ (in die periode ook wel ‘Citizen’s Charter Indicators’ genoemd) kwamen dus, in tegenstelling tot wat hun naam doet vermoeden, nauwelijks overeen met het concept van prestaties. Zo stelt Boyne (1997) onder meer dat: “Veel indicatoren enkel betrekking hebben op uitgaven. […] Slechts één indicator van efficiëntie kan worden gevonden in de ACPI-set, en deze moet dan nog berekend worden eerder dan dat ze rechtstreeks uit de Audit Commissionstatistieken kan worden afgeleid. […] Het is duidelijk dat de set van indicatoren in geen enkel opzicht begrijpbaar is. Bovendien is effectiviteit, net als zuinigheid en efficiëntie, zo goed als afwezig in de indicatorenset”. Uit een andere studie (Boyne, 2002) bleek concreet dat slechts 25% van de eerste generatie ACPI’s in één van de categorieën van prestatie-informatie10 geplaatst kon worden. Een hieruit voortkomend probleem was dat er weinig (slechts 19 van in totaal 218) indicatoren bruikbaar waren om prestatievergelijking tussen lokale besturen uit te voeren (Boyne, 1997). In een poging om betere en meer begrijpbare indicatoren van lokale prestaties te ontwikkelen, werden gedurende de jaren 1990 stelselmatig oude ACPI’s verwijderd en nieuwe indicatoren toegevoegd. Een Britse regeringswissel in 1997 bracht bovendien een nieuwe impuls om het bereik van de lokale prestatie-indicatoren te verbreden. De op til staande invoering van het ‘Best Value’-regime maakte ook duidelijk dat er meer

10

Deze categorieën bestaan onder meer uit: outputkwantiteit, outputkwaliteit, efficiëntie, effectiviteit, impact, werknemerstevredenheid, klantentevredenheid, kost per eenheid output, participatie, verantwoording, etc.

‫ ׀‬50 ‫׀‬

indicatoren nodig waren voor kwaliteit, tevredenheid en effecten. Dit leidde ertoe het aantal relevante ACPI’s verdubbelde (56% van de totale set hadden werkelijk betrekking op prestaties), grotendeels door een sterke toename van indicatoren van de dienstverleningskwaliteit (Boyne, 2002). In 2000 werden de ACPI’s vervangen door de ‘Best Value Performance Indicators’, die in veel opzichten significant verschilden van elkaar. Niet alleen werd het aantal indicatoren sterk gereduceerd, ook kwamen de BVPI’s beter overeen met de verschillende dimensies van performantie. Boyne (2002) geeft aan dat deze verbetering enerzijds te danken was aan de verwijdering van indicatoren van uitgaven en niet-vergelijkbare aspecten van prestaties, en anderzijds aan de toevoeging van nieuwe maatstaven omtrent efficiëntie, effecten van dienstverlening en tevredenheid van consumenten en burgers. De laatste generatie prestatie-indicatoren voor de lokale besturen in het Verenigd Koninkrijk, de National Indicator Set, waren nog sterker gericht op ‘outcomes’ (effecten) en op dienstverlening door betere samenwerking en partnerschappen (cfr. voorbeelden in bijlage 1.d). Of zoals door het verantwoordelijke departement wordt gesteld (DCLG, 2008: 9): “Als procesof inputindicatoren opgenomen zijn, dan is dat in domeinen die door de overheid belangrijk geacht worden maar waar effectindicatoren niet eenvoudig of zinvol geformuleerd kunnen worden, in nieuwe beleidsdomeinen waar effecten nog niet getest zijn kunnen worden, of omdat andere aspecten rechtstreeks betere effecten onderbouwen (zoals efficiëntie en transformatie van diensten)”. Dit geeft aan dat er in het Verenigd Koninkrijk sinds ‘Best Value’ voornamelijk op output en effecten gestuurd wordt, en dat input- of procesindicatoren enkel gehanteerd worden wanneer het niet anders kan. > 2.5.2.2. Nederland Het lokale benchmarkingsinitiatief ‘Waarstaatjegemeente.nl’ (WSJG) in Nederland incorporeert verschillende soorten prestatie-informatie, maar blijft voornamelijk beperkt tot het hanteren van enkelvoudige input- (veelal kosten) en outputindicatoren (producten genoemd) (cfr. uittreksel van de WSJG-indicatoren in bijlage 2). Dit wordt bevestigd door Putters et al. (2010) in een evaluatief onderzoek over de implementatie van het lokale sociale beleid (WMO) in Nederland. Daarbij stellen de auteurs in verband

‫ ׀‬51 ‫׀‬

met WSJG en de benchmarks dat “de prestaties van WMO diensten wordt gemeten door middel van zeer beperkte input- en outputindicatoren. Vergelijkingen tussen gemeenten op basis van deze (product)indicatoren is moeilijk aangezien gemeenten verschillen in termen van bevolkings– karakteristieken” (Putters et al., 2010: 71). Uit onderzoek van de Wolff (2011) blijkt wel dat binnen de Nederlandse gemeenten de wens bestaat om te focussen op effecten, maar dat in de huidige praktijk nog veel gestuurd wordt op geld (input) en nog amper op de effecten van het gevoerde beleid. Het Kwaliteitsinstituut Nederlandse Gemeenten (KING) is op dit moment bezig om hier vooruitgang te boeken door op acht maatschappelijke thema’s effectindicatoren vast te stellen. Deze maatschappelijke effectindicatoren zullen verschijnen op waarstaatjegemeente.nl. Zo zullen de gemeenten meer inzicht in krijgen op vlak van de effecten van hun prestaties en kunnen ze zich met andere gemeenten vergelijken (KING, 2012). Wel opvallend voor het Nederlandse WSJG-benchmarkingsproject is de ruime aandacht voor de oordelen van burgers over de gemeenten en de tevredenheid van burgers en ondernemers over de lokale dienstverlening (cfr. voorbeeldkengetallen in bijlage 2). Deze subjectieve gegevens bevatten zowel informatie over de resultaten van de gemeentelijke organisatie (output) als over de resultaten van de gehele gemeenschap (KING, 2012). Bovendien zijn deze gegevens van kwalitatieve aard, wat een goede aanvulling is op de eerder kwantitatieve prestatiegegevens die door de gemeenten zelf wordt aangeleverd. Een bijkomende peiler van de lokale benchmarking in Nederland bestaat uit de gemeentelijke benchmarks, die uitgevoerd worden door externe onderzoeksbureaus. De prestatiemaatstaven die in deze benchmarks worden opgenomen, verschillen uiteraard van benchmark tot benchmark, maar gaan in algemene termen toch ook niet verder dan het meten en vergelijken van prestaties via enkelvoudige kengetallen. Aangezien deze benchmarks zich voornamelijk richten op het tactische en operationele deel van de gemeentelijke organisatie, focussen de gebruikte maatstaven vooral op het presteren van de gemeente (output) en de achterliggende processen (throughput).

‫ ׀‬52 ‫׀‬

KING, dat beheerder is van het keurmerk voor deze gemeentelijke benchmarks, stelt in haar certificeringsvoorwaarden wel dat “in de benchmark verschillende invalshoeken van het productieproces belicht dienen te worden”, maar dit is slechts één van de zogenaamde ‘zachte eisen’. Meer bepaald wordt aangegeven dat “door verschillende invalshoeken van het productieproces te belichten en vanuit meerdere perspectieven te kijken naar de totstandkoming van diensten en producten en de effecten, een gevarieerd beeld ontstaat. De verschillende invalshoeken moeten leiden tot samenhangende kengetallen die een kenmerk van de organisatie meten. Aansluitend hierop moet niet alleen de kwantiteit, maar ook de kwaliteit worden gemeten. Om betekenis te krijgen, moeten de output‐ en outcomecijfers hierbij worden gekoppeld aan het productieproces” (KING, 2010b). Deze laatste zin duidt dus wel op de ambitie om gecombineerde prestatiemaatstaven (bv. efficiëntie en effectiviteit) op te nemen in de gemeentelijke benchmarks, maar aangezien dit beperkt blijft tot een zachte eis voor het behalen van het KINGcertificaat wordt deze doelstelling niet echt hard gemaakt. > 2.5.2.3. Duitsland Zoals in de bespreking van het ‘IKO-Vergleichsringe’-initiatief reeds werd aangegeven, heeft de intergemeentelijke prestatievergelijking in Duitsland als voornaamste doel om de structuren, procedures, kosten en kwaliteit van de verschillende gemeentelijke dienstverleningen te vergelijken. De KGSt beperkt zich daarbij voornamelijk tot makkelijk kwantificeerbare prestatieindicatoren voor outputs (‘producten’ zoals ze genoemd worden) en kosten (inputs), met soms ook procesindicatoren, en gaan dus nauwelijks in op de efficiëntie, effectiviteit of gevolgen van de diensten (Kuhlmann, 2010). > 2.5.2.4. Canada Het ‘Ontario Municipal Benchmarking Initiative’ (OMBI) omvat vier types van prestatiemaatstaven, waarbij verder gegaan wordt dan louter input- of procesindicatoren en de focus gelegd wordt op output en effecten, op efficiëntie en klanttevredenheid. Voor elk van deze vier types van maatstaven zijn voorbeelden opgenomen in bijlage 4. De ‘Service Level Measures’ geven een indicatie van de diensten of activiteiten die geleverd worden aan de burgers, bedrijven en organisaties.

‫ ׀‬53 ‫׀‬

Het gaat hierbij meestal over outputgegevens per aantal inwoners (bv. aantal hectaren parken per 1000 inwoners), en in uitzonderlijke gevallen over inputgegevens (i.e. aantal middelen dat door de lokale overheid wordt voorzien voor een bepaalde dienstverlening). De ‘Community Impact Measures’ meten de impact, het effect of het voordeel van lokale diensten of programma’s voor de burgers, bedrijven en organisaties. Vaak wordt hierbij de koppeling gemaakt met het vooropgestelde doel of de sociale effecten die beoogd werden. Hiervoor wordt meestal teruggegrepen naar de verklaringen over missie en strategie van de programma’s of diensten. Een voorbeeld van deze maatstaven is de gemiddelde tijd dat cliënten sociale assistentie krijgen. De ‘Community Service Measures’ of ‘Customer Satisfaction Measures’ beoordelen de kwaliteit van de verleende diensten, al dan niet in vergelijking met vooraf gestelde standaarden of in relatie tot de verwachtingen en noden van de cliënten. Voorbeelden zijn onder meer het percentage van facturen die door het bestuur binnen de 30 dagen worden betaald, of de gemiddelde antwoordtijden van bepaalde diensten. Een vierde en laatste type indicator in het OMBI-raamwerk zijn de ‘Efficiency Measures’, die het aantal ingezette middelen in relatie brengt met het aantal eenheden diensten die hiermee voortgebracht of geleverd wordt. Een typische maatstaf hierbij is de kosten per eenheid output, zoals bijvoorbeeld kosten per kilometer weg of operationele kosten per ton opgehaald afval. We kunnen met andere woorden vaststellen dat OMBI tot doel heeft om lokale besturen te beoordelen en met elkaar te vergelijken op vlak van mature (bv. outcome) en gecombineerde (bv. efficiëntie) prestatiemaatstaven. Bovendien worden niet enkel kwantitatieve indicatoren in rekening worden gebracht, maar is er ook aandacht voor de kwaliteit van de dienstverlening en de tevredenheid van de afnemers.

‫ ׀‬54 ‫׀‬

3. Indicatoren vs. grensmethoden In de vorige hoofdstukken hebben we het concept van benchmarking uitgebreid gedefinieerd en gekarakteriseerd, zowel algemeen, in de context van de publieke sector als op het niveau van lokale overheden. Vervolgens zijn we aan de hand van enkele buitenlandse praktijken dieper ingegaan op de toepassing van lokale benchmarking als instrument voor het meten, beoordelen en vergelijken van de prestaties van lokale overheden. Op basis van de vier buitenlandse lokale benchmarkingsinitiatieven hebben we vastgesteld dat er een grote variatie is voor wat betreft de prestatiemaatstaven die in de verschillende benchmarkingskaders werden opgenomen. Indien we ook in Vlaanderen sterker willen inzetten op benchmarking of prestatievergelijkingen tussen lokale besturen, dient dus eveneens de vraag gesteld worden welke prestatiemaatstaven we in dat verband willen hanteren. Om hierop een antwoord te formuleren, koppelen we even terug naar het conceptuele raamwerk dat als basis voor prestatie-informatie kan gebruikt worden, met name het MAPE-spectrum (cfr. figuur 1 op p. 22) als standaardbenadering van het transformatieproces van publieke dienstverlening. Zodoende kunnen we twee brede categorieën van prestatiemetingen onderscheiden. Ten eerste zijn er de enkelvoudige indicatoren over inputs, werklast, output en effecten (i.e. de vier componenten van het dienstverleningsproces). Deze enkelvoudige maatstaven zijn echter beperkt in waarde (Holzer et al., 2006). Een groter inzicht in de performantie van het overheidsoptreden wordt gewonnen uit een tweede categorie van prestatiemetingen, met name combinatieindicatoren zoals efficiëntie en (kosten)effectiviteit. Efficiënte en effectiviteit vormen dus de twee belangrijkste types van prestatiemeting (in de publieke sector). Efficiëntie is daarbij een eerder intern georiënteerde vorm van prestatiemeting van de eigen activiteiten van een overheid (de relatie tussen de ingezette middelen en de hiermee gerealiseerde output), terwijl effectiviteit een eerder extern perspectief is naar de impact van de dienstverlening op de maatschappij (de relatie tussen de output en de effecten) (Worthington & Dollery, 2000).

‫ ׀‬55 ‫׀‬

Benchmarking en prestatievergelijkingen van publieke sector organisaties op vlak van efficiëntie en effectiviteit vinden daarbij doorgaans plaats aan de hand van indicatoren of kengetallen, zeker wanneer dit toegepast wordt in de beleidspraktijk. Nochtans kunnen ook alternatieve methoden aangereikt worden om de efficiëntie of (kosten)effectiviteit te meten en te beoordelen van een groep van vergelijkbare entiteiten. Meer bepaald kunnen met behulp van niet-parametrische grensmethoden observaties ten opzichte van elkaar geanalyseerd worden, wat maakt dat dit type van metingen in staat is om uitspraken te doen over de relatieve efficiëntie of effectiviteit van organisaties, zoals bijvoorbeeld (vergelijkbare) lokale besturen in Vlaanderen. In wat volgt lichten we beide benchmarkingsmethoden toe en geven we de voor- en nadelen aan. We verwijzen naar Stroobants & Bouckaert (2011a) voor een uitgebreide bespreking van de verschillende methoden. > 3.1.

Benchmarking via prestatie-indicatoren

Een eerste, vaak in de publieke sector zelf gebruikte, benadering om de prestaties van verschillende (overheids)organisaties te meten en te vergelijken, is om een set van prestatie-indicatoren te ontwikkelen, i.e. gedeeltelijke maatstaven van bepaalde aspecten van de performantie van een organisatie. Zulke indicatoren hebben als voordeel dat ze focussen op specifieke aspecten van performantie (bijvoorbeeld op efficiëntie), dat ze relatief vlot te meten en te valideren zijn, en dat ze makkelijk geïnterpreteerd kunnen worden. Hierdoor zijn prestatie-indicatoren aan te bevelen vanuit het perspectief van het organisationele management (bv. lokale managers in het geval van lokale besturen) (Smith & Street, 2005). Zulke partiële prestatie-indicatoren vormen dus een waardevol startpunt om op een relatief eenvoudige wijze benchmarking van prestaties uit te voeren, tussen organisaties (voor het identificeren van de goede en de slechte presteerders), in de tijd (i.e. tegenover het verleden) binnen dezelfde organisatie of tegenover een relevante standaard. Hierbij worden de geselecteerde indicatoren dan in absolute termen voor elke organisatie ingevuld, waarna de resultaten van de verschillende organisaties met elkaar vergeleken kunnen worden. Bovendien worden specifieke (enkelvoudige) indicatoren vaak gecombineerd om op die manier tot een ‘Overall Performance Indicator’ (OPI) te komen,

‫ ׀‬56 ‫׀‬

veelal op basis van een gewogen gemiddelde van de opgenomen indicatoren. Deze samenvattende OPI kan vervolgens aangewend worden om de relatieve prestaties van organisaties te communiceren naar een breed publiek. Hoewel het gebruik van prestatie-indicatoren voor benchmarking van prestaties enkele sterktes heeft, zoals een betere toepasbaarheid en leesbaarheid, ligt de grootste zwakte in de gedeeltelijkheid van de metingen. Nemen we bijvoorbeeld efficiëntie als prestatiemaatstaf. Algemeen komen efficiëntie-indicatoren dan overeen met singleinput/single-output indicatoren, en vormen ze dus enkel een indirecte of partiële indicatie van efficiëntie. Denk bijvoorbeeld, in het geval van lokale overheden, aan een efficiëntiemeting bij de dienst ‘bevolking en burgerlijke stand’ van een gemeente, waarbij het aantal VTE’s van de dienst de enige input uitmaakt, en het totaal aantal uitgereikte paspoorten een enkele output weergeeft. Echter, meer dan één indicator is typisch toepasbaar op een bepaalde dienst. Zo kunnen single-input/single-output prestatieindicatoren toegepast worden op verschillende aspecten van de dienst (niet alleen paspoorten uitreiken, ook registers bijwerken, administratie bijhouden, formulieren afleveren, enz.). Dit type van meting geeft dus enkel een gedeeltelijke beoordeling weer van de algemene performantie van de dienst. Bovendien is het ook mogelijk dat inputs (in de vorm van kosten) niet eenvoudigweg toegewezen kunnen worden aan specifieke activiteiten, bijvoorbeeld wegens beperkingen van de data of de gehanteerde boekhoudmethoden. Een bijkomend nadeel van het gebruik van indicatoren is dat er mogelijk tegenstrijdige resultaten opduiken, afhankelijk van de keuze van de indicatoren. Zo is het bijvoorbeeld mogelijk dat een organisatie goed scoort op een bepaalde maatstaf, maar het slecht doet voor andere indicatoren. Gelijkaardig kan een organisatie die goed scoort op alle metingen niet per definitie bestempeld worden als de “meest performante” speler. Bovendien kan een indicator moeilijk de complexiteit van het beslissingsproces of de reikwijdte van het geheel van activiteiten van een entiteit weerspiegelen. Zelfs wanneer de individuele metingen gecombineerd worden, gebruik makend van een bepaald systeem van weging, zal de resulterende, samengestelde maatstaf uitermate arbitrair blijven. Er is dus nood aan meer globale vormen van prestatiemetingen.

‫ ׀‬57 ‫׀‬

> 3.2.

Benchmarking via niet-parametrische grensmethoden

Naast benchmarking aan de hand van prestatie-indicatoren bestaan er ook meer globale methoden, met name de niet-parametrische grensmethoden, om de relatieve prestaties van entiteiten in kaart te brengen op vlak van gecombineerde maatstaven zoals efficiëntie en (kosten)effectiviteit. Deze niet-parametrische grensmethoden maken gebruik van mathematische programmeringstechnieken om op basis van een set van observaties (DMU’s11) een omhullende curve (dus een grens) te construeren waartegenover de prestaties van elke DMU wordt afgemeten. Nietparametrische methoden meten de prestaties van organisaties dus niet in absolute termen (wat bij het invullen van indicatoren wel het geval is), maar beoordelen de prestaties relatief ten opzichte van andere organisaties in dezelfde sector, wat we dus als een pure vorm van benchmarking kunnen beschouwen. In de context van bijvoorbeeld efficiëntiemetingen van lokale besturen (voor een bepaalde lokale dienst) betekent dit dus dat via nietparametrische grensmethoden de efficiëntie van een set van lokale besturen geëvalueerd wordt, waarbij de efficiëntie van elke lokale overheid relatief ten opzichte van de andere, gelijkaardige overheden in de set beoordeeld wordt. Voor elk niveau van inputs worden een reeks van outputs gerealiseerd door verschillende (gelijkaardige) organisaties. Aangezien organisaties niet identiek zijn, zullen discrete reeksen van punten geobserveerd worden. Om te bepalen hoe efficiënt een geobserveerd punt (input-outputrelatie) is, moet deze observatie vergeleken worden met een bepaalde standaard. De meest gebruikelijke weg is daarbij om de beste prestaties die werkelijk geleverd worden in de set van bestudeerde organisaties als standaard te gaan gebruiken. Deze beste observaties vormen samen de zogenoemde ‘referentieset’ of efficiëntiegrens. Vervolgens wordt de efficiëntie van de andere organisaties in de set vergeleken met de geconstrueerde referentieset (Mayes et al., 1994). De efficiëntiegrens wordt dus

11

Bij grensmethoden wordt de entiteit die het onderwerp van analyse uitmaakt (bv. een departement, een ziekenhuis, een overheid of zelfs een land), aangeduid met de term ‘Decision Making Unit’ (DMU).

‫ ׀‬58 ‫׀‬

geconstrueerd door alle efficiënte organisaties in de set van de onderling vergeleken organisaties. Alle niet volledig efficiënte (inefficiënte) observaties worden bijgevolg “omhult” door deze geconstrueerde grens. Algemeen worden twee niet-parametrische grensmethoden onderscheiden, met name de Free Disposal Hull (FDH)-methode en de Data Envelopment Analysis (DEA)-methode. In wat volgt zullen we de FDH- en de DEA-methode beknopt theoretisch en grafisch toelichten voor wat betreft efficiëntie als prestatiemaatstaf. We verwijzen nogmaals naar een eerdere SBOV-studie van Stroobants & Bouckaert (2011a) voor een meer uitgewerkte bespreking van deze niet-parametrische methoden voor prestatiemeting en benchmarking. > 3.2.1.

Free Disposal Hull (FDH)

De Free Disposal Hull (FDH)-methode steunt op de veronderstelling van een sterke beschikbaarheid van outputs (een entiteit kan minder outputs genereren dan technisch mogelijk met een bepaalde hoeveelheid inputs) en vrije beschikbaarheid van inputs (men kan meer inputs gebruiken dan technisch noodzakelijk om een bepaalde output te produceren). Anders gesteld houden deze beschikbaarheidsassumpties (‘free disposability’) in dat een toename in inputs nooit resulteert in een daling in outputs, en dat elke afname in outputs produceerbaar blijft met dezelfde hoeveelheid inputs (De Borger & Kerstens, 1996). Bij FDH wordt voor elke bestaande organisatie de efficiëntiescore bepaald door middel van een vergelijking met de beste praktijk in de dataset. Er wordt hierbij alleen maar vergeleken met bestaande organisaties in de set. Voor elke organisatie wordt nagegaan of er bestaande organisaties zijn die met minder middelen dezelfde prestaties realiseren (inputgerichte benadering) of met dezelfde middelen meer output produceren (outputgerichte benadering). FDH verschilt op dit punt van DEA, bij welke de vergelijking ook kan plaatsvinden met virtuele organisaties (cfr. 3.2.2). Dit leidt grafisch tot een trapvormige grens in de input-outputruimte, zoals geïllustreerd in onderstaande figuur 4 voor één input (x) en één output (y), waarbij de hoekpunten de volledig efficiënte organisaties zijn. Bijgevolg is de centrale stelling van FDH-analyse dat een organisatie relatief inefficiënt is (bv. DMU m in figuur 4) wanneer een andere DMU (bv. DMU c in

‫ ׀‬59 ‫׀‬

figuur 4) minder hoeveelheid input nodig heeft om evenveel (of meer) output te genereren (DMU m is dus inputinefficiënt ten opzichte van DMU c), of wanneer een andere DMU (bv. DMU d in figuur 4) meer hoeveelheid output kan genereren met dezelfde (of minder) hoeveelheid inputs (DMU m is dus outputinefficiënt ten opzichte van DMU d). Figuur 4: Free Disposal Hull (FDH) y

e

d  c b  a 

m l







 









0 > 3.2.2.

k





g 

f 

x Data Envelopment Analysis (DEA)

De DEA-methodologie gaat in haar assumpties over de input-outputtransformatie verder dan enkel de beschikbaarheidsassumpties zoals bij de FDH-techniek, en veronderstelt bijkomend een convexe productiegrens. Convexiteit houdt in dat indien twee observaties mogelijk zijn, al de lineaire combinaties die hiertussen liggen eveneens mogelijk zijn. De term ‘envelopment’ (wat ‘omhullen’ betekent) komt voort uit het feit dat deze convexe productiegrens de set van observaties omhult, zoals weergegeven in onderstaande figuur 5. Het DEA-model past, net als de FDH-techniek, mathematische programmeringstechnieken toe om de efficiëntie van een set van entiteiten

‫ ׀‬60 ‫׀‬

(DMU’s) te vergelijken, waarbij deze benchmarking ook kan plaatsvinden met virtuele DMU’s. De fundamentele assumptie achter DEA is dezelfde als bij FDH: wanneer een bepaalde DMU (DMU-A) in staat is y(a) eenheden output te produceren met x(a) inputs, dan zouden andere DMU’s hetzelfde moeten kunnen realiseren als ze efficiënt opereren. Gelijkaardig, als DMU-B y(b) eenheden kan voortbrengen met x(b) inputs, moeten andere DMU’s tot dezelfde performantie in staat zijn. Het verschil tussen FDH en DEA is dat bij deze laatste methode DMU’s A, B en andere gecombineerd kunnen worden om een samengestelde DMU te vormen met samengestelde inputs en samengestelde outputs 12. Aangezien deze gemengde DMU’s niet werkelijk bestaan, worden ze ook wel virtuele DMU’s genoemd. Indien de virtuele DMU beter presteert dan de reële DMU, omdat het ofwel meer output produceert met dezelfde inputs, ofwel dezelfde output realiseert met minder inputs, dan is de reële DMU inefficiënt. Figuur 5: Data Envelopment Analysis (DEA) y

e

d  c b  a 

0

12

a’

m l

k



 





g 

f 



 







x

Deze samengestelde DMU is de convexe combinatie van één of meer efficiënte DMU’s, daar waar bij FDH geen samengestelde DMU’s worden geconstrueerd, en dus geen convexe grens bekomen wordt.

‫ ׀‬61 ‫׀‬

Wanneer we deze DEA-grens (figuur 5) vergelijken met de FDH-grens (figuur 4), dan stellen we vast dat DMU c nu ook als inefficiënt beschouwd wordt (daar waar deze onder FDH wel nog efficiënt bevonden werd). Dit is het resultaat van de convexiteitsassumptie die bij DEA toegepast wordt. In feite is DEA strikter dan FDH: een DMU die efficiënt is onder FDH is niet altijd efficiënt onder DEA (zoals DMU’s c en e in ons voorbeeld), maar een DMU die efficiënt is onder DEA zal eveneens efficiënt zijn onder FDH (DMU’s a, b, d, f en g). Algemeen gesteld zullen de input- of output-efficiëntiescores kleiner zijn bij DEA. Binnen de DEA-methodologie kan bijkomend een onderscheid gemaakt worden tussen verschillende grenzen op basis van de schaalopbrengsten van de productie. Schaalopbrengsten geven de mate aan waarin de output van een organisatie stijgt (resp. daalt) relatief ten opzichte van een stijging (resp. daling) van de inputs. Bij toenemende schaalopbrengsten neemt de output meer dan evenredig toe met de stijging van alle inputfactoren (bv. als de inputs toenemen met 10%, stijgt de output met meer dan 10%). Gelijkaardig betekenen afnemende schaalopbrengsten dat de output proportioneel minder sterk toeneemt dan de stijging van de inputs. Het oorspronkelijke DEA-model van Farell (1957) en Charnes et al. (1978) gaat uit van constante schaalopbrengsten (CSR). Dit betekent dat de verhouding tussen inputs en outputs dezelfde is voor eender welk niveau van inputs of output, wat impliceert dat de grootte van de organisatie geen invloed heeft op de het aantal inputs per eenheid output. De DEA-grens met constante schaalvoordelen wordt in figuur 5 weergegeven door de rechte uit 0 doorheen punt b. De meest gangbare DEA-benadering gaat echter uit van variabele schaalopbrengsten (VSR), meer bepaald eerst toenemende en daarna afnemende schaalopbrengsten (i.e. tot een bepaald niveau van output stijgt de output proportioneel meer dan de inputs die extra ingezet worden, daarna stijgt de output minder dan de toename van de inputs). Dit type van DEA-benadering wordt aangeduid in figuur 5 door de grenscurve a’a-b-d-f-g. Tot slot gaat een derde DEA-type, met grenscurve 0-b-d-f-g, uit van niet-toenemende schaalopbrengsten.

‫ ׀‬62 ‫׀‬

> 3.2.3.

Voor- en nadelen van grensmethoden

De niet-parametrische grensmethoden hebben een aantal aanzienlijke voordelen als benchmarkingstechniek ten opzichte van het gebruik van prestatie-indicatoren. Eerst en vooral kunnen grensmethoden modellen met meerdere inputs en meerdere outputs (in het geval van efficiëntie; outputs en outcomes in het geval van effectiviteit) analyseren, daar waar met indicatoren telkens — per indicator — slechts één input en één output in rekening kan gebracht worden. Op die manier bieden grensmethoden een meer globale beoordeling van de prestaties van de onderzochte entiteiten. Ten tweede worden bij grensmethoden de verschillende entiteiten die betrokken zijn in de benchmarking rechtstreeks met elkaar vergeleken. Met andere woorden worden de prestaties van DMU’s relatief ten opzichte van andere DMU’s gemeten, daar waar via indicatoren voor elke entiteit een waarde per indicator wordt vastgesteld (dus in absolute termen), die dan vervolgens kunnen vergeleken worden. Ten slotte kunnen de inputs, outputs of effecten in de analyse verschillende eenheden hebben, zonder dat er een a priori afweging vereist is. Bijvoorbeeld, een eerste input kan in euro’s uitgedrukt zijn, terwijl een tweede input het aantal personeelsleden weergeeft. Toch kennen de niet-parametrische grensmethoden ook een aantal beperkingen. Aangezien FDH en DEA extremepunttechnieken zijn, kunnen meetfouten of gebrekkige gegevens zorgen voor significante afwijkingen. Hieruit blijkt het cruciale belang van de kwaliteit van de data die gebruikt worden. Een andere vaak aangegeven nadeel van de niet-parametrische benadering is het deterministische karakter ervan. Met andere woorden worden alle afwijkingen van de geconstrueerde grens beschouwd als voortkomend uit inefficiëntie, waardoor er geen rekening wordt gehouden met meetfouten of met factoren die buiten de controle van de organisaties liggen. Bovendien maken deze modellen gebruik van lineaire programmeringstechnieken waardoor grote datasets computerintensief kunnen zijn. Tot slot herhalen we dat FDH en DEA uitstekende methoden zijn voor het schatten van de relatieve efficiënte van een entiteit, maar beperkt zijn in het aangeven van de absolute efficiëntie. Anders gezegd geven de methoden aan hoe goed entiteiten presteren ten opzichte van andere, vergelijkbare organisaties (wat in het kader van benchmarking de kernvraag is), maar niet hoe goed ze zich verhouden ten opzichte van het ‘theoretische’ maximum.

‫ ׀‬63 ‫׀‬

> 3.3.

Conclusie

Algemeen kunnen we stellen dat benchmarking van prestaties in de publieke sector (bv. in de context van lokale overheden) in de beleidspraktijk veelal plaatsvindt aan de hand van (enkelvoudige of samengestelde) indicatoren. Organisaties leveren echter verschillende prestaties tegelijkertijd (multiple outputs) met inzet van verschillende middelen (multiple inputs). Aangezien indicatoren slechts gedeeltelijke maatstaven vormen (single-input/singleoutput), hebben statistische en econometrische methoden zoals de nietparametrische grensmethoden hun intrede gedaan als meer toereikende methoden voor het meten en vergelijken van prestaties. In het volgende hoofdstuk zullen we het gebruik van deze FDH- en DEA-grensmethoden voor het benchmarken van lokale besturen demonstreren. De toekomstagenda voor prestatiemetingen en benchmarking in de publieke sector geeft aldus aan dat er nog aanzienlijke ruimte voor verbeteringen aanwezig is, door te evolueren naar een meer systematisch gebruik van eerder globale metingen via grensmethoden.

‫ ׀‬64 ‫׀‬

4. Benchmarking via FDH en DEA: een casestudie van openbare bibliotheken in Vlaanderen In het vorige hoofdstuk hebben we aangegeven dat benchmarking in de publieke sector, en dus onder meer ook lokale benchmarking, doorgaans gebeurt aan de hand van (een set van) prestatie-indicatoren. Echter, de laatste jaren is er — voornamelijk vanuit de academische wereld — een toenemend gebruik waar te nemen van niet-parametrische grensmethoden voor het benchmarken van de relatieve prestaties van entiteiten (zoals bijvoorbeeld lokale besturen). Daarbij wordt de focus voornamelijk gelegd op efficiëntie van de publieke dienstverlening, eerder dan op effectiviteit en kwaliteit. In dit hoofdstuk illustreren we met een casestudie de toepassing van de eerder toegelichte niet-parametrische grensmethoden, Free Disposal Hull (FDH) en Data Envelopment Analysis (DEA), voor het benchmarken van lokale besturen. Hierbij nemen we een specifiek domein van de publieke dienstverlening (in paragraaf 1.6 aangeduid als het microniveau van lokale benchmarking) als invalshoek, met name openbare bibliotheken. Het uitwerken van een voorbeeld van lokale benchmarking via FDH en DEA laat toe om exemplarisch te demonstreren wat de mogelijkheden zijn van nietparametrische grensmethoden in het kader van prestatievergelijking tussen lokale besturen, hoe de uitkomsten dienen geïnterpreteerd te worden, en dit alles op basis van reële data. Bovendien worden op die manier ook de databehoeften aangegeven die zich stellen bij lokale benchmarking. De keuze voor openbare bibliotheken als domein van lokale publieke dienstverlening in onze casestudie is grotendeels ingegeven door het bestaan van de zeer uitgebreide database Bios213. Deze databank bevat meer dan 140 kengetallen op welke sinds 2006 gerapporteerd wordt door alle 309 openbare bibliotheken in Vlaanderen. Dit maakt enerzijds dat vergelijkingen in de tijd mogelijk zijn voor elke openbare bibliotheek, en

13

Biobliotheek Informatie- en OpvolgingsSysteem (http://www.bibliotheekstatistieken.be)

‫ ׀‬65 ‫׀‬

anderzijds (wat nog belangrijker is in de context van lokale benchmarking) dat bibliotheken onderling met elkaar kunnen vergeleken worden op één of meerdere van de kengetallen. Aangezien niet-parametrische grensmethoden bestaan uit een groep van lineaire programma’s die uitgevoerd moeten worden om de relatieve prestaties van een set van DMU’s te bepalen, zijn er computertoepassingen nodig om deze methoden te hanteren. Er bestaan verschillende softwarepakketten (o.a. Banxia, DEAFrontier, DEA-Solver, Frontier Analyst) met ingebouwde DEA-modellen voor het uitvoeren van standaard FDH- en DEAanalyses. Het enige dat nodig is om deze te gebruiken, is de software installeren, de data importeren volgens de instructies en het geschikte/ gewenste model selecteren. De software zal dan de noodzakelijke berekeningen uitvoeren en de resultaten weergeven. Voor deze casestudie hebben we gebruik gemaakt van de software ‘DEAFrontier’ 14, die bestaat uit een zeer gebruiksvriendelijke invoegtoepassing in Microsoft Excel. > 4.1.

Benchmarkingsrichtingen: bewegen langs drie assen

In onze casestudie van lokale benchmarking van de openbare bibliotheken in Vlaanderen via niet-parametrische grensmethoden leggen we in de eerste plaats de focus op efficiëntie als prestatiemaatstaf, wat de meest gebruikelijke meting is bij de toepassing van FDH en DEA. Dit betekent dat de relatie tussen de ingezette middelen (inputs) en de gerealiseerde prestaties (outputs) bekeken wordt. Benchmarking van de efficiëntie van openbare bibliotheken kan daarbij gebeuren voor een bepaalde bibliotheek in de tijd (vergelijken ten opzichte van de eigen prestaties in het verleden) of voor een set van openbare bibliotheken (vergelijken ten opzichte van andere entiteiten), telkens voor een bepaalde selectie van inputs en outputs die de efficiëntiemaatstaf uitmaken. Om te illustreren hoe een lokale benchmarking van de efficiëntie van de Vlaamse openbare bibliotheken op bovenstaande aspecten kan verschuiven, hebben we in onderstaande figuur 6 een driedimensionaal basisschema weergegeven waarbij een lokale benchmarking langs de drie assen kan evolueren.

14

http://www.deafrontier.net/

‫ ׀‬66 ‫׀‬

Figuur 6: Basisschema efficiëntieanalyse ‘Openbare Bibliotheken’ # DMU’s 309 openbare bib.

13 centrumsteden

2006

1I/1O

1I/2O

…

3I/4O

# inputs (I) / # outputs (O)

2007 2008 2009 2010 Tijd In de eerste plaats (x-as in figuur 6) kan het aantal inputs en outputs die deel uitmaken van de efficiëntiemeting, wijzigen. Immers, een efficiëntieanalyse hoeft bij grensmethoden niet beperkt te blijven tot het incorporeren van één bepaalde input (bv. kosten of personeel) en één bepaalde output (bv. aantal ontleningen), zoals bij een efficiëntie-indicator wel het geval is. FDH en DEA kunnen meerdere inputs en/of outputs tegelijkertijd in rekening brengen. Ten tweede kan de lokale benchmarking verschillen naargelang het aantal DMU’s dat in de oefening betrokken wordt (y-as in figuur 6). Zo kunnen in principe alle 309 openbare bibliotheken in Vlaanderen met elkaar vergeleken worden. Echter, aangezien het belangrijk is dat enkel vergelijkbare entiteiten ten opzichte van elkaar gebenchmarkt worden, lijkt het aanbevolen om eerder een weloverwogen set van DMU’s samen te stellen. Zo zullen wij in deze casestudie voornamelijk de openbare bibliotheken van de 13 Vlaamse centrumsteden in beschouwing nemen.

‫ ׀‬67 ‫׀‬

Tot slot vormt de tijd een derde richting (z-as in figuur 6) waarlangs lokale benchmarking zich kan ontwikkelen. Zoals eerder aangegeven betekent benchmarking niet alleen dat entiteiten onderling met elkaar vergeleken worden, maar is het vergelijken van de prestaties van een organisatie met het eigen verleden evenzeer een wijze van benchmarking. Voor onze casestudie van Vlaamse openbare bibliotheken, waarbij we gebruik maken van de database Bios2, zijn er momenteel gegevens beschikbaar zijn voor de jaren 2006 tot en met 2011. In wat volgt zullen we een aantal mogelijke uitvoeringen van lokale benchmarking van de efficiëntie van openbare bibliotheken in Vlaanderen (als een specifieke dienst die door lokale overheden verleend wordt) demonstreren, daarbij vertrekkend vanuit het bovenstaande basisschema en evoluerend over elk van de drie beschreven assen. > 4.2.

Dertien centrumsteden, 2010, één input en één output

We starten onze casestudie van lokale benchmarking van openbare bibliotheken via niet-parametrische grensmethoden met een beperkte set van DMU’s, met een enkelvoudige efficiëntiemaatstaf (i.e. één input en één output), en dit voor het jaar 2010. Als beperkte set van vergelijkbare DMU’s wordt gekozen voor de dertien Vlaamse centrumsteden. Deze dertien centrumsteden vormen immers ook voor het Agentschap Binnenlands Bestuur (ABB) een set van vergelijkbare lokale besturen, en zijn als dusdanig als cluster opgenomen in de Vlaams Profielschets (ABB, 2011b) en in het informatieportaal ‘Lokale Statistieken’ (Lokale Statistieken, 2011). Voor de selectie van de input en de output hebben we eerst en vooral een oplijsting gemaakt van bestaande wetenschappelijke studies omtrent de efficiëntie van bibliotheken, en de in deze studies gebruikte inputs en outputs. We verwijzen naar bijlage 5 voor deze oplijsting. Op basis van dit overzicht blijkt dat er een zeer grote variatie bestaat aan mogelijke inputs en outputs bij efficiëntiemetingen van bibliotheken. Personeel (uitgedrukt in aantallen of in personeelskosten), operationele uitgaven en de collectie (aantal items) blijken frequent geselecteerde inputs te zijn. Wat betreft de outputs is circulatie (aantal uitleningen) met voorsprong de meest gebruikte indicator. Vervolgens dienen we ook na te gaan welke van de kengetallen in

‫ ׀‬68 ‫׀‬

de Bios2-databse in aanmerking komen als indicator voor hetzij inputs, hetzij outputs. Op basis van onze literatuurstudie en de gegevens in Bios2, zijn we tot de volgende keuze van input en output gekomen voor deze eerste oefening van lokale benchmarking van openbare bibliotheken: Input: uitgaven (alle uitgaven op het gevraagde kalenderjaar geboekt); Output: circulatie (het aantal uitleningen en verlengingen van het betrokken kalenderjaar voor de hoofdbibliotheek en voor alle bedieningspunten).

▪ ▪

Gebruik makend van het basisschema uit paragraaf 4.1 kunnen we de specificaties van onze eerste toepassing van lokale benchmarking illustreren door op de 3 assen de gekozen benchmarkingskarakteristieken aan te geven, nl. één input en één output als efficiëntiemaatstaf, de 13 centrumsteden als set van DMU’s, en 2010 als jaar van analyse. Weergegeven in ons driedimensionaal basiskader levert dit onderstaande figuur 7 op. Figuur 7: 13 centrumsteden, 2010, 1 input en 1 output # DMU’s 309 openbare bib.

13 centrumsteden

2006

1I/1O

1I/2O

…

3I/4O

# inputs (I) / # outputs (O)

2007 2008



2009 2010 Tijd

‫ ׀‬69 ‫׀‬

Resultaten15 Voor wat betreft de relatieve efficiëntie van de openbare bibliotheken in de 13 Vlaamse centrumsteden in 2010, presenteren we in tabel 3 de resultaten van de FDH-analyse gebruik makend van een enkele output, aantal uitleningen, en een enkele input, jaarlijkse uitgaven. Zoals eerder gezegd zijn de benodigde gegevens voor deze analyse afkomstig uit de databank Bios2. De gebruikte data zijn eveneens opgenomen in bijlage 6.a. Naast de berekende efficiëntiescores in tabel 3, verwijzen we meteen ook naar figuur 8 voor een grafische weergave van de FDH-benchmarking. Uit de resultaten van deze FDH-benchmarking kunnen we concluderen dat zeven centrumsteden zich op de efficiëntiegrens bevinden (i.e. een FDHscore van 100% hebben): Antwerpen, Gent, Hasselt, Leuven, Mechelen, Oostende en Roeselare. De openbare bibliotheken in deze steden opereren dus volledig efficiënt ten opzichte van andere steden in de set voor de geselecteerde efficiëntie-indicator uitgaven/uitleningen. Of anders gezegd: er zijn in de set geen andere steden die met minder of dezelfde uitgaven dezelfde of meer uitleningen genereren. Dit heeft wel ook per definitie tot gevolg dat de DMU met de minste uitgaven altijd op de efficiëntiegrens ligt, ook al zijn de outputresultaten zwak. Net zozeer bevindt de DMU met het hoogste niveau van prestaties, ongeacht de ingezette inputs, zicht steeds op de grens. Dit fenomeen wordt ‘efficiency by default’ genoemd (cfr. infra). De steden die een efficiëntiescore hebben van minder dan 100% (Aalst, Brugge, Genk, Kortrijk, Sint-Niklaas en Torhout), zijn volgens de FDHanalyse niet volledig efficiënt en liggen bijgevolg onder de efficiëntiegrens. Hoe verder de steden van de grens verwijderd zijn, hoe groter hun inefficiëntie is. Nemen we als voorbeeld Brugge. Deze stad wordt relatief inefficiënt bevonden wat wil zeggen dat er andere steden in de set zijn die beter presteren dan Brugge en dit met de inzet van minder middelen. De relatieve inefficiëntie kan op twee verschillende wijzen uitgedrukt worden (of met twee efficiëntiescores aangegeven worden):

15

We wijzen er nogmaals op dat deze casestudie in de eerste plaats een didactisch voorbeeld wil zijn om te demonstreren hoe niet-parametrische grensmethoden kunnen toegepast worden als benchmarkingsinstrument en hoe de resultaten dienen geïnterpreteerd te worden.

‫ ׀‬70 ‫׀‬

i)

Inputefficiëntie: Brugge heeft een inputefficiëntiescore van 0,650 en wordt hier gedomineerd door Leuven. Leuven heeft immers minder hoeveelheid input nodig (2.149.219, nl. 3.998.846 voor Leuven t.o.v. 6.148.065 voor Brugge, cfr. gegevens in bijlage 6.a) om meer output te genereren. Het efficiëntieverlies van Brugge is dus 0,350 (= 2.149.219/ 6.148.065) van de totale uitgaven. Brugge is met andere woorden slechts 65% inputefficiënt.

ii)

Outputefficiëntie: Brugge heeft een outputefficiëntiescore van 0,799 en wordt hier gedomineerd door Hasselt. Hasselt genereert immers meer output (242.805, nl. 1.120.190 voor Hasselt t.o.v. 6967.385 voor Brugge, cfr. bijlage 6.a) met minder middelen. Het efficiëntieverlies van Brugge is dus 0,201 (= 242.805/1.210.190) op vlak van de output. Brugge is met andere woorden slechts 80% outputefficiënt.

Een zelfde analyse kan gebeuren voor de andere door de FDH-analyse inefficiënt bevonden centrumsteden Aalst, Genk, Kortrijk, Sint-Niklaas en Turnhout. We verwijzen nogmaals naar figuur 8 voor een grafische weergave van de FDH-benchmarking. Algemeen is de gemiddelde inputefficiëntie van de dertien centrumsteden ongeveer 0,90 wat impliceert dat gemiddeld gesproken de DMU’s in onze set in staat zijn om hetzelfde niveau van prestaties te leveren (i.e. uitleningen te realiseren) met slechts 90% van de uitgaven die ze doen. Er blijkt met andere woorden een “verspilling” van ingezette middelen van gemiddeld 10% te zijn. Een gelijkaardige redenering kan uiteraard gemaakt worden voor wat betreft de outputefficiëntie, nl. de steden in onze set bereiken slechts 90% van de output die mogelijk moet zijn met hetzelfde niveau van uitgaven.

‫ ׀‬71 ‫׀‬

Tabel 3: FDH efficiëntiescores, 1 input (jaarlijkse uitgaven) en 1 output (aantal uitleningen) Centrumstad

Inputefficiëntie

Aalst Antwerpen Brugge Genk Gent Hasselt Kortrijk Leuven Mechelen Oostende Roeselare Sint-Niklaas Turnhout Gemiddeld * in termen van

0,778 11 0,826 10 1,000 1 1,000 1 0,650 13 0,799 11 0,829 10 0,673 13 1,000 1 1,000 1 1,000 1 1,000 1 0,921 8 0,934 8 1,000 1 1,000 1 1,000 1 1,000 1 1,000 1 1,000 1 1,000 1 1,000 1 0,669 12 0,692 12 0,867 9 0,856 9 0,901 0,906 inputefficiëntie/outputefficiëntie

Score

Rang

Outputefficiëntie Score

Rang

Dominante producent* Oostende/Oostende Leuven/Hasselt Roeselare/Oostende

Oostende/Oostende

Roeselare/Oostende Mechelen/Mechelen

Naast de bovenstaande FDH-analyse voor de benchmarking van de efficiëntie van de openbare bibliotheken in de 13 centrumsteden, presenteren we in tabel 4 de resultaten van de DEA-analyse16. Zoals in hoofdstuk 3 werd aangegeven, verschilt de DEA-methode van de FDHtechniek door het bijkomend veronderstellen van een convexe productiegrens, wat inhoudt dat indien twee observatie mogelijk zijn, alle lineaire combinaties die hier tussen liggen eveneens mogelijk zijn. Dit heeft tot gevolg dat de DMU’s in de analyseset, in ons geval de 13 centrumsteden,

16

We vermelden voor de volledigheid ook de DEA-resultaten met constante schaalopbrengsten (CRS) in tabel 4, maar concentreren ons in de bespreking van de resultaten voornamelijk op de DEA-uitkomsten onder de meer realistische variabele schaalopbrengsten (VRS). Het is logisch dat het aantal uitleningen (output) niet recht evenredig zal blijven stijgen met de gedane uitgaven, maar stelselmatig minder zal toenemen tot ze een plafond bereiken (i.e. afnemende meeropbrengsten).

‫ ׀‬72 ‫׀‬

niet alleen met elkaar vergeleken worden, maar ook met virtuele DMU’s (die een lineaire combinatie zijn van volledig efficiënte reële DMU’s). Als we de resultaten van de DEA-benchmarking in tabel 4 vergelijken met de FDH-benchmarking in tabel 3, dan zien we dat er nog maar vier centrumsteden 100% efficiënt worden bevonden en dus op de efficiëntiegrens liggen: Antwerpen, Gent, Mechelen en Oostende. Zodoende is ook de gemiddelde efficiëntie in de DEA-analyse lager (circa 0,80). In tegenstelling tot de FDH-analyse zijn Hasselt, Leuven en Roeselare niet langer meer volledig efficiënt in het DEA-model. Nemen we het voorbeeld van Hasselt en Leuven. Hoewel ze onder FDH nog 100% efficiënt waren omdat er geen andere stad was die met minder uitgaven toch meer uitleningen kon genereren, worden ze onder DEA wel inefficiënt bevonden in relatie tot Gent en Oostende. Immers, bij DEA wordt niet enkel met Gent en Oostende vergeleken, maar ook met alle virtuele input-outputrelaties die lineaire combinaties zijn van de input-outputtransformatie in Gent en Oostende. Op die manier helpt het DEA-model dus voor elke entiteit een (groep van) benchmark(s) te identificeren (volledig efficiënte entiteiten met wie de inefficiënte DMU’s zich kunnen meten). In figuur 8 illustreren we de DEA- en FDH-analyse op grafische wijze, waarbij de efficiëntiegrenzen voor onze set van de dertien centrumsteden geconstrueerd worden. We merken op dat zulke grafische voorstelling enkel mogelijk is in het tweedimensionale kader van één input en één output. De efficiëntiegrenzen (ook wel productiemogelijkheidsgrens of ‘beste praktijken’-grens genoemd) helpen de steden te lokaliseren in termen van afstand tot deze grenzen. De stippellijnen stellen de DEA-grenzen voor, terwijl de volle en trapsgewijze lijn de weergave is van de FDH-grens. Hieruit blijkt nogmaals dat Hasselt, Leuven en Roeselare uit de efficiëntiegrens vallen wanneer er convexiteit verondersteld wordt (bij DEAVRS). We zien ook dat Brugge in deze benchmarkingsoefening eerder zwak presteert en ver van de grens gepositioneerd is, daar waar de andere niet volledig efficiënte steden er relatief dicht bij liggen. Onder de voorwaarde van constante schaalopbrengsten komt de efficiëntiegrens in het geval van één input en één output overeen met een lineaire rechte vanuit de oorsprong door de DMU met laagste input-outputverhouding. Constante schaalopbrengsten zijn bij onze keuze van organisaties, en de hieruit afgeleide input en output, echter geen logische veronderstelling.

‫ ׀‬73 ‫׀‬

Tabel 4: DEA efficiëntiescores, 1 input (jaarlijkse uitgaven) en 1 output (aantal uitleningen) Centrumstad

Inputgeoriënteerd VRS Rang

Outputgeoriënteerd VRS Rang

Aalst Antwerpen Brugge Genk Gent Hasselt Kortrijk Leuven Mechelen Oostende Roeselare Sint-Niklaas Turnhout Gemiddeld

0,678 1,000 0,414 0,684 1,000 0,650 0,877 0,893 1,000 1,000 0,912 0,562 0,867 0,811

0,717 1,000 0,550 0,636 1,000 0,738 0,894 0,927 1,000 1,000 0,877 0,577 0,694 0,816

10 1 13 9 1 11 7 6 1 1 5 12 8

9 1 13 11 1 8 6 5 1 1 7 12 10

Referenties (= benchmarks) Input-/output-georiënteerd Mechelen, Oostende/Gent, Oostende Gent, Oostende/Gent, Oostende Mechelen, Oostende/Gent, Oostende Gent, Oostende/Gent, Oostende Mechelen, Oostende/Gent, Oostende Gent, Oostende/Gent, Oostende

Mechelen, Oostende/Mechelen, Oostende Mechelen, Oostende/Gent, Oostende Mechelen/Mechelen, Oostende

VRS = variabele schaalopbrengsten; CRS = constante schaalopbrengsten ‫ ׀‬74 ‫׀‬

CRS 0,643 0,605 0,382 0,607 0,687 0,524 0,861 0,724 0,886 1,000 0,849 0,504 0,658 0,687

Figuur 8: Efficiëntiegrens FDH en DEA, 13 centrumsteden, 2010, 1 input en 1 output 2.000.000 Uitleningen 1.800.000

Antwerpen DEA-grens (CRS)

Gent

DEA-grens (VRS)

1.600.000

FDH-grens

1.400.000 1.200.000 Leuven

Hasselt

1.000.000 Oostende 800.000

Brugge

Kortrijk RoeselareAalst Genk Sint-Niklaas Mechelen

600.000

Turnhout

400.000 200.000 0 0

Uitgaven 1.000.000 2.000.000 3.000.000 4.000.000 5.000.000 6.000.000 7.000.000 8.000.000 ‫ ׀‬75 ‫׀‬

> 4.3.

Dertien centrumsteden, 2010, meer inputs en/of meer outputs

In deze sectie verbreden we onze lokale benchmarking van de efficiëntie van openbare bibliotheken door het incorporeren van meer dan één input en één output in onze analyse. Met andere woorden evolueren we langs de x-as op ons basisschema in figuur 6 op p. 67. Het tegelijk in beschouwing nemen van meerdere inputs en outputs is immers een van de grote sterkten van de niet-parametrische grensmethoden. In deze paragraaf zullen we twee efficiëntieanalyses via FDH en DEA met meerdere inputs en/of meerdere outputs demonstreren, waarbij we voor onze keuze van inputs en outputs opnieuw inspiratie vonden bij de uitgevoerde literatuurstudie (bijlage 5) en de beschikbare gegevens in de Bios2-databank. In de eerste plaats behouden we circulatie (aantal uitleningen) als enige outputindicator, maar brengen we deze output in relatie tot twee inputs in plaats van één. Deze inputmaatstaven zijn enerzijds ‘personeel’, die we deze keer uitdrukken in aantal VTE’s en dus niet meer in monetaire termen zoals in de vorige oefening, en anderzijds ‘collectie’, uitgedrukt in uitgaven. De uitgebreide definiëring van de gekozen input- en outputkengetallen is de volgende: ▪

▪

Inputs: (1) personeel (VTE); (2) collectie (uitgaven collectie gedrukte en audiovisuele materialen, inclusief kranten-, tijdschriften- en elektronische abonnementen); Output: circulatie (het aantal uitleningen en verlengingen van het betrokken kalenderjaar voor de hoofdbibliotheek en voor alle bedieningspunten).

In een tweede oefening incorporeren we nog meer inputs en outputs en komen we tot volgende set van drie inputs en vier outputs: ▪

▪

‫ ׀‬76 ‫׀‬

Inputs: (1) personeel (personeelsuitgaven); (2) werking (operationele uitgaven: alle uitgaven die niet onder te brengen zijn bij personeel, ICT, collectie of infrastructuur); (3) infrastructuur (uitgaven voor — jaarlijks terugkerende onderhoudskosten voor de — infrastructuur, dus niet de grote investeringsprojecten voor de bouw of renovatie van bibliotheekgebouwen); Outputs: (1) openingsuren (totaal aantal openingsuren per week van de hoofdbibliotheek en de andere bedieningspunten); (2) jeugdboeken (totale jeugdcollectie: fictie, non-fictie, strips, naslag-

werken); (3) fictie en non-fictieboeken (totaal aantal boeken, fictie en non-fictie, voor volwassenen); (4) andere media (totaal aantal audiovisuele media). De set van DMU’s en het jaar van analyse houden we voor beide voorbeelden gelijk aan de oefening in de vorige paragraaf, nl. de openbare bibliotheken van de dertien Vlaamse centrumsteden en hun prestaties in het jaar 2010. Gebruik makend van het basisschema uit paragraaf 4.1 kunnen we de specificaties van twee toepassingen van lokale benchmarking illustreren door op de 3 assen de gekozen karakteristieken aan te geven, zoals weergegeven in onderstaande figuur 9. Figuur 9: 13 centrumsteden, 2010, meerdere inputs/outputs # DMU’s 309 openbare bib.

13 centrumsteden

2006

1I/1O

2I/1O 3I/4O

# inputs (I) / # outputs (O)

2007 2008 2009 2010 Tijd De data voor 2010 van de dertien centrumsteden voor de gebruikte inputs en outputs zijn zoals gezegd afkomstig uit de databank Bios2 en zijn opgenomen in bijlage 6.a.

‫ ׀‬77 ‫׀‬

Resultaten De resultaten van de FDH-benchmarking voor de twee inputs en één output worden weergegeven in tabel 5. We kunnen vaststellen dat er nog slechts drie centrumsteden inefficiënt bevonden worden nu we twee inputs in rekening brengen. Brugge en Turnhout blijven inefficiënt, net als in de analyse met één input en één output, met respectievelijk Leuven en Mechelen als dominante producent. Dit wil zeggen dat Leuven (resp. Mechelen) met minder inputs — dus met minder personeel en minder collectie-utigaven — toch meer uitleningen genereert dan Brugge (resp. Turnhout). Roeselare is, in tegenstelling tot de vorige oefening, niet langer volledig efficiënt en wordt gedomineerd door Oostende. Tabel 5: FDH efficiëntiescores, 2 inputs (personeel, uitgaven collectie) en 1 output (aantal uitleningen) Centrumstad

Inputefficiëntie

Aalst Antwerpen Brugge Genk Gent Hasselt Kortrijk Leuven Mechelen Oostende Roeselare Sint-Niklaas Turnhout Gemiddeld * in termen van

1,000 1 1,000 1 1,000 1 1,000 1 0,574 13 0,811 12 1,000 1 1,000 1 1,000 1 1,000 1 1,000 1 1,000 1 1,000 1 1,000 1 1,000 1 1,000 1 1,000 1 1,000 1 1,000 1 1,000 1 0,895 11 0,780 13 1,000 1 1,000 1 0,737 12 0,856 11 0,939 0,957 inputefficiëntie/outputefficiëntie

Score

Rang

Outputefficiëntie Score

Rang

Dominante producent*

Leuven/Leuven

Oostende/Oostende Mechelen/Mechelen

De gemiddelde efficiëntie in deze toepassing van FDH met twee inputs en één output is hoger dan in de oefening met één input en dezelfde output. Dit geldt zowel voor de input- als voor de outputefficiëntie. Dit wordt onder

‫ ׀‬78 ‫׀‬

meer bepaald door het grotere aantal volledig efficiënte DMU’s in de set. Dit hoge aantal heeft enerzijds te maken met het fenomeen van ‘efficiency by default’ dat optreedt wanneer er met kleine sets van DMU’s wordt gewerkt (cfr. infra), en anderzijds omdat de FDH-methodologie enkel vergelijkingen uitvoert met de andere, bestaande DMU’s in de set (en dus niet met virtuele DMU’s zoals bij DEA wel het geval is). In tabel 6 worden de DEA-resultaten gepresenteerd voor de analyse van de relatieve efficiëntie van openbare bibliotheken met de twee inputs en één output. In vergelijking met de FDH-analyse worden er heel wat minder DMU’s relatief efficiënt bevonden, aangezien er nu ook vergeleken wordt met virtuele DMU’s. Slechts vier centrumsteden (Antwerpen, Leuven, Mechelen en Oostende) worden niet gedomineerd door andere (bestaande of lineaire combinaties van bestaande) DMU’s en zijn bijgevolg 100% efficiënt voor wat betreft de transformatie van de twee inputs naar de ene output. De overige negen centrumsteden bevinden zich op basis van de DEAbenchmarking niet langer op de efficiëntiegrens en hebben dus een score lager dan 1. Hasselt, bijvoorbeeld, wordt zowel in termen van inputs en outputs gedomineerd door Antwerpen en Leuven, waarbij deze laatste met zowat de helft minder personeel (VTE) en collectie-uitgaven toch evenveel output (aantal uitleningen) bewerkstelligt dan Hasselt (zie data in bijlage 6.a). Dit betekent dat Hasselt zowat 50% van zijn middelen verspilt (en dus ongeveer 50% inputinefficiënt is). Sint-Niklaas daarentegen heeft, in orde van grootte, ongeveer dezelfde inzet van middelen als Leuven (voor personeel en collectie-uitgaven), maar realiseert slechts iets meer dan de helft van het aantal uitleningen in vergelijking met Leuven. Sint-Niklaas wordt dus in grote mate outputinefficiënt bevonden (een outputefficiëntiescore van 57% en dus voor 43% inefficiënt in termen van output).

‫ ׀‬79 ‫׀‬

Tabel 6: DEA efficiëntiescores, 2 inputs (personeel, uitgaven collectie) en 1 output (aantal uitleningen) Centrumstad

Inputgeoriënteerd VRS Rang

Outputgeoriënteerd VRS Rang

Aalst Antwerpen Brugge Genk Gent Hasselt Kortrijk Leuven Mechelen Oostende Roeselare Sint-Niklaas Turnhout Gemiddeld

0,743 1,000 0,477 0,697 0,902 0,530 0,813 1,000 1,000 1,000 0,699 0,675 0,737 0,790

0,664 1,000 0,566 0,695 0,926 0,657 0,816 1,000 1,000 1,000 0,712 0,571 0,630 0,787

7 1 13 10 5 12 6 1 1 1 9 11 8

9 1 13 8 5 10 6 1 1 1 7 12 11

Referenties (= benchmarks) Input-/output-georiënteerd Leuven, Mechelen/Leuven, Mechelen Leuven, Mechelen/Antwerpen, Leuven Mechelen, Oostende/Mechelen, Oostende Antwerpen, Leuven/Antwerpen, Leuven Antwerpen, Leuven/Antwerpen, Leuven Leuven, Mechelen, Oostende/Leuven, Mechelen, Oostende

Mechelen, Oostende/Leuven, Oostende Leuven, Mechelen/Leuven, Mechelen Mechelen/Mechelen, Oostende

VRS = variabele schaalopbrengsten; CRS = constante schaalopbrengsten ‫ ׀‬80 ‫׀‬

CRS 0,650 0,754 0,463 0,695 0,720 0,499 0,811 1,000 1,000 1,000 0,698 0,556 0,630 0,729

Een gelijkaardige FDH- en DEA-analyse kan uitgevoerd worden voor onze selectie van drie inputs en vier outputs, waarbij de resultaten zijn opgenomen in respectievelijk tabel 7 en tabel 8. Ook hier zien we opnieuw heel wat volledig efficiënte centrumsteden volgens de FDH-methodologie en meer inefficiënte steden volgens de DEA-techniek. Tabel 7: FDH efficiëntiescores, 3 inputs (personeel, werking, infrastructuur) en 4 outputs (openingsuren, jeugdboeken, fictie- en nonfictie boeken, andere media) Centrumstad

Inputefficiëntie

Aalst Antwerpen Brugge Genk Gent Hasselt Kortrijk Leuven Mechelen Oostende Roeselare Sint-Niklaas Turnhout Gemiddeld * in termen van

1,000 1 1,000 1 1,000 1 1,000 1 1,000 1 1,000 1 0,968 11 0,960 11 1,000 1 1,000 1 1,000 1 1,000 1 1,000 1 1,000 1 0,603 13 0,943 12 1,000 1 1,000 1 1,000 1 1,000 1 1,000 1 1,000 1 0,624 12 0,863 13 1,000 1 1,000 1 0,938 0,982 inputefficiëntie/outputefficiëntie

Score

Rang

Outputefficiëntie Score

Rang

Dominante producent*

Roeselare/Roeselare

Roeselare/Roeselare

Roeselare/Roeselare

‫ ׀‬81 ‫׀‬

Tabel 8: DEA efficiëntiescores, 3 inputs (personeel, werking, infrastructuur) en 4 outputs (openingsuren, jeugdboeken, fictie- en non-fictie boeken, andere media) Centrumstad

Inputgeoriënteerd VRS Rang

Outputgeoriënteerd VRS Rang

Aalst Antwerpen Brugge

1,000 1,000 0,690

1 1 11

1,000 1,000 0,782

1 1 11

Genk

0,941

9

0,857

10

Gent Hasselt Kortrijk Leuven Mechelen Oostende Roeselare Sint-Niklaas Turnhout Gemiddeld

1,000 0,828 1,000 0,510 1,000 0,985 1,000 0,608 1,000 0,889

1 10 1 13 1 8 1 12 1

1,000 0,905 1,000 0,581 1,000 0,964 1,000 0,672 1,000 0,905

1 8 1 13 1 9 1 12 1

Referenties (= benchmarks) Input-/output-georiënteerd

Antwerpen, Roeselare/Antwerpen, Roeselare Kortrijk, Mechelen, Roeselare, Turnhout/Kortrijk, Roeselare, Turnhout Antwerpen, Roeselare/Antwerpen, Roeselare Kortrijk, Mechelen, Roeselare/Antwerpen, Kortrijk, Roeselare Kortrijk, Mechelen, Roeselare, Turnhout/idem Kortrijk, Mechelen, Roeselare/Antwerpen, Roeselare

VRS = variabele schaalopbrengsten; CRS = constante schaalopbrengsten ‫ ׀‬82 ‫׀‬

CRS

1,000 0,828 0,544 0,816 0,806 0,535 1,000 0,431 0,783 0,825 1,000 0,537 0,634 0,749

Brugge en Sint-Niklaas blijven ook in deze toepassingen van de efficiëntie– benchmarking de ranglijsten sluiten. Zelfs met het in beschouwing nemen van meerdere en andere inputs en outputs blijkt de efficiëntie van de openbare bibliotheken in Brugge en Sint-Niklaas systematisch ondermaats te zijn in vergelijking met de andere centrumsteden. De enige uitzondering hierop zijn de FDH-analyse met twee inputs en één output voor Sint-Niklaas en met drie inputs en vier outputs voor Brugge. Dat de betreffende steden in deze FDH-analyses wel volledig efficiënt bevonden worden, heeft te maken met het feit dat er gewerkt wordt met een klein aantal DMU’s, waardoor er in sommige gevallen te weinig onderlinge vergelijkingen met gelijkaardige organisaties kunnen gemaakt worden. Dit aspect is eveneens een onderdeel van het ‘efficiency by default’-fenomeen. Immers, bij de niet-parametrische methoden en zijn assumpties betekent efficiëntie eenvoudigweg de afwezigheid van geobserveerde betere prestaties met maximum zoveel input (of geobserveerde mindere inzet van middelen met minstens zo veel output). Dit betekent dat, bij een relatief beperkt aantal observaties (DMU’s), het mogelijk is dat de dataset te klein is om voldoende onderlinge vergelijkingen te maken met gelijkaardige organisaties. Dit zorgt voor een hoger aandeel van efficiënt bevonden eenheden, niet omdat ze efficiënt zijn maar omdat er te weinig besturen zijn met welke dominantievergelijkingen kunnen gemaakt worden ‘Efficiency by default’ verwijst daarbij naar volgende situaties: ▪ De observatie met het laagste niveau van uitgaven en deze met de hoogste waarde voor minstens één output zullen door de constructie van het model al zeker volledig efficiënt verklaard worden. Er zijn dus steeds minstens twee 100% efficiënte DMU’s bij FDH en DEAVRS. ▪ Sommige observaties, die niet gedomineerd worden door andere en dus efficiënt zijn, en zelf geen andere observaties domineren, danken hun efficiëntie aan de afwezigheid van andere observaties die nodig zijn om onderlinge vergelijkingen te kunnen maken, en niet aan hun werkelijke efficiëntie. We merken tot slot ook op dat we de resultaten van deze efficiëntieanalyses met meerdere inputs en/of outputs niet langer grafisch kunnen weergeven aangezien we niet meer in een tweedimensionaal kader (met één input op de x-as en één output op de y-as) werken.

‫ ׀‬83 ‫׀‬

> 4.4.

Dertien centrumsteden, 2006-2010, één input en één output

In deze sectie willen we ook het tijdselement in rekening brengen. Prestaties kunnen immers niet enkel vergeleken worden ten opzichte van andere, gelijkaardige organisaties. Eveneens kunnen prestaties in de tijd beoordeeld worden. Voor deze oefening keren we eerst terug naar onze eerste toepassing van lokale benchmarking van de efficiëntie van de openbare bibliotheken in de dertien centrumsteden voor wat betreft één input (uitgaven) en één output (uitleningen) in het jaar 2010. Vertrekkend vanuit deze specificaties (cfr. figuur 7) evolueren we verder op de z-as van het basisschema en nemen we de jaren 2006 tot en met 2010 in beschouwing. Deze jaren werden gekozen omdat de gebruikte bibliotheekgegevens voor input en output, die afkomstig zijn uit Bios2databank, beschikbaar zijn vanaf jaar 2006. De gekozen benchmarkingskarakteristieken kunnen dan geïllustreerd worden zoals in onderstaande figuur 10. Figuur 10: 13 centrumsteden, 2010, 1 input en 1 output # DMU’s 309 openbare bib.

13 centrumsteden

2006 2007 2008 2009 2010 Tijd

‫ ׀‬84 ‫׀‬





 

 1I/1O

1I/2O

…

3I/4O

# inputs (I) / # outputs (O)

Resultaten Deze oefening van benchmarking met één input en één output in de tijd kan op twee wijzen ingevuld worden. In de eerste plaats kunnen we de dertien centrumsteden onderling vergelijken in elk van de betrokken jaren, en dus de oefening voor 2010 (cfr. §4.2) herhalen voor de jaren 2006-2009. Op de manier kunnen de verschillende DMU’s nagaan hoe hun relatieve efficiëntie evolueert doorheen de jaren. De resultaten van deze oefening, zowel van de FDH- als van de DEA-analyse, zijn weergegeven in tabel 9. De gebruikte gegevens voor deze analyse is opgenomen in bijlage 6.b, en zijn uiteraard ook terug te vinden in Bios2. Als we naar de resultaten kijken, stellen we vast dat de steden Antwerpen, Gent en Mechelen te allen tijde efficiënt bevonden worden. Voor Antwerpen is dit waarschijnlijk het gevolg van het feit dat ze steeds de grootste output van de set hebben, en dus niet gedomineerd kunnen worden (‘efficient by default’). Gelijkaardig is Turnhout tot en met 2009 ook steeds 100% efficiënt aangezien ze in de periode 2006-2009 steeds de laagste uitgaven hebben en dus eveneens niet gedomineerd kunnen worden. En andere keuze van de inputs en outputs (bv. uitgaven en uitleningen uitdrukken per capita) zou hiervoor misschien een oplossing kunnen bieden, al zullen er bij FDH en DEA-VRS altijd minstens twee DMU’s in de set volledig efficiënt zijn. Voor de andere DMU’s verschillen de efficiëntiescores van jaar tot jaar. Dit tijdspad vormt dus voor de centrumsteden een meting van hun relatieve (in)efficiëntie in de tijd, en kan voor sommige steden een aanleiding geven tot een verdere analyse om de verschillen met andere steden in een bepaald jaar, of de fluctuering van de efficiëntiescore in de tijd verder te gaan verklaren. Voor een breder inzicht in de efficiëntiescores kunnen we deze toepassing op een tweede wijze invullen, namelijk door de evolutie van de input (uitgaven) en de output (uitleningen) grafisch weer te geven voor elk van de dertien centrumsteden, zoals weergegeven in onderstaande figuur 11. Hierdoor kunnen een aantal factoren onderliggend aan de vastgestelde relatieve efficiëntie(score) beter uitgelicht worden. Het beste voorbeeld in deze oefening is de zeer grote sprong in de uitgaven voor de openbare

‫ ׀‬85 ‫׀‬

Tabel 9: FDH en DEA efficiëntiescores, 1 input (jaarlijkse uitgaven) en 1 output (aantal uitleningen), 2006-2010 Centrumstad_score in jaar x

Inputgeoriënteerd FDH

DEA-VRS

FDH

DEA-VRS

Aalst_2006 Aalst_2007 Aalst_2008 Aalst_2009 Aalst_2010 Antwerpen_2006 Antwerpen_2007 Antwerpen_2008 Antwerpen_2009 Antwerpen_2010 Brugge_2006 Brugge_2007 Brugge_2008 Brugge_2009 Brugge_2010 Genk_2006 Genk_2007 Genk_2008 Genk_2009 Genk_2010 Gent_2006 Gent_2007 Gent_2008 Gent_2009 Gent_2010 Hasselt_2006 Hasselt_2007 Hasselt_2008 Hasselt_2009 Hasselt_2010

0,642 0,666 0,579 0,766 0,778 1,000 1,000 1,000 1,000 1,000 1,000 0,818 0,692 0,768 0,650 0,775 0,477 0,424 0,719 0,829 1,000 1,000 1,000 1,000 1,000 0,952 1,000 0,652 1,000 1,000

0,642 0,666 0,579 0,663 0,678 1,000 1,000 1,000 1,000 1,000 0,685 0,705 0,594 0,638 0,414 0,775 0,477 0,424 0,696 0,684 1,000 1,000 1,000 1,000 1,000 0,646 0,893 0,591 0,678 0,650

0,764 0,697 0,588 0,810 0,826 1,000 1,000 1,000 1,000 1,000 1,000 0,903 0,910 0,892 0,799 0,739 0,568 0,394 0,682 0,673 1,000 1,000 1,000 1,000 1,000 0,993 1,000 0,943 1,000 1,000

0,608 0,632 0,499 0,684 0,717 1,000 1,000 1,000 1,000 1,000 0,731 0,745 0,691 0,719 0,550 0,653 0,424 0,385 0,633 0,636 1,000 1,000 1,000 1,000 1,000 0,696 0,910 0,683 0,743 0,738

‫ ׀‬86 ‫׀‬

Outputgeoriënteerd

Kortrijk_2006 Kortrijk_2007 Kortrijk_2008 Kortrijk_2009 Kortrijk_2010 Leuven_2006 Leuven_2007 Leuven_2008 Leuven_2009 Leuven_2010 Mechelen_2006 Mechelen_2007 Mechelen_2008 Mechelen_2009 Mechelen_2010 Oostende_2006 Oostende_2007 Oostende_2008 Oostende_2009 Oostende_2010 Roeselare_2006 Roeselare_2007 Roeselare_2008 Roeselare_2009 Roeselare_2010 Sint-Niklaas_2006 Sint-Niklaas_2007 Sint-Niklaas_2008 Sint-Niklaas_2009 Sint-Niklaas_2010 Turnhout_2006 Turnhout_2007 Turnhout_2008 Turnhout_2009 Turnhout_2010

1,000 1,000 0,838 0,840 0,921 0,406 1,000 1,000 1,000 1,000 1,000 1,000 1,000 1,000 1,000 0,901 1,000 1,000 1,000 1,000 1,000 0,562 0,218 0,764 1,000 0,770 0,597 0,577 0,750 0,669 1,000 1,000 1,000 1,000 0,867

1,000 0,890 0,699 0,756 0,877 0,374 0,813 0,988 0,977 0,893 1,000 1,000 1,000 1,000 1,000 0,764 0,929 1,000 1,000 1,000 0,852 0,435 0,216 0,645 0,912 0,653 0,596 0,571 0,609 0,562 1,000 1,000 1,000 1,000 0,867

1,000 1,000 0,812 0,859 0,934 0,741 1,000 1,000 1,000 1,000 1,000 1,000 1,000 1,000 1,000 0,858 1,000 1,000 1,000 1,000 1,000 0,604 0,336 0,779 1,000 0,780 0,806 0,745 0,734 0,692 1,000 1,000 1,000 1,000 0,856

1,000 0,917 0,733 0,770 0,894 0,442 0,839 0,992 0,983 0,927 1,000 1,000 1,000 1,000 1,000 0,792 0,946 1,000 1,000 1,000 0,862 0,522 0,321 0,657 0,877 0,690 0,680 0,611 0,611 0,577 1,000 1,000 1,000 1,000 0,694

‫ ׀‬87 ‫׀‬

Figuur 11: 13 centrumsteden, tijdspad voor 1 input en 1 output (2006-2010) Uitleningen 4.000.000 3.500.000 Antwerpen

3.000.000 2.500.000 2.000.000

Gent

1.500.000 1.000.000 500.000 Uitgaven 0 0 ‫ ׀‬88 ‫׀‬

5.000.000

10.000.000

15.000.000

20.000.000

25.000.000

Uitleningen 1.300.000 Leuven

1.200.000

Hasselt

1.100.000 Brugge

1.000.000 900.000

Oostende

800.000 Kortrijk

Aalst

700.000 600.000

Mechelen Turnhout

Roeselare

Sint-Niklaas Genk

500.000 400.000 1.500.000

Uitgaven 2.500.000

3.500.000

4.500.000

5.500.000

6.500.000 ‫ ׀‬89 ‫׀‬

bibliotheek in Roeselare in het jaar 2008, waarna ze op een vergelijkbaar peil terugvallen in 2009 en 2010. Aangezien er ongetwijfeld een aanwijsbare reden zal zijn voor deze eenmalige, sterke toename in de uitgaven in 2008 — bijvoorbeeld een specifieke investering — zal de zeer hoge inefficiëntie in 2008 (70% à 80%, cfr. tabel 9) voor Roeselare vermoedelijk voldoende verklaard kunnen worden. Eenzelfde verhaal kan opgaan voor Genk in de jaren 2007 en 2008, Hasselt in 2008 of Brugge in 2010. Andere steden kunnen dan weer wel op basis van het uitgetekende tijdspad hun efficiëntie in de tijd beter beoordelen. Zo zal Mechelen kunnen vaststellen dat ze, ondanks weinig verschil voor wat betreft de uitgaven, toch met een dalende trend in het aantal uitleningen geconfronteerd wordt, en dus een steeds lager worden efficiëntie in de tijd. Echter, in vergelijking met andere DMU’s wordt Mechelen wel steeds 100% efficiënt bevonden, wat blijkt uit tabel 9. Eenzelfde analyse kan gemaakt worden door de stad Turnhout. Ook Sint-Niklaas kent een steeds lager wordende output, hoewel de uitgaven stijgen. Dit zorgt voor een dalende efficiëntie voor deze stad in de tijd, al blijft de relatieve efficiëntie (ten opzichte van de andere centrumsteden) redelijk constant. Bij Aalst daarentegen zien we in 2009 een omgekeerde tendens. Hoewel de uitgaven nauwelijks stijgen, kent de openbare bibliotheek een grote toename in het aantal uitleningen. De efficiëntie stijgt dus aanzienlijk ten opzichte van de jaren voordien, maar in vergelijking met de andere centrumsteden blijft er een grote mate aan inefficiëntie bestaan (cfr. tabel 9). We concluderen dus dat beide vormen van benchmarking hun meerwaarde hebben. Organisaties kunnen hun efficiëntie in de tijd vergelijken, en op zoek gaan naar de oorzaken van dalende efficiëntie of succesfactoren voor stijgende doelmatigheid. Anderzijds is ook de benchmarking ten opzichte van andere, gelijkaardige entiteiten zeer nuttig, aangezien stijgende prestaties in de tijd niet noodzakelijk wil zeggen dat de organisatie het goed doet in vergelijking met andere entiteiten.

‫ ׀‬90 ‫׀‬

> 4.5.

Meerdere DMU’s, 2010, één input en één output

In deze paragraaf verbreden we onze startoefening van lokale benchmarking van de efficiëntie van openbare bibliotheken een laatste maal, deze keer langs de y-as van onze basisfiguur. Dit betekent dat we het aantal DMU’s (het aantal observaties) in onze analyse zullen verhogen. In plaats van de beperkte set van DMU’s (met name de dertien centrumsteden) die we tot nog toe als set van onderling vergelijkbare entiteiten hanteerden, willen we de oefening herhalen voor een uitgebreider aantal organisaties. Echter, we hebben reeds opgemerkt dat er bij benchmarking voldoende aandacht besteed dient te worden aan het vergelijkbaar zijn van de entiteiten die in de analyse betrokken worden. Voor een effectieve toepassing van het benchmarkingsinstrument is het immers essentieel dat de entiteiten die met elkaar vergeleken worden zoveel als mogelijk gelijkaardig zijn voor wat betreft de externe (omgevings)variabelen (Berg, 2010). Alle 309 openbare bibliotheken opnemen in de set van observaties lijkt daarom geen goed idee, wegens een te grote variatie aan type van lokale besturen (bv. in termen van schaal of bevolkingskarakteristieken). Om wel tot een groep van onderling vergelijkbare gemeenten te komen, richten we ons daarom op de indeling van gemeenten in clusters die door Belfius is opgesteld (voorheen beter bekend onder de term ‘Dexia-clusters’). Het doel van deze classificatie bestaat erin gemeenten met een vergelijkbare sociaaleconomische omgeving onder te brengen in zo homogeen mogelijke klassen (Dexia, 2007). In deze oefening kiezen we voor de openbare bibliotheken van de 79 Vlaamse woongemeenten 17 als set van entiteiten. De overige specificaties van de benchmarkingsoefening houden we constant, wat betekent dat het jaar van analyse 2010 blijft en de samenstelling van de efficiëntiemaatstaf uit één enkele input (uitgaven) en één enkele output (uitleningen) bestaat. Opnieuw kunnen we ons driedimensionale basiskader gebruiken om de benchmarkingskarakteristieken van deze toepassing te illustreren, zoals in onderstaande figuur 12 is weergegeven.

17

De groep ‘woongemeenten’ wordt door de Belfius-indeling als een socio-economische hoofdcategorie gedefinieerd, bestaande uit de clusters v1, v2, v10 en v11. De volledige classificatie is terug te vinden op http://www.dexia.be/data/2011/cluster.xls.

‫ ׀‬91 ‫׀‬

Figuur 12: 79 woongemeenten, 2010, 1 input en 1 output # DMU’s

79 woongemeenten

13 centrumsteden

2006

1I/1O

1I/2O

…

3I/4O

# inputs (I) / # outputs (O)

2007 2008 2009 2010 Tijd

Resultaten In tabel 10 presenteren we de resultaten van zowel de FDH- als de DEAbenchmarking van de efficiëntie van de openbare bibliotheken in de 79 woongemeenten voor het jaar 2010, gebruik makend van de jaarlijkse uitgaven als input en het aantal uitleningen als output. De benodigde gegevens, afkomstig uit de Bios2-databank, zijn opgenomen in bijlage 6.c. De grafische weergave van de set van observaties (i.e. de input-outputtransformatie voor elk van de DMU’s), met de resulterende FDH- en DEAefficiëntiegrenzen, is weergegeven in figuur 13. Uit de resultaten van de niet-parametrische efficiëntieanalyse blijkt dat slechts een beperkt aantal woongemeenten volledig efficiënt bevonden wordt. De FDH-methode geeft voor negen gemeenten aan dat hun openbare bibliotheek 100% efficiënt werkt (Boechout, Dilbeek, Gavere,

‫ ׀‬92 ‫׀‬

Tabel 10: FDH en DEA efficiëntiescores, 79 woongemeenten, 2010, 1 input (jaarlijkse uitgaven) en 1 output (aantal uitleningen) Woongemeente Aartselaar Aartselaar Affligem Asse Beersel Begijnendijk Bertem Bierbeek Boechout Bonheiden Borsbeek Boutersem Brasschaat Buggenhout De Pinte Destelbergen Dilbeek Edegem Erpe-Mere Gavere Grimbergen Grobbendonk Haacht-Boortmeerbeek Herent Hoeilaart Holsbeek Hove Huldenberg Jabbeke Kalmthout Kampenhout

Inputgeoriënteerd

Outputgeoriënteerd

FDH

DEA-VRS

FDH

DEA-VRS

0,235 0,235 0,900 0,629 0,180 0,500 0,764 0,687 1,000 0,365 0,542 0,691 0,823 0,436 0,839 0,466 1,000 0,264 0,385 1,000 1,000 0,547 0,446 1,000 0,908 0,714 0,582 1,000 0,488 0,683 0,680

0,232 0,232 0,687 0,421 0,172 0,398 0,604 0,627 0,897 0,329 0,435 0,536 0,802 0,427 0,666 0,399 1,000 0,256 0,346 0,765 0,734 0,428 0,243 0,863 0,751 0,709 0,453 1,000 0,438 0,552 0,527

0,648 0,648 0,209 0,806 0,442 0,284 0,463 0,775 1,000 0,609 0,493 0,424 0,984 0,776 0,468 0,630 1,000 0,665 0,605 1,000 1,000 0,443 0,763 1,000 0,553 0,983 0,430 1,000 0,738 0,862 0,420

0,550 0,550 0,209 0,662 0,442 0,239 0,432 0,701 0,952 0,528 0,412 0,384 0,984 0,727 0,448 0,498 1,000 0,557 0,537 0,890 0,851 0,371 0,544 0,945 0,541 0,899 0,369 1,000 0,593 0,777 0,378 ‫ ׀‬93 ‫׀‬

Woongemeente Kapellen Kapelle-Op-Den-Bos Keerbergen Kontich Kortenberg Lennik Lint Londerzeel Lovendegem Lubbeek Machelen Meise Melle Merchtem Merelbeke Mortsel Nazareth Nevele Nijlen Oosterzele Opwijk Oud-Heverlee Oud-Turnhout Overijse Putte Ranst Roosdaal Rotselaar Schilde Schoten Sint-Katelijne-Waver Sint-Lievens-Houtem Sint-Martens-Latem

‫ ׀‬94 ‫׀‬

Inputgeoriënteerd

Outputgeoriënteerd

FDH

DEA-VRS

FDH

DEA-VRS

0,843 0,932 0,430 0,677 0,649 0,961 0,752 0,347 0,772 0,409 0,493 0,349 0,537 0,311 1,000 0,651 0,998 0,587 0,399 0,340 0,725 0,402 0,615 0,414 0,464 0,529 0,971 0,513 0,350 0,849 0,793 0,658 0,697

0,574 0,713 0,366 0,347 0,292 0,732 0,603 0,309 0,610 0,371 0,395 0,279 0,490 0,272 0,704 0,452 0,568 0,494 0,367 0,331 0,594 0,338 0,503 0,319 0,365 0,511 0,766 0,445 0,342 0,608 0,424 0,526 0,537

0,953 0,394 0,506 0,750 0,727 0,525 0,301 0,594 0,461 0,628 0,490 0,398 0,774 0,489 1,000 0,819 0,874 0,593 0,652 0,678 0,340 0,488 0,529 0,340 0,454 0,914 0,456 0,660 0,770 0,824 0,859 0,486 0,409

0,743 0,388 0,471 0,673 0,639 0,239 0,287 0,503 0,432 0,572 0,396 0,338 0,645 0,445 0,829 0,720 0,825 0,509 0,588 0,644 0,321 0,441 0,462 0,311 0,358 0,757 0,453 0,541 0,655 0,824 0,735 0,434 0,371

Woongemeente Sint-Pieters-Leeuw Steenokkerzeel Ternat Tervuren Tremelo Vosselaar Waasmunster Wemmel Wijnegem Wommelgem Zandhoven Zaventem Zemst Zingem Zoersel Gemiddeld

Inputgeoriënteerd

Outputgeoriënteerd

FDH

DEA-VRS

FDH

DEA-VRS

0,646 0,616 0,681 0,307 0,549 0,697 0,695 0,577 0,872 1,000 0,407 0,265 0,378 1,000 0,489

0,511 0,490 0,551 0,283 0,470 0,546 0,582 0,464 0,707 1,000 0,325 0,257 0,365 0,840 0,225

0,856 0,476 0,507 0,579 0,631 0,444 0,383 0,306 0,318 1,000 0,400 0,662 0,753 1,000 0,666

0,750 0,416 0,458 0,524 0,529 0,403 0,357 0,270 0,315 1,000 0,364 0,556 0,663 0,510 0,550

0,640

0,518

0,642

0,564

Grimbergen, Herent, Huldenberg, Merelbeke, Wommelgem en Zingem). Deze DMU’s vormen aldus de FDH-efficiëntiegrens (figuur 13). Een subgroep hiervan (Dilbeek, Huldenberg, Wommelgem) blijft ook volledig efficiënt bij de toepassing van de DEA-methode (met de assumptie van variabele schaalopbrengsten). Gemeenten met een efficiëntescore van minder dan 1 kennen dus — in vergelijking met de andere volledig efficiënte gemeenten (FDH) of bijkomend in vergelijking met de lineaire combinaties van deze efficiënte DMU’s (DEA) — een zekere mate van inefficiëntie. We herhalen dat de een inputefficiëntiescore van lager dan 1 betekent dat er in de set van DMU’s andere gemeenten zijn (of virtuele DMU’s in het geval van DEA) die met een lager niveau van ingezette middelen (minder uitgaven) toch betere prestaties (meer uitleningen) leveren. De inefficiëntie (i.e. 1 min de efficiëntiescore) geeft dan de mate van “verspilling” van de middelen aan. Gelijkaardig betekent een outputefficiëntiescore kleiner dan 1 aan dat de

‫ ׀‬95 ‫׀‬

Figuur 13: Efficiëntiegrens FDH en DEA, 79 woongemeenten, 2010, 1 input en 1 output 400000 Uitleningen Dilbeek

350000 DEA-grens (VRS)

300000

FDH-grens

250000 200000 Wommelgem

150000

A B

100000 50000 Huldenberg

Uitgaven

0 0 ‫ ׀‬96 ‫׀‬

200000

400000

600000

800000

1000000

1200000

DMU op vlak van outputs gedomineerd wordt door andere DMU’s, die meer output genereren met evenveel of minder input. We verwijzen naar de bespreking van de resultaten van de gelijkaardige oefening voor de dertien centrumsteden in paragraaf 4.2 voor een meer gedetailleerde toelichting over de interpretatie van de efficiëntiescores. Het valt op te merken dat er proportioneel een pak minder volledig efficiënte DMU’s in deze set van 79 woongemeenten (11,4% bij FDH, 3,8% bij DEA) dan het geval was bij de toepassing op 13 centrumsteden (53.8% bij FDH, 30,8% bij DEA). Ook de gemiddelde efficiëntie van alle DMU’s is aanzienlijk lager dan bij de voorgaande oefeningen. Dit komt omdat er bij een groter aantal observaties meer dominantievergelijkingen kunnen gemaakt worden met gelijkaardige entiteiten. Er zijn met andere woorden minder DMU’s ‘efficient by default’. We geven nogmaals aan dat het nut van de niet-parametrische methoden voor benchmarking voornamelijk ligt in het feit dat de betreffende entiteiten kunnen inschatten in welke mate hun prestaties zich relatief goed of slecht verhouden tot andere, gelijkaardige entiteiten. Bibliotheken zoals DMU A op figuur 13 liggen zo ver verwijderd van de efficiëntiegrens dat het voor zulke entiteiten waardevol zal zijn om verder te onderzoeken welke achterliggende redenen er kunnen geïdentificeerd worden voor hun relatieve inefficiëntie. Een entiteit zoals DMU B zal op basis van deze benchmark minder gealarmeerd zijn. > 4.6.

Effectiviteit en kosteneffectiviteit

Tot nog toe hebben we de voorbeelden van benchmarking van de prestaties van lokale besturen aan de hand van niet-parametrische grensmethoden (met de openbare bibliotheken als case van lokale publieke dienstverlening) steeds uitgevoerd met efficiëntie als prestatiemaatstaf, of anders gezegd de verhouding tussen de inputs (financiële middelen of personeel) die door de bibliotheken ingezet worden en de outputs (bv. circulatie van de materialen) die ze hiermee genereren. Echter, naast efficiëntie kunnen ook de andere relatie-indicatoren uit het MAPE-spectrum (cfr. figuur 1 op p.22), met name effectiviteit (als relatie tussen outputs en effecten) en kosteneffectiviteit (als relatie tussen inputs en effecten) als prestatiemaatstaf gehanteerd worden in de benchmarkings-

‫ ׀‬97 ‫׀‬

oefening. We illustreren kort beide toepassingen op grafische wijze voor één effect en één output (effectiviteit), resp. één input (kosteneffectiviteit). Voor het overige lopen de FDH- en DEA-oefeningen volledig gelijkaardig met de hierboven uitgebreid besproken efficiëntieanalyses. Voor de invulling van een effectindicator hebben we ons gericht tot de informatie die in de Stadsmonitor van 2011 terug te vinden is, meer bepaald de bibliotheekparticipatie in het jaar 2010 (ABB, 2011a). Voor wat betreft de input, respectievelijk output, hebben we gekozen18 voor uitgaven per capita, respectievelijk gemiddelde openingsuren. De uitgebreide definiëring van de gekozen maatstaven is de volgende: ▪ ▪

▪

Effect: bibliotheekparticipatie (aandeel (%) van de bevolking dat een openbare bibliotheek bezocht); Output: gemiddelde openingsuren (totaal aantal openingsuren per week van de hoofdbibliotheek en de andere bedieningspunten, gedeeld door het aantal bedieningspunten); Input: uitgaven per capita (alle uitgaven op het gevraagde kalenderjaar geboekt, gedeeld door het inwonertal).

We nemen opnieuw de dertien centrumsteden als set van DMU’s en het jaar van analyse houden we op 2010. De gegevens zijn zoals gezegd afkomstig uit de Bios2-databank (input en output) en de Stadsmonitor 2011 (effect) en zijn eveneens opgenomen in bijlage 6.d. Resultaten We presenteren de resultaten van de analyses enkel grafisch, aangezien de oefeningen, gebruik makend van de niet-parametrische FDH- en de DEAmethoden, volledig gelijklopend zijn aan de uitgevoerde efficiëntieanalyses in paragraaf 4.2 (maar dan voor effectiviteit als relatie tussen output en effect, en kosteneffectiviteit als relatie tussen input en effect). Voor wat betreft de relatieve effectiviteit van de openbare bibliotheken in de 13 Vlaamse centrumsteden in 2010, gebruik makend van het gemiddeld

18

Het is bij de selectie van de maatstaven die deel uitmaken van de combinatie-indicatoren uiteraard van belang om logische relaties te leggen, m.a.w. om in het geval effectiviteit een output te selecteren die werkelijk een invloed heeft op de gekozen effectmaatstaf.

‫ ׀‬98 ‫׀‬

aantal openingsuren als enkele output en bibliotheekparticipatie als enkel effect, zien we in onderstaande figuur 14 dat drie centrumsteden zich op de FDH-effectiviteitsgrens bevinden, namelijk Kortrijk, Gent en Oostende. Deze steden zullen dus een FDH-effectiviteitsscore van 100% hebben. De openbare bibliotheken in Kortrijk, Gent en Oostende opereren dus volledig effectief ten opzichte van de andere steden in de set voor de geselecteerde indicator (openingsuren/participatie). Of anders gezegd: er zijn in de set geen andere steden die met minder openingsuren per filiaal een hogere graad van participatie realiseren. De centrumsteden die zich onder de FDHgrens bevinden, opereren relatief gezien niet 100% effectief. Hoe verder ze van de grens liggen, hoe groter hun ineffectiviteit is. Het is dus duidelijk dat de steden Aalst en Hasselt zo goed als volledig effectief zijn (zowel outputgeoriënteerd als effectgeoriënteerd), terwijl bijvoorbeeld Antwerpen zich op basis van deze benchmark meer vragen kan stellen over de relatieve effectiviteit van hun bibliotheekbeleid. Genk kent dan weer een grote ineffectiviteit op vlak van de output waar het sterk gedomineerd wordt door Hasselt en Oostende (i.e. deze twee steden bereiken ongeveer een gelijkaardig effect met aanzienlijk veel minder outputs), maar is tegelijk nauwelijks ineffectief op vlak van het effect (i.e. er zijn geen steden die een aanzienlijk grotere participatie bereiken). Wanneer we vervolgens de DEA-analyse van de relatieve effectiviteit van de 13 centrumsteden bekijken, eveneens grafisch weergegeven in figuur 14, dan zien we dat, in vergelijking met de FDH-methode, Kortrijk en Oostende nog steeds volledig effectief zijn onder DEA, maar dat Gent niet langer tot de effectiviteitsgrens behoort. We geven opnieuw aan dat dit het gevolg is van het feit dat de DEA-techniek de observaties niet alleen vergelijkt met de andere, reële entiteiten in de set, maar eveneens met virtuele DMU’s (die een lineaire combinatie zijn van volledig effectieve, werkelijke entiteiten in de set). In dit geval is Gent dus niet langer 100% effectief omdat het zwakker presteert dan de lineaire combinatie van Kortrijk en Oostende. Voor het overige stellen we vast dat de FDH-grens niet veel verschilt van de DEA-grens in deze oefening. Gelijkaardig geven we in figuur 15 de FDH- en DEA-grenzen weer voor kosteneffectiviteit als prestatiemaatstaf, met bibliotheekparticipatie als maatstaf voor het effect en uitgaven per capita als kengetal voor de input. Volgens de FDH-grensmethode zijn er drie centrumsteden volledig

‫ ׀‬99 ‫׀‬

Figuur 14: Effectiviteitsgrens FDH en DEA, 13 centrumsteden, 2010, 1 output en 1 effect 70 Bibliotheekparticipatie

Oostende

60 50

Genk

Hasselt

DEA-grens (VRS)

Gent

FDH-grens

Kortrijk 40

Aalst

Leuven Brugge Roeselare Sint-Niklaas Turnhout

Antwerpen

Mechelen

30 20

10 Openingsuren (gem.) 0 0 ‫ ׀‬100 ‫׀‬

5

10

15

20

25

30

35

40

Figuur 15: Kosteneffectiviteitsgrens FDH en DEA, 13 centrumsteden, 2010, 1 input en 1 effect 70 Bibliotheekparticipatie Oostende

60 50

DEA-grens (VRS) FDH-grens

40

Hasselt

Genk Leuven Roeselare Sint-Niklaas Brugge Gent Antwerpen Turnhout Kortrijk Aalst Mechelen

30 20

10 0 0,000

Uitgaven per capita 10,000

20,000

30,000

40,000

50,000

60,000

70,000

80,000

90,000 ‫ ׀‬101 ‫׀‬

kosteneffectief, met name Mechelen, Gent en Oostende. Gent verliest deze 100% kosteneffectiviteit bij de DEA-analyse. We merken tot slot wel op dat het beoordelen van effecten vaak problematisch is (Stroobants & Bouckaert, 2011a). De moeilijkheid (of onmogelijkheid) om effecten te meten komt grotendeels voort uit het feit dat de uiteindelijke impact van het overheidsoptreden niet volledig onder de controle valt van de overheid. Effectiviteitsmetingen vereisen met andere woorden dat er kan worden bepaald in welke mate de effecten voortgebracht zijn door het overheidsoptreden en niet door andere, externe factoren. Bijgevolg is de strategie veelal om te vertrouwen op outputgegevens eerder dan op data omtrent effecten (Behn, 2007) en dus in te zetten op efficiëntiemetingen eerder dan op effectiviteit. Dit wordt ook weerspiegeld in de wetenschappelijke literatuur waar het gebruik van de grensmethoden (voornamelijk DEA) voornamelijk in efficiëntiestudies terug te vinden is, en zelden uitspraken over effectiviteit worden gedaan. > 4.7.

Aandachtspunten

In dit hoofdstuk hebben we aan de hand van een casestudie voor een specifiek domein van gemeentelijke dienstverlening, met name openbare bibliotheken, de toepassing geïllustreerd van niet-parametrische technieken als methode voor het benchmarken van lokale besturen. We geven hierbij nogmaals duidelijk aan dat we met de uitgewerkte voorbeelden in de eerste plaats tot doel hebben om exemplarisch te demonstreren wat de mogelijkheden zijn van de FDH- en de DEA-methoden om de prestaties van entiteiten relatief ten opzichte van elkaar te meten, te beoordelen en te vergelijken. Daarbij wordt voornamelijk ingezet op efficiëntie als prestatiemaatstaf. Het is van belang om, tot slot van deze casestudie, enkele overwegingen en aandachtspunten bij het gebruik van niet-parametrische methoden aan te geven. Eerst en vooral is het duidelijk dat de FDH- en de DEA-methoden een datagedreven benadering van prestatiemeting vormen, wat tot gevolg heeft dat de nodige kwaliteitseisen gesteld moeten worden in termen van de gebruikte data. Entiteiten (DMU’s) worden ten opzichte van elkaar vergeleken, en de best presterende organisaties vormen op die manier een

‫ ׀‬102 ‫׀‬

grens die de andere organisaties omhult. In het geval van de gebruikelijke efficiëntieanalyse wordt dus een grens geïdentificeerd op basis van de DMU’s met de hoogste output-inputmix, en de inefficiëntie wordt vervolgens gemeten als de radiale afstand van de inefficiënte DMU tot de grens. Hoe groter de radiale afstand van een observatie is tot de vergelijkbare beste prestatie, hoe kleiner de efficiëntiescore zal zijn (en dus hoe groter de inefficiëntie). Dit heeft tot gevolg dat niet-parametrische methoden geen ‘random noise’ of meetfouten veronderstellen. Elke afwijking van de grens van een inputoutputratio van een DMU is inefficiëntie. Dit betekent uiteraard ook dat de resultaten van de benchmarking gevoelig zijn voor extreme observaties in de set (‘outliers’) en voor de modelspecificaties bij kleine sets van observaties. Bovendien kan de in- of uitsluiting van variabelen de efficiëntieschattingen beïnvloeden. Met andere woorden, de uitsluiting van een bepaalde belangrijke input of output, die niet gecorreleerd is met variabelen die in de analyse opgenomen zijn, kan de resultaten doen afwijken (de efficiëntie onderschatten), net zoals de insluiting van een vreemde, irrelevante input of output tot een overschatting van de efficiëntie kan leiden. De keuze van (de inhoud en het aantal) inputs en outputs — een keuze die door de analist gemaakt moet worden — dient dus enerzijds weloverwogen te zijn, en kan anderzijds relatief tot het aantal entiteiten van analyse uitgedrukt worden met volgende vuistregel: aantal DMU’s ≥ 3 x (aantal inputs + aantal outputs) Onze oefening met een efficiëntieanalyse op basis van drie inputs en vier outputs voldeed dus eigenlijk niet aan deze vuistregel, aangezien het aantal DMU’s in de set (de dertien centrumsteden) te beperkt was om voldoende onderlinge vergelijkingen mogelijk te maken. Bovendien geldt dat hoe meer variabelen ingesloten worden, hoe minder discriminerend het model zal zijn. Zo telde onze oefening met meerdere inputs en outputs meer volledig efficiënte DMU’s, dan het model met maar één input en één output. Twee andere overwegingen bij het gebruik van niet-parametrische methoden betreffen het hanteren van input- dan wel outputoriëntatie en het veronderstellen van constante dan wel variabele schaalvoordelen (deze laatste overweging is enkel relevant bij de DEA-methode). Ook dit zijn

‫ ׀‬103 ‫׀‬

keuzes die door de analist gemaakt dient te worden. Input- en outputgeoriënteerde modellen zullen dezelfde set van volledig efficiënte DMU’s bekomen, en exact dezelfde grens schatten, maar de efficiëntiescores van de inefficiënte DMU’s zullen verschillen. Uiteraard kunnen beide scores weergegeven worden, zoals wij in onze voorbeelden hebben gedaan. Maar het is bijvoorbeeld goed mogelijk dat besluitvormers of managers enkel controle kunnen uitoefenen op inputparameters (zoals ingezet personeel of gemaakte kosten) en niet op de output die ze hiermee bereiken. In zo’n geval lijkt een inputgeoriënteerde de juiste keuze, waarbij onderzocht wordt welke proportionele reductie in het gebruik van de inputs mogelijk is, gegeven een bepaald niveau van outputs. Omgekeerd kan de interesse van de analist liggen in het maximaliseren van de prestaties, gegeven een bepaald personeelsbestand. In dat geval zal een outputgeoriënteerd model van belang zijn. Ook de keuze voor constante (CRS) of variabele (VRS) schaalvoordelen, een keuze die enkel gemaakt dient te worden bij gebruik van de DEA-techniek, is afhankelijk van de context en het doel van de analyse. Zo kan, vanuit een sociaal perspectief, de interesse liggen in de productiviteit ongeacht de schaal van de activiteiten, en zal het CRS-model het meest geschikt zijn. Vanuit een managementperspectief zal de focus veelal liggen op de mate waarin de schaal van activiteiten de productiviteit beïnvloedt, en zal VRS als model geprefereerd worden (Jacobs et al., 2006).

‫ ׀‬104 ‫׀‬

5. Uitdagingen voor slagkrachtige lokale besturen De evidente meerwaarde van prestatievergelijking, de identificatie van beste praktijken, de bijdrage hiervan voor het leren en het verbeteren in een organisatie, en het verhoogde potentieel voor publieke verantwoording, maken van benchmarking een aantrekkelijk instrument voor zowel de publieke als de private sector en een belangrijk aspect in het hedendaagse overheidsmanagement (Carter et al., 1995). Zodoende kan benchmarking ook in het traject naar slagkrachtige lokale overheden in Vlaanderen een essentiële rol spelen. Echter, uit de buitenlandse praktijken en onze casestudie van lokale benchmarking komen duidelijk de vereisten naar voren die zulke vormen van prestatiebeoordeling met zich meebrengen op vlak van type en beschikbaarheid van gegevens. Om tot waardevolle prestatiebeoordelingen te komen, dient er door de lokale besturen niet enkel gerapporteerd te worden over de aangewende en ingezette inputs (zowel financiële als fysieke middelen), eveneens dienen er kwantitatieve en kwalitatieve data voorhanden te zijn over de voortgebrachte prestaties (outputs), de gerealiseerde effecten19, en informatie omtrent de omgevingsfactoren (bv. institutionele, socio-economische en demografische karakteristieken) (Stroobants & Bouckaert, 2011a). Op basis van deze gegevens over inputs, outputs en effecten kan vervolgens informatie ontwikkeld worden over de kernaspecten van goede prestatiebeoordelingen, met name efficiëntie en (kosten)effectiviteit. Dit ‘logische model’, dat een alternatieve weergave is van het voorheen toegelichte MAPE-spectrum, wordt geïllustreerd in onderstaande figuur 16. Naast deze objectieve kengetallen incorporeren kwaliteitsvolle benchmarkingsinitiatieven ook subjectieve indicatoren. Om de prestaties van (lokale) overheden te kunnen benchmarken, in de tijd en in de ruimte, is het bovendien noodzakelijk dat te verzamelen informatie

19

Met de bemerking dat effecten vaak moeilijk (of onmogelijk) te meten zijn, onder meer omdat de uiteindelijke impact van het overheidsoptreden niet volledig onder controle valt van de overheid, maar eveneens beïnvloed worden door externe/oncontroleerbare factoren (Pollitt, 2000; Holzer et al., 2006; Behn, 2007).

‫ ׀‬105 ‫׀‬

op een recurrente en op een gestandaardiseerde wijze beschikbaar komt. Benchmarking heeft immers tot doel om intertemporele of interorganisationele vergelijkingen te maken, en dus is het essentieel dat de vereiste gegevens en/of kengetallen eenduidig en concreet worden gedefinieerd, om te voorkomen dat deze, naargelang het moment of naargelang de organisaties, op verschillende wijze zouden worden geïnterpreteerd. Bovenstaande datavereisten ten behoeve van het opzetten van een raamwerk voor lokale benchmarking vormen een grote uitdaging voor zowel de lokale als centrale overheden in Vlaanderen. Niet alleen dient er dus bepaald te worden welke input-, output- en effectgegevens relevant zijn om tot beoordelingen en vergelijkingen te komen voor een efficiënt, effectief en kwaliteitsvol lokaal bestuur. Eveneens dient verder geïnvesteerd te worden in een centraal platform die deze lokale dataverzameling en -verwerking op een consistente, recurrente en gestandaardiseerde manier kan bewerkstelligen (Stroobants & Bouckaert, 2011b). Figuur 16: Informatiebehoeften voor lokale benchmarking Omgeving

Output

Effectiviteit

Efficiëntie

Effect

Input Kosteneffectiviteit

Zuinigheid

Input

In onze gevallenstudie van openbare bibliotheken (cfr. hoofdstuk 4) hebben we aangetoond hoe er op basis van een uitgebreide, kwaliteitsvolle en publiek beschikbare databank, met recurrente gegevens over inputs (zowel

‫ ׀‬106 ‫׀‬

financiële data over uitgaven als fysieke data over personeelsaantallen), outputs (bv. uitleningen) en effecten (bv. bibliotheekparticipatie) tot prestatiebeoordelingen en -vergelijkingen kan gekomen worden over het hele spectrum van maatstaven zoals opgenomen in figuur 16. Om dit soort van benchmarking mogelijk te maken voor ‘alle’ lokale dienstverlening in Vlaanderen, zal de grootste uitdaging erin bestaan om de goede praktijk van dataverzameling die we terugvinden op vlak van openbare bibliotheken (met name de Bios2-databank) door te trekken naar alle andere beleidsvelden en lokale diensten. De nieuwe regels voor de beleids- en beheersrapportering (BBC) bieden hierbij bijkomende opportuniteiten om een benchmarkingsraamwerk voor de Vlaamse lokale besturen op te zetten. Deze nieuwe BBC-rapportering zal immers opgebouwd worden vanuit verplichte en gestandaardiseerde beleidsvelden (i.e. een verzameling van producten, activiteiten en middelen die vanuit politiek en maatschappelijk oogpunt een herkenbaar en samenhangend geheel vormen). Hierdoor vormt BBC een uitgelezen instrument om op een meer uniforme wijze relevante informatie vanuit de lokale besturen, zowel over de aangewende middelen als over de geleverde prestaties (en — in de mate van het mogelijke — effecten), te gaan verzamelen en te ontsluiten. Standaardisatie en uniformiteit van de datarapportering verhoogt zoals gezegd sterk de mogelijkheden voor (prestatie)vergelijkingen tussen en benchmarking van lokale besturen. Het strekt daarom tot aanbeveling om (al dan niet aangestuurd vanuit het centrale overheidsniveau) voor elk van de gestandaardiseerde beleidsvelden te bepalen welke gegevens gerapporteerd dienen te worden. Een andere grote, actuele uitdaging voor de lokale besturen in Vlaanderen, net als voor vele andere landen en overheden, is hoe benchmarking het best kan gebruikt worden, zeker in tijden van schaarste en besparingen op publieke uitgaven en van het terugdringen van publieke diensten. Het is daarbij essentieel in te zetten op een combinatie van benchmarking (en andere) instrumenten voor het verbeteren en versterken van de prestaties van lokale overheden (Grace, 2010). Aangezien ook de Vlaams minister van Binnenlands Bestuur in zijn beleidsbrief 2012-2013 aangeeft dat efficiëntieverhoging de voorkeur moet genieten op het verhogen van de belastingen of het indijken van investeringsuitgaven (Bourgeois, 2012), is het duidelijk dat vormen benchmarking van grote waarde kunnen zijn voor lokale besturen om domeinen van prestatieverhoging mee te helpen identificeren. Zodoende ‫ ׀‬107 ‫׀‬

is een belangrijke vraag hoe hier verder debatten aan gekoppeld kunnen worden die nuttig zijn voor het beleid en beheer in de lokale besturen. Benchmarking integreren in strategieën voor continue verbetering van de gemeentelijke activiteiten moet ook in Vlaanderen een doelstelling zijn.

‫ ׀‬108 ‫׀‬

Besluit Benchmarking is een term die vandaag de dag veelvuldig gebruikt wordt, en in feite twee verschillende betekenissen aanneemt, de ene al wat strikter dan de andere. In de breedste zin kunnen we benchmarking simpelweg begrijpen als het vergelijkend beoordelen van prestaties van entiteiten of actoren. In een meer strikte en specifieke benadering van het concept gaat benchmarking over het gebruik van prestatievergelijkingen als een instrument voor het identificeren en implementeren van meer efficiënte en effectieve praktijken. In de eerste betekenis is benchmarking dus eerder een beoordelingstechniek, in de laatste voornamelijk een methode van leren en aanpassen. Toegepast op de publieke sector en uitgaande van een brede benadering van benchmarking, waarbij het een instrument vormt dat deel uitmaakt van een breder geheel van prestatiemanagement, definiëren we benchmarking als het contextualiseren van de huidige prestaties van een overheidsorganisatie door vergelijkingen met andere, gelijkaardige organisaties of met het eigen verleden, met het oogmerk te verbeteren. De uitkomsten van benchmarking zijn daarbij niet enkel nuttig voor de organisatie zelf, maar bieden tegelijk potentieel om het afleggen van verantwoording naar hogere overheden, politici, burgers en andere belanghebbende partijen beter en breder mogelijk te maken. De evidente meerwaarde van benchmarking in het traject naar beter presterende organisaties en/of besturen, maken het instrument tot een belangrijk aspect in het hedendaagse overheidsmanagement, zo ook op het niveau van lokale overheden. Steeds meer worden lokale besturen aangemoedigd om zichzelf te vergelijken met andere lokale overheden, niet in het minst omwille van de verhoogde aandacht vanwege besluitvormers, burgers en media over hoeveel belastingsmiddelen er uitgegeven worden, en hoe dit geld besteed wordt. Raamwerken van ‘lokale benchmarking’ kunnen daarbij een verschillend institutioneel karakter aannemen. Enerzijds onderscheiden we een centralistische, top-down benadering, waarbij de centrale overheid aan de lokale overheden — al dan niet op verplichte basis — een bepaald systeem van prestatievergelijking aanreikt. Anderzijds bestaan er ook meer bottom‫ ׀‬109 ‫׀‬

up georganiseerde systemen van lokale benchmarking, waarbij er door de lokale besturen zelf (en veelal vanuit een reeds bestaande ‘vereniging van lokale besturen’) vrijwillige systemen voor prestatiebeoordeling en -vergelijking opgezet worden. Een tweede aspect waarop kaders van lokale benchmarking kunnen verschillen, is de focus van de prestatiemaatstaven die in de benchmarking zijn opgenomen. Immers, prestatiemetingen zijn in heel wat vormen terug te vinden zijn, gaande van loutere input-, werklast- of outputmetingen waarvan de betekenisvolle waarde beperkt is, tot efficiëntie- en effectiviteitsmetingen die een veel groter inzicht bieden in de performantie van het overheidsoptreden. Inzetten op deze kernaspecten van goede prestatiebeoordelingen bij benchmarking is dus aangewezen. Dit heeft uiteraard tot gevolg dat het benchmarken van overheidsprestaties de nodige vereisten met zich meebrengt op vlak van type en beschikbaarheid van de te verzamelen gegevens. Zo dient er niet enkel gerapporteerd te worden over de aangewende en ingezette inputs (zowel financiële als fysieke middelen), eveneens dienen er kwantitatieve en kwalitatieve data voorhanden te zijn over de voortgebrachte prestaties (outputs), de gerealiseerde effecten, en informatie omtrent de omgevingsfactoren. Op basis van deze gegevens kan vervolgens informatie ontwikkeld worden over de kernaspecten van goede prestatiebeoordelingen, met name efficiëntie en (kosten)effectiviteit. Daarnaast mogen ook de kwaliteit en klantentevredenheid (subjectieve indicatoren) niet vergeten worden als onderdeel van de benchmarkingskaders. Aangezien benchmarking tot doel heeft om intertemporele of interorganisationele vergelijkingen te maken, is het bovendien essentieel dat de vereiste gegevens en/of kengetallen op frequente tijdstippen verzameld worden, en eenduidig en concreet worden gedefinieerd, om te voorkomen dat deze, naargelang het moment of naargelang de organisaties, op verschillende wijze zouden worden geïnterpreteerd. Voor wat betreft benchmarking van de lokale besturen in Vlaanderen bieden de nieuwe regels voor de beleids- en beheersrapportering (BBC) een uitgelezen opportuniteit voor het systematisch, periodiek en centraal verzamelen van lokale data omtrent de ingezette middelen, uitgevoerde activiteiten en gerealiseerde prestaties. Op basis van de gegeneerde

‫ ׀‬110 ‫׀‬

informatie ontstaat de mogelijkheid om de prestaties van lokale overheden te gaan vergelijken, zowel overheen de tijd voor een bepaald lokaal bestuur als in relatie tot andere, gelijkaardige besturen. Benchmarking en prestatievergelijkingen van publieke sector organisaties op vlak van efficiëntie en effectiviteit vinden doorgaans plaats aan de hand van (enkelvoudige of samengestelde) indicatoren of kengetallen, zeker wanneer dit toegepast wordt in de beleidspraktijk. Nochtans kunnen ook alternatieve methoden aangereikt worden om de efficiëntie of (kosten)effectiviteit te meten en te beoordelen van een groep van vergelijkbare entiteiten. Meer bepaald kunnen met behulp van niet-parametrische grensmethoden, met name Free Disposal Hull (FDH) en Data Envelopment Analysis (DEA), observaties ten opzichte van elkaar geanalyseerd worden, wat maakt dat dit type van metingen in staat is om uitspraken te doen over de relatieve efficiëntie of effectiviteit van organisaties. In een uitgebreide casestudie die we in het voorliggend rapport hebben uitgevoerd, hebben we deze vorm van benchmarking geïllustreerd met de openbare bibliotheken als specifieke lokale, publieke, dienstverlenende organisatie. Met deze casestudie hebben we niet enkel op exemplarische wijze gedemonstreerd wat het potentieel is van niet-parametrische grensmethoden om de relatieve prestaties van lokale overheden voor een betreffende dienst in kaart te brengen, en hoe de uitkomsten geïnterpreteerd dienen te worden. Eveneens is hiermee aangetoond hoe de uitgebreide databank Bios2, waarin sinds 2006 tal van kengetallen terug te vinden zijn voor alle 309 openbare bibliotheken in Vlaanderen, een goede praktijk vormt van systematische, periodieke, gestandaardiseerde, centrale, digitale en publieke lokale dataverzameling. Om een brede ‘lokale benchmarking’ mogelijk te maken, voor ‘alle’ lokale dienstverlening in Vlaanderen, zal de grootste uitdaging erin bestaan om de goede praktijk van dataverzameling die we terugvinden voor de openbare bibliotheken door te trekken naar alle andere beleidsvelden en lokale diensten. Een andere grote, actuele uitdaging voor de lokale besturen in Vlaanderen, net als voor vele andere landen en overheden, is hoe benchmarking het best kan gebruikt worden, zeker in tijden van schaarste en besparingen op publieke uitgaven en van het terugdringen van publieke diensten. Het is

‫ ׀‬111 ‫׀‬

daarbij essentieel in te zetten op een combinatie van benchmarking (en andere) instrumenten voor het verbeteren en versterken van de prestaties van lokale overheden. Bovendien is een belangrijke vraag hoe hier verder debatten aan gekoppeld kunnen worden die nuttig zijn voor het beleid en beheer in de lokale besturen. Benchmarking integreren in strategieën voor continue verbetering van de gemeentelijke activiteiten moet ook in Vlaanderen een doelstelling zijn.

‫ ׀‬112 ‫׀‬

Bijlage 1: Prestatie-indicatoren voor lokale besturen in het Verenigd Koninkrijk a. Audit Commission Performance Indicators De Audit Commission Performance Indicators (ACPI’s), die in het Verenigd Koninkrijk tussen 1992-2000 gebruikt werden voor het benchmarken van prestaties van lokale besturen, werden onderverdeeld in 17 categorieën (Audit Commission, 2012a): Section A

Dealing with the public

Section B

Housing

Section C

Homelessness

Section D

Refuse collection

Section E

Waste disposal

Section F

Planning and land searches

Section G

Housing benefit and council tax benefit

Section H

Collecting local taxes

Section I

Leisure and recreation

Section J

The local environment

Section K

Education

Section L

Social services

Section M

Libraries

Section N

Police services

Section O

Fire services

Section P

Highways and streetlights

Section Q

Spending and income generally

‫ ׀‬113 ‫׀‬

b. Best Value Performance Indicators De Best Value Performance Indicators (BVPI’s), die na 2000 in de plaats kwamen van de voorgaande ACPI’s, beoordeelden de prestaties van de Britse lokale besturen op onderstaande domeinen van dienstverlening. Aangezien de indeling licht evolueerde doorheen de jaren, geven we in de tabel de indeling in het eerste jaar van de BVPI’s mee (2000/2001) en in het laatste jaar (2007/2008) (Audit Commission, 2012b): BVPI’s 2000/2001

BVPI’s 2007/2008

Corporate Health

Corporate Health

Education

Education

Social Services

Health & Social Care

Housing

Housing

Benefits

Housing Benefit and Council Tax Benefit

Air quality

Environment & Environmental Health

Litter Waste Management

Waste & Cleanliness

Transport

Transport

Planning

Planning

Culture

Culture and Related Services

Crime

Community Safety & Well-being

‫ ׀‬114 ‫׀‬

c. National Indicator Set De 198 indicatoren van de National Indicator Set (NIS), die geïmplementeerd werden in het Verenigd Koninkrijk tussen april 2008 en maart 2011 als instrument voor de centrale overheid om de prestaties van lokale besturen te managen, kenden een onderverdeling in vier hoofdthema’s die op hun beurt verder opgesplitst werden in tien subdomeinen (Audit Commission, 2012c): Hoofdthema’s Stronger and safer communities

Subthema’s Stronger Communities Safer Communities Be Healthy Stay Safe

Children and young people

Enjoy and Achieve Make a positive contribution Economic Well-being

Adult health and well-being

Adult health and well-being

Local economy and environmental sustainability

Local Economy Environmental Sustainability

‫ ׀‬115 ‫׀‬

d. Uittreksel ‘National Indicator Set’ We geven in onderstaande tabel een uittreksel weer van de in totaal 198 indicatoren uit de ‘National Indicator Set’, waarbij voornamelijk op output en effecten gestuurd wordt. NI 3

Civic participation in the local area

NI 5

Overall/general satisfaction with local area

NI 9

Use of public libraries

NI 10

Visits to museums and galleries

NI 15

Serious violent crime

NI 39

Rate of Hospital Admissions per 100,000 for Alcohol Related Harm

NI 47

People killed or seriously injured in road traffic accidents

NI 51

Effectiveness of child and adolescent mental health services

NI 71

Children who have run away from home/care overnight

NI 87

Secondary school persistent absence rate

NI 111

First time entrants to the Youth Justice System

NI 116

Proportion of children in poverty

NI 120

All-age all cause mortality rate

NI 123

Stopping smoking

NI 137

Healthy life expectancy at age 65

NI 141

Percentage of vulnerable people achieving independent living

NI 146

Adults with learning disabilities in employment

NI 154

Net additional homes provided

NI 166

Median earnings of employees in the area

NI 171

New business registration rate

NI 178

Bus services running on time

NI 186

Per capita reduction in CO2 emissions in the LA area

NI 191

Residual household waste per household

NI 198

Children travelling to school – mode of transport usually used

‫ ׀‬116 ‫׀‬

Bijlage 2: Gemeentelijke benchmarks in Nederland Via het informatieplatform ‘Waarstaatjegemeente.nl’ kunnen Nederlandse gemeenten hun prestaties meten en vergelijken met andere gemeenten (een voorbeeld van kengetallen wordt hieronder opgelijst). Op die manier zijn de gemeenten in staat om verbeterpunten in kaart te brengen. Op basis daarvan kunnen gemeenten vervolgens besluiten om deel te nemen aan een of meerdere van de beschikbare gemeentelijke benchmarks (KING, 2010b), veelal aangeboden en uitgevoerd door consultancy-organisaties. In totaal worden er in Nederland momenteel 46 gemeentelijke benchmarks aangeboden, verdeeld over de verschillende beleidsterreinen en domeinen van de gemeentelijke werking waarvoor kengetallen beschikbaar zijn op ‘Waarstaatjegemeente.nl’. In onderstaande tabel geven we een overzicht van deze beschikbare gemeentelijke benchmarks, binnen de verschillende beleidsdomeinen die ook als categorieën op het platform ‘Waarstaatjegemeente.nl’ gehanteerd worden. Algemeen bestuur en dienstverlening Benchmarking Publiekszaken Juridische functie Klantenmonitor Vergunningen Minder Regels Meer Service Shared Service Staf en Ondersteuning Gemeenten Telefonische bereikbaarheid Openbare orde en veiligheid Benchmark Sturen op Veiligheid Onderwijs en jeugd Jeugdbeleid Rmc Functie

‫ ׀‬117 ‫׀‬

Cultuur, recreatie en sport Sportbenchmark Werk en inkomen Re-integratie Blik op Werk Wet, werk en bijstand Maatschappelijke ondersteuning Wet Maatschappelijke Ondersteuning (WMO) WMO - Resultaten Omvang Overhead Welzijnsinstellingen WMO Kernindicatoren Welzijnsfunctie Publieke gezondheid Gemeentelijke gezondheidsdiensten (GGD’en) Milieu Afvalscheiding Afvalinzameling Rioleringszorg Nationale CO2 Ruimtelijke ordening en volkshuisvesting Bouw- en woningtoezicht RO-processen Gemeentelijk vastgoed Grondbedrijfstaken Financiën en belastingen Belastingoverleg Grote Gemeenten Benchmark Product Algemene Uitkering op het Web (Pauw) Financiële functie gemeenten

‫ ׀‬118 ‫׀‬

Uitvoering Wet Waardering Onroerende Zaken (WOZ) Bedrijfsvoering IT benchmark Lokale Overheid Benchmark ICT Organisatie en beheer GEO-informatie Omvang ambtelijk apparaat Vip-Com (communicatie) Benchmark Beloning en formatie Beheer basisregistraties Doelmatigheid subsidieverwerving Business and IT Alignment Informatiebeveiliging Meetmethodiek Kwaliteit facilitaire activiteiten Facilitaire benchmark Facilitaire kengetallen gemeenten InternetSpiegel Verkeer, vervoer en waterstaat Nog geen gemeentelijke benchmark beschikbaar Economische zaken Nog geen gemeentelijke benchmark beschikbaar

‫ ׀‬119 ‫׀‬

Uittreksel indicatoren op ‘Waarstaatjegemeente.nl’ In onderstaande tabel wordt bij wijze van voorbeeld een uittreksel weergegeven van kengetallen (zowel subjectieve burgeroordelen als feitelijke prestatie-informatie) waarop de Nederlandse gemeenten kunnen rapporteren en zichzelf kunnen vergelijken met andere gemeenten. Burgeroordelen Oordeel bezoeker over openingstijden Oordeel burgers over goed gemeentebestuur Oordeel burger verkeersveiligheid buurt Oordeel burger cultuur Oordeel burger groenvoorzieningen Oordeel burger afvalinzameling Oordeel over dienstverlening sociale dienst Prestatiegegevens Openingstijd publieksbalie % elektronische dienstverlening aan burgers Prijs identiteitskaart % inwoners dat zich 's avonds in de buurt onveilig voelt Misdrijven totaal Geregistreerde ongevallen totaal per 1.000 inwoners Aantal bedrijven % arbeidsongeschikten Kindersterfte (1-14) per 100.000 kinderen Aantal bezwaarschriften bouwvergunningen per 1.000 inwoners Aantal verkochte woningen Speelruimte (aantal 0-17 per ha) Inwoners Totaal allochtonen Gemiddelde huishoudgrootte

‫ ׀‬120 ‫׀‬

Bijlage 3: Duitse benchmarkingscirkels In Duitsland bestaat er sinds de jaren 1990, bottom-up en aangestuurd vanuit de Kommunale Gemeinschaftsstelle für Verwaltungsmanagement (KGSt), de mogelijkheid tot intergemeentelijke prestatievergelijkingen. Hiervoor werden zogenaamde ‘Interkommunale (IKO) Vergleichsringe’ of intergemeentelijke benchmarkingskringen ontwikkeld, waar gemeenten tot kunnen toetreden om op regionale en sectorale basis deel te nemen aan zulke vergelijkingsoefeningen (Wollmann, 2003). Momenteel bestaan er benchmarkingscirkels rond onderstaande thema’s (KGSt, 2012b): Thema’s Afvalwater

Jongerenwelzijn

Vreemdelingenzaken

Financiële dienst

Openbare werken

Voertuigen

Zwembaden

Kinderopvang

Brandweer

Parochie

Financieel management

Kleine gemeenten

Begraafplaatsen

Muziekscholen

Rijbewijzen

Personeelsmanagement

Facilitair management

Schuldbemiddeling

Gezondheidszorg

Sociale bijstand

Groendienst

Alimentatie

IT-dienst

Ondernemers

Integratie

‫ ׀‬121 ‫׀‬

Uittreksel KGSt ‘Interkommunale Vergleichsringe’-indicatoren We geven hieronder enkele voorbeelden weer van kengetallen die gebruikt worden in de IKO-benchmarkingscirkels. Productiekosten per steunaanvraag Personeelskosten per vergoedingsdossier Zorgontvanger per VTE Aantal kinderen in jeugdzorg per 1000 kinderen in de bevolking Kosten voor jeugdzorg per 1000 kinderen in de bevolking Verhouding tussen aantal leerlingen in de muziekschool en de bevolking Ambulante ondersteuning in het onderwijs Registraties van motorvoertuigen Aantal acties tegen schending van de vergunningseisen Aantal uitgegeven vergunningen Waterverbruik per bad-/saunabezoeker Werkloosheidsgraad Afgeronde en lopende educatieve ondersteuning per 10.000 -21-jarigen Kinderen in kinderopvang per totaal aantal kinderen in de bevolking

‫ ׀‬122 ‫׀‬

Bijlage 4: Het Canadese Ontario Municipal Benchmarking Initiative Het Ontario Municipal Benchmarking Initiative (OMBI) in Canada is een initiatief van lokale benchmarking dat gegevens verzamelt voor meer dan 850 maatstaven (omtrent efficiëntie en effectiviteit) over 37 domeinen van lokale dienstverlening. Deze domeinen worden onderverdeeld in enerzijds directe diensten naar de burgers, bedrijven en organisaties, en anderzijds ondersteunende diensten voor de werking van lokale besturen (OMBI, 2012): Direct Services

20

Sports and Recreation

1

Building Permits and Inspection

21

Transit

2

By-Law Enforcement

22

Waste Management

3

Child Care

23

Wastewater

4

Culture

24

Waste

5

Emergency Hostels

6

Emergency Medical Services

Support Services

7

Fire

1

Accounts Payable

8

General Government

2

Clerks

9

Libraries

3

Customer Service

10

Licensing

4

Facilities

11

Long Term Care

5

Fleet

12

Parking

6

General Revenue

13

Parks

7

Human Resources

14

Planning

8

Information Technology

15

POA (Court Services)

9

Investment Management

16

Police

10

Legal Services

17

Roads

11

Payroll

18

Social Assistance

12

Purchasing

19

Social Housing

13

Taxation

‫ ׀‬123 ‫׀‬

Uittreksel OMBI-indicatoren In onderstaande tabel worden, voor elk van de vier types van prestatiemaatstaven, voorbeelden van gehanteerde OMBI-indicatoren weergegeven. Service Level Total Cost for Culture Services including Grants per Capita Number of Parking Spaces Provided Number of Total Police Staff per 100,000 Population Tonnes of Solid Waste Disposed per Household Number of Social Housing Units per 1,000 Households Community Impact Arts Grants per Capita Percent of Ambulance Time Lost to Hospital Turnaround All Parkland in Municipality as a Percent of Total Area of Municipality Reported Number of Total Criminal Code Incidents per 100,000 Population Number of Conventional Transit Trips per Capita in Service Area Customer Service Average Nightly Bed Occupancy Rate of Emergency Shelters Fire Station Notification Response Time Long Term Care Resident Satisfaction % of Paved Lane Km where the Condition is Rated as Good to Very Good Percent of Invoices Paid within 30, 31-60, and over 60 Days Efficiency Roads Operating Cost per Lane Km Total Fire Cost per In-Service Vehicle Hour Library Operating Cost per Use Monthly Social Assistance Cost Per Case Operating Cost of Wastewater Collection/Conveyance per Km of Pipe

‫ ׀‬124 ‫׀‬

Bijlage 5: Efficiëntieanalyse van bibliotheken: specificatie van inputs en outputs In de wetenschappelijke literatuur zijn tal van studies terug te vinden die een bepaalde vorm van efficiëntieanalyse van bibliotheken20 inhouden. Daarbij komt een grote variatie aan geselecteerde inputs en outputs naar voren. In onderstaande tabel wordt op niet-exhaustieve wijze een aantal van deze studies opgelijst, waarbij de voor de betreffende efficiëntieanalyse gebruikte inputs en outputs worden aangegeven.

Referentie

Inputs

Chen (1997)

▪ ▪ ▪ ▪ ▪

20

Personeel Boekencollectie Uitgaven boekaankopen Bibliotheekruimte (m²) Capaciteit zitplaatsen

Outputs ▪ ▪ ▪ ▪ ▪ ▪

Aantal lezersbezoeken Boekencirculatie Aantal opzoekingstransacties Lezerstevredenheid Aantal openingsuren per jaar Interbibliothecaire diensten

Zonder onderscheid tussen publieke, private en academische bibliotheken ‫ ׀‬125 ‫׀‬

Mann (1998)

▪ ▪

Personeel Totale uitgaven

Vitaliano (1999)

▪

Totaal aantal items (boeken, audiovisueel, etc.) Totaal aantal operationele uren per week Aantal nieuw aangekochte boeken Aantal abonnementen* Collectie (totaal aantal materialen) Aantal VTE (excl. Conciërge, chauffeurs, studenten, veiligheidspersoneel) Totaal aantal dagen open voor het publiek per jaar Operationele (niet-personele) uitgaven Totale uitgaven Professionele staf Ondersteunende staf

▪

Sharma, Leung & Zane (1999)

▪ ▪ ▪ ▪

▪

Worthington (2000) Shim (2002)

21

▪ ▪ ▪ ▪

▪ ▪ ▪ ▪ ▪

Aantal items Aantal toegevoegde items per jaar Aantal abonnementen*21 Jaarlijkse totale circulatie van alle materialen Totaal aantal beantwoorde opzoekingsvragen

▪ ▪

Circulatie (totaal aantal ontleende items per jaar) Aantal bezoeken per jaar Totaal aantal opzoekingsvragen

▪ ▪ ▪

Totale circulatie Totale circulatie Aantal opzoekingstransacties

▪

*Abonnementen op ‘reeksen’ in de strikte zin van het woord: kranten, tijdschriften, jaarverslagen, etc.

‫ ׀‬126 ‫׀‬

▪ ▪ ▪

Hammond (2004)

▪ ▪ ▪ ▪

Reichmann (2006)

Hemmeter (2008)

▪ ▪ ▪ ▪

▪ ▪ ▪ ▪

Studenten staf Collectie Aantal items netto toegevoegd aan collectie Aantal aangekochte geschreven items Aantal abonnementen* Totaal aantal materialen (boeken, audiovisueel, etc.) Totaal aantal operationele uren per week Aantal nieuw aangekochte boeken Aantal abonnementen* Aantal VTE Boekencollectie

Operationele uitgaven Loonkosten personeel Collectie (totaal aantal materialen) Aantal vestigingen (centraal, decentraal, mobiel)

▪ ▪ ▪

Aantal interbibliothecaire uitleningen Aantal interbibliothecaire ontleningen Bibliotheekvormingen

▪

Totaal aantal items uitgeleend per jaar Aantal verwerkte aanvragen Aantal verwerkte verzoeken voor specifieke items

▪ ▪

▪ ▪ ▪ ▪ ▪ ▪ ▪

Aantal boeken toegevoegd aan collectie Aantal openingsuren per week Circulatie Aantal abonnementen* Circulatie Totaal aantal openingsuren per jaar Aantal bezoeken per collectie

‫ ׀‬127 ‫׀‬

Cho (2011)

De Witte & Geys (2011)

Noh (2011b)

‫ ׀‬128 ‫׀‬

▪ ▪ ▪ ▪ ▪ ▪ ▪

Aantal VTE Bibliotheekruimte (m²) Jaarlijks toegewezen budget Aantal boeken Personeelskosten Operationele uitgaven Infrastructuur

▪ ▪ ▪ ▪ ▪ ▪ ▪ ▪ ▪ ▪ ▪

Jaarlijks toegewezen budget Aantal bibliothecarissen Bibliotheekruimte (m²) Aantal boeken Aantal abonnementen* Aantal elektronische tijdschriften Aantal webdatabanken Aantal elektronische boeken Aantal niet-boek materialen Aantal computers in de bibliotheek Aantal opgebouwde databanken

▪ ▪ ▪ ▪ ▪ ▪ ▪ ▪ ▪ ▪ ▪

Aantal bezoekers Aantal boekontleningen Aantal boeken voor ont- en uitleningen Aantal jeugdboeken Aantal fictie- en non-fictieboeken Aantal andere media (cd, dvd, vhs, cdrom) Totaal aantal openingsuren per week Circulatie Aantal (fysieke) bezoekers per jaar Aantal website bezoekers per jaar Aantal webdatabank bezoeken per jaar

Bijlage 6: Data casestudie a.

13 centrumsteden, gegevens voor jaar 2010 Uitgaven

Aantal uitleningen

Personeel (VTE)

Aalst

2.733.696

723.588

45,11

Antwerpen

13.752.176

3.426.165

197,07

Brugge

6.148.065

967.385

81,53

Genk

2.357.534

589.364

31,35

Gent

6.470.591

1.829.793

99,42

Hasselt

5.609.055

1.210.190

90,41

Kortrijk

2.309.026

818.742

38,34

Leuven

3.998.846

1.193.065

46,78

Mechelen

1.605.519

585.608

21,7

Oostende

2.127.507

876.297

32,41

Roeselare

1.954.385

683.708

36,22

Sint-Niklaas

2.921.784

606.624

44,95

Turnhout

1.850.847

501.292

29,45

Collectie-uitgaven

Personeel (uitgav.)

Infrastructuur

Aalst

284.576,33

2.243.173,35

35.245,82

Antwerpen

1.161.697,3

10.507.120,9

880.820,48

Brugge

545.586,96

3.798.936,81

347.789,24

Genk

344.474,95

1.395.232,19

174.182,15

Gent

657.260

5.710.151,77

294.604,9

Hasselt

747.865,8

3.976.878,35

476.671,99

Kortrijk

292.125

1.812.552,37

93.329

Leuven

305.028,78

2.917.572,27

192.548,04

Mechelen

184.089,99

1.128.273,1

131.024,54

Oostende

293.142,9

1.364.751,2

157.033,01

Roeselare

334.794,61

1.350.348,18

88.658,32

Sint-Niklaas

278.885,8

2.190.364,26

165.047,74

Turnhout

281.211

1.059.120,77

214.153,49

‫ ׀‬129 ‫׀‬

Uitgaven werking

Openingsuren

Jeugdboeken

Aalst

49.665,62

90

73.639

Antwerpen

392.787,3

615

425.860

Brugge

266.822,6

214,5

128.011

Genk

110.670,1

101,5

79.984

Gent

140.182,7

211

146.242

Hasselt

274.999,6

122

139.067

Kortrijk

61.243

121,5

134.747

Leuven

173.428,7

116,75

41.184

Mechelen

108.926,3

97,25

42.925

Oostende

117.962

67

76.019

Roeselare

104.580,2

150

89.343

Sint-Niklaas

167.508,6

129,5

75.260

Turnhout

125.343,3

57

46.045

Fictie+non-fictie

totaal AVM

Aalst

108.587

69.939

Antwerpen

513.221

301.080

Brugge

189.856

46.620

Genk

106.470

58.148

Gent

232.848

76.989

Hasselt

244.160

74.363

Kortrijk

110.185

131.632

Leuven

122.615

57.109

Mechelen

76.471

40.144

Oostende

103.757

67.008

Roeselare

171.703

60.566

Sint-Niklaas

99.683

37.653

Turnhout

71.915

27.909

‫ ׀‬130 ‫׀‬

b.

13 centrumsteden, gegevens voor jaren 2006-2010

2006

Uitgaven

Aantal uitleningen

Aalst

2.203.523

544.669

Antwerpen

14.593.340

3.588.138

Brugge

4.352.352

1.136.640

Genk

1.823.426

490.599

Gent

6.074.321

2.078.892

Hasselt

4.573.645

1.128.230

Kortrijk

2.238.131

909.649

Leuven

5.511.482

842.493

Mechelen

1.593.040

663.454

Oostende

2.484.755

780.333

Roeselare

2.020.704

712.681

Sint-Niklaas

2.624.493

709.109

Turnhout

1.413.993

558.133

2007

Uitgaven

Aantal uitleningen

Aalst

2.203.523

544.669

Antwerpen

14.925.105

3.478.365

Brugge

4.447.114

1.138.068

Genk

3.073.311

474.482

Gent

6.395.514

2.104.817

Hasselt

3.639.176

1.171.547

Kortrijk

2.170.946

781.230

Leuven

4.362.770

1.260.439

Mechelen

1.573.145

674.811

Oostende

2.274.926

835.174

Roeselare

3.865.934

707.056

Sint-Niklaas

2.635.172

672.944

Turnhout

1.467.326

548.439

‫ ׀‬131 ‫׀‬

2008

Uitgaven

Aantal uitleningen

Aalst

2.570.412

524.025

Antwerpen

19.709.030

3.395.493

Brugge

4.972.591

1.148.269

Genk

3.511.855

496.833

Gent

6.282.158

1.996.906

Hasselt

5.276.395

1.189.483

Kortrijk

2.323.871

723.701

Leuven

3.442.695

1.262.018

Mechelen

1.563.205

691.330

Oostende

1.947.345

890.996

Roeselare

7.181.190

671.474

Sint-Niklaas

2.710.082

663.804

Turnhout

1.489.287

568.421

2009

Uitgaven

Aantal uitleningen

Aalst

2.639.127

708.473

Antwerpen

16.794.090

3.357.680

Brugge

4.604.455

1.113.481

Genk

2.279.067

596.431

Gent

5.978.177

1.908.717

Hasselt

5.208.077

1.269.152

Kortrijk

2.408.613

751.180

Leuven

3.534.069

1.248.422

Mechelen

1.637.735

639.502

Oostende

2.022.497

874.698

Roeselare

2.645.762

681.583

Sint-Niklaas

2.698.107

642.323

Turnhout

1.549.533

565.507

‫ ׀‬132 ‫׀‬

2010

Uitgaven

Aantal uitleningen

Aalst

2.733.696

723.588

Antwerpen

13.752.176

3.426.165

Brugge

6.148.065

967.385

Genk

2.357.534

589.364

Gent

6.470.591

1.829.793

Hasselt

5.609.055

1.210.190

Kortrijk

2.309.026

818.742

Leuven

3.998.846

1.193.065

Mechelen

1.605.519

585.608

Oostende

2.127.507

876.297

Roeselare

1.954.385

683.708

Sint-Niklaas

2.921.784

606.624

Turnhout

1.850.847

501.292

c.

79 woongemeenten, gegevens voor jaar 2010

2010 Aartselaar

Uitgaven 691.332

Aantal Uitleningen 162.543

Affligem

163.640

35.135

Begijnendijk

294.307

47.833

Bertem

212.601

77.895

Bierbeek

236.358

130.381

Boechout

475.912

231.787

Bonheiden

444.193

124.581

Borsbeek

299.719

82.917

Boutersem

234.877

71.221

Brasschaat

1.067.767

335.023

Buggenhout

371.940

158.825

De Pinte

193.367

78.704

Destelbergen

348.071

105.916

Edegem

614.883

154.249

Erpe-Mere

421.165

123.763

‫ ׀‬133 ‫׀‬

Gavere

471.541

215.869

Haacht-Boortmeerbeek

815.206

176.809

Herent

363.682

204.601

Holsbeek

227.490

165.220

Hove

278.964

72.329

Huldenberg

108.402

24.533

Jabbeke

332.544

124.080

Kalmthout

532.705

199.777

Kapellen

819.036

242.171

Keerbergen

377.312

103.466

Kontich

537.070

173.915

Kortenberg

560.246

168.505

Lennik

153.171

34.290

Lint

195.864

50.544

Lovendegem

210.340

77.593

Lubbeek

396.935

128.412

Melle

302.402

130.162

Merelbeke

738.826

254.189

Mortsel

558.817

189.804

Aartselaar

691.332

162.543

Asse

750.163

204.988

Beersel

903.271

150.596

Dilbeek

878.528

340.392

Grimbergen

690.133

250.971

Grobbendonk

296.961

74.433

Hoeilaart

178.689

93.034

Kampenhout

238.612

70.586

Kapelle-op-den-Bos

174.165

66.328

Londerzeel

468.277

121.627

Machelen

329.187

82.406

Meise

465.729

81.524

Merchtem

522.051

113.380

‫ ׀‬134 ‫׀‬

Nazareth

364.354

178.887

Nevele

276.327

99.631

Nijlen

406.572

133.501

Oosterzele

477.201

157.130

Opwijk

202.988

57.181

Oud-Heverlee

404.091

99.771

Oud-Turnhout

263.794

88.907

Overijse

392.381

69.471

Putte

350.023

76.371

Ranst

306.902

153.689

Roosdaal

167.167

76.682

Rotselaar

316.536

111.018

Schilde

463.487

157.569

Schoten

1.034.456

280.414

Sint-Katelijne-Waver

458.526

175.849

Sint-Lievens-Houtem

246.750

81.713

Sint-Martens-Latem

232.779

68.687

Sint-Pieters-Leeuw

562.780

198.333

Steenokkerzeel

263.586

80.035

Ternat

238.254

85.295

Tervuren

529.090

134.303

Tremelo

295.895

106.026

Vosselaar

232.957

74.597

Waasmunster

211.924

64.325

Wemmel

255.326

51.382

Wijnegem

168.800

53.535

Wommelgem

162.325

168.143

Zandhoven

399.294

81.875

Zaventem

611.466

153.543

Zemst

429.677

154.041

Zingem

147.231

65.274

Zoersel

743.086

169.373

‫ ׀‬135 ‫׀‬

d.

13 centrumsteden, gegevens voor 2010

Aalst

Openingsuren /1000 inw. I 1,124396

Uitgaven per capitaII 34,153

Bibliotheekparticipatie* 44,6

Antwerpen

1,271962

28,443

47,9

Brugge

1,837401

52,664

52,7

Genk

1,567398

36,406

58,6

Gent

0,867007

26,588

51,7

Hasselt

1,6697

76,766

57,4

Kortrijk

1,621925

30,824

45

Leuven

1,222987

41,889

55,7

Mechelen

1,201507

19,836

42,6

Oostende

0,970115

30,805

59

Roeselare

2,611784

34,030

51,6

Sint-Niklaas

1,80347

40,690

51,7

Turnhout

1,398327

45,405

47,6

2010

I

: berekening op basis van kengetallen ‘openingsuren’ en ‘inwonertal’ : berekening op basis van kengetallen ‘uitgaven’ en ‘inwonertal’ * Bron: stadsmonitor 2011 (ABB, 2011a) II

Bron: www.bibliotheekstatistieken.be/

‫ ׀‬136 ‫׀‬

Referenties 1.

ABB (2011a). Stadsmonitor 2011. Brussel: Agentschap voor Binnenlands Bestuur.

2.

ABB (2011b). Themanummer Profielschets. BinnenBand, 16 (73).

3.

Abma, K. (2012). Beoordelen van gemeenten. Nijmegen: Wolf Legal Publishers.

4.

Afonso, A. & Fernandes, S. (2006). Measuring Local Government Spending Efficiency: Evidence for the Lisbon Region. Regional Studies, 40 (1), 39-53.

5.

Ammons, D. (1997). Raising the Performance Bar... Locally. Public Management, 79 (9), 10-16.

6.

Ammons, D. (2001). Municipal Benchmarks: Assessing Local Performance and Establishing Community Standards. Thousand Oaks, CA: Sage Publications.

7.

Anand, G. & Kodali, R. (2008). Benchmarking the benchmarking models. Benchmarking: An International Journal, 15 (3), 257-291.

8.

Askim, J., Johnsen, Å. & Christophersen, K.-A. (2007). Factors behind Organizational Learning from Benchmarking: Experiences from Norwegian Municipal Benchmarking Networks. Journal of Public Administration Research and Theory, 18 (2), 297-320.

9.

Audit Commission (1999). Best Assured: The Role of the Audit Commission in Best Value. London: Audit Commission.

10.

Audit Commission (2012a). Audit Commission Performance Indicators. http://www.audit-commission.gov.uk/performanceinformation/performance-data-collections-and-guidance/pages/acperformance-indicators.aspx.

11.

Audit Commission (2012b). Best Value Performance Indicators. http://www.audit-commission.gov.uk/performanceinformation/performance-data-collections-and-guidance/pages/best-valueperformance-indicators.aspx.

‫ ׀‬137 ‫׀‬

12.

Audit Commission (2012c). National Indicator Set. http://www.auditcommission.gov.uk/performance-information/performance-data-collectionsand-guidance/nis/Pages/NIShandbookofdefinitions.aspx.

13.

Behn, R. D. (2003). Why Measure Performance? Different Purposes Require Different Measures. Public Administration Review, 63 (5), 586-606.

14.

Behn, R. D. (2007). What all mayors would like to know about Baltimore's CitiStat performance strategy. Washington, D.C.: IBM Center for the Business of Government.

15.

Berg, S. V. (2010). Water Utility Benchmarking: Measurement, Methodologies, and Performance Incentives. London: IWA Publishing.

16.

Bhutta, K. S. & Huq, F. (1999). Benchmarking - best practices: an integrated approach. Benchmarking: An International Journal, 6 (3), 254-268.

17.

Bird, R. M. & Slack, E. (2004). Fiscal Aspects of Metropolitan Governance. ITP Paper 0401, International Tax Program, Rotman School of Management, University of Toronto.

18.

Bouckaert, G. & Auwers, T. (1999). Prestaties meten in de overheid. Brugge: Die Keure.

19.

Bouckaert, G., De Peuter, B. & Van Dooren, W. (2003). Meten en vergelijken van lokale bestuurlijke ontwikkeling: een monitoringsysteem voor het lokaal bestuur in Vlaanderen. Brugge: die Keure.

20.

Bouckaert, G., Oomsles, P. & Stroobants, J. (2011). Overheid, management en omgeving. In: G. Bouckaert, A. Hondeghem, J. Voets, S. Op de beeck & E. Cautaert (Eds.), Handboek Overheidsmanagement: Overheid in beweging (pp. 9-37). Brugge: Vanden Broele.

21.

Bourgeois, G. (2011). Beleidsbrief Binnenlands Bestuur 2011-2012. Brussel: Vlaamse Overheid.

22.

Bourgeois, G. (2012). Beleidsbrief Binnenlands Bestuur 2012-2013. Brussel: Vlaamse Overheid.

23.

Bovaird, T. & Löffler, E. (2009). Public Management and Governance (2nd ed.). London: Routledge.

‫ ׀‬138 ‫׀‬

24.

Bowerman, M. (1995). Auditing performance indicators: the role of the Audit Commission in the Citizen's Charter initiative. Financial Accountability & Management, 11 (2), 171-183.

25.

Bowerman, M., Ball, A. & Francis, G. (2001). Benchmarking as a tool for the modernisation of local government. Financial Accountability & Management, 17 (4), 321-329.

26.

Boyne, G. A. (1997). Comparing the performance of local authorities: An evaluation of the audit commission indicators. Local government studies, 23 (4), 17-43.

27.

Boyne, G. A. (2002). Concepts and Indicators of Local Authority Performance: An Evaluation of the Statutory Frameworks in England and Wales. Public Money & Management, 22 (2), 17-24.

28.

Boyne, G. A., Meier, K. J., O'Toole Jr, L. J. & Walker, R. M. (2006). Public Service Performance: Perspectives on Measurement and Management. Cambridge: Cambridge University Press.

29.

Buxton, R. C. & Radnor, Z. (2012). How do they do it? Understanding back office efficiency savings made by English councils. International Journal o Public Sector management, 25 (2), 118-132.

30.

Carter, N., Klein, R. & Day, P. (1995). How Organisations Measure Success: The Use of Performance Indicators in Government. London: Routledge.

31.

Cho, S. (2008). An analysis of the relative efficiency for the National University Libraries using DEA model. The Journal of Korea Library Information Science Society, 40 (1), 253-279.

32.

DCLG (2008). National Indicators for Local Authorities and Local Authority Partnerships: Handbook of Definitions. London: Department for Communities and Local Government.

33.

DCLG (2011). Future of Local Public Audit: Consultation. London: Department for Communities and Local Government.

34.

DCLG (2012). Councils' red tape cut as 4,700 Whitehall targets slashed. http://www.communities.gov.uk/newsstories/newsroom/1740503.

‫ ׀‬139 ‫׀‬

35.

De Borger, B. & Kerstens, K. (1996). Cost efficiency of Belgian local governments: A comparative analysis of FDH, DEA, and econometric approaches. Regional Science and Urban Economics, 26 (2), 145-170.

36.

de Lancer Julnes, P. & Holzer, M. (2008). Performance Measurement: Building Theory, Improving Practice. New York: M.E. Sharpe.

37.

De Witte, K. & Geys, B. (2011). Evaluating efficient public good provision: Theory and evidence from a generalised conditional efficiency model for public libraries. Journal of Urban Economics, 69 (3), 319-327.

38.

de Wolff, G. N. M. (2011). Invloed van strategische prestatiesturing op de performance van gemeenten. Heerlen: Open Universiteit Nederland.

39.

DETR (1998). Modern local government: in touch with the people. London: Department of Environment, Transport and the Regions.

40.

Dexia (2007). Problematiek van de classificatie van de gemeenten. https://www.dexia.be/nocms/documents/Professioneel/PublicFinance/studi es/Typologie_prob_nl.pdf.

41.

Downe, J., Grace, C., Martin, S. & Nutley, S. (2007). Performance regimes in England, Scotland and Wales. In: Comparing for improvement (pp. 7-20). London: SOLACE Foundation Imprint.

42.

Finlay, S. (2007). Ontario's performance improvement regimes. In: Comparing for improvement (pp. 72-74). London: SOLACE Foundation Imprint.

43.

Grace, C. (2010). From the improvement end of the telescope: benchmarking and accountability in UK local government. In: A. Fenna & F. Knüpling (Eds.), Benchmarking in Federal Systems, Roundtable Proceedings, Melbourne, 19-20 December 2010 (pp. 41-60). Canberra: Productivity Commission.

44.

Halligan, J., Sarrico, C. S. & Rhodes, M. L. (2012). On the road to performance governance in the public domain? International Journal of Productivity and Performance Management, 61 (3), 224-234.

45.

Hammond, C. J. (2002). Efficiency in the provision of public services: a data envelopment analysis of UK public library systems. Applied Economics, 34 (5), 649-657.

‫ ׀‬140 ‫׀‬

46.

Hemmeter, J. A. (2006). Estimating Public Library Efficiency Using Stochastic Frontiers. Public Finance Review, 34 (4), 328-348.

47.

Holzer, M., Fry, J., Charbonneau, E., Riccucci, N., Kwak, S. & Burnash, E. (2006). Literature Review and Analysis Related to Measurement of Local Government Efficiency. Newark: Rutgers School of Public Affairs and Administration.

48.

Jacobs, R., Smith, P. C. & Street, A. (2006). Measuring Efficiency in Health Care: Analytic Techniques and Health Policy. Cambridge: Cambridge University Press.

49.

KGSt (2012a). Vergleichsringe - Kommunales Benchmarking. https://www.kgst.de/dienstleistungen/benchmarking/.

50.

KGSt (2012b). Vergleichsringe nach Themen. http://www.kgst.de/dienstleistungen/benchmarking/bereiche-nachthemen.dot.

51.

KING (2010a). Gemeentelijke Benchmarkgids 2010. Den Haag: Kwaliteitsinstituut Nederlandse Gemeenten.

52.

KING (2010b). Het Certificeren van Benchmarks door KING. Den Haag: Kwaliteitsinstituut Nederlandse Gemeenten.

53.

KING (2011). Over KING. http://www.kinggemeenten.nl/kingkwaliteitsinstituut-nederlandse-gemeenten/over-king.

54.

KING (2012). Van data naar sturingsinformatie (whitepaper). Den Haag: Kwaliteitsinstituut Nederlandse Gemeenten.

55.

Kouzmin, A., Löffler, E., Klages, H. & Korac-Kakabadse, N. (1999). Benchmarking and performance measurement in public sectors. Towards learning for agency effectiveness. The international journal of public sector management, 12 (2), 121-144.

56.

Kuhlmann, S. (2010). Performance Measurement in European local governments: a comparative analysis of reform experiences in Great Britain, France, Sweden and Germany. International Review of Administrative Sciences, 76 (2), 331-345.

‫ ׀‬141 ‫׀‬

57.

Kurunmäki, L. & Miller, P. (2006). Modernising government: the calculating self, hybridisation and performance measurement. Financial Accountability & Management, 22 (1), 87-106.

58.

Kyrö, P. (2003). Revising the concept and forms of benchmarking. Benchmarking: An International Journal, 10 (3), 210-225.

59.

Lokale Statistieken (2011). 13 centrumsteden. http://aps.vlaanderen.be/lokaal/beleidsplannen/13steden.html.

60.

Mann, G. M. (1997). Efficiency Evaluations of North American University Libraries by Data Envelopment Analysis. McGill University, Montreal.

61.

Mayes, D., Harris, C. & Lansbury, M. (1994). Inefficiency in Industry. London: Harvester Wheatsheaf.

62.

Newcom (2011). WaarStaatJeGemeente. http://www.newcomresearch.nl/initiatieven/waarstaatjegemeente.

63.

Noh, Y. (2011). Evaluation of the resource utilization efficiency of university libraries using DEA techniques and a proposal of alternative evaluation variables. Library Hi Tech, 29 (4), 697-724.

64.

OMBI (2010). 2009 Performance Benchmarking Report. Thorold, Ontario: Ontario Municipial Benchamrking Initiative.

65.

OMBI (2011). 2010 Performance Benchmarking Report. Thorold, Ontario: Ontario Municipial Benchamrking Initiative.

66.

OMBI (2012). OMBI Overview. http://www.ombi.ca/resources/?did=17.

67.

Pollitt, C. (2000). Is the emperor in his underwear? An analysis of the impacts of public management reform. Public Management, 2 (2), 181-199.

68.

PON & Deloitte (2011). Waarstaatjegemeente.nl Burgerrollen. http://waarstaatjegemeente.hetpon.nl/index.php?category0=het_project.

69.

Putters, K., Grit, K. J., Janssen, M. C. W., Schmidt, D. & Meurs, P. L. (2010). Governance of local care and social service. An evaluation of the implementation of the Wmo in the Netherlands. Rotterdam: Institute of Health Policy & Management, Erasmus University Rotterdam.

‫ ׀‬142 ‫׀‬

70.

Reichard, C. (2003). Local public management reforms in Germany. Public administration, 81 (2), 345-363.

71.

Reichmann, G. (2004). Measuring University Library Efficiency Using Data Envelopment Analysis. Libri, 54 (2), 136-146.

72.

Rhodes, R. A. W. (1994). The hollowing out of the state: The changing nature of the public service in Britain. The Political Quarterly, 65 (2), 138-151.

73.

Sanderson, I. (2001). Performance Management, Evaluation and Learning in 'Modern' Local Government. Public administration, 79 (2), 297-313.

74.

Schatteman, A. M. & Charbonneau, E. (2010). A comparative study of municipal performance measurement systems in Ontario and Quebec, Canada. International Journal of Public Sector Performance Management, 1 (4), 360-375.

75.

Sharma, K. R., Leung, P. & Zane, L. (1999). Performance measurement of Hawaii State public libraries: an application of data envelopment analysis (DEA). Agricultural and Resource Economics Review, 28 (2), 190-198.

76.

Shim, W. (2000). Assessing technical efficiency of research libraries. Advances in Library Administration and Organization, 17, 243-339.

77.

Smith, P. C. (1996). Measuring Outcome in the Public Sector. London: Taylor and Francis.

78.

Smith, P. C. & Street, A. (2005). Measuring the Efficiency of Public Services: The Limits of Analysis. Journal of the Royal Statistical Society: Series A, 168 (2), 401-417.

79.

Stade Advies (2008). Waar staat je gemeente. http://www.ezine.stadeadvies.nl/stadeadviesstadium_nl/88c0b7e16e15bfe9e5e6dca532deec4a.php.

80.

Stroobants, J. & Bouckaert, G. (2011a). Efficiëntie meten in de publieke sector: Methodologieën en toepassingen op lokale besturen. Leuven: Steunpunt Bestuurlijke Organisatie Vlaanderen.

81.

Stroobants, J. & Bouckaert, G. (2011b). Naar een centraal informatieplatform met lokale data: een analyse van beïnvloedende factoren en exploitatiemogelijkheden. Leuven: Steunpunt Bestuurlijke Organisatie Vlaanderen.

‫ ׀‬143 ‫׀‬

82.

Van Dooren, W., Bouckaert, G. & Halligan, J. (2010). Performance Management in the Public Sector. London: Routledge.

83.

van Helden, G. J. & Tillema, S. (2005). In Search of a Benchmarking Theory for the Public Sector. Financial Accountability & Management, 21 (3), 337361.

84.

Vitaliano, D. F. (1998). Assessing Public Library Efficiency Using Data Envelopment Analysis. Annals of public and cooperative economics, 69 (1), 107-122.

85.

Vogel, R. & Frost, J. (2009). Innovating in the German Public Sector: How a Think Tank Frames the Debate on NPM. The Innovation Journal: The Public Sector Innovation Journal, 14 (2).

86.

Waarstaatjegemeente.nl (2011). Benchmarking in KING. http://www.waarstaatjegemeente.nl/?id=139.

87.

Wollmann, H. (2003). Evaluation and public-sector reform in Germany: Leaps and Lags. In: H. Wollmann (Ed.), Evaluation in Public-sector Reform: Concepts and Practice in International Perspective (pp. 118-139). Cheltenham, UK: Edward Elgar Publishing.

88.

Worthington, A. (1999). Performance Indicators and Efficiency Measurement in Public Libraries. Australian Economic Review, 32 (1), 31-42.

89.

Worthington, A. & Dollery, B. (2000). An Empirical Survey of Frontier Efficiency Measurement Techniques in Local Government. Local government studies, 26 (2), 23-52.

‫ ׀‬144 ‫׀‬

Beleidsaanbevelingen ▪

Benchmarking kan slagkrachtige lokale vereisten met zich lokale informatie, Vlaanderen.

een essentiële rol spelen in het traject naar overheden in Vlaanderen, maar brengt duidelijke mee op vlak van type en beschikbaarheid van waaraan momenteel niet voldaan wordt in

▪

Immers, om tot waardevolle prestatiebeoordelingen en –vergelijkingen te komen — waarbij de kernaspecten efficiëntie, effectiviteit, kwaliteit en klantentevredenheid zijn — dient niet enkel gerapporteerd te worden over de aangewende (financiële en fysieke) middelen. Eveneens dienen er kwantitatieve en kwalitatieve, objectieve en subjectieve data voorhanden te zijn over de voortgebrachte outputs, de gerealiseerde effecten en informatie over de omgevingsfactoren (bv. socio-economische en demografische karakteristieken). In Vlaanderen zijn de momenteel verzamelde lokale data ontoereikend om een benchmarking op vlak van deze kernaspecten van prestaties te kunnen realiseren.

▪

Echter, de interactieve en publiek toegankelijke databank Bios2, die meer dan 140 kengetallen bevat waarop sinds 2006 gerapporteerd wordt door alle 309 openbare bibliotheken in Vlaanderen, vormt een goede praktijk van dataverzameling en -rapportering voor benchmarkingsdoeleinden. Er worden gegevens verzameld over de inputs, outputs en effecten van de openbare bibliotheken, net als over enkele omgevingskarakteristieken. Het strekt tot aanbeveling dergelijke systematische, recurrente, gestandaardiseerde, digitale en publieke dataverzameling uit te breiden naar andere domeinen van (lokale) dienstverlening in Vlaanderen.

▪

Vlaanderen kan leren uit goede praktijken van lokale benchmarking in het buitenland. De burgeroordelen in Nederland, de focus op effecten in het Verenigd Koninkrijk en de vier types van prestatiemaatstaven in Canada bieden elk een meerwaarde om van naderbij te bekijken.

▪

De nieuwe regels voor de beleids- en beheerscyclus van de lokale overheden, om een meer resultaatsgericht financieel management ‫ ׀‬145 ‫׀‬

mogelijk te maken, en de digitale rapportering van deze BBC-cyclus, bieden een opstap om tot een meer systematische en periodieke invulling van geselecteerde prestatiemaatstaven te komen. ▪

Standaardisatie en uniformiteit van de te verzamelen gegevens bij de verschillende lokale overheden is onontbeerlijk om benchmarking tussen verschillende besturen mogelijk en zinvol te maken. Er zal dus een duidelijke definiëring beschikbaar moeten komen van de geselecteerde indicatoren of kengetallen waarop door de lokale besturen gerapporteerd moet worden.

▪

Er dient verder geïnvesteerd te worden in een centraal platform van databanken die deze lokale dataverzameling en -verwerking op een consistente manier kan bewerkstelligen. Het portaal ‘Lokale Statistieken’ vormt een uitgelezen vertrekpunt, maar bevat momenteel voornamelijk input- en omgevingsinformatie, waardoor echte prestatievergelijkingen nog niet gerealiseerd kunnen worden.

▪

Benchmarking van publieke sector organisaties vinden doorgaans plaats aan de hand van (enkelvoudige of samengestelde) indicatoren of kengetallen, zeker wanneer dit toegepast wordt in de beleidspraktijk. Nochtans kunnen ook niet-parametrische grensmethoden ingezet worden om de prestaties van een groep van vergelijkbare entiteiten te meten en te beoordelen.

▪

Benchmarking integreren in strategieën voor continue verbetering van de gemeentelijke activiteiten moet ook in Vlaanderen een doelstelling zijn.

‫ ׀‬146 ‫׀‬