Opvolgen en evalueren van het beleid

Handleiding

Opvolgen en evalueren van het beleid

Ministerie van de Vlaamse Gemeenschap Administratie Planning en Statistiek oktober 2002

Inhoud Voorwoord ....................................................... 3 Plaatsbepaling van opvolging en evaluatie in de beleids- en beheerscyclus ....................................... 4 1. Deelprocessen ........................................................4 2. Opvolgen en evalueren ................................................5 3. Inbedding van opvolging en evaluatie in het strategisch en operationeel management ...........................................6

Evaluatieonderzoek ............................................. 10 1. Waarom is evaluatieonderzoek nodig? .................................10 2. Soorten evaluatieonderzoek ..........................................11 multidisciplinaire benadering 11 niveau van benadering 11 betrokkenheid van actoren 12 tijdstip van onderzoek in relatie tot beleidscyclus 12

Opvolging op basis van indicatoren (monitoring) ................ 16 1. Waarom indicatoren? .................................................16 2. Soorten indicatoren .................................................17

Opvolging als een proces ....................................... 20 1. Een proces in stappen ...............................................20 Stap O Initiëren van de beleidsopvolging ................................21 Stap 1 Definitie van strategische doelen en na te streven beleidseffecten ..................................................24 Stap 2 Indicatoren selecteren om de beoogde effecten te meten...........28 Stap 3 Definiëren van indicatoren.......................................31 Stap 4 Verzamelen van gegevens..........................................35 Stap 5 Rapporteren ......................................................37 Stap 6 Evalueren ........................................................40

Samenvatting ................................................... 44 Aandachtspunten bij monitoring en evaluatie.............................44

Tot slot ....................................................... 46 Bibliografie ................................................... 47

2

Voorwoord De Vlaamse overheid kiest in het kader van “beter bestuurlijk beleid” voor een resultaatgericht besturingsmodel. Dit model is gebaseerd op het principe van sturen op hoofdlijnen (zie strategische doelen) en op basis van afspraken (zie beheersovereenkomsten) De lijnmanagers worden hierbij geresponsabiliseerd en moeten verantwoording afleggen over de resultaten. Een goede inschatting vooraf van de beoogde output en effecten van het te voeren beleid en een goede meting ervan achteraf, zijn een essentiële voorwaarde voor de realisatie van resultaatgericht management. De opvolging van de uitvoeringsprocessen en de evaluatie van het beleid staan daarmee volop in de belangstelling. Het gebruik van indicatoren wordt stilaan ingeburgerd in het ministerie en de VOI’s. De interpretatie van de indicatoren en het integreren van de vaststellingen in het beleid en het management verloopt trager. De bedoeling van deze handleiding is aan te geven waarom opvolging en evaluatie van belang zijn en hoe dit instrument past binnen de beleids- en beheerscyclus. Vervolgens wordt een beschrijving gegeven van de stappen die moeten worden gevolgd voor een kwaliteitsvolle monitoring op basis van indicatoren. Aangezien indicatoren alleen onmogelijk kunnen aangeven in welke mate veranderingen in de maatschappij zijn toe te schrijven aan het gevoerde beleid, wordt in de handleiding ook verwezen naar aanvullende informatiebronnen en de wijze waarop hiermee moet worden omgegaan. De verschillende stappen in het opvolgings- en evaluatieproces en de te respecteren kwaliteitsstandaarden zijn zowel van toepassing voor de beleidsopvolging op het strategische niveau (langere termijn en domeinbreed) als op de beheersopvolging op het operationele niveau (kortere termijn, programma- of organisatiegebonden). In deze handleiding zullen we de commentaren vooral toespitsen op de beleidsopvolging. De handleiding richt zich in de eerste plaats tot ambtenaren in leidinggevende posities die de beleids- en beheerscyclus moeten initiëren en tot de experten die de resultaten van het evaluatieonderzoek bewerken en interpreteren. De handleiding is ook nuttig voor ambtenaren in beleidsuitvoerende functies die verantwoordelijk zijn voor de registratie van de gegevens. Het is immers van belang dat ze inzicht krijgen in het nut van monitoring. Beleid opvolgen en evalueren is een zaak waarvoor “iedereen” verantwoordelijk is en die op een “evaluatie- en open debatcultuur” moet steunen! Josée Lemaître Directeur-generaal administratie Planning en Statistiek

3

Plaatsbepaling van opvolging en evaluatie in de beleids- en beheerscyclus

1.

DEELPROCESSEN

De totstandkoming (beleidsvoorbereiding) met de agendavorming (beleidsbepaling), de uitvoering en de beoordeling (evaluatie) van het beleid vormen de beleidscyclus. Deze cyclus kan beschreven worden als een verzameling van deelprocessen die elkaar opvolgen. Meer nog, de deelprocessen bouwen op elkaar verder en zijn dus telkens voorwaarde en gevolg. Het is bovendien een iteratief proces waarbij bepaalde deelprocessen meermaals doorlopen worden totdat het beoogde streefdoel (dit is gericht op de maatschappij) wordt bereikt. De opvolging van het beleid en de evaluatie van de resultaten van deze opvolging vormen de input voor het politieke debat dat kan leiden tot continuering van het gevoerde beleid of bijsturing, waarbij dan bepaalde deelprocessen moeten worden overgedaan (iteratief proces). De resultaten van de beleidsopvolging kunnen na enige tijd ook signalen geven voor omvattender problemen waarover het beleid pro-actief zou moeten nadenken. De continue beleidsopvolging vormt samen met externe omgevingsanalyses, toekomstverkenningen, scenario’s… een insteek voor nieuwe strategische keuzen die een nieuwe beleidscyclus aansturen. Figuur 1 Beleidscyclus

Beleidsvoorbereiding Beleidsbeslissingen Beleidsuitvoering Beleidsevaluatie

Elk van deze deelprocessen vormt op zich een aggregaat van kleinere deelprocessen.

4

2.

OPVOLGEN EN EVALUEREN

Voor alle duidelijkheid bedoelen we in deze handleiding met “opvolgen” van het beleid, het systematisch en continu verzamelen, analyseren en rapporteren van beleidsmatig relevante data die van nut zijn voor het periodiek vergelijken van resultaten met vooropgestelde normen of verwachte resultaten. Opvolgen zegt ons iets over het feit of al dan niet vooruitgang is gemaakt in de richting van de beoogde effecten of resultaten. “Evalueren” gaat nog verder (grondiger) en is gedetailleerder. Men gaat op zoek naar verklaringen, naar correlaties tussen verschillende fenomenen die kunnen leiden tot de vastgestelde resultaten en effecten. Evalueren is het in de diepte beoordelen en gebruiken van de resultaten van dergelijke opvolging voor de bevestiging, de bijsturing of de ommekeer van de normen of wijze van beleidsuitvoering. De mogelijkheid tot het gebruiken van de resultaten van de beleidsopvolging of het negeren ervan, toont aan dat opvolgen en evalueren met elkaar verweven zijn. Idealiter vullen ze elkaar aan. Eerst een snelle scan met het opvolgen en vervolgens een diepere evaluatie daar waar indicatoren verontrustende evoluties vertonen. Er moet dus een initiatief genomen worden om met de verworven informatie verder te werken. De actoren en eindverantwoordelijkheden van opvolgen en evalueren liggen eveneens anders. Het systematisch opvolgen van de resultaten, het signaleren van mogelijke vertragingen, versnellingen of het ontbreken van enig effect, is de taak van de beleidsondersteunende en uitvoerende instanties zoals leidend ambtenaren, programma- of projectcoördinatoren. Het trekken van conclusies met betrekking tot de normering, in te zetten overheidsmiddelen,… is een zaak van het politieke primaat. Het Vlaams Parlement treedt hierbij op als extern controleorgaan. Het is dan ook aan te bevelen dat men in de rapportering aan het Vlaams Parlement, zowel in de begrotingsstukken als in de beleidsbrieven melding maakt van de ingezette en geplande opvolgingsinstrumenten en van de resultaten van de afgeronde of lopende opvolging en daarop gebaseerde evaluaties. Uitweiding 1 over opvolgen en evalueren Opvolgen (monitoring) Continu

Focus op de omgeving, input, activiteiten, output, vooruitgang processen, toetsen t.o.v. gewenste resultaten en effecten. Het analyseren van de kosteneffectiviteit en efficiëntie zijn ook vormen van opvolging.

Evalueren Periodiek n.a.v. belangrijke mijlpalen en op het einde van de periode waarbinnen de doelen moeten worden bereikt. Ontwerpen van causale modellen, zoeken naar correlaties,… (zie verder evaluatieonderzoek)

(zie ook verder uitweiding 2 over effecten, outcome en impact)

Vragen beantwoorden over wat, waar, wanneer, hoeveel,…

Vragen beantwoorden over hoe en waarom. 5

Knipperlicht voor managers m.b.t. mogelijke knelpunten wat hen toelaat tussentijdse bijsturingen te doen. Intern met en voor de betrokken managers, coördinatoren. Opvolging op basis van indicatoren.

3.

Geeft aanbevelingen aan beleidsmakers t.b.v. hun strategiebepaling en politieke agenda. Intern en extern met en voor alle betrokken stakeholders. Gebruikt resultaten van opvolging o.b.v. indicatoren maar ook andere bronnen (surveys, groepsinterviews, onderzoeken,…).

INBEDDING VAN OPVOLGING EN EVALUATIE IN HET STRATEGISCH EN OPERATIONEEL MANAGEMENT

Beleidsopvolging en -evaluatie maken deel uit van de beleids- en beheerscyclus. De beleidscyclus vertrekt van de strategische doelen die de regering tijdens haar regeerperiode wil bereiken en specifieert de effecten die ze hiermee wil teweegbrengen op maatschappelijk, economisch, ecologisch … vlak. Na verder operationalisatie binnen ieder beleidsdomein worden de middelen worden toegewezen. De departementen en agentschappen geven aan hoe ze met de beschikbare middelen een bijdrage zullen leveren tot het realiseren van de vooropgestelde effecten (zie beheersovereenkomsten). De beheerscyclus gaat dan van start en bestaat uit de voorbereiding, bepaling, uitvoering en evaluatie van de inzet van beheersmiddelen (personeel, infrastructuur, organisatiestructuren, financiën, logistiek). De beleidsopvolging behelst de opvolging van de impact en de langetermijneffecten van het beleid dat vanuit een of meerdere domeinen is gevoerd in verhouding tot de inspanningen van de organisatie(s) m.b.t. het beheer van de ingezette middelen. Dit impliceert dat: - alle beleidsdomeinen en beleidsvelden onderwerp moeten uitmaken van het evaluatieonderzoek. - alle deelprocessen op de verschillende niveaus (strategisch, tactisch, operationeel) moeten worden opgevolgd. Het is hierbij van belang dat de strategische doelstellingen1 verder hun vertaling vinden in de operationele doelstellingen die meer op kortere termijn en meer specifiek voor een beleidsveld en/of organisatie van toepassing zijn. De operationele doelstellingen kunnen ruimer zijn en ook de basisactiviteiten omvatten die voortvloeien uit de missie van de organisatie. Ze mogen er niet van afwijken (zie verder uitweiding 3 over horizontale en verticale consistentie).

1

Strategische doelstellingen (SD) zijn concrete stappen op weg naar het bereiken van de ideale visie en bepalen wat de overheid door haar beleid gedurende de regeerperiode wil bereiken. Het betreft belangrijke maatschappelijke veranderingen die de overheid in de externe omgeving wenst te bekomen ofwel belangrijke wijzigingen van de rol die de overheid in deze omgeving wenst te vervullen. Operationele doelstellingen (OD) hebben betrekking op een beperkter aantal werkingsvelden. Ze geven de hoofdlijnen aan op welke wijze de organisatie zal worden gestuurd om de beoogde beleidseffecten te realiseren. OD mogen niet tegenstrijdig zijn met de SD; ze kunnen ze wel aanvullen en mee de basisactiviteiten in relatie brengen met de SD.

6

- de in te zetten instrumenten binnen de bestaande organisatiekaders (departementen, agentschappen) moeten worden ingebed. De wijze waarop, moet in de beheersovereenkomsten worden afgesproken. - informatie uit de beheerscyclus kan worden ingebracht bij de beleidsopvolging. Informatie over de efficiëntie, zuinigheid, klantvriendelijkheid en de kwaliteit van het beleid voeren, kan gehaald worden uit toepassingen van EFQM, Common Assessment Framework, Balanced Scorecard of doelmatigheidsanalyse.2 Deze managementinstrumenten kunnen achtergrondinformatie geven over de wijze waarop de impact is gerealiseerd en de vooropgestelde maatschappelijke effecten worden benaderd of net niet worden gehaald. - de beheers- en beleidsopvolging ook moet betrokken worden bij de budgettaire afwegingen. Vanuit het financiële perspectief en efficiëntieoverwegingen moet immers gesteld worden dat niet tegen om het even welke prijs een effect kan worden nagestreefd. Vandaar het belang om de timing van de beleidsevaluatie af te stemmen op de budgettaire cyclus (zie stap 6). - de bevordering van de opvolging en van het gebruik van de

resultaten ervan primair wordt gelegd bij de politieke verantwoordelijke en ambtelijke leiding van de organisatie. Het heeft weinig zin allerlei inspanningen te leveren voor het opvolgen van het beleid en het beheer, als er geen bereidheid is bij de beleidsverantwoordelijken en managers om er rekening mee te houden. Er moet dus een draagvlak gecreëerd worden. Essentieel is in overleg afspreken wat er zal gemeten worden, hoe en door wie. Er moet m.a.w. een goede communicatie gevoerd worden over wat men met de meetresultaten zal aanvangen. Opvolging moet aanvaard worden als een middel om beleidsresultaten te verbeteren en mag niet gezien worden als een middel om schuldigen te zoeken.

2

European Foundation Quality Management (EFQM) en Balanced Scorecard (BSC) zijn manageriele modellen die een helikopterzicht geven over de hele organisatie. Het zijn generieke modellen die ervan uitgaan dat verschillende facetten (en niet alleen financiële) en criteria moeten worden opgevolgd en gemeten. Bij EFQM zijn deze criteria: leiderschap, beleid en strategie, beheer van menselijke middelen, materiële middelen, processen, klantentevredenheid, personeelstevredenheid, impact op de samenleving en bedrijfsresultaten. De Balanced Scorecard bestaat uit een boordtabel die vier perspectieven opvolgt met name het financieel perspectief, het klantenperspectief, het intern procesperspectief en het lerend vermogen en de groei. De doelmatigheidsanalyse (DMA) is een methode m.b.t. de financiële accountability. Het omvat een analyse van middelen, activiteiten, prestaties en effecten en het vergelijken ervan met vooraf opgezette doelstellingen. De DMA leidt tot het prestatiegericht begroten en het prestatiegericht monitoren en evalueren, meestal op het niveau van een beleidsveld en/of organisatie.

7

Figuur 2 Beleids- en beheerscyclus

OMGEVING beleidsevaluatie STRATEGISCHE DOELSTELLINGEN

OPERATIONELE DOELSTELLINGEN managementevaluatie beheersopvolging

INPUT middelen

THROUGH PUT werking

beleidsopvolging

OUTPUT

impact

outcome

prestaties

externe ontwikkelingen

Uitweiding 2 over effecten, impact, output De effecten op strategisch niveau zijn impact- of outcome-effecten. Outcome richt zich op wijzigingen in de maatschappelijke condities van mensen of groepen, op waarden en houdingen. Het is het uiteindelijke langetermijneffect, ook wel end outcome genoemd.

Impact geeft de beoogde resultaten aan die vooral via de kritische succesfactoren of subdoelstellingen worden nagestreefd, bijvoorbeeld 'een beter gezondheidsgedrag van de Vlamingen', 'een grotere deelname van allochtonen aan beroepsopleidingen', 'de wegeninfrastructuur in goede staat houden', 'het aantal verkeersdoden doen dalen'…. Deze zijn nodig om de outcome-effecten van de strategische doelstellingen te realiseren als 'de gezondheidsstatus van de Vlamingen verbeteren’, 'de integratie van allochtonen verhogen', ‘de verkeersveiligheid verhogen’. Impact slaat meestal op het kortere termijn effect, ook wel intermediaire outcome genoemd. Impact en output liggen dikwijls dicht bij mekaar. Output focust op de te leveren prestaties in goederen en diensten, terwijl impact focust op het gebruik door de doelgroep(en) van deze prestaties en de satisfactie die ze erbij ondervinden.

8

Uitweiding 3 over horizontale en verticale consistentie De doelstellingen op het tactische en operationele niveau van programma’s, projecten en acties moeten in verbinding staan met het strategische niveau. Dit is trouwens de belangrijkste toets of het vooropgestelde beleid effectief wordt geïmplementeerd en de uitvoerende diensten wel met de juiste zaken bezig zijn. Zo moet dus nagegaan worden of er een verticale consistentie is tussen de verschillende doelen. Het Oegandese ministerie van Financiën, afdeling Planning en Economische Ontwikkeling, stelde in 2001 vast dat bij de implementatie van een internationaal hulpprogramma in Oeganda, de deelname aan onderwijs door alle inkomensgroepen sterk gestegen was, wat ook één van de beoogde strategische doelstellingen was. Daarnaast stelde men ook vast dat de kwaliteit van het onderwijs serieus gezakt was en dat één op vier kinderen niet slaagde in de eindexamens van de lagere school. Oorzaak hiervan was dat men geen aandacht had besteed aan de onderliggende operationele doelen en streefnormen. Noch de boeken/leerlingen ratio, de leerlingen/klasruimte ratio en de onderwijzers/leerlingen werden specifiek opgevolgd. In realiteit bleek het moeilijk te zijn om studenten te overtuigen een onderwijzeropleiding te volgen omwille van het feit dat de lonen voor onderwijzers laag liggen en veelal te laat uitbetaald worden. De discrepantie tussen de resultaatsindicatoren en de implementatie-indicatoren was er de oorzaak van dat de beleidsmakers hun vooropgestelde beleidseffecten niet haalden. Bovendien kan een dergelijke discrepantie zorgen voor ongewilde neveneffecten zoals de daling van de kwaliteit van het onderwijs. Effecten en hun streefnormen moeten ook horizontaal consistent zijn. Elkaar tegensprekende doelstellingen op diverse beleidsdomeinen kunnen in een horizontale consistentie-evaluatie achterhaald worden en bijgestuurd. Men moet er zich ook van bewust zijn dat soms goedbedoelde doelstellingen in één beleidsdomein perverse effecten kunnen teweegbrengen op een ander beleidsdomein. Een te eenzijdige benadering om de arbeidsproductiviteit te verhogen zonder flankerende maatregelen kan er voor zorgen dat de welzijns- en gezondheidssector een toevloed van nieuwe cliënten en patiënten krijgt. Een ander voordeel van een horizontale consistentietoets is het laag kunnen houden van de op te volgen beleidseffecten. Volgens The Economist van 28 april 2001 kon de Britse regering het aantal beleidsindicatoren op regeringsniveau van 600 terugbrengen tot 160 door eerst de beoogde beleidseffecten meer SMART te definiëren, vervolgens meer te focussen op impact- en outcome-effecten en hierop een horizontale consistentietoets toe te passen.

9

Evaluatieonderzoek

1.

WAAROM IS EVALUATIEONDERZOEK NODIG?

De opdracht voor beleidsevaluatieonderzoek gaat meestal uit van de overheid zelf. Het uiteindelijke doel van beleidsevaluatieonderzoek is het genereren van informatie op basis waarvan beleidsmakers een oordeel vellen over het gevoerde beleid of strategie. Met evaluatieonderzoek wil men niet de absolute waarheid kennen maar wel goed onderbouwde inzichten verwerven die bruikbaar zijn voor het maken van beleidskeuzen. Er kunnen verschillende redenen of stimuli zijn om evaluatieonderzoek te vragen: - inzicht gewenst in of twijfel over de doelmatige en doeltreffende uitvoering van het beleid; - inzicht gewenst in of twijfel over gerealiseerde maatschappelijke effecten; - verantwoording moeten of willen afleggen (tav kiezers, Parlement…); - leren uit goede voorbeelden over wijze waarop effecten worden bereikt, welke relaties bestaan tussen input, output, en verwachte effecten, inzicht verwerven in wijze waarop effecten best worden gemeten,…. De wenselijkheid en de nuttigheid van beleidsevaluatieonderzoek vervalt indien het niet vanuit een positieve ingesteldheid wordt uitgevoerd. Oneigenlijke motieven zijn: - ‘het-moet-nu-eenmaal’: omwille van een decretale verplichting of de beheersovereenkomst. Vanuit een ‘geïnstitutionaliseerd’ evalueren bestaat het risico dat teveel aandacht uitgaat naar documenten en rapporten en het proces een louter bureaucratisch gegeven wordt dat nu eenmaal moet afgehandeld worden, zonder de intentie er iets te mee willen doen. - ‘koelkastmotief’: men is niet echt van plan veel belang te hechten aan de resultaten. Het is eerder een middel om tijd te winnen en beslissingen uit te stellen. - ‘statusmotief’: omdat het nu eenmaal ‘in’ is en status verleent aan de opdrachtgever. Maar wat ermee aanvangen als de resultaten niet zo rooskleurig zijn? - ‘legitimeringsmotief’: om achteraf een beslissing en uitgaven te kunnen rechtvaardigen op basis van onderzoeksresultaten. Men moest ingrijpen en een inspanning doen maar men wist vooraf niet goed waar men zou uitkomen. Er zijn nog meer oneigenlijke motieven maar we gaan hier niet verder op in.

10

Volledigheidshalve moet men erop wijzen dat beleidskeuzen en bijsturingen niet enkel gebeuren op basis van wetenschappelijk onderbouwde methoden maar in realiteit meer dan eens worden beïnvloed door de media, memorandi van belangengroeperingen, het parlementaire debat en rechtstreekse contacten tussen de beleidsverantwoordelijken en de burgers.

2.

SOORTEN EVALUATIEONDERZOEK

multidisciplinaire invalshoeken Er bestaat heel wat literatuur met betrekking tot evalueren zowel vanuit de sociologie, de managementbenadering (vb. performance measurement3), de bestuurskunde als financiële accountancy (vb. kosten-batenanalyses, kosteneffectiviteit, risico-analyse, DMA en audit4)… . Het begrip evaluatie krijgt vanuit deze verschillende disciplines een wat verschillende benadering. Soms zal nog een vertaalslag5 moeten gebeuren. In het sociaalwetenschappelijk onderzoek bijvoorbeeld gaat het om de beschrijving, de verklaring en voorspelling van bepaalde verschijnselen. De relaties zijn descriptief in de zin van “waardoor wordt werkloosheid veroorzaakt?” De oorzaak-gevolg relaties worden vervolgens in causale theorieën of modellen uitgewerkt. De beleidstheorie ziet er anders uit. In beleid gaat het erom maatschappelijke problemen op te lossen met behulp van schaarse middelen die collectief ter beschikking worden gesteld. De bedoeling is de vermindering van de maatschappelijk problemen. Het beleid wordt hierbij gehanteerd als een instrument om een doel te bereiken. Het gaat om een doel-middel relatie en vragen als “hoe kan werkloosheid worden bestreden?” Deze relatie kan in finale of instrumentale theorieën worden uitgewerkt. niveau van benadering Het evaluatieonderzoek kan zich richten op een microniveau (individuen, bedrijven) maar kan tevens wijzigingen beogen in middelgrote systemen zoals organisaties, netwerken (mesoniveau) De interventies kunnen zich ook richten op het macroniveau zoals een programma of interventie waarbij de overheid via een verzameling van gecoördineerde maatregelen bepaalde diensten wil 3

Performance measurement heeft tot doel de belangrijkste interne processen van een organisatie te optimaliseren en de verantwoordelijkheid van de manager hierin aan te tonen.

4

Audits zijn meer gericht op het aantonen van het verantwoord aanwenden van de middelen, het verloop van de processen volgens afgesproken normen of standaarden, het afdoend aanwezig zijn van interne controlemechanismen. Kosten-batenanalyse (KBA): voor elke oplossing worden de te verwachten kosten en de baten, zowel directe als indirecte, berekend en in een overzicht voorgesteld. Probleem is vaak dat niet alle kosten en baten in monetaire waarden kunnen worden uitgedrukt. Kosteneffectiviteit: kostenberekening waarbij de vraag centraal staat welke interventie het meest effectief is gezien een bepaald toelaatbaar kostenniveau, dan wel welke het goedkoopst is gegeven een bepaald minimumeffect. Risico-analyse: naast de vaststelling van mogelijke directe of indirecte effecten (zie KBA) berekent men de waarschijnlijkheid (kans) van het voorkomen van een effect, de reikwijdte of orde van grootte. Vervolgens onderzoekt men in welke mate diegene die een risico lopen ook bereid zijn dit te ondergaan (vb via survey) Een methode om de vertaalslag te maken tussen de sociaal-wetenschappelijke en beleidstheorie is de ‘logical framework approach’. Deze vertrekt van een analyse van de problemen met de ontwikkeling van een probleemboom die vervolgens vertaald wordt (van probleem naar op te lossen doel) in een doelstellingenboom. Er volgt een toetsing van de logica van de probleemboom (vb. elasticiteitsvraagstuk).

5

11

verlenen aan doelgroepen of bepaalde effecten wil teweegbrengen in de maatschappij. In deze handleiding over beleidsevaluatie richten we ons op het macroniveau. betrokkenheid van de actoren Bij het evaluatieonderzoek kan de opdrachtgever, in casu de overheid wetenschappelijke instellingen aan het werk zetten en hen analytisch en op wetenschappelijke methoden gebaseerde studies laten verrichten of experten betrekken in strategische workshops en hen vragen mogelijke oplossingen op te lijsten en voor- en nadelen te beschrijven van scenario’s of vanuit meerdere invalshoeken feedback te geven over ontwikkelingen 6. Daarnaast en in steeds toenemende mate kan de opdrachtgever /overheid beslissen op een meer interactieve en participatieve wijze beleidskeuzen te maken en te evalueren. Met deze interactiviteit kan men zeer ver gaan en niet alleen direct betrokken partners maar ook het ruime publiek betrekken. Voorbeelden van deze laatste aanpak zijn consensusconferenties en burgerjury. In focusgroepen en bij Delphi methodes worden experten en belanghebbenden uitgenodigd hun mening kenbaar te maken 7 Een strikte classificatie van de methoden is moeilijk omdat ze voor meerdere doeleinden bruikbaar zijn. tijdstip van onderzoek in relatie tot beleidscyclus Bij beleidsevaluatieonderzoek gaat het meestal om onderzoek dat achteraf, na de interventies, plaatsvindt. In welke mate waren de maatregelen succesvol in de richting van de gewenste situatie? Wanneer het om toekomstig beleid gaat, is het doel van evaluatieonderzoek om succes belovende interventies te ontwerpen. Het onderzoek kan ook betrekking hebben op lopende beleidsprogramma’s met het doel ongewenste neveneffecten tijdig te 6

7

Workshops: de leden van de groep reageren meestal op een voorliggend model of concept rapport. Scenariomethode: het bouwen van alternatieve modellen van een toekomstige situatie met behulp van expertise, daar waar de theorie ontbreekt. Toepassingen veelal op macroniveau. Consensusconferentie: is een rechtbankachtige procedure waarbij geïnteresseerde personen, zonder bijzondere voorafgaande expertise of belang bij de problematiek, zich inwerken in de probleemstelling en vervolgens kritische vragen voorbereiden die aan experten worden voorgelegd. Op de conferentie kunnen de experten ook verder bevraagd worden in aanwezigheid van een ruimer publiek. Het burgerpanel van geïnteresseerde personen (gekozen na een oproep) komt tot een conclusie na het tegensprekelijk debat. De resultaten van de conferentie worden ruim verspreid. Deze methode vergt veel voorbereiding en is daardoor relatief duur. Burgerjury: een kleine representatieve groep van burgers wordt gevraagd om een uitspraak te doen over een thema nadat ze zich over het probleem hebben geïnformeerd en experten hebben ondervraagd. De eindconclusies worden aan de opdrachtgever bezorgd. Focusgroep: homogene (zelfde doelgroep, betrokkenheid)groepen van 5 tot 12 personen die als informatieverschaffers worden gebruikt over het doelsysteem en/of over interventies daarin en dit via open groepsgesprekken. Deze techniek wordt toegepast om problematieken of vraagstellingen uit te diepen of scherp te krijgen. Conceptmapping: idem als focusgroep maar nu via het genereren van items (problemen, doelstellingen of verwachtingen) waarvan het resultaat via een soort clusteranalyse, een overzicht geeft van het denken van de betreffende groep mensen. Delphimethode: het aantal betrokkenen kan groter zijn, de experten komen niet bij elkaar maar geven via correspondentie hun eigen mening. Ze kunnen deze in een volgende ronde bijstellen aan de hand van de mening van de anderen. Dit is een geschikte methode om toekomstige ontwikkelingen in kaart te brengen en eventueel onbekende of minder evidente aspecten te identificeren. Spelsimulatie: in enkele sessies spelen de betrokkenen de eigen rol of die van een ander en komen zo op het spoor van relevante variabelen en relaties.

12

detecteren en de mogelijkheden na te gaan om de genomen maatregelen op een verantwoorde manier bij te sturen. We maken hierbij het onderscheid tussen plan-, proces- en productevaluatie (zie uitweiding 4). In deze handleiding gaan we verder in op ex post beleidsevaluatieonderzoek. Er zijn meerdere methoden om het beleid ex post (productevaluatie)te evalueren: - projectmatig evaluatieonderzoek dat doorgaans met lagere frequentie (minder dan jaarlijks) wordt uitgevoerd omwille van de vereiste diepgang. Het heeft eerder een ad hoc karakter (bvb. op vraag van beleidsverantwoordelijken, Parlement) en is meer specifiek gericht op een onderzoeksvraag of specifieke probleemstelling. Belangrijke kwaliteitskenmerken bij dit soort product- of ex post evaluatieonderzoek zijn gevoeligheid (om verschillen te meten tussen de situatie voor en na), causaliteit, representativiteit, generaliseerbaarheid (kunnen de inzichten in de vastgestelde effecten van de interventie overgedragen worden naar andere situaties) en bruikbaarheid (in casu voor het beleid). Een effect manifesteert zich in een verband tussen een interventie en de doelvariabele of indicator (vb. verband tussen bijscholing en het krijgen van werk). Deze samenhang kan je berekenen met behulp van regressie, correlatie en associatiematen. Het meten van de mate waarbij het doel bereikt wordt, is de eerste stap (bruto-effect) De tweede stap is het meten van de rechtstreekse invloed van de interventie op de doelvariabele of indicator en de invloed van andere oorzaken afzonderen (door middel van vergelijking met controlegroep en door de omstandigheden constant te houden in het onderzoek). Het onderzoek kan toetsend zijn ten overstaan van bepaalde veronderstellingen en/of een verklarend karakter hebben m.b.t. vastgestelde effecten. - het continu opvolgen op basis van indicatoren, ook wel monitoring genoemd, waarmee periodiek inzicht wordt verkregen in de prestaties, resultaten van activiteiten en in de mate waarin de doelen die de verantwoordelijken hebben vooropgesteld, worden gehaald (effectiviteitonderzoek of doelbereik). Omwille van het regulier karakter ondersteunt deze methode het gemakkelijkst de beleids- en beheerscyclus. Voorbeeld is het beleidsopvolgingsysteem van de administratie Planning en Statistiek dat gebaseerd is op de methode van de strategische planning. - zowel kwantitatief als kwalitatief onderzoek kan naargelang de probleemstelling informatie aanbrengen (zie uitweiding 5). De keuze tussen deze methoden hoeft niet exclusief te zijn. De combinatie van meerdere methoden verrijkt uiteraard de informatie. Wanneer een administratie voldoende lang informatie verzamelt op basis van indicatoren, dan biedt dit uitermate interessant materiaal voor projectmatige (ex post) evaluatieonderzoeken die bijvoorbeeld door de universitaire steunpunten kunnen worden gemaakt of begeleid. Projectmatig beleidsevaluatieonderzoek kan op haar beurt helpen bij het verklaren van vastgestelde ontwikkelingen aan de hand van indicatoren door de oorzaak-gevolgrelatie beter uit te diepen. 13

In het vervolg van deze handleiding zullen we dieper ingaan op monitoring op basis van indicatoren. Uitweiding 4 over plan-, proces- en productevaluatie Planevaluatie Wanneer het probleem helder gesteld is en wanneer er voldoende gegevens beschikbaar zijn over de bestaande en de gewenste situatie, komt het ontwerpen van de meest belovende interventie of set van maatregelen aan. We doen hiervoor meestal onderzoek achter het bureau. We vertrekken van rapporten van bestaand empirisch onderzoek, denken na hoe we de bestaande situatie kunnen verklaren en hoe we deze vervolgens zouden kunnen verbeteren. We gaan daarom na wat de effecten van reeds bestaande interventies of maatregelen zijn en proberen deze te verklaren. Vervolgens gebruiken we deze inzichten om één of meerdere succesbelovende en kosten-economische interventies voor te stellen met de verwachte effecten. De bestudering van empirische en theoretische literatuur aangevuld met eigen onderzoek kan soms nog onvoldoende zijn omdat de context of de situatie anders kan zijn dan reeds eerder onderzochte gevallen, omdat praktijkproblemen zo complex zijn dat ze niet volledig met theorieën te verklaren zijn of omdat meerdere oplossingen mogelijk zijn omdat er meerdere actoren bij betrokken zijn met verschillende belangen…. In dat geval kan men bijkomende informatie zoeken bij andere deskundigen, individueel (via gewone interviews of schriftelijke enquêtes) of groepsgewijze (via methoden van focusgroepen, concept mapping, Delphimethode, workshopmethode, scenariomethode, spelsimulatie…)6. Het maken van keuzen kan soms moeilijk zijn wanneer de rangorde van de voorgestelde oplossingen inclusief het behouden van de bestaande situatie op de verschillende criteria uiteenloopt. Om dergelijke oplossingen te kunnen vergelijken en te prioriteren, moeten de criteria in elkaar kunnen worden uitgedrukt (vb. drie denkbare tracés van een weg scoren verschillend op de criteria kostprijs, gemiddelde reistijdwinst, verlies aan natuurgebied en daling van verkeersslachtoffers). Dit multicriteriaprobleem kan met meerdere technieken worden opgelost (met standaardisering en gewichtentoekenning, kosten-batenanalyse, kosteneffectiviteitsanalyse)7. Procesevaluatie We kunnen wel de best mogelijke set van beleidsmaatregelen voorstellen, maar we weten vooraf niet of alles volgens deze blauwdruk zal verlopen. Hierbij komen volgende vragen naar boven: “Zijn er onverwachte tegenstanden of tegenvallers? Wat vroeger werkte, kan door veranderende omstandigheden niet meer tot de gewenste effecten leiden. Welke doeleinden en doelgroepen blijken bereikt te worden, welke niet en hoe komt dat? Welke zijn de schakels in de causale keten? Hoe verklaren en interpreteren van het geheel? Expliciet maken van de condities waaronder iets werkt of niet. Na hoeveel tijd werkt een interventie?” Daarom is het zinvol om aan procesbegeleiding te doen om tijdig inzicht te krijgen over wat mis kan gaan en welke aspecten van de interventie die aan het einde van de planevaluatie werd gesuggereerd, voor verbetering vatbaar zijn. Via interviews, observatie en groepsgesprekken (vb. focusgroepen) kan de onderzoeker peilen naar de perceptie van de betrokkenen over knelpunten en mogelijke oplossingen. Procesevaluatieonderzoek is veelal kwalitatief onderzoek waarbij de onderzoeker aandacht heeft voor de verhalen en de interpretaties van de betrokkenen. Indien iets erg fout dreigt te lopen, kan het signaal aan de beleidsverantwoordelijken worden gegeven om bij te sturen. Procesevaluatie kan ook worden ingeschakeld na een productevaluatie (ex post) wanneer blijkt dat de oorspronkelijke bedoelingen niet worden bereikt omdat storingen zijn opgetreden bij de geplande uitvoering en men niet goed weet hoe het in elkaar zit en niet meteen een zicht heeft op een alternatieve aanpak. Procesevaluatie kan tijdens de interventie worden uitgevoerd maar bij voorkeur worden de voorgestelde maatregelen vooraf binnen kleinere proefprojecten of 6

14

proeftuinen (liefst met niet te afwijkende kenmerken t.o.v. de andere organisaties) uitgetest omdat dan meer in detail kan worden gegraven naar oorzaken en omdat dan nog verbeteringen kunnen uitgewerkt worden vooraleer de maatregelen algemeen worden ingevoerd. Procesevaluatie onderscheidt zich van monitoring omdat deze laatste meer continu is en kwantitatieve informatie levert. Productevaluatie, ex post onderzoek Bij productevaluatie gaat het om volgende vragen: “Treden de beoogde effecten op en zo ja, in welke mate? In hoeverre kunnen we de gevonden effecten causaal toeschrijven aan de maatregelen? Welke handreikingen zijn er voor het beleid: stopzetten van de interventies of elementen wijzigen in bepaalde onderdelen, wijzigen van de doelgroepen, geen verandering, generaliseren en toepassen van de maatregelen elders… . Wat zijn de uiteindelijke kosten in relatie tot de balans van positieve en negatieve effecten?”

Uitweiding 5 over kwalitatief en kwantitatief onderzoek Kwantitatieve methoden Numeriek meten van wat, wanneer, hoe vaak, hoeveel,(soms ook over hoe en waarom)… Voorbeelden Registraties, tellingen, gestandaardiseerde interviews en surveys met gesloten vragen - meet precies de feiten maar Keuze kan niet de intenties weergeven (enkel bevestiging of ontkenning van voorgelegde antwoordcategorieën) - via statistische analyses kunnen relaties worden onderzocht tussen de onderzochte vaststellingen of t.o.v. achtergrondvariabelen - laat vergelijkingen toe in tijd en ruimte

Voor wat

Kwalitatieve methoden Studie over hoe en waarom

Open groepsdiscussies, surveys met open vragen, interpretatie van vaststellingen - zinvol voor opvolgen en evalueren van sociaalmaatschappelijke ontwikkelingen, inzichten in waarden, houdingen, verwachtingen, motieven,… - betrokkenheid van de stakeholders - achtergrondinformatie voor commentaren bij kwantitatieve analyses - gevoeliger voor biases van interviewers, procesverloop van survey (kan ook optreden bij face to face en telefonisch onderzoek met gesloten vragenlijsten) - opletten voor generalisatie

15

Opvolging op basis van indicatoren (monitoring)

1.

WAAROM INDICATOREN?

Zoals eerder gezegd, is beleidsopvolging op basis van indicatoren een vorm van ex post evaluatieonderzoek. Binnen de Vlaamse Gemeenschap (zie Pact van Vilvoorde) maar ook internationaal wordt gekozen voor deze methode (zie indicatoren Top van Lissabon) omdat ze het voordeel biedt dat zij: - de resultaatgerichte werking aanmoedigt; - de aandacht richt op hoofdzaken; - een inzicht geeft in de trend (bij continue monitoring); - feiten toont in plaats van gissingen (helderheid); - snel aanwijzingen geeft waar correctie nodig is of verbetering mogelijk (zeker als er streefnormen worden aangegeven). Opvolging op basis van indicatoren draagt in elk geval bij tot de transparantie van het beleid en van het management. De indicatoren met bijbehorende streefnormen maken duidelijk waar het beleid echt naar toe wil. Dit noemt men de indicatieve functie. De methode kan sommige politici en managers afschrikken omdat hun beleid en aanpak er concreet kan worden op afgerekend (accountability). Omgekeerd kan men er ook zijn successen mee aantonen. Indicatoren hebben dus ook een verantwoordingsfunctie. Indicatoren zijn niet alleen een intern instrument, ze nodigen alle belanghebbenden (stakeholders) uit tot een discussie omdat ze de resultaten en effecten van het beleid snel zichtbaar maken. Aangezien indicatoren een redelijk abstracte toekomstvisie in heldere streefcijfers vertalen, hebben ze een communicatieve functie. Juist omdat ze precies aangeven waar het beleid en het management echt naartoe willen, hebben de indicatoren ten slotte een sturende functie. Zoveel mogelijk middelen zullen naar die thema’s worden georiënteerd omdat daar de aandacht wordt op gevestigd. Vandaar het absolute belang dat indicatoren zeer nauw aansluiten bij beleidsmatig beoogde effecten en gewenste resultaten. Negatieve aspecten zijn uiteraard mogelijk. Zo moet erover gewaakt worden dat er geen ‘strategisch gedrag’ ontwikkeld wordt waarbij politici en managers zich exclusief gaan oriënteren op de officiële doelstellingen en indicatoren en andere basistaken hierbij verwaarlozen. Bij dergelijke “tunnelvisie” bestaat het gevaar dat nieuwe initiatieven weinig kansen krijgen! De gevraagde rapporteringen mogen evenmin leiden tot een te logge bureaucratie. Van belang is dat er ‘gewerkt ‘ wordt met de resultaten! 16

De rapporten mogen a priori niet gebruikt worden in het kader van persoonlijke evaluaties. Onder die conditie zou de betrouwbaarheid van de gegevens wel eens in discussie kunnen gesteld worden!

2.

SOORTEN INDICATOREN

Maatstaven geven meestal een rechtstreekse en valide, betrouwbare meting van een verschijnsel of een grootheid. Sommige verschijnselen (bvb. armoede) kunnen moeilijk rechtstreeks gemeten worden. Indicatoren geven een benadering van de realiteit. Onder indicatoren verstaan we een meeteenheid die(veelal) een onrechtstreekse benadering geeft van een bepaalde grootheid, situatie die men nastreeft. Met kengetallen wordt dan meestal verwezen naar een samenstelling van indicatoren zoals bijvoorbeeld doelmatigheidskengetallen die de relatie weergeven tussen kosten en prestaties. Het onderscheid in terminologie is echter niet van wezenlijk belang. Wat van belang is, is dat men hierover afspraken maakt en duidelijkheid creëert. Het begrippenkader is vaak ook verbonden aan de achterliggende theoretische modellen. Naargelang de positie in de beleids- en beheerscyclus(zie figuur 2) maakt men ook een onderscheid tussen omgevingsindicatoren, inputtroughput (of procesindicatoren), output- en outcome-indicatoren. Omgevingsindicatoren helpen de beleidsverantwoordelijken te verklaren waarom ze al dan niet vat hebben op bepaalde ontwikkelingen. Hierbij kan men nog onderscheid maken tussen de externe omgeving en de interne omgeving die eerder slaat op de organisatie en waarop men meer vat heeft. In de loop der jaren is er een verschuiving van aandacht opgetreden van inputgegevens (hoeveel middelen zet men in?) naar outputgegevens(tot welke resultaten en prestaties leiden de verschillende activiteiten en diensten?) Deze evolutie is te begrijpen omdat de eerste prestatiemeetsystemen vooral gericht waren op het onder controle houden van de uitgaven. Deze benadering kan echter leiden tot lineaire besparingen zonder dat men echt rekening houdt met de relatieve belangrijkheid van bepaalde uitgavenposten in functie van het beleid of de maatschappelijke relevantie. Men wou nadien een meer omvattende benadering en naast kwantiteit ook meer aandacht voor kwaliteit van de prestaties en informatie ter ondersteuning voor het management. De aandacht voor het efficiënt procesverloop (zie vereenvoudiging regelgeving en proces reënginering) de kwaliteitsverbetering en de klantvriendelijkheid (zie Balanced Scorecard, EFQM) en het verhogen van de efficiëntie, effectiviteit en zuinigheid (zie doelmatigheidsanalyse), leidden ertoe dat men deze dimensies ook systematisch in kaart wou brengen en de vorderingen wou meten. De onderliggende theoretische modellen legden hierbij steeds de link naar de missie, de visie van de organisatie en de te bereiken

17

doelen voor het beleidsveld en in hogere orde t.a.v. het beleidsdomein.

18

Ook in de publieke opinie werden beleidsmakers meer en meer geconfronteerd met vragen tot welke effecten de verschillende actieprogramma’s leidden, wie wordt er beter van en welke problemen worden ermee opgelost? Er was m.a.w. interesse voor de effectiviteit van het gevoerde beleid. Vandaar dat ook stilaan meer aandacht uitgaat naar outcome of effecten. Outcome of effectindicatoren worden vooral gekoppeld aan het strategisch beslissingsniveau. Ze hebben immers een externe focus en geven aan wat de regering wil veranderen in de maatschappij, in het macro-economisch veld… Ze zijn gericht op het eindresultaat, dus op langere termijn en minder op de wijze waarop dit werd behaald. Outputindictoren beschrijven concreet welke producten of diensten de doelgroep, de regio … bereiken en verwijzen direct naar de opdrachten van de organisatie of naar afspraken die in het kader van een overeenkomst werden gemaakt. Ze zijn uitgedrukt in hoeveelheden, prijs per eenheid, kwaliteit van de output. Outputindicatoren moeten duidelijk maken wat hun bijdrage is tot de outcome. Niet in alle gevallen is het mogelijk een causaal verband te leggen. Beheersindicatoren worden voor interne informatie ingezet en moeten het management continu inlichten (systematische registratie en rapportering) over de wijze waarop de beschikbare middelen worden ingezet voor de te leveren outputs. Ze moeten het management doen nadenken over efficiëntie, effectiviteit, zuinigheid, kwaliteit van de dienstverlening en tot verbetering aanzetten.

Voorbeeld Strategische doelstelling: werklozen betere toegang geven tot arbeidsmarkt Operationele doelstelling: de overheid organiseert opleiding Omgevingsindicator: evolutie werkloosheid naar huidig opleidingsniveau, etnische herkomst en geslacht,… knelpuntberoepen, de economische conjunctuur, Inputindicator: overheidsmiddelen aan VDAB en VIZO voor opleiding Troughput- of procesindicator: aantal georganiseerde opleidingsinitiatieven door VDAB en VIZO Outputindicator: aantal werklozen dat deelneemt aan opleidingsinitiatieven georganiseerd door overheid Outcome- of effectindicator: hogere werkzaamheid ook bij kansengroepen Beheersindicator: Aandeel werkingsmiddelen van VDAB die worden ingezet voor nieuwe loopbaanbegeleidingscel

19

We gaan in deze handleiding verder in op de wijze hoe de monitoring op basis van indicatoren kan leiden tot een goede beleidsevaluatie (ex post) waarbij aandacht uitgaat naar de te behalen effecten of outcome van het beleid. De monitoring vormt de aanloop tot de evaluatie en mogelijks het bijsturen van het beleid.

20

Opvolging als een proces

1.

EEN PROCES IN STAPPEN

Het opvolgingproces kunnen we opdelen in volgende fasen: Figuur 3 Stappenplan, opvolging- en evaluatieproces

Initiëren van proces SMART -definitie van doelen en na te streven effecten controleren indicatoren selecteren om beoogde effecten te meten definiëren van indicatoren verzamelen van gegevens rapporteren evalueren

De hiervoor geschetste cyclus moet bekeken worden als een iteratief proces. De stappen moeten dus regelmatig worden herhaald al dan niet vanaf het nulpunt. Opvolgen en evalueren moeten als een leerproces worden gezien. Vanaf de eerste keer kan het niet perfect volgens de regels van het spel en met de hoogste kwaliteitsstandaarden verlopen. Dit mag niet afschrikken. Hoe meer vertrouwd men wordt met het proces en de technieken, hoe meer men ook het nut ervan zal inzien voor tal van andere deelprocessen in de beleids- en beheerscyclus.

21

STAP 0 Initiëren van de beleidsopvolging

Bepalen voor wie men zal opvolgen Bij de start van het opvolgingsproces moet afgesproken worden voor wie de informatie bedoeld is. Dit beïnvloedt immers zowel de inhoud (wat zijn hun belangen?) als de voorstelling (globaal, in detail). De belanghebbenden of stakeholders voor de opvolging en later de beleidsevaluatie kunnen gekozen worden uit volgende categorieën: - personen die beslissen over het beleid of het programma en ook de nodige middelen kunnen toewijzen of inhouden (financierder); - de verantwoordelijken voor de strategiebepaling, projectplanning (initiator); binnen het beleid zijn de initiator en de financierder vaak dezelfde groep; - de betrokkenen bij de uitvoering (uitvoerders); - de individuen, huishoudens, bedrijven… die geviseerd worden en/of diegenen die de resultaten, effecten zullen waarnemen, ervaren (doelgroep); - personen of diensten die algemeen belast zijn met de controllingfunctie binnen een organisatie (interne audit). Bij beleidsevaluatie moet in de eerste plaats gepeild worden naar de informatiebehoefte van de politiekverantwoordelijken voor het beleid (initiator en financierder). Bij een één op één relatie tussen beleidsdomein en bevoegdheden, is het vrij duidelijk wie de gesprekspartner zal zijn. Bij domein- en organisatieoverschrijdende beleidsthema’s moet overeengekomen worden wie het opvolgings- en evaluatieproces zal aansturen. In dit laatste geval zal de toekomstige studiedienst van de Vlaamse regering het initiatief nemen en/of als expert betrokken worden bij het proces.

Bepalen wat men zal opvolgen In deze fase moet een goede inschatting gemaakt worden van de informatiebehoefte van de belanghebbenden en van hun motieven voor het evaluatieonderzoek. Deze informatiebehoefte kan gehaald worden uit gesprekken met de beleidsmakers maar kan ook afgeleid worden uit hun beleidsdocumenten (zie beleidsnota’s), algemene omgevingsanalyses, vorig evaluatieonderzoek, literatuurstudie van internationale beleidsdocumenten en studies over specifieke beleidsthema’s… ; In sommige gevallen is het opvolgen en evalueren van het beleid een verplichting. In dat geval moet zeker worden voldaan aan de criteria die in het decreet of besluit worden opgesomd (vb. milieubeleidsplannen). Het is aangewezen deze informatiebehoefte te vertalen in een set van onderzoeksvragen die voldoende specifiek zijn uitgewerkt zodat duidelijk wordt wat men wil en moet meten.

22

Vooraleer aan het meten te beginnen, is het aan te bevelen een monitoringsprogramma voor te leggen aan de beleidsverantwoordelijken ten aanzien van wie zal worden gerapporteerd. Indien het gaat om het opvolgen van de performantie van een organisatie (beheersopvolging) moet er zorg voor worden gedragen dat het geheel van de basisactiviteiten wordt in kaart gebracht.

Bepalen hoe men zal opvolgen Naargelang de onderzoeksvragen moet worden uitgemaakt welke onderzoeksmethoden best worden ingezet. Er kan beslist worden om systematisch te meten en hierbij al of niet een eenvormige methode toe te passen over heel het domein en/of organisatie ofwel om eerder ad hoc op te volgen aan de hand van onderzoeken, audits,… (zie evaluatiemethoden). Men kan een keuze maken voor meerdere methoden. Het is vaak zo dat informatie die voortgebracht worden volgens één methode dan weer input geeft voor ander methoden van evaluatieonderzoek. Om integratie van informatie over meerdere beleidsvelden en domeinen mogelijk te maken, is het aangewezen over de hele organisatie afspraken te maken over de methode en de periodiciteit en waar nodig ook een uniform begrippenkader en/of referentiekader vast te leggen. In het kader van het beter bestuurlijk beleid is het van belang deze methoden van opvolging en evaluatie in samenhang te zien met het geheel van de besluitvormingsprocessen, responsabilisering,… .

Bepalen wie zal opvolgen en evalueren Bij de aanvang van het proces moet aangeduid worden wie de verschillende stappen van gegevensinzameling, beheer en verwerking zal coördineren, wie kwaliteitscontroles zal uitvoeren op het procesverloop, wie zal waken over de tijdigheid en zo nodig kan ingrijpen als er iets fout loopt. Er moet een soort van ‘eigenaarschap’ ontstaan (commissioner). Dit kan een dienst zijn (bvb. departement) of een functie (bvb. interne controller). Een centrale dienst heeft het voordeel dichter bij de beleidsmakers te zitten en daardoor de beleidsrelevantie van gegevens beter te kunnen inschatten. Meer decentrale diensten of functies bieden het voordeel meer gespecialiseerde kennis te bezitten over de op te volgen en te evalueren materie. De keuze hangt af van het niveau en voor wie de opvolging en de evaluatie bestemd is en door wie het zal worden gebruikt. In de opstartfase is het aangewezen methodologische kennis op te bouwen op een meer centraal niveau en deze via gebruikersgroepen en opleiding stap bij stap over te dragen naar het laagst mogelijke niveau. Hoe dan ook moeten vanaf het begin goede taakafspraken worden vastgelegd wie wat moet doen, tegen wanneer. Ook zij die de registratie of het onderzoek moeten verrichten, moeten hiervoor voldoende tijd en middelen krijgen.

23

Het mag geen vrijblijvende zaak zijn, zoniet stopt de opvolging snel of boet het in aan betrouwbaarheid. Garanties hierover moeten worden vastgelegd in resultaatgebieden (continue opdracht) of in jaardoelen (ad hoc). Men mag er niet zo maar vanuit gaan dat iedereen goed op de hoogte is van wat en hoe hij het moet aanpakken. Er moet m.a.w. gedacht worden aan vorming. Voor vorming zijn literatuurstudie en kennismaking met goede voorbeelden aangewezen (zie kenniscentrum Strategisch Management op de APS-website en de website Steunpunt Bestuurlijke Organisatie). Ook coaching door meer ervaren personen en gebruikersgroepen zijn nuttig. De toekomstige studiedienst van de minister-president zal voor de Vlaamse overheid optreden als kenniscentrum en tweedelijnhelpdesk.

Steun vanwege de top Het is belangrijk dat de beleidsmakers en managers hun betrokkenheid uiten door medewerking te verlenen aan de informatieinzameling, goedkeuring te verlenen aan de voorgestelde methoden, middelen ter beschikking te stellen, vragen te stellen… .Ze moeten zich hoeden voor onrealistische verwachtingen. Opvolgen en evalueren zijn enkel hulpmiddelen om tot goede beleidskeuzen te komen. Het is aan te bevelen om het hele opvolgingsproces te laten begeleiden door een stuurgroep met de politieke verantwoordelijken, de managers en de verantwoordelijke binnen de diensten voor de opvolging (zie hierboven commissioner). Deze stuurgroep coördineert het geheel, staat toe om het opvolgingsproces bij te sturen (vb. na procesevaluatie) en zorgt dat de opvolging in goede omstandigheden kan verlopen (middelen).

Beschrijving van de uitgangsituatie Bij ex post evaluatieonderzoek gaat het erom de effecten te meten die een set van beleidsmaatregelen teweegbrengen die uitgewerkt werden om van de bestaande situatie te evolueren naar de gewenste situatie (zie doelstellingen). Om het verschil tussen de ‘as is’ en ‘to be’ situatie te kunnen meten, moeten we vooraf de nulsituatie goed in kaart brengen en een diagnose maken van de bestaande situatie.

24

STAP 1 Definitie van strategische doelen en na te streven beleidseffecten

Als we de resultaten van het beleid moeten opvolgen en evalueren, moeten we vooraf goed weten wat het beleid wil bereiken. Dit is een evidentie maar zelden worden de doeleinden kant en klaar voor opvolging aangeboden. De doelstellingen zijn ofwel te vaag qua doelgroep, timing, streefwaarde zodat met de opdrachtgevers, in casu de beleidsverantwoordelijken verduidelijking moet gevraagd worden. Deze vaagheid kan te maken hebben met een onvoldoende kennis van de huidige situatie of met het feit dat er veel belangen en motieven meespelen. Dit kan leiden tot zogezegde ‘symbolische doelstellingen‘ zoals bevordering van emancipatie, een rechtvaardiger samenleving. Iedereen is het ermee eens op dat abstract niveau maar hoe de effecten meten als men via subdoelstellingen niet aangeeft welke instrumenten men zal inzetten, voor wie het bedoeld is, tegen wanneer? Soms ontbreken zelfs doelstellingen of werden ze tot op heden niet bekendgemaakt. De redenen hiervoor kunnen zijn dat men nog geen goed inzicht heeft in oorzaak en gevolg en men nog aarzelt welke maatregelen men zal inzetten, of omdat men bij de bekendmaking vreest dat er weerstanden worden opgeroepen bij de verschillende belanghebbenden en dit de uitvoering zal belemmeren. De doelstellingen en beoogde effecten moeten voldoende specifiek en meetbaar zijn of gemaakt worden. Voorbeeld ‘De werkloosheid verminderen’ is een strategisch doel, maar het zal gemakkelijker zijn de resultaten van het beleid op te volgen en te toetsen als deze doelstelling onderverdeeld wordt in verschillende concrete beleidseffecten, waaronder bijvoorbeeld: ‘de werkloosheid van de 50-plussers binnen vijf jaar verminderen tot het gemiddelde van de ons omringende landen’ of 'de werkloosheid van allochtonen binnen de 10 jaar op een gelijk peil brengen als die van de autochtonen en binnen 5 jaar de helft van deze weg afgelegd hebben' of 'de langdurige werkloosheid (+2 jaar werkloos) binnen 10 jaar met een kwart verminderen'. Het beoogde effect op langere termijn is dat iedereen aan het werk is en kan blijven en zinvol en aangepast werk kan verrichten. De internationale vergelijking maakt duidelijk dat Vlaanderen op economisch vlak zich wil meten aan de omringende landen, zijnde de belangrijkste handelspartners.

Een hulpmiddel hierbij is het ‘SMART-principe’ toepassen.

25

Specifiek Een strategische doelstelling, kritische succesfactor of subdoelstelling dient specifiek gemaakt in herkenbare resultaten die men beoogt. Een te algemeen geformuleerde strategische doelstelling geeft problemen bij de implementatie, de opvolging en de evaluatie. In ons voorbeeld 'de werkloosheid verminderen' maakt de opdeling in een drietal beleidseffecten de doelstelling specifieker. Hoe specifieker een resultaat wordt verwoord, hoe makkelijker het wordt om de nodige input en output in te schatten. Nochtans is het niet altijd mogelijk, of zelfs aan te raden om een punctuele specificiteit na te streven. Zo zou onze specifieke doelstelling ‘de langdurige werkloosheid binnen tien jaar met een kwart verminderen’ in een situatie van economische laagconjunctuur iets minder specifiek kunnen geformuleerd worden in schuiven, bijvoorbeeld ‘het minimale wat we willen, is dat de langdurige werkloosheidsgraad binnen 10 jaar niet hoger ligt als in dit referentiejaar’; ‘tevreden zijn we als de langdurige werkloosheidsgraad binnen 10 jaar 10% lager ligt als in dit referentiejaar’ en ‘zeer tevreden zijn we als de langdurige werkloosheidsgraad binnen 10 jaar 25% lager ligt als in dit referentiejaar’. Zie ook uitweiding 6 over operationaliseren van ruime begrippen en uitweiding 7 over differentiëren.

Meetbaar Een strategische doelstelling beschrijft via de beoogde beleidseffecten het resultaat dat bereikt moet worden. Het resultaat moet dermate beschreven worden dat het meetbaar is of kan vastgesteld worden. In ons voorbeeld geven we duidelijk aan welke doelgroep we bedoelen en welk resultaat we willen bereiken. Indien er geen kwantitatieve meetstaaf wordt aangegeven voor de beoogde beleidseffecten is het beleid achteraf ook: - moeilijk uitvoerbaar (welke en hoeveel middelen en instrumenten moeten ingezet worden?); - moeilijk opvolgbaar (wat en hoe moeten we meten?); - moeilijk evalueerbaar (wat is onze toetsing, zijn we 'goed' bezig?). De ‘kansarmoede op het niveau van het individu bestrijden’ wordt meetbaarder als men de strategische doelstelling formuleert als ‘het aantal cliënten dat afhankelijk is van een vervangingsinkomen tegen 2010 met 5% verminderen’. Bij een eerste strategisch plan is het niet altijd gemakkelijk om streefnormen te bepalen omdat vaak de nulsituatie niet eens in kaart is gebracht (zie belang van fase 0). Er bestaan meerdere hulpmiddelen om realistische streefnormen te formuleren. Zie ook uitweiding 8 over normstelling.

26

Afgesproken Een strategische doelstelling kan best als een afspraak beschouwd worden tussen de verschillende belanghebbende actoren. Het is dan ook belangrijk dat er voldoende dialoog is tussen deze actoren. Een afgesproken en aanvaarde doelstelling geeft het voordeel dat ze gedragen wordt door alle betrokkenen, wat belangrijk is voor de motivatie om het vooropgestelde en afgesproken resultaat te bereiken. In ons voorbeeld zouden de beleidseffecten kunnen afgesproken zijn tussen de beleidsbepalers en de sociale partners.

Realistisch Meestal heeft het gevoerde beleid in een beleidsdomein al een lange traditie. Vanuit die historiek, vanuit de omgevingsanalyse en vanuit het beleidsevaluatieonderzoek moet het mogelijk zijn om tot realistische, haalbare streefdoelen te komen. Een te hoog gestelde verwachting zal als onhaalbaar worden beschouwd en diegenen die het resultaat moeten proberen te bereiken onmiddellijk ontmoedigen. Een streefdoel mag ook niet te laag ingesteld worden, want dan betekent het geen uitdaging voor de uitvoerders. Onze voorbeelden zijn misschien niet realistisch. Het is echter aan de beleidsbepalers om het mogelijke resultaat binnen het tijdsperspectief realistisch in te schatten, rekening houdend met ervaringen uit het reeds gevoerde beleid in het verleden, de veranderende omgeving,… . Zo zou onze langetermijndoelstelling om ‘binnen tien jaar de langdurige werkloosheid te verminderen met een kwart’ kunnen inhouden, dat op een bepaald tijdstip binnen die periode de marginale kost om dit beleid uit te voeren, te groot wordt en op een ander tijdstip juist eerder laag is. Het is belangrijk om hiermee rekening te houden in het realistisch uitstippelen van een beleidsimplementatie op langere termijn.

Tijdsgebonden Een strategische doelstelling geeft steeds de tijdshorizon weer waarbinnen de beoogde resultaten moeten behaald worden. In onze voorbeelden is dit steeds aangegeven. Het is soms aan te raden om een tijdspad uit te zetten met telkens de aanduiding waar we willen staan op elk moment van het tijdspad. Op het einde van fase 1 kunnen we volgende schema opstellen: beoogd effect Y1 Strategische doelstelling beoogd effect Y2

streefnorm A tussentijds A1 streefnorm B

27

Uitweiding 6 over te ruime begrippen Strategische doelstellingen bevatten soms algemene begrippen die verduidelijking behoeven door ze te operationaliseren in meerdere beleidseffecten. De doelstelling 'de armoede tegen 2010 met de helft verminderen' bijvoorbeeld, kan op het eerste zicht misschien wel SMART gedefinieerd zijn, maar wat is 'armoede'? Hoe operationaliseer je een dergelijk begrip? Welke zijn hier de effecten die het beleid wil realiseren? Armoede wordt algemeen beschouwd als een multidimensioneel gegeven. Armoede manifesteert zich bij individuen, huishoudens of groepen door een achterstelling of uitsluiting op een rits van beleidsterreinen tezelfdertijd. Dus zullen er effecten moeten bepaald worden op het vlak van o.a. inkomen, uitgaven, onderwijs, tewerkstelling, huisvesting, gezondheid,… .Bijkomend stelt zich dan nog de vraag welke normering per effect dient bepaald te worden, want wat is het gewicht van elk van die effecten t.o.v. het geheel dat 'armoede' is. Volgende effecten zouden, bij wijze van voorbeeld, kunnen bepaald worden: • het aantal individuen dat in relatieve inkomensarmoede leeft (minder dan 60% van het gemiddeld mediaan equivalent inkomen) is tegen 2010 verminderd met 25%; • het aantal individuen met schulden (Schuldencentrale van de NBB) is met een kwart verminderd tegen 2010; • de instroom van kinderen en jongeren naar het buitengewoon onderwijs is verminderd met 25% tegen 2010; • het aantal jongeren dat zonder diploma of getuigschrift het onderwijs verlaat, is tegen 2010 teruggebracht tot nul; • het aantal kinderen en jongeren die minstens 2 jaar schoolse achterstand opgelopen hebben, is minstens gehalveerd tegen 2010.

Uitweiding 7 over differentiëren van effecten en streefnormen Het kan relevant zijn om beoogde effecten en bijbehorende streefnormen verder te differentiëren. Om op ons voorbeeld van armoede door te gaan, kan het relevant zijn om te zien welke individuen in relatieve inkomensarmoede verkeren. Zijn er meer vrouwen dan mannen? Is er een oververtegenwoordiging van alleenstaande moeders? Zijn bejaarden meer vertegenwoordigd? Of wie stroomt in het buitengewoon onderwijs? Meer jongens dan meisjes? Meer kinderen van allochtone ouders? Meer kinderen van laaggeschoolde ouders? Afhankelijk van wat relevante beleidsinformatie kan zijn voor het gevoerde of te voeren beleid, kan men de beleidseffecten differentiëren naar o.a. geslacht, opleidingsniveau, burgerlijke stand, huishoudtype, leeftijd ,… . Anderzijds moeten we opletten om hierin niet te ver te gaan. Het zou wel eens kunnen dat hierdoor de efficiëntie van de beleidsuitvoering en -opvolging drastisch vermindert.

28

Stap 2 Indicatoren selecteren om de beoogde effecten te meten

Het zoeken van geschikte indicatoren is dikwijls de meest uitdagende en moeilijkste opgave in het opvolgingsproces. Enerzijds moeten de indicatoren voldoende relevant zijn voor het gegeven beleidseffect en anderzijds moeten er dan nog data beschikbaar zijn op een relatief korte termijn. Het beste hulpmiddel is (zie stap 1) dat de beleidseffecten SMART zijn gedefinieerd. De indicatoren moeten in één oogopslag informatie geven over de hoofdlijnen. De set aan beleidsindicatoren kan dus best beperkt worden gehouden en zal vooral een overkoepelend karakter hebben. De keuze van de indicatoren moet zorgvuldig gebeuren. Het is immers te verwachten dat de aandacht van de beleidsuitvoerders vooral zal uitgaan naar acties die de indicatoren doen evolueren omdat de vooruitgang daarop gemeten wordt en de beleidsverantwoordelijken hen achteraf vooral op deze punten zullen waarderen. Aan welke voorwaarden moeten de indicatoren voldoen? - De indicatoren moeten relevant zijn d.w.z. dat ze moeten aansluiten bij de informatiebehoefte van de opdrachtgever en andere stakeholders. In beleidsevaluatie zullen de indicatoren rechtstreeks verwijzen naar de effecten zoals verwoord in de strategische doelstellingen en de kritische succesfactoren of subdoelstellingen. De directe band met het beleid houdt ook in dat de definitie kan worden aangepast in functie van de nieuwe oriëntaties of de indicator zelf kan worden vervangen. - De indicatoren moeten meten wat ze beweren te meten (validiteit). De indicatoren moeten een eenduidige en ondubbelzinnige interpretatie mogelijk maken. Zo kan het ‘aantal ingediende klachten’ een indicator zijn voor klantentevredenheid. Maar men kan opwerpen dat dit een negatieve benadering is die daarenboven maar één dimensie van klantentevredenheid meet en niet het geheel. - Indicatoren moeten eenvoudig en gemakkelijk meetbaar zijn. Eenvoudige metingen zijn te verkiezen boven complexe constructies. De vraag die we ons stellen bij het definiëren van indicatoren is: wat moeten we weten en met welke precisie moeten we dat weten? De administratieve gegevensbanken waaruit wordt geput of het surveyonderzoek moeten beantwoorden aan de hoogste kwaliteitsnormen. Ze moeten binnen redelijke kostenmarges te bekomen zijn en er moet continuïteit ( desgevallend periodiek) kunnen gewaarborgd worden. In die zin kan het soms nuttig zijn om 'proxy-indicatoren' te selecteren: alhoewel ze minder direct verbonden zijn met het onderwerp van het beleidseffect, worden ze meestal gekozen juist 29

omdat ze eenvoudig en makkelijk meetbaar zijn en toch nog voldoende informatie verschaffen. Men mag zich ook niet te snel laten verleiden om vooral input-, throughput- en outputindicatoren te formuleren omdat deze gemakkelijker definieerbaar zijn en hierover meer directe informatie beschikbaar is. Anderzijds mag er ook niet getalmd worden omdat men streeft naar wetenschappelijke perfectie. - De indicatoren moeten inhoudelijk stabiel zijn. Dit wil zeggen dat de indicatoren vooraf het onderwerp zijn van studie en dat de definitie duidelijk is omschreven zodat geen interpretaties meer open blijven. Naar aanleiding van een evaluatie en bijsturing van het beleid kan de definitie wel worden aangepast omdat er nieuwe inzichten zijn gegroeid of omdat uit ervaring of onderzoek blijkt dat de indicator onvoldoende gevoelig is of moeilijk interpreteerbaar. De stabiliteit wijst op het feit dat niet ad hoc, naargelang degene die de indicator berekent men andere noemers neemt, andere bronnen raadpleegt, bepaalde deelcategoriën uitsluit,… - Ze moeten tegelijk gevoelig zijn voor de veranderingen die ze meten en regelmatig bevraagbaar. De gevoeligheid voor verandering houdt in dat de indicator gemakkelijk evolueert en vrij snel zichtbaar maakt hoe de omgeving reageer top een bepaalde maatregel. Hoe hoger het niveau van abstractie, hoe trager een indicator verandert. Een outcomeindicator is meestal vrij star, een input- of outputindicator daarentegen evolueert sneller. Dit is belangrijk in functie van de frequentie van rapportering. - De indicatoren moeten aanvaard worden door degenen die ze moeten gebruiken en door wie verantwoordelijk is voor het verzamelen. Daarom worden ze best in overleg uitgewerkt en wordt er een goede communicatie gevoerd over het belang ervan. Indien indicatoren van bovenuit worden opgedrongen, verzwakt vaak de bereidheid om deze te blijven opvolgen. - De indicatoren moeten betrekking hebben op zaken waarop de beleidsverantwoordelijken en managers vat hebben. Het ‘aantal aangeboden opleidingen per 1000 werklozen’ is geen goede indicator voor de effecten van het Vlaamse tewerkstellingsbeleid omdat de VDAB alleen geen vat heeft op het aantal werklozen. Het geeft enkel een indicatie van de inspanningen en prestaties (output) van deze instelling. Zeker voor doelstellingen waarbij men het gedrag van de doelgroep wil beïnvloeden, is het aangewezen vooraf evaluatieonderzoek uit te voeren zodat oorzaak -gevolgrelaties duidelijk worden (vb. in welke mate kunnen fiscale maatregelen een milieubewust gedrag creëren bij de burger, welke andere voorwaarden spelen mee, hoelang duurt het impact hiervan?). - De indicatoren moeten ook de verwachtingen van de klanten of de doelgroep in het oog houden. Enkele indicatoren moeten dus ook de tevredenheid van de klanten in kaart brengen en het draagvlak voor het vooropgestelde beleid meten (zie bvb. informatie vanuit Balanced Scorecard). Indicatoren zoals betrouwbaarheid en snelheid waarmee de diensten worden geleverd, horen hier thuis.

30

- Beleidsindicatoren zullen ook een weerspiegeling geven van de wijze van beleidsvoering die men vooropstelt (beheersen, vernieuwen…). De indicatoren zullen in functie hiervan geformuleerd worden als “behoud van… of aangroei van…”.

Voorbeeld De werkloosheid kunnen we meten aan de hand van de “werkloosheidsgraad”. Deze indicator kan verder worden gespecificeerd naar geslacht, leeftijd en afkomst en is beschikbaar op Vlaams niveau. Naargelang de gebruikte definitie (zie verder) zijn de statistieken internationaal vergelijkbaar. Dit is een indicator op het operationele niveau. Om het langetermijneffect op te volgen zou de werkzaamheidgraad een betere indicator zijn omdat deze beter aangeeft hoeveel mensen op actieve leeftijd effectief aan het werk zijn (betaalde job hebben ). In tijden van economische recessie zal het omlaag halen van de werkloosheidsgraad de eerste bekommernis zijn en zal het beleid hieraan het meeste aandacht besteden en haar maatregelen hierop focussen.

31

Stap 3 Definiëren van indicatoren

Van zodra de indicatoren zijn geselecteerd, moeten er afspraken gemaakt worden over de wijze van meten, de meetfrequentie, de vorm van rapportage en vormgeving, de startdatum… . Er bestaan meerdere waarnemingstechnieken (techniek of methode om iets waar te nemen zoals enquête, interview,…) en registratietechnieken (wijze waarop bepaalde zaken worden bijgehouden zoals checklist, cirkeldiagram, staafdiagram, lijndiagram…). Hierbij gaan we als volgt te werk:

Streefnormen stellen In stap 1 hebben we reeds gewezen op het belang dat de doelen duidelijke streefdoelen (targets) vermelden, zodat men weet welke de concrete verwachtingen zijn vanwege het beleid. Het is op het niveau van de indicatoren, die het instrument zijn waarmee deze doelen worden opgevolgd, dat men de streefnormen aangeeft. Zij moeten uiteraard passen binnen het toetsingskader van de beoogde beleidseffecten, maar zijn specifieker en preciezer geformuleerd. De keuze van de streefnorm moet gemotiveerd worden. Het leggen van de meetlat op een bepaalde hoogte is geen vrijblijvende aangelegenheid. Het is immers tegenover deze norm dat de minister verantwoording zal moeten afleggen aan het Vlaams Parlement en de leidend ambtenaar ten aanzien van zijn minister in het kader van de beheersovereenkomsten. Aan welke kenmerken moeten de streefnormen voldoen? -

De streefnorm moet in directe relatie staan tot wat men wil opvolgen aan de hand van de indicatoren: middelen, activiteiten, prestaties, effecten en moeten in dezelfde grootheden worden uitgedrukt als de meetresultaten van de feiten.

- De streefnorm moet helder zijn en de richting en de intensiteit aangeven van de verbetering die de overheid nastreeft. Daarom moet een streefnorm een kwantitatieve waarde hebben of vaststelbaar zijn. De streefnorm moet kan een volumegegeven (aantallen) zijn of een ratio. Wanneer indicatoren verwijzen naar te leveren producten, diensten is een kwantificering gemakkelijk. Maar er kunnen ook indicatoren zijn (vaak bij operationele doelstellingen)die verwijzen naar het al dan niet goedkeuren van een decreet, het ontwikkelen van een informaticaprogramma, de resultaten van een onderzoek… . Dit is moeilijker uit te drukken in cijfers maar ook hiervoor bestaan hulpmiddelen. Zie uitweiding 8 over normstelling. Uitweiding 8 over normstelling 32

Methode Historisch bronnenmateriaal

Geografische benchmarking

Beste praktijken

Gemiddelde prestaties

Grenswaarden

Groei- of afnamepercentages Projectplanning

Klantenfeedback, SLA

Opdelen in dimensies, deelaspecten

Politieke overwegingen

Commentaar Men vergelijkt de situatie van nu met wat in het verleden is gebeurd. Men neemt hierbij een bepaald jaar als referentiecijfer en stelt dat het beleid deze situatie wil verbeteren of constant houden. Men vergelijkt de situatie in de eigen regio met deze van buurlanden of vergelijkbare regio’s (op basis van bepaalde kenmerken). Men vergelijkt de eigen situatie met deze van landen, groepen, organisaties… die men als voorbeeld neemt van goed beleid of management. Men positioneert de situatie van een land, groep, organisatie t.o.v. van het gemiddelde van de groep. Men kan normatief een boven- en ondergrenswaarde opleggen als referentie voor de huidige prestaties, effecten,… . Huidige prestaties of effecten plus of min bepaald percentage. De indicator benaderen als een project waarbij de Mijlpalen de te behalen stappen zijn. Men meet de Progressie van de ene stap naar de volgende. De klanten kunnen bepaalde verwachtingen hebben of de organisatie kan bepaalde kwaliteitsniveaus nastreven. Complexe of ruime begrippen kunnen ontleed worden in dimensies of deelsaspecten. Het al of niet halen van scores op deze dimensies of het aanwezig zijn ervan, kan worden gekwantificeerd. Sommige normen kunnen zeer ambitieus zijn (vb. geen verkeersdoden meer tegen jaar X) om het publiek te enthousiasmeren, om een beweging op gang te brengen en middelen te mobiliseren… .

- De streefnorm moet voldoende uitdaging inhouden en perspectief bieden. Hij moet een prikkelende functie hebben. De norm mag ook niet te hoog liggen omdat het voortdurend gewezen worden op het niet behalen van de norm ontmoedigend kan werken. Het is dus een evenwicht zoeken tussen wat wenselijk en haalbaar is. Niet alleen kosten maar ook kwaliteitsoverwegingen zijn hierbij belangrijk. - In sommige gevallen blijven we te doen hebben met open–end indicatoren waaraan geen duidelijke streefnorm wordt toegekend, omdat men de effecten van de interventie op langere termijn moeilijk kan inschatten en men iedere verbetering reeds als een winstpunt ziet. Het nadeel is dat de beleidsverantwoordelijke hierop moeilijk kan worden aangesproken en dat vooraf geen raming kan worden gemaakt van de in te zetten middelen en kostprijs, waardoor een kosten-batenanalyse niet uitvoerbaar is. Daarom het pleidooi om eventueel met tussendoelen te werken en de streefnormen op kortere termijn te specificeren.

33

- Voor sommige indicatoren kunnen meerdere streefnormen worden vooropgesteld bijvoorbeeld gefaseerd in de tijd of gedifferentieerd volgens doelgroep of regio Het is evenwel aan te bevelen niet teveel streefnormen per indicator te hanteren omdat dit de opvolging complexer maakt. De vuistregel is maximum 3 streefnormen per indicator. Zie uitweiding 7 over differentiëren.

Maatstaf van meetinstrument bepalen Welke meeteenheid (aantallen, percentages, ratio’s…) wordt gebruikt om de effecten zichtbaar te maken? De keuze is afhankelijk van wat we precies willen meten: een trend, een absolute waarde,… .Hoe dan ook moet de maatstaf een meetbaar gegeven opleveren. Preciesheid is hier geboden. Zo moet er steeds duidelijk aangegeven worden wat de huidige waarde is, de nulsituatie. Bij trendcijfers moet het referentiejaar goed gedefinieerd worden.

Ontwikkelen van meetsystemen Er moeten afspraken gemaakt worden over de wijze van meten, de meetfrequentie, de vorm van rapportage en vormgeving, de startdatum…. Sommige indicatoren en streefnormen kunnen omvangrijke meetinstrumenten vragen. De organisatie zal er dus verstandig moeten mee omgaan en een keuze moeten maken, rekening houdend met de snelheid waarmee meetresultaten kunnen worden behaald, de volledigheid en preciesheid van wat gemeten wordt, de haalbaarheid m.b.t. de personeelsinzet en middelen…. Er bestaan meerdere waarnemingstechnieken (enquête, interview, steekproef,…) en registratietechnieken (checklist, cirkeldiagram, frequentietabel, histogram, staafdiagram, lijndiagram…). Op het einde van deze fase moet men in staat zijn volgend schema in te vullen: Beoogd effect Indicator Korte benaming Y1

X1

Y2 Y3 Y4 Yn

X2 X3 X4 Xn

Omschrijving indicator zie indicatorfiche) Definitie begrippen Meetmethode Meetsysteem

Streefnorm

A%

Verantwoordelijke voor opvolging Dienst Persoon

B

34

Voorbeeld De indicator “werkloosheidsgraad” moet worden gedefinieerd. Volgens het ministerie van Tewerkstelling is dit niet-werkende werkzoekenden t.o.v. de totale beroepsbevolking (=werkende beroepsbevolking+werklozen). Eurostat (ILO-definitie) definieert de werkloosheidsgraad als personen van 15 jaar en meer zonder betrekking die werk zoeken, daarvoor concrete stappen hebben gezet gedurende de laatste 4 weken en bovendien binnen de 2 weken kunnen beginnen werken. De OESO neemt als teller de ILO-definitie maar als noemer de loontrekkenden, de zelfstandigen, de niet-vergoede helpers, de miliciens, en de werklozen, terwijl Eurostat deze groep beperkt tot de werkenden en ILO-werklozen. De definitie van het aantal uitkeringsgerechtigde volledig werklozen is in de loop der jaren aangepast geworden in functie van beleidsmaatregelen (vb.oudere werknemers moeten niet meer stempelen). De UVW dekken dus in feite niet alle categorieën werklozen: bruggepensioneerden en jongeren in wachttijd behoren niet meer tot de UVW. Het is van belang dat de beleidsverantwoordelijken hierover geïnformeerd zijn via metadata (indicatorfiche) en dat ze de definitie als een voldoende omschrijving vinden voor het fenomeen dat ze willen opvolgen. Een indicator moet m.a.w. het fenomeen niet volledig statistisch omschrijven maar moet wel een goed beeld geven van de omvang van het fenomeen en moet objectief en regelmatig zijn waar te nemen. Om de statistieken internationaal vergelijkbaar te maken wordt momenteel geopteerd voor de ILO-definitie van Eurostat.

35

Stap 4 Verzamelen van gegevens

Meetmethode Om te beginnen moet nagegaan worden welke bronnen reeds bestaan en relevante informatie kunnen bieden met het gewenste detail, de tijdigheid… . Men kan een onderscheid maken tussen kwantitatieve en kwalitatieve meetmethoden. Voor de monitoring op basis van indicatoren worden meestal kwantitatieve methoden gebruikt zoals: - registratie op basis van administratieve gegevens die reeds door de dienst op systematische wijze worden bijgehouden; - telling: hiervoor moeten op regelmatige basis opdrachten worden gegeven, ze zijn exhaustief of selectief; - survey8: via gestandaardiseerde vragenlijsten bij een representatief staal van de doelgroepen of opdrachthouders peilen (mondeling of schriftelijk) naar hun verwachtingen, houdingen of hun tevredenheid over de resultaten. De keuze tussen deze of nog andere verzamelmethodes is afhankelijk van de aard van informatie die men wenst, de graad van detail, de frequentie en de beschikbare middelen. Bijkomende afwegingen bij de keuze zijn: - de tijd nodig om de methode te ontwerpen of specifiek aan te passen aan het doel en aan de organisatie; - kosten voor organisatie en verwerking; - snelheid waarmee de resultaten kunnen bekomen worden; - de vertrouwdheid van de verantwoordelijken voor opvolging en evaluatie met een methode en het vertrouwen dat de belanghebbenden (stakeholders) hebben in een methode (bvb. voorbehoud t.o.v. webenquêtes) of bron (reputatie van de statistiekproducent).

Voorbeeld In het geval van het aantal werklozen beschikken we over een officiële bron met name de Rijksdienst voor Arbeidsvoorziening.

8

Ze verdere uitweiding over surveyonderzoek op website http://www.vlaanderen.be/aps kenniscentrum Surveyonderzoek en de APS-publicatie ‘Handleiding met kwaliteitsrichtlijnen inzake surveyonderzoek’ (2001).

36

Databeheer Eens verzameld moet de vergaarde informatie op een systematische wijze worden opgeslagen zodat ze niet verloren gaat en eventueel voor andere doeleinden kan worden gebruikt. Hiervoor kan beroep worden gedaan op bestaande softwarepakketten zoals databases, rekenbladen, grafische programma's. Van belang bij de keuze van de softwarepakketten is: - gebruiksvriendelijkheid bij invoeren en aanpassen van gegevens en voor het opvragen; - onderhoudskosten; - vertrouwdheid met het systeem in het kader van andere opdrachten binnen de organisatie; - aggregeerbaarheid van gegevens op hoger niveau; - mogelijkheden voor koppeling met andere databestanden. De administratie Planning en Statistiek biedt een geautomatiseerd opvolgingssysteem aan. Het gebruik hiervan biedt het voordeel dat men de informatie op een gestructureerde (gekoppeld aan de strategische doelen/KSF en bijbehorende effecten) en vergelijkbare wijze terugvindt voor alle indicatoren over alle beleidsdomeinen. De statistieken die verbonden worden aan deze indicatoren, zijn dan ook meteen gedocumenteerd. Bij het databeheer moet er uiteraard rekening worden gehouden met alle wettelijke bepalingen inzake de bescherming van de persoonlijke levenssfeer. Dit betekent dat er verantwoordelijken moeten zijn voor de beveiliging van de databank en dat de gegevens moeten geanonimiseerd worden bij de verwerking van de resultaten.

Documenteren van de indicatoren Opdat degenen die de informatie moeten inzamelen en nadien gebruiken, zouden weten wat precies gemeten wordt en hoe, moeten de begrippen en afspraken ondubbelzinnig beschreven worden en vastgelegd in een document (zie uitweiding 9 indicatorfiche) Uitweiding 9 indicatorfiche De beschrijving van een indicator behelst volgende informatie: • omschrijving van de indicator met verwijzing naar de strategische doelstelling of KSF; • de omschrijving van de sleutelwoorden in de indicator; • de streefnorm: waar staan we nu en waar willen we naartoe? • de dimensies waarop zal geregistreerd worden (tijd, ruimte, geslacht,…); • de verzamelinstantie of persoon: wie is verantwoordelijk voor het inzamelen van de gegevens en kan dus ook aangesproken worden voor verdere toelichting, tijdigheid…; • de bron die de gegevens ter beschikking stelt, kan dezelfde zijn als de verzamelinstantie maar kan ook een intermediaire instantie zijn die binnen de organisatie belast wordt met de verspreiding van gegevens; • de verzamelmethode: dit is belangrijk voor de interpretatie van de informatie; • de meetfrequentie: met welke intervals is informatie beschikbaar? Dit is van belang voor de beoordeling van de tijdigheid en de eerstvolgende te verwachten update; • de betrouwbaarheid en de validiteit van de gegevens. 37

Stap 5 Rapporteren

Interpreteren van de resultaten van de indicatoren Het rapporteren houdt in dat men de basisinformatie structureert en een duiding geeft bij de vaststellingen. Dit gebeurt aan de hand van de streefnormen die vooraf zijn vastgelegd en als toetsingskader dienen. De rapporten helpen de bekomen resultaten te interpreteren tussen de situatie ‘as is’ en ‘to be’. Hoe scherper de vaststellingen hier worden aangeduid en beschreven, hoe groter de kans dat bij de evaluatie met deze zaken wordt rekening gehouden. Een hulpmiddel bij het rapporteren is volgend schema van een boordtabel: Effect Effect Effect Effect Streef- Voortgang Y1 Y2 Y3 Y4 norm %-bereik van streefnorm

Indicator Indicator Indicator Indicator

1 2 3 4

X X X X

X

X X X X

x x x x

x x x x x x x x x x X x x

Dergelijke boordtabel kan in één oogopslag aangeven waar het goed gaat en waar er problemen zijn. Dergelijke rapportage op het strategische niveau (vooral effect en impact) wordt best aangevuld met managementrapporteringen (beheersinformatie) omdat deze een verduidelijking kunnen geven over gedane inspanningen. Het rapport zal ook bijkomende informatie geven met resultaten van aanvullende statistische bewerkingen of met informatie over de ruimere omgeving. Men kan de resultaten vergelijken met prestaties in andere regio’s of organisaties. Zo kan bijvoorbeeld “de daling van de werkloosheidsgraad van jongeren” positief geïnterpreteerd worden maar zal anders worden ingeschat indien de globale (alle leeftijden) werkloosheidsgraad daalt of stijgt of wanneer de jeugdwerkloosheid in een andere richting evolueert in de omliggende landen. Dergelijke vormen van benchmarking zijn tegenwoordig “in”. De techniek is eenvoudig doch we moeten er wel voor zorgen dat de definities, verzamelmethode... vergelijkbaar zijn.

38

Wie rapporteert, wanneer en aan wie? Er moeten afspraken gemaakt worden over de frequentie van het rapporteren. Zeker twee keer per jaar (eventueel rond de periode van de begrotingsopmaak en de begrotingscontrole) moet de politieke eindverantwoordelijke van de diensten, die belast zijn met de opvolging (zie fase 0), de meest recente en zo volledig mogelijke informatie krijgen over de geselecteerde indicatoren. Een hogere frequentie kan nodig zijn indien er tussentijdse streefnormen werden geformuleerd of indien men problemen verwacht. Het management moet de evolutie uiteraard continu opvolgen en tijdig signalen geven aan de politieke overheid indien er grote afwijkingen worden vastgesteld t.o.v. de vooropgestelde streefnorm. Er moet afgesproken worden wie de rapporten mag inkijken. Hier moet het evenwicht gezocht worden tussen open communicatie ten overstaan van de personeelsleden en de klanten en de kans op kritiek op de tussenresultaten van het gevoerde beleid. Het inzagerecht moet zeker gegeven worden aan degenen die mee kunnen helpen zoeken naar oplossingen voor bijsturing of verdere verbetering. Het is aangeraden ook de leden te rapporteren die de indicatoren mee hebben helpen definiëren. Een goed monitoringrapport moet volgende kwaliteitskenmerken hebben: - doel en doelgroepen van het rapport zijn duidelijk omschreven alsook wie bijgedragen heeft tot de redactie; - logische structuur met te behandelen indicatoren, best opgehangen aan de doelen en op te volgen effecten; - onderbouwd met objectieve cijfers die relevant zijn voor het op te volgen beleid; - vooruitziend met de te verwachten ontwikkelingen, naast de huidige stand van zaken; - uitnodigend om keuze te maken tussen verschillende opties die werden beschreven met hun voor- en nadelen - tijdig dwz afgestemd op mijlpalen, deadlines in de beleidscyclus; - overzichtelijke presentatie (standaard indien periodieke rapportering) met duidelijk weergave van de vaststellingen en aanbevelingen voor het beleid. Uitweiding 10 over structuur van een monitoringrapport Titel

met verwijzing naar domein, programma ten behoeve van welke groep datum van rapport en periode waarop monitoring betrekking heeft

Inhoudstafel Managementsamenvatting in 1 tot 3 bladzijden met essentiële vaststellingen en aanbevelingen Inleiding - doel van de monitoring - gebruikte methodes - toetsingskader met doelstellingen Belangrijkste vaststellingen 39

-

algemene achtergrondinformatie nuttig voor de interpretatie van de indicatoren indicatoren met definitie, bron, de cijferreeks, een korte analyse en commentaar t.o.v. de streefnorm kwalitatieve en kwantitatieve informatie op basis van andere methoden

Aanbevelingen - lessen uit vaststellingen - lijst met concrete aanbevelingen - implementatieplan voor aanbevelingen Bekendmaking bedoeld voor wie - via welke andere kanalen (vb. URL-website) waar men meer uitleg of duiding kan krijgen

40

STAP 6 Evalueren

De resultaten van de monitoring en andere evaluatieonderzoeken moeten de aandacht krijgen van de beleidsmakers. De kans dat de resultaten worden gebruikt zal afhangen van de aansluiting op de probleemstelling (aansluiten bij informatiebehoefte), de kwaliteit en betrouwbaarheid van de monitoring of andere onderzoeksresultaten (vooraf afspraken over de methode), de aanvaardbaarheid van de opgevolgde indicatoren (vooraf moet de gevoeligheid van de belanghebbenden worden ingeschat), de handvatten voor het beleid (kan men als overheid op de variabelen inspelen, is aangegeven welke de eventuele belemmerende factoren waren…) en de tijdigheid.

Wie evalueert? De finale beoordeling van de bereikte effecten moet gebeuren door de politiekverantwoordelijke die door de klanten en de opdrachtgevers wordt aangesproken voor het al dan niet behalen van de vooropgestelde effecten en streefnormen. De verantwoordelijke voor de beleidsevaluatie (kan de verantwoordelijke zijn voor de beleidsopvolging maar zit vermoedelijk dichter bij het politieke niveau) bereidt de evaluatie voor aan de hand van een rapport (zie stap 5). Bij de effectgerichte beleidsevaluatie is het aan te bevelen naast de interne evaluatoren (betrokken administraties, VOI, bevoegde minister) ook externe evaluatoren te betrekken. Deze moeten in de eerste plaats worden gezocht onder de stakeholders (zie fase 0). Indien het beleid een aantal wijzigingen in houdingen, gedragingen wil bereiken, is het aangewezen via surveyonderzoek bij een steekproef van de doelgroep de gedragingen, houdingen en waarden te meten. In dat geval zou de onderzoeker die de resultaten van de enquête heeft geanalyseerd ook kunnen uitgenodigd worden bij de besprekingen.

Hoe evalueren? Het is niet alleen van belang na te gaan of de indicatoren een groen of rood licht aangeven t.o.v de vooropgestelde effecten of verwachtingen. Nu moet een discussie volgen welk gevolg zal worden gegeven aan deze vaststellingen en welke acties zullen worden ondernomen. Bij de evaluatie wordt best volgend schema gevolgd: - De resultaten van de indicatoren tonen aan dat de realiteit ontwikkelt in de gewenste richting en dat de progressie verloopt volgens de gewenste timing.

41

Er dient dan nog nagegaan te worden of de behaalde resultaten enkel het gevolg zijn van de genomen maatregelen dan wel of er gunstige randvoorwaarden waren en andere beleidsprogramma's (mee)zorgden voor het behaalde resultaat. Zullen deze in de toekomst even gunstig blijven? Zo neen, moet het eigen beleid dan niet worden bijgesteld? Ook bij positieve effecten, wordt best nagegaan of de onderliggende processen voldoende efficiënt verliepen en of via een verbetering hiervan niet nog meer profijt kan gehaald worden uit het gevoerde beleid. Zorgde het beleidsprogramma voor gewilde neveneffecten of had het beleidsprogramma ook ongewilde neveneffecten? Een algemeen gekend neveneffect van maatregelen die de efficiëntie van de hulpverlening aan doelgroepen beogen, is het zogenaamde “afromingeffect”. D.w.z. het afromen van de doelgroep door activiteiten in de eerste plaats laten ten goede te komen aan de gemakkelijkst bereikbare subgroep die het meeste succes belooft. - In geval de indicatoren niet het gewenste resultaat opleveren, moet gezocht worden naar de oorzaken. Welke zijn de oorzaken van de afwijking? Van belang is dat meerdere personen en diensten mee zoeken naar verklaringen. Er kunnen immers meerdere factoren een invloed hebben op de behaalde resultaten. Zijn ze toevallig of structureel? Zijn ze het gevolg van het overheidsbeleid of van externe factoren? Na alle mogelijke oorzaken opgespoord te hebben, moet de politieke overheid beslissen op welke oorzaken bij prioriteit zal worden ingewerkt. Op welke factoren heeft de overheid zelf voldoende vat en welke geven de beste verbeteringsperspectieven? In sommige gevallen kan gevraagd worden een bijkomend evaluatieonderzoek (zie ook reeds voorziene instrumenten als interne audit, riskmanagement, PIP/PEP, DMA, EFQM, BSC…) te doen om de gehele organisatie in beeld te krijgen en zaken op het spoor te komen die eventueel niet via de indicatoren gevat worden. Dit kan nadien aanleiding geven tot aanpassen van de set van indicatoren, streefnorm… . In beide scenario’s moet de politiekverantwoordelijke tot eindconclusies komen: 1. het gevoerde beleid met het bestaande instrumentarium onverminderd verder zetten; 2. het bestaande instrumentarium voor het beleid bijsturen voor het geheel of voor bepaalde onderdelen; 3. de streefnormen behouden of aanpassen (meer uitdagend of meer haalbaar, de timing verkorten of uitstellen…); 4. ter ondersteuning van het beleid de eerder geselecteerde indicatoren aanvullen, aanpassen en/of andere evaluatiemethoden aanvullend aanvragen.

42

Deze conclusies worden best in zo duidelijk mogelijke termen geformuleerd, zodat ze de basis kunnen vormen voor de feedback aan de ambtelijke top en de uitvoerende diensten en een insteek voor het politieke debat. De evaluatie is binnen de beleids- en beheerscyclus immers het eindpunt en tegelijkertijd het startpunt voor een nieuwe iteratie.

Tijdstip van evaluatie Tijdigheid is een heikel punt voor het evaluatieproces. De informatie en de conclusies moeten er zijn op het ogenblik dat er beslissingen moeten genomen worden en de mogelijkheid bestaat om de middelen zo nodig te herschikken. Dit gebeurt jaarlijks onder meer naar aanleiding van de begrotingsopmaak en de indiening van de beleidsbrieven bij het Vlaams Parlement. De inhoud van de beleidsbrief moet volgens het reglement van het Vlaams Parlement trouwens bestaan uit de beschrijving van de behaalde resultaten (opvolgingsrapportering) en de mate beschrijven waarin de beoogde beleidsvisie wordt uitgevoerd en welke middelen zullen worden ingezet om de resultaten nog te verbeteren (effectgerichte evaluatie).

Evaluatie bekend maken Evaluatie is meer dan een methode om informatie in te zamelen. Het is ook een middel om te communiceren. Eerst moeten de stakeholders en/of de beleidsmakers (Parlement, ministers) op de hoogte worden gebracht van het evaluatierapport. Dit zijn de personen of diensten die interesse hebben voor de evaluatie omdat het relevant is voor hun activiteiten (bvb. begrotingsdienst) of omdat de maatregelen een impact hebben op hun gedragingen, houding… . Het contact met de stakeholders kan op een interactieve wijze gebeuren via workshops, op adviesraden waarin ze officieel zijn vertegenwoordigd. Dit biedt het voordeel dat de resultaten beter kunnen worden toegelicht en geduid door de verantwoordelijken voor de opvolging en dat de aanbevelingen kunnen worden bediscussieerd in al hun consequenties. De stakeholders kunnen bijkomende interpretaties geven of achtergrondinformatie aanvullen. Dit kan soms aanleiding geven tot vervollediging van het evaluatierapport. Deze interactie met de stakeholders (participatief model) is aan te bevelen omdat anders opvolgen en evalueren in een bureaucratisch verhaal dreigt terecht te komen zonder enig uitzicht op nuttigheid van het vele werk dat erachter schuilt. De stakeholders zijn belangrijk om mee te beslissen hoe het verder moet en kunnen daardoor een nieuwe insteek geven aan de beleid- en beheerscyclus. Het evaluatierapport kan na goedkeuring door het politieke niveau ook op andere fora ter beschikking worden gesteld. Het ruimere publiek kan worden geïnformeerd via jaarboeken, persmededelingen, flashberichten op website, studiedagen… . De evaluatierapporten kunnen ook als ‘goede voorbeelden’ worden bestudeerd door andere beleidsniveaus of instanties. Bij deze communicatie is het van belang aan te geven dat opvolgen en evalueren een leerproces inhoudt zowel naar het proces toe als

43

naar de effectiviteit en efficiëntie van het beleid en het management. Het is m.a.w. aan te bevelen in het evaluatierapport eerder een uitnodigende toon aan te slaan dan een negatief afbrekende houding aan te nemen en met de vinger te wijzen naar schuldigen. Uit het evaluatierapport moet blijken dat de beleidsmakers bereid zijn rekening te houden met de vaststellingen en aanbevelingen en dus bereid zijn te ‘leren’ uit het verleden (zie uitweiding 10).

Opvolgen van evaluatie De laatste maar daarom niet minder belangrijke stap is het opvolgen van de verschillende aanbevelingen. Een aantal conclusies kunnen immers aanleiding geven tot een nieuw proces, tot ontwikkelen van nieuwe instrumenten, tot bijsturing van bestaande procedures of het bijstellen van de normen… . Het is daarom aan te bevelen dat het evaluatierapport afgesloten wordt met een implementatieplan dat aangeeft wie verantwoordelijk is voor wat, tegen welke timing en met welke middelen. De verantwoordelijke voor het evalueren doet er goed aan periodiek de kerngroep van de stakeholders bijeen te roepen om na te gaan welke follow up reeds gegeven is aan de aanbevelingen, of het tijdschema gerespecteerd wordt, of de beloofde middelen beschikbaar zijn,… . Eventueel kan dit gesprek onderbouwd worden met recentere resultaten voor de indicatoren.

44

Samenvatting

AANDACHTSPUNTEN BIJ MONITORING EN EVALUATIE STAP 0

INITIATIE VAN HET PROCES

- Bepalen wie de politieke gesprekspartners zijn voor de opvolging en evaluatie. - Vooraf goed bepalen wat men zal meten en dit laten valideren door de beleidsverantwoordelijken. - De te volgen methode en periodiciteit van meten vastleggen. Hierbij rekening houden met organisatiebrede standaarden teneinde de vergelijkbaarheid van bepaalde informatie te verzekeren (input voor andere sectoren, opvolging van transversale thema’s). - Verantwoordelijken aanwijzen voor opvolgingsproces en stuurgroep samenstellen met de sleutelfiguren (beleidsverantwoordelijken, manager, projectcoördinator…). - Aandacht voor vorming en opdrachten vastleggen in resultaatgebieden of jaardoelen. - Informatie verzamelen over de nulsituatie en diagnose van de situatie ‘as is’. STAP 1 -

DEFINIËREN VAN DOELSTELLINGEN EN EFFECTEN

Doelstellingen zonodig expliciet maken in overleg met de beleidsverantwoordelijken. De doelstellingen zodanig specifiek, meetbaar en tijdsgebonden formuleren dat duidelijk wordt welke beleidseffecten moeten worden bereikt en aldus opgevolgd dienen te worden. De beleidsverantwoordelijken moeten aangeven ‘hoe ver’ ze willen gaan (realistisch, politiek aanvaard).

STAP 2

SELECTIE VAN INDICATOREN

- Kies een beperkte set van indicatoren. - De indicatoren moeten kernachtig weergeven wat het beleid wil bereiken. - Vergewis u ervan dat ze precies meten wat men bedoelt en dat er m.a.w. geen interferentie is van andere maatregelen. - Aangezien het beleid erop afgerekend wordt, moeten de geselecteerde indicatoren aanvaard zijn en moeten ze er vat op hebben. STAP 3

DEFINIËREN VAN INDICATOREN

- De definitie van de streefnorm moet gemotiveerd worden op basis van historische gegevens, vergelijking met andere regio’s of politieke overwegingen. Hij moet realistisch maar toch uitdagend zijn. - De streefnorm moet een kwantitatieve waarde hebben.

45

- Er moeten afspraken worden vastgelegd over de wijze waarop gemeten wordt en door wie. STAP 4

VERZAMELEN VAN GEGEVENS

- Overweeg zorgvuldig hoe u de gegevens zal verzamelen. Denk hierbij aan de beoogde preciesheid, de beschikbare tijd en middelen. Ga eerst na welke bronnen reeds beschikbaar zijn en voldoen aan beoogde kwaliteitsvereisten. - De verzamelde gegevens moeten zorgvuldig worden opgeslagen. Er moeten de nodige maatregelen worden genomen inzake de bescherming van de gegevens. - Het beheer houdt eveneens in dat het databestand goed wordt omschreven. - Bij de keuze van de softwarepakketten moet men uitkijken naar de gebruiksvriendelijkheid, de mogelijkheid tot koppeling met andere databestanden, de kostprijs. STAP 5

RAPPORTEREN

- De bekomen informatie wordt op een gestructureerde en overzichtelijke wijze gepresenteerd. Hierbij wordt duiding gegeven bij de mate waarin de nulsituatie geëvolueerd is in de richting van de gewenste situatie. Er moet dus een duidelijke koppeling blijven met de doelstellingen en bijbehorende streefnormen. - De vaststellingen moeten becommentarieerd worden. Hierbij zijn aanvullende informatie uit beheersinformatiesystemen of procesanalyses, evaluatieonderzoek, omgevingsanalyses of benchmarks nuttig. - Er moet vooraf goed afgesproken worden met welke frequentie wordt gerapporteerd. De rapporten moeten beschikbaar zijn op momenten dat de beleidsverantwoordelijken beslissingen moeten nemen zoals op het ogenblik van de middelentoewijzing of herschikking. - De rapporten moeten ter beschikking worden gesteld van de beleidsverantwoordelijken en de managers. Wie deze rapporten nog mag inzien moet met hen verder worden overlegd. Afwegingscriteria zijn dat de betrokkenen een bijdrage moet kunnen leveren aan de interpretatie van de resultaten en de informatie nodig heeft voor de noodzakelijke bijsturingen. STAP 6

EVALUEREN

- De eindverantwoordelijkheid voor de beleidsevaluatie ligt bij de politiek verantwoordelijken. Dit betekent niet dat de beoordeling van de resultaten een zaak is van één man/vrouw. Bij de evaluatie worden best de stakeholders betrokken omdat tegenover hen verantwoording moet worden afgelegd en zij kunnen mee zoeken naar verklaringen of oplossingen kunnen aanbrengen. - Evaluatie is een kwestie van beoordelen en tot conclusie komen voor het vervolg van de beleid- en beheerscyclus. - Het evaluatierapport wordt best ruim gecommuniceerd en hierbij in functie van de doelgroep het gepaste medium te gebruiken. - Politiek bedrijven is niet alleen beloven maar ook opvolgen dat de aangekondigde oplossingen effectief worden uitgevoerd.

46

Tot slot

Beleid opvolgen en evalueren is het systematisch en periodiek verzamelen van informatie over het beleid en het management en, na toetsing ten overstaan van de vooropgestelde effecten en verwachtingen, hieruit conclusies trekken. De belangrijkste redenen voor het aanvatten van opvolgen en evalueren zijn - Het informeren van de beleidsmakers over de impact of de effecten van hun beleid. Het helpt hen te oordelen over de waarde van hun programma en is de aanloop van nieuwe beleidsbeslissingen. - Het transparant maken van het beleid en verantwoording afleggen t.o.v. de belanghebbenden, het Parlement. - Het optimaliseren van de inzet van middelen door te zoeken naar meer efficiëntie en effectiviteit. Er moet een goede planning worden gemaakt over de doelgroep en de gebruikers, de aanpak (keuze van methoden), de timing, de inzet van monitors en evaluatoren, de procesopvolging en verantwoordelijken hiervoor, de rapportering… . Er moet van bij het begin een duidelijk engagement van de top zijn om er een ernstige zaak van te maken. Monitoring op basis van indicatoren biedt als methode het voordeel van de schematisering en synthese maar houdt daardoor ook beperkingen in. Om de resultaten van de monitoring op basis van indicatoren te kunnen duiden en minder meetbare aspecten ook te kunnen betrekken bij de evaluatie is aanvullend (kwalitatief) onderzoek wenselijk. Bij de planning moet het opstarten van deze bijkomende onderzoeken of het uitbesteden ervan aan externe studiediensten of consultancy tijdig worden voorzien (qua timing en middelen). Dit geldt ook voor de afstemming met andere instrumenten van prestatiemanagement en de budgetcyclus. De essentie van het hele verhaal is dat er een evaluatiecultuur moet komen binnen de organisatie en bij het politieke niveau. Er moet een openheid en bereidheid zijn tot feedback over de effectiviteit van het beleid of het programma, er moet bereidheid zijn tot dialoog en tot leren uit de tekortkomingen en uit de successen. Uit de procesbeschrijving is ook gebleken dat er heel wat ‘deskundigheid’ (in breedte en diepte) nodig is om het geheel goed te kunnen uitvoeren: methodieken beleidsopvolging en evaluatie, gegevensinzameling, rapporteren, projectplanning, communicatie… . Daarom moet tijdig aangegeven worden wie bij dit proces betrokken wordt en moet nagegaan worden of deze mensen vooraf opleiding nodig hebben.

47

Bibliografie - Aristigueta Maria Pilar, ‘Management for results in state governement’, Quorum books, London, 1999. - Bouckaert G. en T. Auwers, Prestatiemeting in de overheid, Instituut voor de overheid, K.U.Leuven, Die Keure, Brugge, 1999, 205 pp. - Bouckaert, G., Hoet, D. en W. Ulens, Prestatiemeetsystemen in de overheid: een internationale vergelijking, Instituut voor de overheid, K.U.Leuven, Die Keure, Brugge, 2000, 313 pp. - Bressers, J.TH.A. en A. Hoogwerg, Beleidsevaluatie, Koninginnegracht, Alphen aan den Rijn, 1991, 2de druk, 272 pp. - Dorr, D.C. Presteren met processen. Procesmanagement voor dienstverlenende organisaties, Deventer, 2000, 167 pp. - Heene, Aimé praktijkboek Strategie. Bruggen bouwen naar de toekomst, Lannoo, 2002, 335 pp. - Janssen, G.S.H. en J.C. Hellendoom (redactie), Heeft beleid effect? Enkele benaderingen voor de evaluatie van bestaand beleid, Ministerie van Financiën, Den Haag, maart 1999. - Ministerie van Financiën Nederland (zoeken op trefwoorden; aanrader Van Beleidsbegroting Tot Beleidsverantwoording VBTB): http://www.minfin.nl. - Ministerie van Financiën, Doelformuleringen en Prestatiegegevens. Handreiking, Ministerie van Financiën, Den Haag, februari 2001, 16 pp. - Organisation for Economic Cooperation and Development, ‘Improving evaluation practices’, PUMA/PAC(99)1, 1999. - Over monitoring en evaluatie binnen het UNFPA (United Nations Population Fund): http://www.unfpa.org/ooe/index.htm. - Over monitoring en evaluatie van actieplannen om armoede aan te pakken in ontwikkelingslanden binnen de Wereldbank: http://www.worldbank.org/poverty/strategies/chapters/monitoring/m oneval.htm. - Over strategische en operationele planning en gebruik van performantie-indicatoren bij de Wereldbank: www.worldbank.org/evaluation/logfram/. - Sluimers D., ‘Handreiking Doelformulering en Prestatiegegevens’, Ministerie van Financiën, Nederland, 2001. - Strootman Co, ‘Communiceren over prestaties’, Bohn Stafleu Van Loghum, 1999. - Swanborn P.G., ‘Evalueren’, Uitgeverij Boom, Amsterdam, 1999.

48

- Van der Heide, A. en E. Spaans, Van missie naar management: strategisch instrumentarium voor de overheidsmanager, 'sGravenhage, 1993, 133 pp. - Vlaamse overheid, Lokaal Sociaal Beleid, ‘Strategische planning voor het lokaal sociaal beleid’ (2002). Ministerie van de Vlaamse Gemeenschap, afdeling Inspectie en Toezicht Welzijn. - Vlaams Instituut voor Wetenschappelijk en Technologisch Aspectenonderzoek, Vlaams parlement, jaarverslag 2001-2002

49