HANDLEIDING VOOR HET OPSTELLEN VAN MEETBARE DOELSTELLINGEN
drs. A.L. Roode Centrum voor Onderzoek en Statistiek (COS) juni 2006
© Centrum voor Onderzoek en Statistiek (COS) Auteur: drs. A.L. Roode Project: 06-2499
Adres:
Goudsesingel 78, 3011 KD Rotterdam Postbus 21323, 3001 AH Rotterdam Telefoon: (010) 489 95 00 Telefax: (010) 489 95 01 E-mail:
[email protected] Website: www.cos.rotterdam.nl
2
INHOUD
1
Inleiding
5
2
Meetbare doelstellingen
7
3
Schema meetbare doelstellingen Outcome-indicatoren Samenhang tussen de indicatoren
8 9 10
Het monitoren outcome- en outputindicatoren
11
3
1
Inleiding
Met dit document probeert het COS een bijdrage te leveren aan het helder formuleren van meetbare doelstellingen. Niet alleen bij de vorming van een nieuw Collegeprogramma maar ook bij de ontwikkeling van ‘nieuw’ beleid of bij het bijstellen van beleid is het formuleren van meetbare doelstellingen belangrijk. Het maakt inzichtelijk wat de doelen van beleid zijn. Rotterdam heeft al bijna 10 jaar een traditie met het opstellen van meetbare doelstellingen. In 1998 stelde het toenmalig College bakens op die de na te streven ontwikkelingen van het College vormden. In het kader van het Grotestedenbeleid werd in 2000 de Stedelijke Visie geboren. Deze visie bevatte een nieuwe, verbeterde set meetbare doelen. Immers de bakens die in 1998 waren vastgesteld, voldeden niet. De meetbare doelen in de Stedelijke Visie zijn uiteindelijk eveneens ongeschikt bevonden als sturingsinstrument. In de meeste gevallen betreft het een meting van effecten waarbij niet aangetoond kan worden of de gemeente haar werk wel goed heeft gedaan. De onvolkomenheden van de Rotterdamse meetbare doelstellingen worden door de Rotterdamse Rekenkamer1 in kaart gebracht en heeft tot gevolg dat Rotterdam haar inspanningen om te komen tot een sturingssysteem vergroot. In de tussentijd is op Rijksniveau het traject ingezet dat tot doel had de financiële verantwoording te verbeteren en in het kielzog daarvan is er ook gestreefd naar een kwaliteitsverbetering van de begrotingen. In het kader hiervan kwam de nota “Van beleidsbegroting tot beleidsverantwoording” ofwel VBTB tot stand. Sinds de invoering van VBTB staat bij de begroting en de verantwoording (het jaarverslag) de koppeling tussen beleid, prestaties en geld centraal. Dit betekent dat de hoofdlijnen van het beleid gekoppeld worden aan budgetten. De begroting moet een antwoord geven op de vragen: “Wat willen we bereiken?”, “Wat gaan we daarvoor doen?” en “Wat mag dat kosten?”. In het jaarverslag staan vragen centraal als: “Hebben we bereikt wat we hebben beoogd?”, “Hebben we gedaan wat we daarvoor zouden doen?” en “Heeft het gekost wat we dachten dat het zou kosten?”. Volgens dit voorstel sluiten begroting en jaarverslag meer op elkaar aan. Het al geruime tijd denken in meetbare doelstellingen, het in kaart brengen van onvolkomenheden van bakens en meetbare doelstellingen door de Rotterdamse Rekenkamer en de komst van het VBTB hebben invloed gehad op het formuleren van de zogeheten “targets” die verbonden zijn aan het collegeprogramma 2002-2006 van de gemeente Rotterdam. Voor het eerst is geprobeerd vooraf te leveren prestaties te formuleren die in relatie staan met een bepaald gewenst beleidseffect. Hiernaast heeft de gemeenteraad aan het College gevraagd hierover jaarlijks te rapporteren en verantwoording af te leggen. Het kunnen opstellen van goede meetbare doelstellingen is niet eenvoudig. In het volgende hoofdstuk wordt uitgelegd op welk niveau meetbare doelstellingen kunnen worden geformuleerd en wat de relatie van deze doelstellingen is met de prestatie die de gemeente heeft geleverd.
1
Parallel aan deze uitgave wordt door de Rekenkamer een handreiking uitgegeven waarin haar ervarin-
gen met het werken met meetbare doelstellingen is opgenomen. Daarbij geeft zij praktische tips en handvatten. Deze handleiding zal worden gepubliceerd op de website van de Rekenkamer (www.rekenkamer.rotterdam.nl).
5
2
Meetbare doelstellingen
Meetbare doelstellingen zijn afgeleid van goed doordacht beleid waarbij de vragen wat we willen bereiken en wat gaan we daarvoor doen, een belangrijke rol spelen bij het formuleren van meetbare doelstellingen. Nagegaan wordt welke maatschappelijke verschijnselen het beleid beoogt te beïnvloeden, welke middelen en activiteiten hiervoor nodig zijn en welke prestaties er zullen moeten worden geleverd om het gewenste maatschappelijke effect te bereiken. In het schema meetbare doelstellingen, zie volgende pagina, wordt dit weergegeven. Het schema gaat uit van drie niveau’s: -
input: de middelen, activiteiten en projecten tezamen; output: de resultaten en prestaties van beleid, een programma of project; outcome: het effect van beleid op de maatschappij.
Om dit stelsel beter uit te leggen, wordt een voorbeeld1 gebruikt, namelijk de aanpak van jeugdwerkloosheid. De input wordt gevormd door de inspanningen om het Jongerenloket op te zetten waarin verschillende instanties (zoals JOS, dienst SoZaWe en CWI) samenwerken, het afstemmen van de verschillende cliëntsystemen en de middelen die deze inspanning vergen. De output vormt de resultaten van het Jongerenloket: hoeveel jongeren zijn na inschrijving bij het jongerenloket een leertraject gaan volgen, hoeveel zijn er het regulier onderwijs ingestroomd en hoeveel hebben er een baan gevonden. Het outcome van dit beleid is de afname van jeugdwerkloosheid. De functie van meetbare doelstellingen is het zichtbaar maken van resultaten van beleid. Het is een afgeleide van beleid en geen doel op zich. Het voortijdig behalen van een doelstelling wil niet zeggen dat beleid niet hoeft te worden gecontinueerd. Een kwalitatieve evaluatie is minstens zo belangrijk. Het formuleren van meetbare doelstellingen is mogelijk op zowel output- als outcomeniveau. De indicatoren die bij deze doelstellingen worden geformuleerd, zijn achtereenvolgens de outputindicator en de outcome-indicator. Beide soorten indicatoren worden nader besproken en er wordt aangegeven wat hun relatie is met de door de gemeente geleverde prestaties.
1
Het voorbeeld kan afwijken van de werkelijkheid.
7
Schema meetbare doelstellingen
Input
Output
Outcome
Activiteiten en
Resultaten en prestaties van beleid, programma’s, projecten
Maatschappelijke effecten
Middelen projecten
Output-indicator
8
Outcome-indicator
Meetbare doelstellingen geoperationaliseerd als indicatoren De indicatoren die dienen als meetbare doelstellingen voldoen aan een aantal criteria: - inhoudelijk (ook consistentie genoemd): de indicator moet staan voor wat de gemeente wil bereiken; - meetbaarheid: de indicator is kwantitatief geformuleerd, er is sprake van een nulmeting en een streven; - tijdgebondenheid: er is sprake van een tijdpad. Hiermee wordt aangegeven wanneer welk resultaat moet zijn behaald; - eenduidigheid: de gehanteerde definities maakt dat de indicator niet voor meerdere uitleg vatbaar is - realistisch: het gestelde doel moet ten opzichte van de nulmeting haalbaar zijn en dus een relatie hebben met de algemene doelstellingen van beleid. Deze criteria worden binnen de gemeente Rotterdam gehanteerd. Ze zijn bijvoorbeeld terug te vinden in de rapporten “Resultaten tellen” van de Rekenkamer. Outputindicatoren De output van beleid geeft de resultaten en prestaties weer van beleid. De meetbare doelstelling geeft aan wat in een bepaalde periode bereikt moet worden, wil er sprake zijn van een goed uitgevoerd beleid. In het voorbeeld van het Jongerenloket kan dit bijvoorbeeld zijn: per jaar een X aantal jongeren (17 tot 23 jaar) opnemen in een leertraject. Bij de formulering van deze doelstelling moet een aantal dingen duidelijk zijn: 1. 2. 3. 4. 5. 6.
is de gemeente verantwoordelijk voor dit beleid of zijn er nog meer partners; wil de gemeente dit bereiken; wat is de definitie van een leertraject, wat telt mee en wat niet; op welke manier wordt het aantal jongeren dat per jaar instroomt, geteld, wat is de capaciteit en welk aandeel van de capaciteit er benut is; de periode waarover geteld wordt, moet zijn vastgelegd, zoals bijvoorbeeld gedurende een geheel kalenderjaar; 7. het tijdstip waarop het resultaat behaald moet zijn, is vastgelegd; 8. de nulmeting en de streefwaarde moeten bekend zijn: in het jaar van de nulmeting stroomde X jongeren een leertraject in, het doel is in jaar Y een Z-aantal jongeren te laten instromen. Met de outputindicator wordt het na te streven resultaat geformuleerd. Regelmatig wordt gemeten in hoeverre de gemeente op koers ligt om een bepaald streven te halen. Op dit niveau kan de gemeente verantwoording afleggen over de prestatie die is geleverd. Outcome-indicatoren De outcome van beleid is het effect van beleid. In het geval van de instelling van het Jongerenloket wordt verondersteld dat de werkloosheid onder jongeren zal verminderen. Een meetbare doelstelling is in dit geval daling van de werkloosheid. De outcome bestaat over het algemeen uit maatschappelijke ontwikkelingen die niet alleen door gemeentelijk beleid worden beïnvloed. Dit toont het voorbeeld van de jeugdwerkloosheid aan. De jeugdwerkloosheid is afhankelijk van het functioneren van de arbeidsmarkt. De arbeidsmarkt wordt door het economisch klimaat, de houding van werkgevers ten opzichte van jongeren, vaardigheden van jongeren, etc. bepaald. Op dit niveau geeft de gemeente aan wat de gewenste ontwikkeling is maar kan niet als enige verantwoordelijk worden gehouden voor wat voor ontwikkeling dan ook. Er zijn immers andere bepalende factoren.
9
Ook bij de formulering van deze doelstelling moeten een aantal dingen zijn vastgelegd. 1. 2. 3. 4. 5. 6. 7.
geef aan wat de nulwaarde is van een maatschappelijk verschijnsel; welke bronnen zijn exact gebruikt bij de berekening van een bepaald verschijnsel; wat is de definiëring van gebruikte begrippen; wie is verantwoordelijk voor die bronnen; hoe is een getal berekend; wat is de streefwaarde; wanneer moet die streefwaarde worden bereikt.
De outcome-indicator geeft aan wat de maatschappelijke ontwikkeling is en de output-indicator wat de gemeente heeft gedaan om deze ontwikkeling te beïnvloeden. Samenhang tussen de indicatoren De outcome-indicatoren en outputindicatoren vertonen een samenhang. Wanneer op outcomeniveau een indicator wordt geformuleerd, wordt daarnaast een outputindicator(en) geformuleerd die de prestaties weergeven die de gemeente gaat leveren om de gewenste outcome te behalen. De beide soorten indicatoren moeten op elkaar afgestemd zijn zodat gezegd kan worden welke prestaties zijn geleverd en wat de outcome is. Hoewel niet goed aan te tonen is wat precies de invloed is van de prestaties van de gemeente op de outcome, kan hiermee duidelijk worden wat de gemeente heeft gedaan om een bepaalde maatschappelijke ontwikkeling te beïnvloeden.
10
3
Het monitoren outcome- en outputindicatoren
Het rapporteren van outcome- en outputindicatoren van gemeentelijk beleid gebeurt jaarlijks in begroting en jaarverslag. Ten behoeve hiervan worden elk jaar de gegevens van deze indicatoren verzameld. Deze gegevensverzameling zal elk jaar op dezelfde manier moeten plaatsvinden. Dit wordt bereikt door vooraf de procedure van gegevensverzameling vast te leggen in een stramien. Tot nu toe is er binnen de gemeente Rotterdam nog geen vaststaand stramien. Dit is wel wenselijk om de meting van indicatoren niet van personen afhankelijk te laten zijn en de meting gedurende een beleidsperiode te waarborgen. Ten behoeve van het grotestedenbeleid is een stramien ontwikkeld dat als handvat kan dienen: Voorbeeld van een beschrijving per indicator: Nummer: Indicatornaam: Verantwoordelijk:
nummer in de lijst van indicatoren van de gemeente indien deze is aangemaakt naam van de indicator zoals deze is vastgesteld in een officieel document van de gemeente Rotterdam partij die verantwoordelijk is voor het verzamelen van de gegevens: welke dienst bijvoorbeeld
Broneigenaar: Bronbestand: Functionaris:
instantie (en afdeling) die het gegeven beheert naam van het registratiebestand waar de gegevens zijn opgeslagen functienaam van de project- of programmaleider die het beheer van het registratiebestand onder zich heeft en verantwoordelijk is voor het verzamelen van de benodigde gegevens
Omschrijving:
omschrijving van het gegeven(s) dat uit het registratiebestand wordt genomen
Soort gegeven:
voorbeelden zijn: standgegeven (een gegeven waarvan het aantal geregistreerden op 1 bepaald tijdstip wordt bepaald, bijvoorbeeld aantal per 1 januari), stroomgegeven (aantal keer dat iets voorkomt gedurende een jaar), steekproefonderzoek (enquête) tijdstip waarop een gegeven beschikbaar is manier waarop een gegeven berekend is: bijvoorbeeld een percentage: wat is de noemer en de deler, of de berekening van een kengetal
Beschikbaarheid: Berekening:
Nulmeting: Streven:
waarde van nulmeting waarde van het streven en tijdstip van bereiken van het streven
Toelichting:
bijzonderheden, zoals de definiëring van begrippen, kunnen hier worden vermeld
11
