Evaluatiestudies onder de loep

Evaluatiestudies onder de loep Het gebruik van evaluatie bij de gebiedsgerichte werking van de provincie West-Vlaanderen

Sanne Van Neste Masterproef tot het behalen van de graad van Master in de Bestuurskunde en het Publiek Management Academiejaar: 2012 -2013

Promotor: Prof. Dr. De Rynck Filip Naam student

1|Pagina

WOORD VOORAF Een masterproef schrijven is een proces van vallen en opstaan die zonder een aantal mensen niet mogelijk was geweest. Ik wens via deze weg iedereen te bedanken die me op één of andere manier tijdens dit proces geholpen heeft. In de eerste plaats wil ik mijn promotor, professor Filip De Rynck, van harte bedanken voor de nodige hulp en begeleiding bij mijn onderzoek. Zonder zijn feedback was dit resultaat niet mogelijk geweest. Ten tweede wil ik Stijn Lombaert, Jan Durnez, Rik Samyn, Kathy Belpaeme, Bruno Tricot, Koenraad Marchand en Filip Boury bedanken om tijd voor mij vrij te maken en de interviewvragen zo volledig mogelijk te beantwoorden. Ik wil in het bijzonder Stijn Lombaert nog bedanken voor de extra verhelderende momenten en Johan Deruyck, van de dienst griffie, voor het nalezen. Ook van harte bedankt aan Karl Catteeuw, stafmedewerker bij de dienst gebiedsgerichte werking, voor het verstrekken van heel wat informatie, het beantwoorden van bijkomende vragen en het nalezen van mijn werk. Tot slot mogen in dit bedankingswoord mijn familie en vrienden niet ontbreken. Zij hebben me doorheen mijn opleiding altijd gesteund. Daarnaast wil ik ook mijn vriend Joachim bedanken voor de onmisbare steun. Ik wil ook heel speciaal mijn oma vermelden die altijd in mij geloofde maar die het einde van mijn studieperiode net niet mocht meemaken. Aan allen, een welgemeende dankuwel!

2|Pagina

INHOUDSOPGAVE Woord vooraf ............................................................................................................................. 2 Inhoudsopgave ........................................................................................................................... 3 Lijst van gebruikte afkortingen .................................................................................................. 5 Lijst van figuren ......................................................................................................................... 6 Lijst van tabellen ........................................................................................................................ 6 Samenvatting .............................................................................................................................. 7 Abstract ...................................................................................................................................... 8 Inleiding ..................................................................................................................................... 9 Onderzoeksfocus ...................................................................................................................... 10 Hoofdstuk 1: Situering gebiedsgerichte werking binnen de provincie West-Vlaanderen ....... 11 Wat? ..................................................................................................................................... 11 Schets van het ontstaan .................................................................................................... 13 Europese programma’s ..................................................................................................... 16 Organisatie binnen het provinciebestuur .............................................................................. 19 Hoofdstuk 2: Theoretisch kader .............................................................................................. 22 Beleidsevaluatie ................................................................................................................... 22 Evaluatietypologieën ........................................................................................................ 23 Prestatiemeting ................................................................................................................. 28 Motieven voor beleidsevaluatie ........................................................................................... 30 Algemeen ......................................................................................................................... 30 Koppeling motieven met evaluatietypologieën ................................................................ 32 Effecten van beleidsevaluatie ............................................................................................... 33

3|Pagina

Hoofdstuk 3: Methodologie ..................................................................................................... 35 Kwalitatief onderzoek .......................................................................................................... 35 Documentenanalyse ......................................................................................................... 35 Interviews ......................................................................................................................... 36 Onderzoeksmodel ................................................................................................................. 38 Hoofdstuk 4: Empirisch onderzoek .......................................................................................... 40 Deel 1: Kenmerken en motieven .......................................................................................... 41 Kenmerken van evaluatiestudies bij de gebiedsgerichte werking .................................... 41 Motieven voor beleidsevaluatie bij de gebiedsgerichte werking ..................................... 70 Prestatiemeting bij de gebiedswerking? ........................................................................... 77 Deel 2: Effecten en houdingen ............................................................................................. 79 Effecten van evaluatiestudies ........................................................................................... 79 Houdingen tegenover evaluatiestudies binnen de organisatie .......................................... 82 Hoofdstuk 5: Aanbevelingen voor toekomstige evaluatiestudies ............................................ 84 Hoofdstuk 6: Conclusie ............................................................................................................ 88 Bibliografie............................................................................................................................... 92 Literatuur .............................................................................................................................. 92 Evaluatieverslagen en rapporten .......................................................................................... 96 Parlementaire stukken .......................................................................................................... 97 Overige ................................................................................................................................. 97 Bijlagen .................................................................................................................................... 98 Organogrammen (juli 2013) ................................................................................................. 99 Interviewvragen .................................................................................................................. 102 4|Pagina

LIJST VAN GEBRUIKTE AFKORTINGEN GGW

Gebiedsgerichte werking

WH

Westhoek

BO

Brugge – Oostende

MWVL

Midden-West-Vlaanderen

ZWVL

Zuid-West-Vlaanderen Externe relaties, Europese programma’s en

EEG gebiedsgerichte werking Programmadocument voor PDPO Plattelandsontwikkeling NPM

New Public Management

BBC

Beleids-en beheerscyclus

EFQM

European Foundation for Quality Management

GGLV

Geïntegreerde Gebiedsvisie Leievallei

GWWH

Gemeentelijk woonprojecten Westhoek

EFRO

Europees Fonds voor Regionale Ontwikkeling Europees Oriëntatie- en Garantiefonds voor de

EOGFL

VTE

Landbouw Voltijdse Equivalenten

5|Pagina

LIJST VAN FIGUREN Figuur 1: Koppeling beleidsfasen en evaluatie……………………………………………….26 Figuur 2: Beleidsevaluatie: evaluatiecriteria en indicatoren …………………………………27

LIJST VAN TABELLEN Tabel 1: Aantal VTE bij de dienst gebiedsgerichte werking…………………………………21 Tabel 2: Evaluatietypes gebaseerd op fase in beleidscyclus………………………………....25 Tabel 3: Het verband tussen beleidsfase, evaluatietype en evaluatiemotief………………….34 Tabel 4: Samenhang evaluatietypologieën en motieven……………………………………...35 Tabel 5: Onderzoeksmodel…………………………………………………………………...41 Tabel 6: Evaluatiestudies van de volledige werking……………………...………………55-56 Tabel 7: Evaluatiestudies vanuit regioperspectief ……………………………………..…61-62 Tabel 8: Evaluatiestudies van Europese programma’s……………………………………68-69 Tabel 9: Overzichtstabel……………………………………………………………………...71 Tabel 10: Motieven voor beleidsevaluatie gebaseerd op de literatuur……………………….75 Tabel 11: Conclusietabel: kenmerken………………………………………………………...91

6|Pagina

SAMENVATTING Sinds 1996 vaart de provincie West-Vlaanderen een gebiedsgerichte koers. Het was de eerste provincie in Vlaanderen die gebiedsgericht beleid introduceerde in de werking. WestVlaanderen is opgedeeld in verschillende regio’s met eigen dynamieken en kansen. Gebiedsgericht werken houdt in dat beleid wordt uitgestippeld op maat van een specifieke regio. In het kader van New Public Management (NPM) en de introductie van de beleids- en beheerscyclus (BBC) wordt meer aandacht besteed aan beleidsevaluatie in een publieke context. In deze masterproef werpen we een blik op de praktijk van evalueren bij de gebiedsgerichte werking van de provincie West-Vlaanderen. Het onderzoek wordt opgesplitst in twee delen. In het eerste deel gaan we op zoek naar kenmerken van evaluatiestudies bij de gebiedswerking. Hierbij delen we de evaluatiestudies in drie categorieën in: evaluatiestudies van de volledige werking, evaluatiestudies vanuit regioperspectief en evaluatiestudies van Europese programma’s.“Hoe wordt het beleid van de gebiedsgerichte werking in de provincie West-Vlaanderen in de praktijk geëvalueerd?” is de eerste onderzoeksvraag. Opvallend hierbij is het feit dat bij evaluaties van Europese programma’s andere kenmerken naar voren komen dan bij de evaluaties van de volledige werking of vanuit regioperspectief. Daarnaast trachten we ook motieven om over te gaan tot beleidsevaluatie te achterhalen. In het tweede deel wordt gekeken naar mogelijke effecten van beleidsevaluatie en worden meningen omtrent beleidsevaluatie die in de organisatie bestaan, opgelijst. De tweede onderzoeksvraag is als volgt geformuleerd: “Wat kunnen effecten zijn van evaluatiestudies en hoe worden de studies benaderd binnen de gebiedsgerichte werking van de provincie West-Vlaanderen?” We sluiten het onderzoek af met een aantal aanbevelingen voor toekomstige evaluaties. De resultaten

vloeien

documentenanalyse

voort van

uit

kwalitatieve

gevoerde

onderzoeksmethoden,

evaluatiestudies

en

meerbepaald

diepte-interviews

een met

regiocoördinatoren en diensthoofden.

7|Pagina

ABSTRACT Ever since 1996, the province of West Flanders has been steering a regionally oriented course. It was the first Flemish province to introduce area-specific policies in their operations. West Flanders is divided into multiple districts, each with their own dynamics and opportunities. Working with area-specific measures implies that the policies set out are tailored to the needs of a specific region. As part of New Public Management and the introduction of the policy and management cycle, more attention is given to policy assessment in a public context. This master thesis takes a look at the practice of evaluating the area-specific workings of the province of West Flanders. The research itself is divided into two parts. In the first part we take a look at some of the characteristics of evaluation studies used with area-specific policies. We have divided the assessments into three distinctive categories: evaluation studies of the complete operations, evaluation studies from a regional perspective and evaluation studies from European programs. “In which way are the region specific policies of the province of West Flanders evaluated in real terms?” is the first research question. A remarkable fact is that the characteristics that emerge from European programs are different from the ones highlighted by the assessments from the other two categories. In addition to this, we also attempt to detect incentives to move to a policy assessment. In the second part we take a look at possible consequences of policy evaluation. We also list several views regarding policy evaluation methods that exist in the organization. The second research question is formulated as follows: “What could the effects of evaluation studies be and how are the studies approached within the area-specific operations of the province of West Flanders?” We wrap up the research with a number of recommendations for future evaluations. The results are derived from qualitative research methods, with an analysis of documents of conducted evaluation studies and in-depth interviews with regional coordinators and heads of departments in particular.

8|Pagina

INLEIDING De ene regio is de andere niet. De provincie West-Vlaanderen kan worden ingedeeld in verschillende regio’s of gebieden met eigen dynamieken, problemen en kansen. Als eerste Vlaamse provincie vaarde de provincie West-Vlaanderen een gebiedsgerichte koers. Sinds 1996 wordt beleid op maat van de verschillende regio’s gevoerd. Dit noemen we gebiedsgerichte werking (GGW) of gebiedswerking. Intussen kent het provinciebestuur een jarenlange traditie in de materie. De deputatie van de provincie schoof op de installatievergadering van de provincieraad op drie december 2012 vijf strategische keuzes naar voor die de grondslagen moeten vormen van het beleid dat vorm zal krijgen in het nieuwe meerjarenplan (2014-2019). Eén van die strategische keuzes is het sterker inzetten op GGW. Dit onderstreept het belang van de GGW binnen het provinciebestuur.1 In het huidige New Public Management (NPM) tijdperk en in het kader van de beheers- en beleidscyclus (BBC) wordt beleidsevaluatie steeds belangrijker. Om de werking steeds te verbeteren en professioneler te worden is het noodzakelijk dat er geëvalueerd wordt. Maar is de evaluatie van beleid wel ingebakken in de werking? Wordt op regelmatige wijze geëvalueerd en hoe gebeurt dit dan? In deze masterproef werpen we een blik op de praktijk van evalueren bij de gebiedsgerichte werking van de provincie West-Vlaanderen. Via kwalitatieve onderzoeksmethoden gaan we op zoek naar kenmerken van evaluatiestudies bij de gebiedswerking. We trachten ook motieven om over te gaan tot beleidsevaluatie te achterhalen. Daarnaast is het interessant om na te gaan wat effecten van evaluatiestudies zijn en welke meningen omtrent beleidsevaluatie bestaan in de organisatie. We beginnen met een korte omschrijving van de onderzoeksfocus. Om het bredere kader van het onderzoek te vatten, wordt daarna een beeld geschetst van de organisatie en van het ontstaan van de GGW binnen de provincie West-Vlaanderen. In tweede instantie gaan we dieper in op de theorie van beleidsevaluatie. Na een uiteenzetting van de methodologie volgt het empirisch onderzoek op basis van een documentenanalyse en interviews. Daaruit volgen een aantal aanbevelingen voor toekomstige evaluatiestudies.

1

Toespraak Guido Decorte, eerste gedeputeerde, op de installatievergadering van de provincieraad op 3 december 2012

9|Pagina

ONDERZOEKSFOCUS In dit onderzoek kijken we vanuit een meta-perspectief naar de praktijk van beleidsevaluatie bij de GGW van de provincie West-Vlaanderen. Het is de bedoeling om na te gaan hoe het gebiedsgericht beleid wordt geëvalueerd. Wat is de rol en de betekenis van evaluatie bij de gebiedswerking? Deze masterproef strekt zich ertoe om de praktijk van beleidsevaluatie en de bijhorende effecten te bekijken. De onderzoeksvraag is dan ook de volgende: “Hoe wordt het beleid van de gebiedsgerichte werking in de provincie West-Vlaanderen in de praktijk geëvalueerd?” We splitsen deze onderzoeksvraag op in volgende delen: -

Welke types van evaluatie worden gebruikt bij de evaluatie van de gebiedsgerichte werking van de provincie West-Vlaanderen? Zien we ook elementen van prestatiemeting? Prestatiemeting is immers een meer specifieke vorm van beleidsevaluatie.

-

Wat kunnen motieven voor beleidsevaluatie zijn?

Ten tweede willen we ook graag weten welke impact evaluatie met zich meebrengt en hoe beleidsevaluatie binnen de organisatie wordt benaderd. Onze tweede onderzoeksvraag luidt dan als volgt: “Wat kunnen effecten zijn van evaluatiestudies en hoe worden de studies benaderd binnen de gebiedsgerichte werking van de provincie West-Vlaanderen?” Als deelvragen onderscheiden we hier: -

Wat zijn effecten van evaluatiestudies?

-

Wat zijn houdingen tegenover evaluatiestudies in de organisatie?

10 | P a g i n a

HOOFDSTUK 1: SITUERING GEBIEDSGERICHTE WERKING BINNEN DE PROVINCIE WEST-VLAANDEREN In dit eerste hoofdstuk nemen we de GGW van de provincie West-Vlaanderen onder de loep. Eerst en vooral trachten we te omschrijven wat GGW nu eigenlijk is. Hierbij werpen we ook een blik op de Europese programma’s. Daarna gaan we dieper in op de organisatie van de gebiedswerking binnen het provinciestuur en kijken we naar de ontstaansgeschiedenis ervan.

WAT? De provincie West-Vlaanderen wordt opgesplitst in verschillende regio’s: de Westhoek, Brugge-Oostende, Midden-West-Vlaanderen, Zuid-West-Vlaanderen en de Kust. In deze afgebakende regio’s voert het provinciebestuur sedert 1996 een gebiedsgericht beleid. De beleidsnota van 1996 omschrijft gebiedsgericht werken als volgt: “Provinciale beleidsacties en beleidsmiddelen die gericht zijn op het realiseren van beleidsdoelstellingen in één of meerdere gebieden van de provincie en die naargelang de aard van de doelstellingen en de beoogde rol van het provinciebestuur op uiteenlopende wijzen organisatorisch vorm krijgen.” Een aantal ambtenaren worden hierbij tewerkgesteld in een regio. Zij staan onder leiding van een regiocoördinator en worden gebiedswerkers genoemd. Deze gebiedswerkers worden aangestuurd door de centrale administratie maar beschikken over voldoende vrijheid om het beleid vorm te geven op maat van de regio (provincie West-Vlaanderen, 2009). De Mets (2006) schuift een aantal kernbegrippen van het concept GGW naar voor. Elke regio wordt gekenmerkt door een eigen dynamiek, problemen en kansen. Een universeel beleid in alle regio’s strekt dus niet tot aanbeveling. Maatwerk op basis van de behoeften en/of kansen in elk gebied is van belang. Er moet worden gezocht naar oplossingen op maat voor de problemen die zich stellen in de specifieke context van de regio. Het beleid is dus gebiedsspecifiek. Er moet klantgericht gewerkt worden met oog voor de noden van een bepaalde regio (De Mets, 2006). Daarnaast zien we schaaldifferentiatie. De aanpak kan op een verschillende schaal gebeuren naargelang de aard van het probleem of het thema van het beleid (De Mets, 2006). Bovendien gaat het bij GGW vaak om netwerkvorming. Het betekent samenwerken met andere partijen. Hierbij zijn inspraak en communicatie twee sleutelwoorden. Er dient dan afstemming te zijn met andere bestuursniveaus en particuliere actoren die werken rond projecten of beleidsprogramma’s (De Mets, 2006). Tot slot moet 11 | P a g i n a

GGW het beleid op een geïntegreerde manier benaderen. Hierbij is inhoudelijke afstemming en integratie van beleid binnen en tussen sectoren belangrijk. De grenzen tussen de sectoren zullen als het ware verdwijnen (De Mets, 2006). Samengevat komt het erop aan om door middel van het gebiedsgericht beleid oplossingen te zoeken voor problemen op maat in een bepaalde regio die wordt gekenmerkt door een eigen dynamiek. Dit moet leiden tot een geïntegreerd, gebiedsspecifiek beleid in een netwerkachtige omgeving. Naargelang de aard van het probleem of het thema beslaat de aanpak een bepaalde schaal. Veel acties van de provincie hebben altijd wel een territoriale impact. Er is echter pas sprake van gebiedsgericht werken als het provinciebestuur expliciet acties opzet rond doelstellingen in en voor een bepaalde regio binnen de provincie (Beleidsnota GGW 1996). De bouwstenen van het provinciale gebiedsgericht beleid zien er als volgt uit. Vooreerst gaat het provinciebestuur op een gedeconcentreerde manier personeel inzetten in de verschillende regio’s. De streekhuizen zorgen hierbij voor een fysieke verankering in de streek. De provincie stelt werkingsmiddelen ter beschikking en gaat ook toelagen geven aan andere regionale instanties met het oog op partnerschappen. Daarnaast zorgen ook andere sectorale beleidsdomeinen voor een gebiedsspecifieke agendering in de verschillende regio’s. Ook de actoren van de verschillende beleidsdomeinen van de provincie gaan gebiedsgericht beleid uitstippelen naast hun reguliere beleid (Beleidsnota GGW 2007-2012). Daar bevindt zich een spanningsveld. De gebiedswerking is geen methodiek waardoor de actoren van de beleidsdomeinen in hun beleid niet automatisch gebiedsgericht gaan denken. Vaak is dat maar een aanvulling op hun reguliere beleid.2 Ten derde zijn er de gebiedsprogramma’s op basis van de huidige geïntegreerde gebiedsgerichte projecten. Deze vormen een deel van de gebiedswerking en het provinciebestuur streeft ernaar om deze verder uit te werken. Bovendien staat de GGW ook in voor geïntegreerde thema’s zoals bijvoorbeeld leefbaarheid. Deze kunnen worden getrokken door sectorale lijndiensten. Tot slot valt ook de projectwerking rond subregionale arrangementen onder de gebiedswerking. Hier spelen de Europese programma’s een grote rol (Beleidsnota GGW 2007-2012).

2

S. Lombaert, persoonlijke communicatie, 2 mei 2013

12 | P a g i n a

SCHETS VAN HET ONTSTAAN De provincie West-Vlaanderen vaart sinds 1996 een gebiedsgerichte koers. Op één februari van dat jaar keurde de provincieraad de eerste provinciale beleidsnota gebiedsgerichte werking goed. De nota kwam tot stand onder begeleiding van professor Filip De Rynck na een uitgebreide discussie met de betrokken ambtenaren en de deputatie (Evaluatiestudie gebiedswerking provincie West-Vlaanderen, 2000). De nota was als het ware een voorlopig eindpunt van een van onderuit gegroeid proces en een politieke legitimatie van deze ontwikkelingen. Provincies werden steeds meer gevraagd om zich te buigen over streekdossiers. De gebiedswerking was een manier om zich als provincie klantgerichter te maken en zich als intermediair bestuur te profileren. Bovendien kreeg de provincie ook een aantal opdrachten van de Vlaamse overheid in het kader van GGW. Dit alles zorgde voor de start van de GGW in de provincie West-Vlaanderen (provincie West-Vlaanderen, 2009). De beleidsnota zelf was het resultaat van een prille aanzet tot intern overleg. Hij dateert van bij de start van een periode van werken met beleidsnota’s in de provincie. De beleidsnota was een onderdeel van een startend proces. Er werd een inventarisatie gemaakt van de bestaande initiatieven en op basis van die initiatieven werd gekozen om vooral aandacht te schenken aan welzijn, milieu, toerisme en recreatie. Deze sectoren werden gezien als degene die klaar waren om de gebiedswerking uit te bouwen (Evaluatiestudie gebiedswerking provincie WestVlaanderen, 2000). De periode 1996-1997 werd gekenmerkt door een gedreven start. Het was de dienst EEG (Externe relaties, Europese programma’s en Gebiedsgerichte werking, toen nog één dienst). die de coördinerende verantwoordelijkheid kreeg. De gebiedswerking groeide het snelst in de Westhoek en kwam trager op gang in de regio’s Kortrijk en Brugge-Oostende. De gebiedswerking in de Westhoek sloot aan bij een traditie van samenlevingsopbouw en plattelandsontwikkeling die al lang aan de gang was in de streek. De provincie kon hier dus een belangrijke meerwaarde bieden op gebied van financiële middelen en personeel. In de regio Kortrijk kwam de gebiedswerking minder snel van de grond. De bezetting van gebiedswerkers was verhoudingsgewijs in regio Brugge-Oostende het zwakst. De planning voor de jaren ’96 en ’97 was een ad hoc planning, het ging immers om een periode van opbouw. Er ging veel aandacht naar de uitbouw van infrastructuur en logistiek. Het was een zoekproces waarbij gebiedwerkers, vooral ervaren mensen, hun plaats in de provinciale werking verkenden. Er ging veel aandacht naar overleg tussen gebiedswerkers onderling door 13 | P a g i n a

middel

van

regiovergaderingen

en

interregionale

samenkomsten

(Evaluatiestudie

gebiedswerking provincie West-Vlaanderen, 2000). De periode 1998 – eerste helft van 1999 werd gekenmerkt door consolidatie. De uitbouw verliep trager dan verwacht. De domeinen telecommunicatie, verkeer en vervoer uit de beleidsnota werden niet verwezenlijkt, het bleef bij intenties. Er kwam wel een uitbreiding op vlak van landbouw in regio Brugge-Oostende. De eerder vermelde overlegvormen bleken niet goed te werken en werden bijgestuurd. Er kwam kritiek op het gebrek aan sturing vanuit en naar de administratieve top, de deputatie en de lijndiensten. Het aantal gebiedwerkers nam toe en steeds meer jonge, vaak minder ervaren mensen vervoegden het personeel. Op het centrale niveau kreeg de dienst toerisme en recreatie gestalte. Deze dienst had een belangrijke speerfunctie voor gebiedswerking. Met het Esenkasteel kreeg de gebiedswerking in de Westhoek een fysieke verankering. De aandacht voor infrastructurele middelen verschoof ook naar de andere regio’s. Midden 1998 werd een stuurgroep gebiedswerking opgericht. Voordien gebeurde het overleg in vergaderingen met alle gebiedswerkers. Zij kwamen maandelijks samen. Door de oprichting van de stuurgroep daalde de frequentie van de vergaderingen met alle gebiedswerkers. De overlegvergaderingen veranderden ook van doel. De samenkomsten werden omgebouwd van overlegvergaderingen tot vormingsmomenten waar projecten werden voorgesteld of waar sprekers kwamen. Het was de stuurgroep die de functie van sturing en overleg overnam. De gebiedwerking begon ook meer planningsgericht te werken (Evaluatiestudie gebiedswerking provincie West-Vlaanderen, 2000). De gebiedswerkers drongen aan op een externe evaluatie. Men wilde immers meer duidelijkheid over de externe en interne communicatie. De formele planningsystematiek kreeg toch meer diepgang. Er was veel personeelsverloop in de provincie, ook bij de dienst EEG. Hierdoor verzwakte de overlegstructuur op alle niveaus. Daarop nam de provinciale top initiatief voor visieopbouw en strategiebepaling. Na het opstellen van de beleidsnota was er nauwelijks nog collectief topoverleg geweest rond de verdere visievorming van gebiedswerking. De beleidsnota werd op het hoogste niveau te weinig gebruikt als een werkdocument voor verdere verdieping. Op vlak van communicatie werden intenties geformuleerd om communicatiestrategieën te ontwikkelen (Evaluatiestudie gebiedswerking provincie WestVlaanderen, 2000). Later in 1999 vonden samenkomsten plaats om na te denken over de kerntaken van de provincie. Strategie – en visievorming stonden centraal met het oog op de verkiezingen en een nieuwe termijn voor de deputatie (Evaluatiestudie gebiedswerking provincie West14 | P a g i n a

Vlaanderen, 2000). Vanaf 1999 kon men spreken van een volwaardige structurele aanwezigheid in de verschillende regio’s (Evaluatiestudie gebiedswerking provincie WestVlaanderen, 2000). De integratie van GGW in het provinciebestuur kende een veranderingsproces met ongelijke snelheden en dynamieken. De GGW was ongelijk uitgebouwd naargelang de verschillende regio’s. Ook de uitbouw per dienst verliep ongelijk. De grootte van de dienst speelde hier een rol. Kleinere diensten zagen de gebiedswerkers eerder als een aanvulling op hun dienst terwijl de integratie bij grotere diensten beter verliep. Daarnaast verschilde ook de dynamiek van de integratie van gebiedswerking. Bepaalde lijndiensten stonden in hun acceptatie en integratie van gebiedswerking en gebiedswerkers verder dan andere (Evaluatiestudie gebiedswerking provincie West-Vlaanderen, 2000). Op 25 april 2003, na het kerntakendebat, kwam er een bestuursakkoord tot stand tussen het Vlaams, het provinciaal en het lokaal bestuursniveau. Hierin werd gesteld dat de taak van de provincies bestaat uit besluitvorming op bovenlokaal niveau. De provincies staan bovendien ook in voor de ondersteuning van lokale besturen (provincie West-Vlaanderen, 2009). De GGW werd decretaal vastgelegd in het provinciedecreet van negen december 2005. In het derde lid van artikel twee van het decreet wordt gebiedsgerichte werking als een taak van de provincies omschreven. De provincie is bevoegd “voor het nemen van initiatieven met het oog op gebiedsgerichte samenwerking tussen besturen in een regio”.3 Het ‘Witboek Interne Staatshervorming’ van Vlaams minister Geert Bourgeois verscheen in het voorjaar van 2011. Hierin kregen de provincies een taak toebedeeld in regionale samenwerkingsverbanden. Het ‘Witboek Interne Staatshervorming’ stelt dat de klemtoon in de Vlaamse bestuurlijke organisatie komt te liggen bij de gemeenten aan de ene kant en de Vlaamse overheid aan de andere kant.4 De rol van de Vlaamse overheid is ondersteunend en kaderstellend. De gemeenten dienen over maximale autonomie te beschikken. De provincies bevinden zich tussen de gemeenten en de Vlaamse overheid als intermediair bestuursniveau. Het ‘Witboek’ stelt een sluitende lijst van provinciale bevoegdheden voorop die een grondgebonden karakter hebben. De provincies beschikken daarbij over een regierol en moeten zorgen voor afstemming. Op die manier worden de taken van de provincies afgestemd op de bevoegdheden van de gemeenten en de Vlaamse overheid. In artikel twee van het 3 4

Art. 2 lid 3 provinciedecreet van 09/12/05 Witboek Interne Staatshervorming p. 117

15 | P a g i n a

provinciedecreet werden met de komst van het ‘Witboek’ twee bijkomende inperkingen ingeschreven. Het komt er ten eerste op neer dat de provincies hun grondgebonden bevoegdheden kunnen blijven uitoefenen maar dat voor de niet-grondgebonden bevoegdheden een wettelijke basis nodig is. Ten tweede kan de Vlaamse regering in een bestuursakkoord ook taken met betrekking tot deze niet- grondgebonden materie toevertrouwen aan de provincies. De niet-grondgebonden bevoegdheden kunnen dus slechts krachtens een wet of decreet of door middel van een bestuursakkoord aan de provincies worden toegekend.5 In 2011 richtte de provincie West-Vlaanderen regiocommissies op voor provincieraadsleden. Deze commissies zijn in tegenstelling tot de reguliere commissies niet thematisch bepaald maar territoriaal. Regionale kwesties worden hier besproken. Het is een parallelle structuur die opgezet is naast de thematische commissies. Ze hebben geen officiële rol in het proces van agendering. Wat besproken wordt in de regiocommissies kan worden meegenomen naar de thematische commissies. 6 In een evolutie naar meer gebiedsgericht beleid kunnen deze commissies een rol spelen, ze zijn immers ingedeeld per regio. Een blik op de geschiedenis toont ons de groei van de gebiedswerking doorheen de jaren. Wat begon als een werking waarbij niet alle sectoren worden meegenomen, ontwikkelt zich tot een organisatiebrede strategie waarbij de GGW als kernopdracht verankerd wordt in het provinciedecreet van 2005. De werking evolueert van een doorvertaling van het sectorale beleid in de verschillende gebieden naar een geïntegreerde regiowerking waar tal van geïntegreerde gebiedsgerichte projecten worden opgezet (Beleidsnota GGW 2007-2012). De GGW kent een ongelijke uitbouw in de verschillende regio’s. Ook wat betreft het beleidsdomein, en dus de verschillende diensten of sectoren, valt een ongelijke ontwikkeling van de GGW op te merken. EUROPESE PROGRAMMA’S Kenmerkend bij de provincie en ook specifiek bij de gebiedswerking is dat er heel wat Europese programma’s en projecten zijn waar wordt aan deelgenomen. Deze zijn vanuit de Europese Unie ontstaan. De Unie wilde met haar regionaal beleid iets doen aan de ongelijkheid tussen regio’s. In 1987 werd door de toenmalige EEG een Nationaal programma van Communautair belang goedgekeurd. Er werd daarna vanaf 1989 een Geïntegreerd 5 6

Witboek Interne Staatshervorming p. 117-118 Stijn Lombaert, persoonlijke communicatie, 2 mei 2013

16 | P a g i n a

Actieprogramma (GAP) uitgevoerd. Dit was bedoeld als hefboom om het proces van ontwikkeling te versnellen. Daaruit volgden Europese programma’s die stimulansen waren voor een doordachte gebiedsgerichte aanpak. Die programma’s waren en zijn nog steeds belangrijke financiële bronnen voor de gebiedswerking. Dit had als gevolg dat de aandacht voor een aantal beleidsthema’s door die Europese programma’s groter werd. De provincie had goede contacten met Noord-Frankrijk en sloot daarop in 1989 een protocol af met het Département du Nord. Door de uibouw van dergelijke netwerken kan vlotter worden samengewerkt en worden Europese programma’s op die manier gefaciliteerd. Het Vlaams Gewest besliste op drie december 1999 om het management van de gebiedsgerichte Europese programma’s aan de Vlaamse provincies toe te vertrouwen. Naast reguliere gebiedsgerichte programma’s zijn er dus ook programma’s en projecten met Europese steun die de provincie ten goede komen. Het is namelijk zo dat Europa regio’s met een ontwikkelingsachterstand helpt om de economische en sociale samenhang binnen Europa te versterken. De Europese Unie zet daarom doelstellingenprogramma’s op voor de regio’s. Ze bieden financiële impulsen om sociaaleconomische projecten op te zetten en uit te voeren samen met de betrokken lidstaat en lagere overheden. Een belangrijke taak voor de provincie ligt op vlak van het aansturen van die doelstellingenprogramma’s in de provincie WestVlaanderen (provincie West-Vlaanderen, 2009). In dit onderzoek bekijken we het PDPOprogramma en de regio Westoek, in het kader van Europese steun, van dichterbij (De Mets, 2006). Daarom gaan we hier op die programma’s kort in. Het Europees Comité voor Plattelandsontwikkeling van de Europese Commissie keurde op 24 oktober 2007 het Vlaamse Programma voor Plattelandsontwikkeling voor de periode 20072013 goed. Europa stelt een bedrag van 224,5 miljoen euro cofinanciering ter beschikking om de leefbaarheid van het platteland en de landbouwsector in Vlaanderen te verbeteren. Het plattelandsontwikkelingsbeleid is een onderdeel van het Europese Gemeenschappelijk Landbouwbeleid. Het wordt gedeeltelijk gefinancierd door de EU en gedeeltelijk door de lidstaten, gelet op de bevoegdheidsverdeling is dat in België door de gewesten. In Vlaanderen hebben de provincies een belangrijke rol in de uitvoering en financiering van dat beleid. Er wordt

gesproken

over

PDPO.

Dit

staat

voor

Programmadocument

voor

Plattelandsontwikkeling. Strikt genomen is dit het door de Commissie goedgekeurde document met het programma voor plattelandsontwikkeling in Vlaanderen. In de praktijk wordt met PDPO vaak het Vlaams plattelandsontwikkelingsprogramma bedoeld. Een eerste PDPO-periode (PDPO I) was de periode 2000-2006. Het actuele programma voor de periode 17 | P a g i n a

2007-2013 is PDPO II. PDPO is de Vlaamse vertaling van de Europese prioriteiten. In het programma PDPO is er sprake van verschillende assen. Met een as wordt een hoofddoelstelling of een coherente groep van maatregelen binnen het Europese programma bedoeld. Het Europese plattelandsontwikkelingsbeleid heeft vier hoofddoelstellingen of assen. De gebiedsgerichte plattelandswerking PDPO omvat een deel van as 3: maatregelen ter bevordering

van

de

leefkwaliteit

op

het

platteland

en

diversificatie

van

de

plattelandseconomie en as 4. Dit is de methodologische as ter verwezenlijking van de doelstellingen van de andere assen. Dit wordt ook wel de Leader aanpak genoemd. Leader staat voor Liaison Entre Actions de Développement de l’Economie Rurale. Leader is de enige van de vier assen die geen inhoudelijke doelstellingen vooropstelt, maar een methodiek weergeeft. Via de gebiedsgerichte en geïntegreerde Leaderaanpak worden de inhoudelijke doelstellingen uit andere assen gerealiseerd. In PDPO II zijn twee gebieden per provincie zijn geselecteerd als Leadergebied. Voor West-Vlaanderen zijn die twee gebieden: het Tielts Plateau en de Westhoek 7 ( Tussentijdse evaluatie GGW in PDPOII, 2011). Het Vlaamse platteland verschilt sterk van regio tot regio. Deze PDPO-werking zorgt dan voor maatwerk voor de specifieke lokale noden en kansen. Een provinciaal managementcomité is het beslissingsorgaan. Qua uitvoering wordt dit gestuurd door een plaatselijke groep (Tussentijdse evaluatie GGW in PDPOII, 2011). Omwille van het feit dat de regio Westhoek gekenmerkt werd door structurele economische achterstand, perifere ligging van de nationale economie en het sterke plattelandskarakter werden vanuit Europa de voorbije decennia verschillende programma’s gelanceerd. Deze verschillende programma’s moesten impulsen geven op diverse terreinen (De Mets, 2009). Zo was er het Retexprogramma dat zorgde voor een bijkomend budget voor de economische reconversie van de regio. Daarnaast waren en zijn er nog steeds de Interregprogramma’s als doel om de relatief afgezonderde grensregio’s in de Europese Economische Gemeenschap te helpen om ontwikkelingsproblemen te overwinnen. Dit moet gebeuren met stimulansen voor gemeenschappelijke initiatieven aan weerszijden van de grens. Perifere grensgebieden moeten voornamelijk op economisch gebied opgewaardeerd worden en de grensbevolking moet

7

Verslag van het Rekenhof over het Europees plattelandsontwikkelingsbeleid. Gebiedsgerichte werking in de Vlaamse provincies, Parl.St. Vlaams Parlement 2011-2012 , 37-F nr. 1

18 | P a g i n a

dichter bij elkaar worden gebracht. De Westhoek is een grensstreek dus vandaar de Europese steun via het Interregprogramma West-Vlaanderen/Nord- Pas de Calais (De Mets, 2009). Daarnaast was er het Europese 5b-programma, ook dit was een Interreg-programma. Het project ‘Leefbaarheidsaanpak in de Westhoek’ werd opgezet met provinciale middelen en middelen uit het Europese 5b-programma. Het onderzoek naar de leefbaarheid in de Westhoek kwam er vanuit de bezorgdheid over leeglopende dorpen, de verloedering van woningen, de ouder wordende bevolking in grotere isolatie, etc. Naast een wetenschappelijke cijferanalyse was het ook de bedoeling dat de bewoners zelf knelpunten en oplossingen aanbrachten. In 2005 werd het Leefbaarheidsonderzoek uit 1997 geactualiseerd en werd het gevoerde beleid geëvalueerd (De Mets, 2006; 2009). De Westhoek genoot dus Europese steun via PDPO, en meer specifiek via Leader, omdat het een plattelandsgebied, via Interreg omdat het een grensgebied was en via het Retexprogramma omdat het een gebied was met industriële reconversie. ORGANISATIE BINNEN HET PROVINCIEBESTUUR Binnen het provinciebestuur wordt het gebiedsgericht beleid georganiseerd door het Coördinatieteam Gebiedenbeleid. Daaronder vallen twee diensten: de dienst Gebiedsgerichte Werking voor de reguliere gebiedsgerichte projecten en de dienst Externe Relaties en Europese programma’s die verantwoordelijk is voor het begeleiden van de Europese programma’s. Bij de GGW is op dienstniveau een kleine groep personeelsleden verantwoordelijk voor de sturing,

afstemming,

beleidsvoorbereiding

en

–

opvolging.

Daarnaast

staan

er

coördinatieteams in het veld. Deze staan onder leiding van een regiocoördinator. Om de betrokkenheid binnen de provincie te organiseren worden interne overlegstructuren opgezet. Zo wordt er bijvoorbeeld jaarlijks een overleg voorzien met de ondersteunende diensten en Westtoer (West-Vlaams provinciebedrijf voor toerisme en recreatie) (provincie WestVlaanderen, 2009). Het vaste kader bij de dienst GGW is tussen 2006 en 2013 ongewijzigd gebleven, het gaat hier om veertien voltijdse equivalenten (VTE). Echter, het aantal personen dat tewerkgesteld wordt op projectniveau en het aantal sectorale gebiedswerkers fluctueert wel doorheen de jaren. Tabel 1 biedt een overzicht van het aantal VTE per regio en van de hele dienst. 19 | P a g i n a

Algemeen kunnen we concluderen dat het totale aantal medewerkers bij de dienst GGW sinds 2006 is gestegen. In alle regio’s is een stijging te merken, behalve in de Westhoek (WH). Dit valt te verklaren door het hoge aantal medewerkers (19) in 2006. Dit illustreert ook dat in regio Westhoek al een traditie van gebiedsgericht beleid bestond al voor de gebiedswerking in de provincie officieel vorm kreeg. Voor Midden-West-Vlaanderen (MWVL) en Zuid-WestVlaanderen (ZWVL) zijn geen cijfers van 2006 beschikbaar. Onderstaande tabel illustreert deze stijgende tendens. In 1999 telde de dienst 22 medewerkers, dit steeg naar meer dan 31 medewerkers in 2006 en in 2013 staat het aantal medewerkers op 58,5 VTE. We merken op dat het grootste aantal personen tewerkgesteld is in de Westhoek (namelijk 15 VTE), gevolgd door Midden-West-Vlaanderen met 13,5 VTE en Brugge-Oostende (BO) met 12 VTE. ZuidWest-Vlaanderen en de Kust beschikken over minder medewerkers namelijk zeven. Ook het aantal regiocoördinators is gelijk gebleven, namelijk vier. Daarnaast heeft ook de Kust, die nog geen volwaardig streekhuis heeft, een coördinator. TABEL 1: aantal VTE bij de dienst gebiedsgerichte werking Aantal VTE Coördinatie WH BO MWVL ZWVL Kust TOTAAL

1999

22

2006 4 19 5 ? ? 3 >31

2013 4 15 12 13,5 7 7 58,5

Bron: Karl Catteeuw, stafmedewerker gebiedsgerichte werking: cijfers uit realisatienota en geschiedenisboek

Voor de grootte van het personeelsbestand van de dienst Externe Relaties en Europese programma’s raadplegen we het organogram (zie bijlagen). 24,5 VTE zorgen voor een goede werking van de dienst Externe Relaties en Europese programma’s. Hierbij moeten we wel opmerken dat het moeilijk is om uit te maken wat de concrete tijdsbesteding is van medewerkers van deze dienst aan gebiedswerking in het kader van Europese programma’s. Samen telt het Coördinatieteam Gebiedenbeleid dus 83 VTE. Het aantal sectorale gebiedswerkers en personen tewerkgesteld op projectniveau fluctueert sterk en is moeilijk in kaart te brengen. Dit aantal lijkt wel te stijgen.

20 | P a g i n a

De diensten Gebiedsgerichte werking en Externe relaties en Europese programma’s waken vooral over het geïntegreerde aspect van de gebiedswerking. Daarnaast is er ook sectoraal beleid dat gebiedsspecifiek wordt ingevuld en waar de respectievelijke sectorale diensten verantwoordelijk voor zijn. Het provinciebestuur heeft voor de uitwerking van de gebiedsgerichte werking gekozen voor een gedeconcentreerde organisatievorm. Ambtenaren van de provincie worden deeltijds of voltijds tewerk gesteld in een bepaald gebied. Ze werken in nauw overleg samen met de centrale administratie en worden van hieruit ook gestuurd. De gebiedswerkers staan in de regio onder leiding van een regiocoördinator die fungeert als aanspreekpunt van de provincie in de regio. Toch beschikken ze over voldoende administratieve en inhoudelijk flexibiliteit en werkruimte om op het ritme van de gebieden te werken (Beleidsnota GGW 1996 & De Mets, 2006). Daar kan natuurlijk ook een spanningsveld ontstaan. Wat is de verhouding tussen een aansturing vanuit de regio tegenover de centrale aansturing? De GGW krijgt concreet gestalte via de streekhuizen en de streekwerking. Vier WestVlaamse regio’s van de provincie beschikken over een streekhuis. Deze streekhuizen vormen de knooppunten in regionale netwerken. De provincie faciliteert de streekwerking door onderdak te bieden aan een aantal streekactoren. De streekhuizen doen dienst als ontmoetingsplaatsen voor lokale actoren. De provincie biedt ook logistieke en inhoudelijke steun aan bovenlokale initiatieven door bijvoorbeeld het ter beschikking stellen van vergaderzalen, het makelen van subsidiedossiers, het geven van advies en administratieve steun, etc. De provincie gaat ook zelf via de streekhuizen een aantal gebiedsgerichte taken uitvoeren. Naast de streekhuizen is er het Coördinatiepunt Duurzaam Kustbeheer in Oostende. Dit staat ter beschikking van de regio de Kust maar wordt omwille van de bescheiden uitbouw geen streekhuis genoemd (provincie West-Vlaanderen, 2009). Het Coördinatiepunt Duurzaam Kustbeheer is een financiële samenwerking tussen federale, Vlaamse en provinciale overheden. Na tien jaar interbestuurlijke samenwerking besliste de deputatie een eigen koers te varen en er is een traject lopende om van het Coördinatiepunt een volwaardig streekhuis te maken.8

8

K. Catteeuw, persoonlijke communicatie, 18 juni 2013

21 | P a g i n a

HOOFDSTUK 2: THEORETISCH KADER Naast de schets van wat GGW in West-Vlaanderen is en hoe het is ontstaan willen, we ook wat dieper ingaan op een aantal theoretische aspecten in verband met evaluatie. Vooreerst omschrijven we kort het concept beleidsevaluatie. We willen in ons onderzoek nagaan of regelmatig wordt geëvalueerd en welke types van evaluatie worden gehanteerd bij de GGW van de provincie West-Vlaanderen. Daarom is het noodzakelijk om een aantal evaluatietypologieën te belichten. Een meer specifieke vorm van beleidsevaluatie is prestatiemeting. We stellen ons de vraag of prestatiemeting ook aan bod komt bij de evaluatie van gebiedsgericht beleid. Het is daarom belangrijk om ook kort in te gaan op wat prestatiemeting precies is. Daarnaast brengen we verschillende motieven om te evalueren onder de aandacht. In ons tweede onderzoeksdeel willen we de impact en effecten van evaluatiestudies nagaan. Daarom gaan we nog kort in op mogelijke effecten van beleidsevaluatie die algemeen in de literatuur worden weergegeven. BELEIDSEVALUATIE Beleidsevaluatie

is

net

als

agendavorming,

beleidsvoorbereiding,

beleidsbepaling,

beleidsuitvoering en beleidsbeëindiging een beleidsproces dat deel uitmaakt van de beleidscyclus. Evaluatie is echter wel een deelproces dat zich van de andere onderscheidt. Het kan een apart deelproces zijn maar ook een element van andere deelprocessen. Zo is evaluatie bijvoorbeeld mogelijk bij de beleidsbepaling waardoor we van ex ante evaluatie kunnen spreken. Daarnaast is het mogelijk om het deelproces van beleidsevaluatie te negeren. Bij andere deelprocessen is die mogelijkheid veel beperkter (Bressers, Herweijer & Korsten, z.d.). In de literatuur bestaan er heel veel verschillende definities van beleidsevaluatie. Bressers & Hoogerwerf, z.d.) definiëren beleidsevaluatie als “Het beoordelen van de waargenomen inhoud, processen of effecten van een beleid aan de hand van bepaalde criteria.” Een tweede definitie komt van Michael Scriven en dateert van 1980. Scriven kan beschouwd worden als één van de grondleggers van beleidsevaluatie als theorieveld. Vandaar dat zijn definitie ook niet onbelangrijk is. Scriven definieert beleidsevaluatie als volgt: “Evaluation is the systematic and objective determination of the worth or merit of an object.” Evaluatie gaat volgens hem over het objectief bepalen van de waarde of verdienste van een evaluatieobject.

22 | P a g i n a

Hij vat de essentie van evaluatie als het toekennen van waarde (De Peuter, De Smet & Bouckaert, 2007). We kunnen opmerken dat er een verband bestaat tussen beleidsevaluatie en politiek. Evaluatiestudies gebeuren niet politiek neutraal. Verschillende zaken kunnen dit aantonen. Vooreerst zijn beleidsprogramma’s het resultaat van politieke discussies en beslissingen. Het ene beleidsprogramma wordt door bestuurders ook als belangrijker beschouwd dan het andere. Politieke vertegenwoordigers of bestuurders kunnen evaluatie bevorderen of remmen. Daarnaast kan evaluatie vanuit politieke motieven voortkomen. Dergelijke motieven zijn niet altijd zichtbaar voor de buitenwereld. Bestuurders grijpen ze aan om steun te vinden bij hun voorstellen of om andere voorstellen te doen kelderen. Bovendien is evaluatie in de praktijk van het openbaar bestuur weinig concreet omschreven. Evaluaties worden niet altijd met die term bestempeld. Dit heeft te maken met de politieke motieven voor evaluatie (Bressers, Herweijer & Korsten, z.d.). Motieven om over te gaan tot evaluatie komen later aan bod. EVALUATIETYPOLOGIEËN Evaluatie van beleid kan op verschillende manieren gebeuren. In de literatuur over beleidsevaluatie brachten auteurs reeds verschillende types van evaluatie naar voor. Een eerste evaluatietypologie vinden we bij De Peuter, De Smedt & Bouckaert (2007) terug. In deze typologie is de beleidscyclus een belangrijk referentiekader. De auteurs koppelen evaluaties die in een bepaalde fase gebeuren aan een tijdsperspectief. Ze komen tot een opdeling in: ex ante evaluaties, tussentijdse evaluaties en ex post evaluaties. Onderstaande tabel geeft een overzicht. TABEL 2: Evaluatietypes gebaseerd op fase in beleidscyclus

Bron: De Peuter, B., De Smedt, J. & Bouckaert, G. (2007). Handleiding beleidsevaluatie. Deel 1: Evaluatiedesign en – management. Leuven: Steunpunt Bestuurlijke Organisatie Vlaanderen.

23 | P a g i n a

Deze tabel stelt dat evaluaties van het beleid in de beleidsvoorbereidende fase ex ante evaluaties worden genoemd. Deze evaluaties vinden plaats vooraleer het beleid tot stand komt. Evaluaties in de beleidsuitvoerende fase zijn tussentijdse evaluaties en gebeuren tijdens de uitvoering van het beleid. Tot slot zijn evaluaties in de beleidsbeoordeling fase ex post evaluaties. Ze vinden plaats als het beleid reeds is uitgevoerd. Onderstaande figuur geeft dit nogmaals schematisch weer. FIGUUR 1: Koppeling beleidsfasen en evaluatie

Bron: De Peuter, B., De Smedt, J. & Bouckaert, G. (2007). Handleiding beleidsevaluatie. Deel 1: Evaluatiedesign en – management. Leuven: Steunpunt Bestuurlijke Organisatie Vlaanderen.

Bij een tweede typologie van evaluatietypes ligt de focus op de inhoudelijke kern van de evaluatie. De Peuter et al. (2007) maken hier een onderscheid tussen de inhoud van het beleid enerzijds en de impact van het beleid anderzijds. Beleidsinhoud is een veelomvattende term en handelt over het concept, de structuur, de instrumenten, de processen en de acties van het beleid. Met beleidsimpact bedoelt men de veranderingen die het beleid teweeg brengt in de maatschappelijke omgeving. 24 | P a g i n a

De Peuter et al. (2007) tonen bovendien een link aan met de vorige typologie. Bij ex ante evaluaties ligt, volgens de auteurs, de nadruk op de beleidsinhoud terwijl de focus bij ex post evaluaties ligt op de impact van het beleid. Het voorwerp van een tussentijdse evaluatie kan de beleidsinhoud, de beleidsimpact of een combinatie van de twee zijn. Er moet echter genuanceerd worden dat een ex ante evaluatie ook de verwachte impact van het beleid kan bekijken terwijl bij een ex post evaluatie een analyse van de beleidsinhoud en het beleidsproces een eerste stap kan zijn. Een derde evaluatietypologie focust op de evaluatiecriteria. Er is een zeer grote variatie aan evaluatiecriteria beschikbaar (De Peuter et al., 2007). Een aantal criteria kunnen we afleiden uit een figuur van Politt & Bouckaert (2011) (zie figuur 2). Vooreerst kan de efficiëntie (efficiency) van een organisatie of programma worden nagegaan. Efficiëntie duidt op de verhouding van de ingezette middelen enerzijds tegenover de prestaties anderzijds. Het gaat dus om een input/output-ratio. Hoe kleiner deze ratio hoe efficiënter de organisatie of het programma functioneert. Het is immers zo dat hoe kleiner deze ratio, hoe meer de organisatie of het programma kan produceren (goederen of diensten) met zo weinig mogelijk ingezette middelen. De tweede dimensie is effectiviteit (effectiveness). Effectiviteit handelt over de mate waarin de gewenste outcomes een gevolg zijn van de outputs (en dus resultaten) van de organisatie. De output/outcome-ratio is hier dus aan de orde. Hoe kleiner deze ratio hoe meer outputs tot gewenste outcomes hebben geleid en dus hoe meer outcomes het gevolg zijn van prestaties en resultaten van de organisatie. Hierbij willen we nog opmerken dat het perfect mogelijk is dat een beleid ervoor zorgt dat de efficiëntie wordt verhoogd terwijl de effectiviteit daalt of omgekeerd (Politt & Bouckaert, 2011). Ook kosteneffectiviteit (cost effectiveness) wordt aangehaald in de figuur van Politt & Bouckaert (2011). Kosteneffectiviteit handelt over de verhouding tussen de gemaakte kosten om middelen te voorzien als inputs in de organisatie en de gewenste outcomes (effecten). Met andere woorden hoe verhouden de gemaakte kosten en de effecten van het beleid zich tegenover elkaar? Wanneer met zo weinig mogelijk kosten zoveel mogelijk gewenste effecten teweeg worden gebracht dan is de organisatie kosteneffectief in haar werking.

25 | P a g i n a

Economy staat vrij vertaald voor zuinigheid. Het handelt hier over het feit dat organisaties met zo weinig mogelijk kosten trachten te werken. Ze streven op die manier een zo groot mogelijke efficiëntie, effectiviteit en kosteneffectiviteit na. Nut (utility) en duurzaamheid (sustainability) bekijken de verhouding tussen noden uit de samenleving en effecten van het beleid in de samenleving. Hier wordt gefocust op het nut van de activiteiten en de hieraan gekoppelde resultaten van de organisatie. Voert de organisatie met andere woorden een beleid dat inspeelt op de noden van de samenleving? Relevantie (relevance) heeft te maken met het feit dat doelen van de organisatie dienen afgestemd te zijn op de noden van de bevolking. Er kan dus gefocust worden op de relevantie van de doelstellingen die de organisatie in haar beleid stelt. FIGUUR

2:

Beleidsevaluatie:

evaluatiecriteria

en

indicatoren

Bron: Politt, C., Bouckaert, G. (2011). Public management reform: a comparative analysis new public management, governance and the neo-weberian state. Derde ed. New York: Oxford University Press

Uit de figuur van Politt & Bouckaert (2011) kunnen we naast de evaluatiecriteria ook verschillende soorten indicatoren afleiden. Ook deze zijn belangrijk bij beleidsevaluatie. Het 26 | P a g i n a

verschil zit in de focus die de indicatoren hebben. Deze vinden we in figuur 2 omcirkeld met een dikke zwarte lijn. We zien in de figuur de organisatie centraal staan in het grijze kader. Een organisatie gaat middelen (inputs) inzetten om hun activiteiten te verwezenlijken. Dit leidt tot outputs. Outputs zijn dan de resultaten van de werking van de organisatie, het zijn de diensten en producten die een organisatie levert en die dus rechtstreeks het gevolg zijn van hun activiteiten. Deze outputs hebben een impact op de samenleving. Deze impact handelt over de effecten van het beleid en deze worden outcomes genoemd. De figuur toont tussentijdse effecten (en dus effecten op korte termijn). Deze leiden dan na verloop van tijd tot finale outcomes. Outcomes en finale outcomes kunnen worden beïnvloed door de omgeving. De figuur toont eigenlijk een cyclisch proces. Vooreerst bestaat er in een samenleving een socio-economische situatie die leidt tot bepaalde noden en wensen. Organisaties doen omgevingsanalyses waarbij ze de omgeving screenen om een overzicht te krijgen van wat nodig is in de samenleving. Met dit in het achterhoofd worden organisatiedoelen opgesteld. Het hele proces binnen de organisatie staat dan in het teken van het behalen van die gestelde organisatiedoelen. De effecten (outcomes) van de geleverde activiteiten in de maatschappij doen de socio-economische situatie veranderen. Op die manier veranderen noden en wensen en stelt de organisatie hun doelstellingen bij. Het proces begint dus steeds opnieuw. Uit de figuur kunnen we verschillende soorten indicatoren afleiden die kunnen gebruikt worden in evaluatiestudies. Namelijk: input-indicatoren (inputs), proces-indicatoren (activities), output-indicatoren (outputs) en outcome-indicatoren (final en intermediate outcomes). De focus van wat gemeten wordt verschilt. Input-indicatoren meten de ingebrachte middelen van de organisatie. Het gaat om bijvoorbeeld financiële, personele en logistieke middelen die ingezet worden en die dienst doen als input voor de activiteiten van de organisatie. Inputs worden via een proces omgezet in outputs. Deze indicatoren zeggen op zichzelf misschien niet zoveel maar spelen wel een belangrijke rol bij het bepalen van de inspanningen en het engagement van de organisatie. Bovendien kan de efficiëntie van de organisatie gemeten worden aan de hand van inputindicatoren (Delarue & Spanhove, z.d.).

27 | P a g i n a

Bij proces-indicatoren ligt de focus op het proces, op de activiteiten van de organisatie. Worden activiteiten, operaties en projecten naar behoren uitgevoerd? Wordt de vooropgestelde planning bijvoorbeeld gerespecteerd (Delarue & Spanhove, z.d.)?

Output-indicatoren geven een beeld van de uitkomsten van de door de organisatie uitgevoerde activiteiten. Deze indicatoren kunnen worden aangewend om de effectiviteit van een organisatie te berekenen (Delarue & Spanhove, z.d.).

Tot slot halen Delarue & Spanhove (z.d.) outcome-indicatoren aan. Deze indicatoren brengen de effecten van beleidsmaatregelen in kaart. Dit kan zowel om middellange als op lange termijn.

We keren terug naar de evaluatietypologieën. Een laatste evaluatietypologie is gebaseerd op de organisatorische positie van de evaluator of het evaluatieteam. Hier wordt het onderscheid tussen interne en externe evaluatie behandeld. We spreken van een interne evaluatie wanneer de evaluator deel uitmaakt van de organisatie waarvan het beleid wordt geëvalueerd. Wanneer de evaluator los staat van de organisatie waarvan hij het beleid onder de loep neemt dan spreken we van een externe evaluatie (De Peuter et al., 2007). PRESTATIEMETING Prestatiemeting is een meer specifieke vorm van beleidsevaluatie. We willen in ons onderzoek nagaan of er vormen van prestatiemeting voorkomen bij de evaluatie van de gebiedswerking. Om dat te weten te kunnen komen moeten we eerst weten hoe prestatiemeting in de literatuur gedefinieerd wordt. Vooreerst definiëren we het concept prestatie, ook wel performance in het Engels. Volgens het woordenboek ‘Van Dale’ is een prestatie een verricht werk, iets wat men heeft gepresteerd. De website Encyclo heeft het over resultaten van acties die belangrijk zijn voor het behalen van organisatiedoelstellingen. Prestaties hebben verschillende dimensies. Je kan bijvoorbeeld de resultaten van acties nagaan in termen van snelheid, efficiëntie, effectiviteit, klantvriendelijkheid, zuinigheid, etc. (Talbot, 2005). Hier zien we de evaluatiecriteria zoals hoger aangegeven in figuur 2 terugkomen. Dit zijn dus de verschillende soorten prestaties. We kunnen in ons onderzoek dan nagaan welke soorten prestaties voorkomen.

28 | P a g i n a

Het concept prestatie is niet nieuw binnen een overheidscontext. Overheden hebben altijd al oog gehad voor prestaties. De koppeling van prestaties en beleid leidde tot beleidsevaluatie als centrale activiteit binnen overheden. Prestaties worden niet zomaar gemeten. Dergelijke meetactiviteiten worden gebruikt om andere activiteiten in te leiden zoals bijvoorbeeld audit, motiveren, veranderingen en verbeteringen aanbrengen (Bouckaert, 2006). Prestaties moeten natuurlijk op de één of andere manier worden gemeten. Dit brengt ons bij het concept prestatiemeting. Prestatiemeting is volgens de Waal & Kerklaan (2003) ‘’Het proces van verzamelen, verwerken en distribueren van prestatie-informatie. Prestatiemeting kan zich, afhankelijk van de behoefte, richten zowel op het meten van werkprestaties, geproduceerde output en opgewekte effecten, als op het meten van de processen die deze prestaties, outputs en effecten beïnvloeden.” Een andere definitie komt van Stijn Lombaert: “Prestatiemeting betekent in zich dat minstens gepoogd wordt op het beleidsinitiatief te meten/evalueren op de gerealiseerde output en/of effect”. Prestatiemeting kan zowel op een kwantitatieve als op een kwalitatieve manier gebeuren. Outputs en/of outcomes kan je dus zowel op een kwantitatieve als op een kwalitatieve manier nagaan. Prestatiemeting is een verbijzondering van beleidsevaluatie die zich voornamelijk concentreert op output/effect. BBC bijvoorbeeld probeert in Vlaanderen prestatiemeting ingang te laten vinden.9 Het meten van prestaties staat centraal in het overheidsmanagement en vooral in het Nieuw Overheidsmanagement (New Public Management, NPM). Het markt- en prestatiedenken zijn hier sleutelbegrippen. Moynihan en Pandey (2006) beschrijven de NPM-gedachte als volgt. Het gaat om een verschuiving van een bureaucratisch systeem met een focus op inputs en weinig incentives om efficiëntie te verhogen (en dus een beperkte focus op resultaten en weinig autoriteit vanwege leidinggevenden) naar een ideaaltype waar managers duidelijke doelen stellen en autoriteit hebben om die doelen ook te bereiken. De focus ligt hierbij op effectiviteit, hogere technische efficiëntie en een resultaatgerichte verantwoording (de focus ligt dus op resultaten en er is veel autoriteit vanwege leidinggevende managers). Men gaat er vanuit dat wanneer er geen aandacht wordt gegeven aan het opvolgen van resultaten en het meten van prestaties dat het onmogelijk is om het beheer van de organisatie (op gebied van financiën, personeel, strategie, communicatie, etc.) in de publieke sector te bekijken (Bouckaert, 2006).

9

S. Lombaert, persoonlijke communicatie, 12 augustus 2013

29 | P a g i n a

Kortom, het meten van prestaties maakt een goed beheer van de organisatie mogelijk. Enkel door prestaties na te gaan, houdt de organisatie zich een spiegel voor en wordt ze bewust van de werking. Op die manier kunnen aanpassingen gebeuren in functie van een beter functioneren. Prestatiemeting beoogt immers het ondersteunen van besluitvormingsprocessen. Dit draagt finaal bij tot een verbetering van de uitkomsten voor de maatschappij. Publieke dienstverlening moet immers efficiënt en effectief zijn (Delarue & Spanhove, z.d.). Natuurlijk moet de organisatie ook gebruik maken van de gemeten prestaties en moet er idealiter een managementsysteem zijn waardoor prestatiemeetsystemen ingebed zijn in de structuur van de organisatie. Prestatiemanagement handelt over het koppelen van prestatiemeting met management. Het wordt gezien als één van de verschillende managementprocessen, net zoals financieel management of human resources management (Halligan, 2001). Zoals Politt & Bouckaert (2004) het verwoorden duidt prestatiemanagement op “Het nemen of toewijzen van verantwoordelijkheid voor prestaties van een systeem en het afleggen van verantwoording voor de resultaten van dat systeem”. Bij prestatiemanagement kijkt men dus verder dan enkel naar de resultaten van een prestatiemeting. Performance management refereert aan het meten van gegevens in functie van sturing (Koster, Spronk &Vermeulen, z.d.). Er worden verantwoordelijkheden aan de gemeten prestaties gekoppeld. MOTIEVEN VOOR BELEIDSEVALUATIE ALGEMEEN Organisaties en mensen binnen organisaties, zowel op politiek als op ambtelijk vlak, kunnen verschillende motieven hebben om te evalueren. Ook bij de gebiedswerking van de provincie West-Vlaanderen willen we dit nagaan. De Peuter, Pattyn & Brans (2008) stellen dat afhankelijk van het motief het evaluatieproces op een andere manier gestalte zal krijgen, dat andere vragen centraal zullen staan en dat de focus van de conclusies en eventuele aanbevelingen zal verschillen. In de literatuur lijsten De Peuter, De Smedt, Van Dooren & Bouckaert (2007) een aantal motieven om aan beleidsevaluatie te doen op. Deze worden hieronder kort beschreven. Vooreerst kan beleidsevaluatie worden uitgevoerd ter ondersteuning van plan- en beslissingsprocessen. Beleidsevaluatie kan ondersteunend werken ten aanzien van 30 | P a g i n a

beleidsplanning. Specifieke informatie over de problematiek die beleidsmakers willen aanpakken of over de doelgroep waarop ze het beleid willen richten, kan via evaluatie worden bekomen. Op die manier kunnen doelstellingen worden bepaald (De Peuter et al., 2007). Ten tweede kan beleidsevaluatie gebeuren vanuit het motief uitvoeringsprocessen en organisaties op te volgen en te verbeteren. De Peuter et al. (2007) merken op dat de beleidsuitvoeringsfase het sterkst verbonden is met de beheerscyclus binnen een organisatie. Beleidsevaluatie kan dan betrekking hebben op het beleid maar ook op het management van de organisatie. Organisaties kunnen via managementinformatiesystemen de werking van de organisatie opvolgen. Op die manier kunnen managementverantwoordelijken knelpunten detecteren en gericht gaan bijsturen. Door middel van monitoring kan de efficiëntie van processen worden verbeterd. Prestatiemeetsystemen kunnen dus ook leiden tot een verbeterde werking van de processen in de organisatie. Het komt erop aan om de middelen van een organisatie optimaal te alloceren aan de processen die het belangrijkst zijn in het behalen van vooropgestelde doelstellingen (De Peuter et al.,2007). Het derde motief van beleidsevaluatie is verantwoording. De Peuter et al. (2007) stellen dat informatie uit meetsystemen kan worden aangewend ten behoeve van sturing- en verantwoordingsrelaties. Verantwoording kan gerelateerd zijn aan middelen, processen en output van een organisatie maar kan ook betrekking hebben op de effecten van beleid. Er wordt dan de vraag gesteld in welke mate effecten werden gerealiseerd door het beleid uit te voeren. Door middel van beleidsevaluatie kan de organisatie hierop een antwoord formuleren. Zowel in het kader van management als in het kader van beleid kan een evaluatie worden opgezet vanuit een verantwoordingsmotief. Het volgende motief om tot evaluatie over te gaan, kan vrij kort worden omschreven. De Peuter et al. (2007) halen beleidsleren aan. Organisaties kunnen immers hun lessen trekken uit de resultaten van de beleidsevaluatie. Dit laat hen toe hun beleid aan te passen en hun werking te verbeteren. Daarnaast kunnen ook politieke motieven voorkomen. Bestuurders gaan naar evaluatie grijpen om steun te vinden of eigen succes te bevestigen en eventueel om andere beleidsvoorstellen van de kaart te vegen. Vaak zijn dergelijke motieven niet duidelijk detecteerbaar voor de buitenwereld (Bressers, Herweijer & Korsten, z.d.). Deze motieven maken deel uit van het strategisch gedrag binnen de organisatie. 31 | P a g i n a

KOPPELING MOTIEVEN MET EVALUATIETYPOLOGIEËN Na een uiteenzetting van de motieven tot beleidsevaluatie kunnen we een koppeling maken met de evaluatietypologieën. Zo duiden De Peuter et al. (2007) op het feit dat de typologie waarbij gefocust wordt op de verschillende fasen in het beleidsproces samenhangt met de bovenstaande evaluatiemotieven. Naargelang de beleidsfase waarin de evaluatie plaatsvindt, verschilt het motief om tot evaluatie en prestatiemeting over te gaan. Onderstaande tabel geeft het verband weer tussen de fase in het beleidsproces, het type evaluatie en de motieven. TABEL 3: Het verband tussen beleidsfase, evaluatietype en evaluatiemotief

Bron: De Peuter, B., De Smedt, J. & Bouckaert, G. (2007). Handleiding beleidsevaluatie. Deel 1: Evaluatiedesign en – management. Leuven: Steunpunt Bestuurlijke Organisatie Vlaanderen.

Zo kunnen we opmerken dat evaluatie vooraleer het beleid tot stand komt, en dus in de beleidsvoorbereidingsfase, vooral gericht is op de ondersteuning van de beleidsplanning. Tussentijdse evaluatie hangt samen met de beleidsuitvoeringsfase. Hierbij zien we als evaluatiemotieven opduiken: verbeteren van beleidsuitvoering en bijdragen aan institutionele ontwikkeling. Tot slot zien we dat voor evaluatie tijdens de beleidsbeoordelingfase, dit wil zeggen nadat het beleid tot stand is gekomen, en dus ex post evaluatie verantwoording en beleidsleren als motieven worden aangehaald. Wanneer we hierop verder bouwen kunnen we nog de inhoudelijke focus van de beleidsevaluatie eraan toevoegen. De Peuter et al. (2007) halen hier aan dat de inhoudelijke focus van een evaluatie niet exclusief samenhangt met een bepaalde fase in de beleidscyclus, en dus ook niet met een tijdsperspectief. Er is een samenhang op te merken doch is deze niet exclusief.

Onderstaande

tabel

geeft

een

overzicht

van

de

twee

verschillende 32 | P a g i n a

evaluatietypologieën (focus op tijdsperspectief en focus op inhoud) in samenhang met de motieven. TABEL 4: samenhang evaluatietypologieën en motieven

Bron: De Peuter, B., De Smedt, J. & Bouckaert, G. (2007). Handleiding beleidsevaluatie. Deel 1: Evaluatiedesign en – management. Leuven: Steunpunt Bestuurlijke Organisatie Vlaanderen.

Zoals eerder aangehaald zien we dat bij ex ante evaluaties de beleidsinhoud centraal staat terwijl ex post evaluaties eerder focussen op beleidsimpact. Bij een tussentijdse evaluatie kan de focus liggen op zowel de beleidsinhoud als de beleidsimpact. Een combinatie van de twee is bij tussentijdse evaluatie ook mogelijk (De Peuter et al. , 2007). EFFECTEN VAN BELEIDSEVALUATIE In dit onderzoek willen we eveneens achterhalen wat effecten kunnen zijn van evaluatie van het gebiedsgericht beleid. We stellen ons eerst de vraag in hoeverre de informatie die werd bekomen in evaluatiestudies doorwerkt in de werking van de organisatie. Daarnaast kunnen evaluatiestudies ook een aantal concrete effecten teweegbrengen in de organisatie. In de literatuur vinden we daarover het volgende. Wanneer het gaat over het managen van informatie uit evaluatiestudies dan duiden Bouckaert en Halligan (2008) aan dat er drie mogelijke vormen van intensiteit in het evaluatiebeleid zijn. Vooreerst kan een organisatie louter meten en dus de evaluatiestudie uitvoeren. Er wordt echter niet veel gedaan met de bekomen resultaten. Ten tweede kunnen data bekomen uit evaluatiestudies geïntegreerd worden in managementsystemen. Hier is al sprake van het gebruik van informatie uit evaluatiestudies. Het ideale, en de derde stap is het systematisch gebruik van de bekomen informatie in de werking van de organisatie en de integratie ervan in besluitvormingsprocessen (S. Lombaert, 2012). Een organisatie kan meteen naar stap drie 33 | P a g i n a

worden gestuurd zonder een natuurlijke evolutie te moeten doorlopen of kan ook doelbewust bij stap één blijven.10 Wij willen nagaan in welke fase we de GGW van de provincie WestVlaanderen kunnen situeren. Korsten (2013) haalt aan dat er drie manieren zijn om het gebruik van informatie uit evaluatiestudies te achterhalen. Vooreerst door uit te gaan van een bepaalde evaluatiestudie en te kijken waar het rapport ervan terechtkomt, of het gelezen wordt, of er reflecties op komen of aanbevelingen of conclusies worden overgenomen, etc. Ten tweede door uit te gaan van beleidsvoerders. Vanuit hun opdrachten en werkzaamheden kijken of ze de evaluatiestudie benutten of niet. Ten slotte, door te kijken naar de interactie tussen onderzoekers en beleidsvoerders. Deze aanpak is eerder gebruikelijk in een netwerkcontext. Deze drie methoden kunnen ook naast elkaar gebruikt worden (Korsten, 2013). Daarnaast willen we ook meer concrete effecten van evaluatiestudies nagaan. In de literatuur worden een aantal effecten vermeld. Aandacht hebben voor de resultaten van evaluatiestudies en op die manier kritisch kijken naar het gevoerde beleid doorheen de beleidscyclus kan een aantal effecten binnen de organisatie met zich meebrengen. Vooreerst laat het de organisatie toe om beter beleid te voeren. De relatie tussen het beleidsprobleem, de beleidsactiviteiten en het doel van het beleid wordt zichtbaarder door evaluatie. Beleid kan dan beter worden afgebakend met het oog op een specifiek doel waardoor resultaten kunnen verbeterd worden. Aandacht hebben voor beleidsevaluatie in het begin van de beleidscyclus kan leiden tot een grotere efficiëntie. Het is immers zo dat informatie over de werking van het beleid een betere inschatting kan maken van de kans van slagen van een beleidsmaatregel. Op die manier kan een kostenbesparing een effect zijn van beleidsevaluatie. Ten derde kan evaluatie er ook toe leiden dat een organisatie resultaatgerichter wordt. Beleidsevaluatie leidt tot een groter inzicht in de haalbaarheid van operationele doelstellingen. Evaluatie zorgt dat bij de formulering van het beleid de doelstellingen concreter en meetbaar kunnen worden geformuleerd. Op die manier kan sterker resultaatgericht gewerkt worden (Ministerie van Binnenlandse Zaken en Koninkrijksrelaties, 2012).

10

K. Catteeuw, persoonlijke communicatie, 19 augustus 2013

34 | P a g i n a

HOOFDSTUK 3: METHODOLOGIE We hebben gekozen om ons onderzoek op een kwalitatieve manier te voeren. Aan de hand van een documentenanalyse en diepte-interviews gaan we informatie verzamelen om een antwoord op de twee onderzoeksvragen te formuleren, namelijk: “Hoe wordt het beleid van de gebiedsgerichte werking in de provincie West-Vlaanderen in de praktijk geëvalueerd?” en “Wat kunnen effecten zijn van evaluatiestudies en hoe worden de studies benaderd binnen de gebiedsgerichte werking van de provincie West-Vlaanderen?”

KWALITATIEF ONDERZOEK Het is de bedoeling een inzicht te verwerven in de manier waarop evaluatiestudies bij de gebiedswerking in de provincie West-Vlaanderen doorheen de jaren zijn gebeurd. Het betreft hier een kleinschalig, verkennend onderzoek waarvoor de kwalitatieve onderzoeksmethode meest geschikt is. Er is immers nauwelijks onderzoek gevoerd naar de aard en kenmerken van evaluatiestudies bij de GGW van de provincie West-Vlaanderen. Een kritiek die vaak wordt aangehaald bij kwalitatief onderzoek is het gebrek aan geldigheid en betrouwbaarheid. De geïnterviewden kunnen de neiging vertonen om de werkelijkheid anders of iets rooskleuriger voor te stellen (Billiet & Waege, 2005). Om die sociale wenselijkheid ietwat in te perken werden meerdere personen bevraagd van hetzelfde niveau maar ook van verschillende niveaus binnen de organisatie. Er zijn verschillende manieren om data te verzamelen wanneer de kwalitatieve onderzoeksmethode gehanteerd wordt. In dit onderzoek wordt vooreerst gekozen voor een documentenanalyse, dit wordt aangevuld met interviews. DOCUMENTENANALYSE Bij de documentenanalyse werden verslagen van evaluatiestudies, interne documenten, beleidsnota’s, publicaties over gebiedswerking van de provincie West-Vlaanderen, etc. bekeken. Deze geven ons een blik op hoe de evaluatiestudies opgebouwd waren, eventueel vanuit welk motief maar vooral hoe ze werden aangepakt, waar de nadruk op lag, wat kenmerkend voor ze was, etc. Het kan ons bovendien een beeld geven van wat ontbreekt bij de evaluatiestudies. In ons onderzoek zullen we gebruik maken van niet-persoonlijke, 35 | P a g i n a

publieke documenten. Deze documenten hebben als doelgroep alle betrokkenen en geïnteresseerden (Reulink & Lindeman, 2005). Uit de documentenanalyse zullen we informatie halen die vooral voor het beantwoorden van de eerste onderzoeksvraag relevant is. Reulink & Lindeman (2005) stellen dat het nadelig is dat de onderzoeker bij documentenanalyse geen rechtstreeks contact heeft met betrokken actoren. Wij merken echter op dat dit de neutraliteit van het onderzoek ook ten goede kan komen. Daarnaast stellen ze dat foute interpretaties kunnen gemaakt worden omdat er informatie over de context ontbreekt. Het is bovendien mogelijk dat documenten weinig of geen informatie bevatten waarnaar de onderzoeker met het oog op de onderzoeksvraag op zoek is (Reulink & Lindeman, 2005). Toch zijn documenten die al dan niet gepubliceerd werden een schat van informatie. Documenten hebben het voordeel dat ze non-reactief zijn. Het is immers zo dat ze niet geproduceerd werden voor het onderzoek maar voor andere doeleinden. Dit zorgt voor meer kwalitatieve bronnen voor het onderzoek. Dit is vooral zo bij de verslagen van evaluatiestudies. Echter, cijfers of feiten die vermeld worden in een geschreven openingsspeech van een politicus of die vermeld worden in andere publicaties kunnen soms verbloemd zijn. De data uit documenten zijn wel relatief makkelijk te vinden (Reulink & Lindeman, 2005). Voor ons onderzoek bleek een documentenanalyse een evidente keuze. Bij evaluatiestudies hoort meestal een verslag in de vorm van een tastbaar document. Deze moesten dan ook meegenomen worden in de analyse. Niet alle geanalyseerde evaluatiestudies beschikten over een uitgebreid evaluatieverslag. Dit zorgde ervoor dat de analyse soms bemoeilijkt werd. Bij de Europese programma’s opteerden we om evaluatiestudies te analyseren van projecten die plaatsvonden in de Westhoek. Deze regio vormt immers het speerpunt van de gebiedswerking in West-Vlaanderen en is gezien zijn kenmerken een regio waar heel wat Europese projecten uitwerking krijgen. INTERVIEWS Niet alles is in documenten te vatten en daarom opteerden we om ook voor semigestructureerde diepte-interviews met betrokken actoren te kiezen. Om te antwoorden op onze tweede onderzoeksvraag gingen we praten met actoren om na te gaan hoe ze evaluatie en evaluatiestudies benaderen en ervaren. Alle respondenten kregen dezelfde vragenlijst voorgeschoteld. Waar nodig stelden we vragen bij. 36 | P a g i n a

Bij de interviews werden de gegevens verzameld aan de hand van mededelingen van ondervraagde personen. Een volledig gestructureerd interview waarbij de vragen en antwoordmogelijkheden vastliggen was hier niet aan de orde. Het was immers van belang dat flexibel ingespeeld kon worden op de antwoorden van de geïnterviewden door bijvoorbeeld extra bijvragen te stellen en op die manier dieper tot de kern door te dringen. Interviews die volledig gestructureerd zijn, zijn niet flexibel en ook niet geschikt voor kwalitatief onderzoek. Interviews die niet volledig gestructureerd zijn worden open interviews genoemd. Het is een snelle manier om informatie te bekomen en er kan doorgevraagd worden wanneer dat wenselijk is. De bedoeling van een interview is dat de interviewer gaat kijken hoe de geïnterviewden tegen bepaalde dingen aankijken (Reulink & Lindeman, 2005). Ook hier was dat het geval. We wilden te weten komen hoe de geïnterviewden evaluatiestudies ervaren en benaderen. Aan elke respondent werden dezelfde vragen voorgelegd. De vragenlijst werd opgesteld aan de hand van de onderzoeks- en deelvragen. Verschillende thema’s komen aan bod: kenmerken van evaluatiestudies, motieven voor beleidsevaluatie, leerpunten voor toekomstige studies, effecten van beleidsevaluatie en tot slot houdingen en meningen in de organisatie. Voor elk thema zijn er een aantal vragen. Vooral de laatste twee thema’s zijn interessant om de tweede onderzoeksvraag te beantwoorden. De andere thema’s komen aanbod met de bedoeling om bijkomende inzichten bij de documentenanalyse te bekomen. De vragenlijst is als bijlage te vinden. De interviews duurden ongeveer één uur tot anderhalf uur. De coördinatoren van alle regio’s werden bevraagd alsook het diensthoofd van de dienst GGW die tevens regiocoördinator van regio Brugge-Oostende is (Filip Boury van regio Westhoek, Bruno Tricot van regio Midden-West-Vlaanderen, Koenraad Marchand van regio Zuid-West-Vlaanderen, Kathy Belpaeme van regio Kust en Rik Samyn, diensthoofd en regiocoördinator van regio Brugge-Oostende). Daarnaast beantwoordde ook Stijn Lombaert van de dienst griffie de vragen. Hij staat onder andere in voor het management en de organisatie van processen binnen het provinciebestuur. Ook Jan Durnez, die als gedeputeerde de GGW mee vorm gaf, beantwoordde onze vragen. Vanuit zijn belangrijke rol bij de oprichting van de GGW was hij een interessante figuur om te interviewen. Andere politieke actoren werden niet bevraagd. We focussen ons op de ambtenarij omwille van het feit dat daar vaak een grotere continuïteit is bij de personen die werken rond GGW.

37 | P a g i n a

ONDERZOEKSMODEL Om de eerste onderzoeksvraag te beantwoorden ontwikkelden we op basis van de theorie een onderzoeksmodel. Dit model moet ons toelaten om conclusies te trekken over de types evaluatie die voorkomen bij de gebiedswerking. Vanuit de documentenanalyse merken we op dat evaluatiestudies bij de gebiedswerking kunnen onderverdeeld worden in drie categorieën. Vooreerst zijn er evaluaties geweest van de volledige werking. Ten tweede merken we ook evaluaties vanuit regioperspectief op waarbij telkens één regio centraal staat. Tot slot zijn er ook nog de talrijke Europese programma’s die al dan niet verplicht geëvalueerd moeten worden. Dit alles leidt ons tot onderstaande tabel.

38 | P a g i n a

TABEL 5: Onderzoeksmodel Onderzoeksmodel: beleidsevaluatie bij de GGW van de provincie West-Vlaanderen Volledige dienst Beleidsvoorbereiding Beleidsuitvoering Fase in beleidscyclus Beleidsbeoordeling Ex ante Tussentijds Tijdsperspectief Ex post Kwantitatief Soort studie Kwalitatief Inhoud Inhoudelijke kern Impact Intern Organisatorische positie evaluator Extern Efficiëntie Effectiviteit Kosteneffectiviteit Soorten prestaties Zuinigheid Duurzaamheid en nut Relevantie Input Proces Soorten indicatoren Output Outcome

Eén regio

Europese programma’s

39 | P a g i n a

HOOFDSTUK 4: EMPIRISCH ONDERZOEK De gebiedsgerichte werking was een relatief nieuwe dienst binnen de provincie. Reeds van bij het ontstaan werden acties nauwkeurig beschreven en was het werken met jaarplannen een routine. Dit bood mogelijkheden naar beleidsevaluatie toe. Het feit dat de dienst nieuw werd opgericht, werkte het waken van andere diensten over de ontwikkeling ervan in de hand.11 Er rustte eigenlijk een soort druk op de gebiedswerking waarbij telkens moest worden bewezen dat ze het waard waren om in stand te worden gehouden en dat ze een meerwaarde betekenen voor de organisatie. Op die manier kan een druk om te evalueren ontstaan.12 Bovendien is het zo dat er voor de evaluatie van gebiedsgerichte werking, objectief gezien, meer informatie beschikbaar is in vergelijking met andere diensten. Dit komt vooral voort uit het feit dat heel wat externe, vooral Europese middelen worden ingezet in de gebiedswerking. Verantwoording voor het gebruik van die middelen is noodzakelijk. In het kader van Europese programma’s wordt ook vaak expliciet naar evaluatie gevraagd.

13

De

gebiedswerking werkt vaak samen met andere structuren van Vlaamse of Europese financiering. Op die manier wordt de dienst meegenomen in een proces van monitoring en evaluatie en moet daar voortdurend rekening mee gehouden worden.14 Tot slot valt op te merken dat er binnen het provinciebestuur in het algemeen geen cultuur heerst om te evalueren. Zeer weinig diensten gaan hun eigen beleid evalueren. Het feit dat andere diensten zeer weinig hun beleid evalueren zorgt ervoor dat de gebiedswerking in vergelijking daarmee wel meer aan evaluatie doet. De laatste jaren is toch een tendens merkbaar waarbij beleidsevaluatie meer op de voorgrond komt in de hele organisatie.15 We kunnen dus stellen dat de GGW meer wordt geëvalueerd dan de klassieke lijndiensten, waar evaluatiestudies quasi onbestaande zijn.16 In wat volgt kijken we hoe evaluatiestudies bij de gebiedswerking worden gekenmerkt. Het empirisch onderzoek wordt opgedeeld in twee delen. In het eerste deel behandelen we 11

J. Durnez, persoonlijke communicatie, 19 juni 2013 K. Belpaeme, persoonlijke communicatie, 31 juli 2013 13 S. Lombaert, persoonlijke communicatie, 2 mei 2013 14 R. Samyn, persoonlijke communicatie, 14 mei 2013 15 F. Boury, persoonlijke communicatie, 10 mei 2013 & R.Samyn, persoonlijke communicatie, 14 mei 2013 16 J. Durnez, persoonlijke communicatie, 19 juni 2013; R. Samyn, persoonlijke communicatie, 14 mei 2013; S. Lombaert, persoonlijke communicatie, 2 mei 2013 & F. Boury, persoonlijke communicatie, 10 mei 2013 12

40 | P a g i n a

kenmerken en motieven van evaluatiestudies om een antwoord te kunnen formuleren op onze eerste onderzoeksvraag. We bekijken enkele uitgevoerde evaluatiestudies en we stellen ons de vraag wat opvallend is en welke types van evaluatie we terugvinden. We trachten ook na te gaan vanuit welke motieven dergelijke studies werden gevoerd. In het tweede deel bekijken we ook in hoeverre evaluatiestudies impact hebben gehad binnen de werking en wat eventuele effecten zijn die daaruit volgden. We maken ook een analyse van hoe evaluatiestudies binnen de organisatie benaderd worden. Op die manier kunnen we onze tweede onderzoeksvraag beantwoorden.

DEEL 1: KENMERKEN EN MOTIEVEN

KENMERKEN VAN EVALUATIESTUDIES BIJ DE GEBIEDSGERICHTE WERKING We stellen vast dat gedurende 17 jaar werking verschillende soorten evaluatiestudies van GGW hebben plaatsgevonden. We delen deze in drie categorieën in: evaluatiestudies van de volledige werking, evaluatiestudies vanuit regioperspectief en evaluatiestudies van Europese programma’s. Er zijn drie evaluaties geweest waarbij de volledige dienst werd bekeken. In 2000 voerde Hogeschool Gent een externe evaluatie uit waarbij de centrale vraag handelde over de verankering van de gebiedswerking in de werking van het bestuur. Er volgde een interne zelfevaluatie op basis van het 7-S model in 2006. In de evaluatie stonden zeven zaken centraal waardoor zicht werd verkregen op de interne organisatie. Tot slot werd in 2009 op een vergadering van het managementteam van de organisatie vastgesteld dat de gebiedsgerichte inzet zich niet vertaald heeft in de organisatiebrede strategie die in het hele bestuur verankerd is. Met het oog daarop werd een evaluatie uitgevoerd. Dit moest resulteren in een veranderingstraject. Ook werd een kleinschalige evaluatie uitgevoerd in het kader van een stageopdracht die handelde over de invloed van de interne organisatie op projectwerking. Bij de evaluaties vanuit regioperspectief gaan we kijken naar een aantal evaluatiestudies waarbij één regio centraal staat. We bespreken twee evaluatiestudies vanuit de Westhoek. Eén waarbij gebiedswerking cultuur centraal staat en waarbij naast de regio ook het beleidsdomein werd afgebakend en één waarbij stads- en dorpsuitbreidingsprojecten in de Westhoek worden geëvalueerd. Deze projecten maken deel uit van de dorpenstrategie in de Westhoek waarbij leefbaarheid en duurzaam wonen een sleutelpositie innemen. Tot slot is er de evaluatie van 41 | P a g i n a

het project Geïntegreerde Gebiedsvisie Leievallei tussen Wervik en Kortrijk die in 2010 werd uitgevoerd. De Leievallei is een groene oase binnen een verstedelijkt netwerk. Het project pleit voor een behoud van de open ruimte. Een verdere industrialisering of verstedelijking van het landschap is niet wenselijk in de Leievallei. Het doel van het project is te komen tot een geïntegreerde aanpak van de Leievallei over verschillende sectoren heen en de ontwikkeling van een visie door nauw overleg en samenwerking tussen gemeenten, provincie en het Vlaamse gewest (Leiedal, 2005). Er hebben ondertussen ook tal van evaluaties van Europese programma’s plaatsgevonden. We focussen in deze analyse op evaluaties van Europese programma’s waarbij de Westhoek een prominente plaats inneemt. We behandelen achtereenvolgens de evaluatie van de Leefbaarheidsaanpak in de Westhoek van 2004, de evaluatiestudie die handelt over de impact van 20 jaar Europese steun in de Westhoek die werd uitgevoerd in het jaar 2008 en drie evaluatiestudies waarbij het plattelandsbeleid centraal staat. In wat volgt gaan we na wat kenmerkend was voor deze evaluaties. We gaan van start met een luik waar we bekijken wie initiatief neemt om tot evaluatie over te gaan en wie dan verantwoordelijk is. INITIATIEF EN VERANTWOORDELIJKHEID Algemeen kan gesteld worden dat het initiatief om over te gaan tot evaluatie meestal vanuit de dienst zelf komt.17 Vanuit het beleid is er bijna geen vraag naar evaluatie.18 In het kader van BBC zal er vanuit de organisatie een eigen systeem van beleidsevaluatie bijkomen. GGW wordt daar ook in meegenomen. Het feit dat het de dienst zelf is die het initiatief neemt zal effecten hebben op wat de evaluatie omvat en wat er precies wordt gemeten. De dienst heeft het immers zelf in handen.19

17

S. Lombaert, persoonlijke communicatie, 2 mei 2013; F. Boury, persoonlijke communicatie, 10 mei 2013; R. Samyn, persoonlijke communicatie, 14 mei 2013; J. Durnez, persoonlijke communicatie, 19 juni 2013; K. Marchand, persoonlijke communicatie, 24 juni 2013 & B. Tricot, persoonlijke communicatie, 26 juni 2013 18 R. Samyn, persoonlijke communicatie, 14 mei 2013 19 S. Lombaert, persoonlijke communicatie, 2 mei 2013

42 | P a g i n a

Voor de Europese projecten en programma’s is men bij de gebiedswerking gebonden aan monitoringprogramma’s en wordt men soms verplicht om te rapporteren en te evalueren. Europa gaat vaak een evaluatie voor Europese programma’s opleggen.20 Naar verantwoordelijkheid toe zien we dat het dan ook de dienst zelf is die verantwoordelijk is voor de evaluatiestudies en die de evaluatiecriteria gaat bepalen. Evaluaties gaan uitgebreid intern binnen de dienst worden voorbereid.21 Er wordt dan met de betrokken mensen samen gezeten en een referentiekader afgesproken. Daarin probeert men tot een overeenkomst te komen over een aantal criteria.22 Sommige evaluaties worden uitbesteed en worden dus door externen uitgevoerd. Dit is meestal het geval voor grotere projecten waar veel middelen in geïnvesteerd werden. Daar worden deskundigen ook betrokken om evaluatiecriteria te bepalen in samenspraak met de organisatie.23 De deputatie gaat de kredieten om dergelijke studies mogelijk te maken goedkeuren. Vaak gaan ze ook de opdrachtomschrijving en de toewijzing van de opdracht goedkeuren. In de meeste gevallen nemen ze ook kennis van de opgeleverde resultaten. De initiatieven voor het evalueren van gebiedsgerichte projecten, los van de verplichte evaluaties bijvoorbeeld in het kader van Europese programma’s, gaan dus politiek worden gelegitimeerd door het toewijzen van budgetten en de validering van het evaluatiedesign.24 EVALUATIESTUDIES VAN DE VOLLEDIGE WERKING Binnen de gebiedswerking zijn er drie evaluaties geweest waarbij de volledige dienst onder de loep werd genomen: een externe evaluatie in 2000, een interne evaluatie na 10 jaar werking en vervolgens in 2009 nog een interne zelfevaluatie. Daarnaast zijn er ook een aantal kleinere initiatieven geweest die we ook als evaluatie van de volledige dienst kunnen beschouwen. EXTERNE EVALUATIE: 2000 Een eerste evaluatiestudie over de gebiedsgerichte werking van de provincie WestVlaanderen waarbij de volledige dienst als scope werd genomen, werd uitgevoerd in februari van het jaar 2000. De GGW was opgestart in 1996 en bestond toen reeds vier jaar. 20

F. Boury, persoonlijke communicatie, 10 mei 2013 F. Boury, persoonlijke communicatie, 10 mei 2013 22 R. Samyn, persoonlijke communicatie, 14 mei 2013 23 K. Marchand, persoonlijke communicatie, 24 juni 2013 24 S. Lombaert, persoonlijke communicatie, 12 augustus 2013 21

43 | P a g i n a

De studie gebeurde in opdracht van het provinciebestuur door een externe evaluator, namelijk door het departement Handelswetenschappen en Bestuurskunde van Hogeschool Gent. De keuze voor een externe evaluatie wordt in het rapport verantwoord. Een externe evaluatie laat toe om op een objectieve manier en met de nodige afstand kritisch naar de gebiedswerking te kijken (Evaluatiestudie GGW, 2000). De provincie wilde door middel van deze tussentijdse studie in de beleidsuitvoeringsfase vooral te weten komen in welke mate de GGW, zoals verwoord in de beleidsnota van 1996 25, in de organisatie was verankerd. De centrale vraag van de studie was dan ook: “In welke mate is de gebiedswerking als een nieuwe werkmethode verankerd in de werking van het provinciebestuur?” In de studie werd nagegaan waar de eventuele pijnpunten of onvoorziene effecten in dit veranderingsproces liggen die de acceptatie hinderen of onmogelijk maken. Een aantal belangrijke aspecten stonden in deze studie centraal. Vooreerst was er de perceptie van de interne actoren op gebiedswerking en op de meerwaarde 26 en resultaten 27 ervan. Het is voor een veranderingsproces cruciaal om na te gaan of de percepties van de belangrijkste interne actoren op elkaar aansluiten. Wanneer dat niet het geval is, dan zijn er mogelijk problemen met de acceptatie en de verankering in de organisatie. Ten tweede waren er de methodische aspecten zoals de herkenbaarheid van de methodiek voor de verschillende interne actoren, karakter van de gebiedswerking, de aanvaardbaarheid van de specifieke eigenheid van de gebiedswerking etc. Het derde aspect was de organisatorische uitbouw van de gebiedswerking in de provinciale organisatie waaronder de uitbouw op centraal niveau, de verhouding met lijndiensten en centrale administratie, etc. Ten vierde waren er de personele aspecten: selectie, statuut, opvolging en evaluatie, training en opleiding, etc. Tot slot staat ook het middelenmanagement centraal. Hieronder worden financiële middelen verstaan maar ook infrastructuur, informaticaondersteuning, etc. (Evaluatiestudie GGW, 2000). Belangrijk om op te merken is dat de onderzoeksopdracht expliciet over gebiedswerkers handelt, over hun bijdrage tot de gebiedswerking van de provincie en over de verankering van hun werking in de provinciale organisatie. Het onderzoek handelt ook over de organisatieverandering die door deze vorm van gebiedswerking in gang is gezet en over de

25

Gebiedsgerichte werking in de beleidsnota van 1996: “Provinciale beleidsacties en beleidsmiddelen die gericht zijn op het realiseren van beleidsdoelstellingen in één of meerdere gebieden van de provincie en die naargelang de aard van de doelstellingen en de beoogde rol van het provinciebestuur op uiteenlopende wijze organisatorisch vorm krijgen”. p. 4 26 Met meerwaarde worden de effecten op de provinciale organisatie bedoeld. 27 Met resultaten worden de concrete operationele gevolgen op het terrein bedoeld.

44 | P a g i n a

organisatieproblemen die daaruit voort kunnen komen. Het onderzoek handelt dus niet over alle acties die gebiedsgericht kunnen worden genoemd. De gebiedswerking van de provincie is immers een verzameling van beleidsdoelen en beleidsmethodieken die zich doorheen de hele organisatie uitstrekken. Dit is dus ruimer dan wat met het concept gebiedswerkers bedoeld wordt. Gebiedswerkers hebben een permanente werkplaats in een bepaald gebied. De termen gebiedswerking en gebiedswerkers vallen dus niet samen (Evaluatiestudie GGW, 2000). In de toen gebruikte vragenlijst zijn de eerder vermelde aspecten vervat. Er stonden drie thema’s centraal in de evaluatie: de processen van de gebiedswerking, het beleid van de provincie ten aanzien van de gebiedswerking en de resultaten (Evaluatiestudie GGW, 2000). Kortom, de focus van het meten ligt op de processen en de resultaten (of output). Een resultaat kan hier gedefinieerd worden als de mate waarin het veranderingsproces geaccepteerd is in de organisatie. Hoe meer dit het geval is hoe beter de dienst met de implementatie van het veranderingsproces omgaat. Wanneer we de vragenlijst van dichterbij bekijken zien we dat bij de rubriek processen werd gepeild naar de omschrijving van het concept GGW. Aan respondenten werd gevraagd wat GGW voor hen betekent, wat er typisch is aan de manier van werken, etc. Er werd ook naar de gepercipieerde meerwaarde van GGW gepeild, voor zichzelf en voor de buitenwereld. Ook de concrete werking van de gebiedswerking werd belicht. Zo werd de respondenten gevraagd of de GGW duidelijk is afgebakend ten opzichte van andere diensten en hoe ze de relatie met lijndiensten en horizontale diensten zien. Er werden ook een aantal vragen gesteld over de methodiek. Bijvoorbeeld: Is de methodiek al voldoende duidelijk aanwezig bij de gebiedswerkers en de provincie zelf? Ervaart u voldoende methodische ondersteuning voor de gebiedswerking? Onder methodische ondersteuning wordt theoretische ondersteuning en praktische ondersteuning (bijvoorbeeld feedback, trainingen, etc.) verstaan maar ook de definitie van operationele doelstellingen, evaluaties, etc. Ook de middelen van gebiedswerking kwamen aan bod. Er werd aan de respondenten gevraagd of ze vonden dat er voldoende middelen beschikbaar waren om optimaal te functioneren. Het ging hierbij zowel om financiële middelen als om computers en infrastructuur. Er werd ook gevraagd of er opleidingen of evaluaties van gebiedswerkers zijn gebeurd. Tot slot vormde ook het luik communicatie een belangrijk onderdeel van de evaluatie van de processen. De onderzoekers trachtten in kaart te brengen hoe de interne en externe communicatie verliep en of er al

45 | P a g i n a

vooruitgang op te merken viel. Hierbij werd een onderscheid gemaakt tussen overleg en de algemene communicatiesfeer (Evaluatiestudie GGW, 2000). De tweede rubriek van de vragenlijst handelde over het beleid van de provincie ten aanzien van de gebiedswerking. Hier werd gepeild naar de gepercipieerde visie en de strategie van de gebiedswerking. Ook werd gevraagd of de doelstellingen regelmatig werden bijgestuurd en in welke mate hier rekening mee gehouden werd. De onderzoekers peilden ook naar overleg bij het opstellen van de planning (Evaluatiestudie GGW, 2000). Tot slot lag de focus op resultaten. De onderzoekers peilden naar de gepercipieerde resultaten en de communicatie van resultaten naar gebiedwerkers toe. Het evaluatieonderzoek heeft tot een aantal aanbevelingen geleid die een basis konden vormen voor een interne discussie en bijsturing van de veranderingsprocessen (Evaluatiestudie GGW, 2000). De evaluatiestudie heeft als doel om de effectiviteit van het beleid na te gaan. Het doel van het beleid of het beoogde resultaat is een verankering van GGW in de organisatie. De mate waarin het veranderingsproces in de organisatie is geaccepteerd of verankerd wordt als resultaat omschreven. De mate waarin doelen worden bereikt (of met andere woorden de effectiviteit van het beleid) staat hier dus centraal. De evaluatiestudie focust op de inhoud van het beleid. Het concept, de processen, etc. worden onder de loep genomen. De doorwerking van het beleid in de maatschappij (en dus impact) wordt niet zozeer nagegaan. Er werd in de evaluatiestudie gekozen voor een kwalitatieve aanpak omdat dit de meest geschikte aanpak leek om een geïntegreerd inzicht te verwerven in de problematiek. De data werden verzameld aan de hand van deskresearch en veldonderzoek. De gegevens werden tijdens de deskresearch verzameld via documentenanalyse. Bepaalde schriftelijke documenten zoals verslagen, beleidsnota en interne documenten werden geanalyseerd. Het veldonderzoek bestond uit interviews. Er werd geopteerd voor face-to-face interviews van maximum twee uur waarbij half gestructureerde vragenlijsten werden gebruikt. De volgorde van de vragen lag vast maar de formulering ervan werd aangepast aan de betrokken respondent. Er werd gebruik gemaakt van open vragen. De vragenlijst werd ontwikkeld op basis van het EFQM-model. Dit is een kwaliteitszorgmodel dat toelaat om op een systematische manier te kijken naar de verankering van de GGW in de organisatie. Dit zorgde voor een grondige analyse van de voorwaarden waaronder de provinciale dienstverlening kon plaatsvinden, de processen waarmee dit gebeurde en de behaalde resultaten. De vragenlijst werd voorafgaand getoetst en verder geoptimaliseerd (Evaluatiestudie GGW, 2000). 46 | P a g i n a

Omwille van de beperkte duur van het onderzoek werden niet alle interne actoren bevraagd. Er werd een gestratificeerde steekproef getrokken. Op die manier werd de perceptie van verschillende posities in de organisatie weergegeven. Bij een gestratificeerde steekproef wordt gebruik gemaakt van voorkennis over kenmerken van de te kiezen elementen. Op grond hiervan wordt de populatie opgedeeld in strata. Daarna wordt aselect uit deze strata elementen gekozen voor de steekproef. Dit gebeurde als volgt: de interne actoren werden onderverdeeld in relevante strata. De volgende subgroepen werden opgenomen in de steekproef: de gebiedswerkers (waaronder alle in dienst zijnde gebiedswerkers, gebiedswerkers die niet ressorteren onder de dienst EEG en een ex-gebiedswerker), de aanspreekpunten van de gebiedswerking in de lijndiensten (ambtenaren uit de lijndiensten die fungeren als verbindingsfiguren tussen de gebiedswerkers en de lijndienst en een ex-aanspreekpunt), ambtenaren uit de centrale administratie (ambtenaren uit diensten met gebiedswerkers die hiërarchisch onder de dienst EEG vallen en ambtenaren uit andere diensten), gedeputeerden (toen nog Bestendige Deputatie genoemd, alle gedeputeerden), provincieraadsleden (zes provincieraadsleden opgenomen, één per politieke partij) en tot slot de gouverneur omdat hij een globaler zicht heeft op de gebiedswerking. De omvang van de steekproef werd beperkt tot 50 personen. Uiteindelijk werden 48 respondenten bevraagd. De omvang binnen de strata is disproportioneel. In bepaalde strata werden alle respondenten bevraagd. In andere werd een aselecte keuze gemaakt (Evaluatiestudie GGW, 2000). Belangrijk om op te merken is dat de evaluatie zich richtte op een onderzoek bij de interne actoren. Een eventueel tweede fase waarbij het onderzoek zich richt op een bevraging van de afnemers van de gebiedswerking (gemeenten, welzijnsorganisaties, intercommunales, etc.) kon hierop volgen (Evaluatiestudie GGW, 2000). We kunnen stellen dat in deze evaluatiestudie gebruik gemaakt werd van verschillende soorten indicatoren: input-, proces- en outputindicatoren. Inputindicatoren omdat in de interviews werd gepeild naar de beschikbare middelen. Zowel financiële middelen als andere (computers en infrastructuur). Ook werd gevraagd naar het aantal opleidingen die aan ambtenaren werden aangeboden. Opleidingen leiden tot kennis die als input kan gebruikt worden in het proces. We zien ook procesindicatoren want de concrete werking van GGW wordt belicht. Onder andere de relatie met lijndiensten en communicatie tijdens het proces zijn onderwerpen van interviewvragen. Tot slot worden ook outputindicatoren gebruikt want de evaluatiestudie behandelt de bekomen resultaten van het gevoerde beleid en kijkt op die manier dus naar outputs (Evaluatiestudie GGW, 2000). 47 | P a g i n a

Kortom, deze externe, tussentijdse evaluatiestudie waarbij de volledige werking centraal stond werd op een kwalitatieve manier uitgevoerd. De focus lag op inhoud van het beleid daar gekeken werd naar de input, het proces en de output van het gevoerde beleid. Wat betreft het soort prestaties werd de effectiviteit nagegaan. INTERNE ZELFEVALUATIE VOLGENS HET 7-S MODEL: 2006 Na 10 jaar werken, achtte de dienst GGW de tijd rijp voor bezinning. De dienst kreeg immers te maken met nieuwe uitdagingen inzake het streekbeleid en een nieuw provinciedecreet. Bovendien kwam er een nieuwe legislatuur aan. De centrale vragen binnen de evaluatie waren: “In hoeverre heeft deze nieuwe wending het inzicht en uitzicht van de organisatie veranderd? Is er sprake van een andere cultuur en een nieuwe identiteit op basis waarvan een meer geprofileerd en democratischer beleid kan worden gevoerd? In hoeverre is dit in de strategie en structuur geëxpliciteerd? Heeft de organisatie voldoende capaciteit uitgebouwd en een aangepaste managementstijl ontwikkeld om deze aanpak kwalitatief en doeltreffend te realiseren?” Deze vragen vormden de focus van een interne

analyse van de

organisatiestructuur op basis van het 7-S model van McKinsey. Het 7-S model laat toe om een totaal beeld te verkrijgen van een organisatie en om de interne organisatie te analyseren. Er wordt aandacht besteed aan het eindproduct maar ook aan het proces waardoor ook de meer ‘zachte’ kanten van de organisatie worden belicht. De 7-S’en die centraal staan in de analyse zijn: significante waarden, strategie, structuur, systemen, stijl, staf en sleutelvaardigheden. Bij significante waarden wordt aandacht besteed aan de waarden en normen van een organisatie. Deze organisatiecultuur is niet altijd even zichtbaar. De strategie is toekomstgericht en handelt over de doelen van de organisatie en de manier waarop ze moeten bereikt worden. De structuur gaat over de formele indeling van de organisatie terwijl bij systemen wordt gekeken naar hoe te werk wordt gegaan en welke regels gelden. Daarnaast kan de stijl iets vertellen over hoe de organisatie met mensen omgaat. De staf handelt over personeelsaangelegenheden terwijl bij sleutelvaardigheden wordt onderscheiden waar mensen goed in zijn. Alle factoren zijn afhankelijk van elkaar. In de analyse worden telkens kenmerken opgesomd en wordt ook de gewenste situatie geschetst. Waar relevant, worden de bevindingen getoetst aan twee concrete gebiedsgerichte cases, de werking van de Westhoek en die van de Kust. Er worden nadien kritische succesfactoren voor de toekomstige werking geformuleerd. Het betreft hier een tussentijdse evaluatie in de beleidsuitvoeringsfase waarbij de volledige dienst als scope wordt genomen. Om de analyse te voeren, werd gebruik gemaakt van nota’s in verband met 48 | P a g i n a

gebiedswerking. Er werd dus een documentenanalyse uitgevoerd zodat we kunnen spreken van kwalitatief onderzoek (Evaluatieverslag: een evaluatie volgens het 7-S model, 2006). In de evaluatiestudie staat de inhoud van het beleid centraal. Er wordt immers gekeken naar de interne organisatie aan de hand van zeven sleutelfactoren. Centraal in de evaluatie staat de inhoud van het beleid dat vorm krijgt binnen de organisatie en die ook zijn invloed daarop heeft. Het beleid komt bijvoorbeeld tot stand in relatie met de strategie van de organisatie. Het is niet zo dat de impact van het beleid op de maatschappelijke omgeving wordt nagegaan. In deze evaluatiestudie vinden we procesindicatoren. Het proces wordt bekeken aan de hand van enkele sleutelfactoren. Prestaties kunnen we hier niet definiëren. Kortom, deze tussentijdse, interne evaluatie betreft een analyse van de interne organisatie waarbij wordt gekeken naar de impact van de invoering van de GGW binnen de organisatie, niet in de maatschappij. De studie werd op een kwalitatieve manier uitgevoerd. INTERNE ZELFEVALUATIE: 2009 In 2009 werd opnieuw een evaluatie van de volledige GGW uitgevoerd door de provinciale administratie. Het managementteam van de provincie besliste een zelfevaluatie te organiseren van de gebiedsgerichte organisatie en de werking van de provincie. Dit gebeurde met het oog op een herordening en sterkere verankering van deze specifieke vorm van beleidsvoering. Op drie niveaus (strategisch, organisatorisch en methodisch) werden een aantal vaststellingen gedaan en doelstellingen geformuleerd. Deze kunnen een leidraad vormen van een veranderingstraject. Er werd ook een implementatietraject voorgesteld. De evaluatie gebeurde aan de hand van interviews bij 23 bevoorrechte getuigen van de lijndiensten. Daarnaast werd een schriftelijke enquêtering uitgevoerd bij vijftien gebiedswerkers. We kunnen dus spreken over een mix van de kwalitatieve met de kwantitatieve methode van onderzoek. Kwalitatief omwille van de interviews met getuigen, aangevuld met de kwantitatieve onderzoeksmethode waarbij schriftelijk geënquêteerd werd. Er werd in de interviews bij elk onderdeel aan de respondenten gevraagd: “Vindt u dat de huidige benadering kan behouden blijven, moet deze aangepast worden of stelt u een andere benadering voor?” (Gebiedsgerichte werking, reflecties voor de toekomst, 2009). Er wordt dus niet met indicatoren gewerkt die verschillende soorten prestaties aanduiden.

49 | P a g i n a

Bij het strategische luik, waarbij de omgeving werd geanalyseerd, lag de focus op gebiedsbepaling en de stakeholdersbenadering. Telkens werd aan de respondenten gevraagd of ze de huidige situatie goed vonden of niet. Bij de gebiedsbepaling werd gekeken naar de territoriale basisindeling van de gebiedsgerichte werking. De stakeholdersbenadering focuste op de stakeholders van de GGW. Daar werd gekeken naar de rol van de provincie in intergemeentelijke samenwerkingsverbanden, ondersteuning van gemeenten, de aandacht voor het middenveld en de afstemming tussen RESOC-SERR en de gebiedswerking (Gebiedsgerichte werking, reflecties voor de toekomst, 2009). Ten tweede werd de taakstelling onder de loep genomen. Hier werd gepolst naar de meningen van de respondenten omtrent de sleutelconcepten van de gebiedswerking namelijk differentiatie, integratie en interactiviteit in de beleidsvoering. Deze concepten moeten de basis vormen van de GGW (Gebiedsgerichte werking, reflecties voor de toekomst, 2009). Wat betreft het organisatorische of structurele aspect werd gekeken naar hoe het gebiedsgericht beleid werd georganiseerd. De structuur, waaronder de relatie met beleids- en beheersdiensten kwam aan bod. Hoe werd de structuur gepercipieerd? Wat zou er anders moeten? (Gebiedsgerichte werking, reflecties voor de toekomst, 2009). Daarnaast lag de focus in de evaluatie ook op competenties. Hierbij werd de mening gevraagd over de aanwezige competenties op verschillende niveaus: op het strategische niveau, het management van de sector, regiocoördinatoren en het uitvoerende niveau (Gebiedsgerichte werking, reflecties voor de toekomst, 2009). In het vijfde luik van de evaluatie staan de methodes en middelen centraal. Streeknetwerking, de projectwerking en de middelen werden bekeken (Gebiedsgerichte werking, reflecties voor de toekomst, 2009). De evaluatie van 2009 had opnieuw de volledige dienst als scope. Dit keer ging het om een zelfevaluatie. De evaluatie werd dus uitgevoerd door interne evaluatoren. Telkens werden de processen bekeken. De focus van de evaluatie ligt hier dus op de inhoud van het beleid. Men beoogde een herordening en sterkere verankering van de beleidsvoering in de organisatie. Opnieuw kunnen we aangeven dat het om een tussentijdse evaluatie gaat in de beleidsuitvoeringsfase.

50 | P a g i n a

KLEINSCHALIGE EVALUATIE: 2010 In

2010

onderzocht

een

stagiaire

van

de

Hogeschool

Gent,

departement

Handelswetenschappen en Bestuurskunde, Elke Rutsaert, hoe de interne organisatie van de provincie de projectwerking beïnvloedt. Dit omdat er veel projectmatig gewerkt wordt binnen de provincie, zeker bij de gebiedswerking. Die projectwerking verloopt niet altijd zonder slag of stoot. Aan de hand van een zevental interviews formuleerde ze een aantal vaststellingen en daaraan gekoppelde adviezen. Het gaat hier dus om een kwalitatief, kleinschalig evaluatieonderzoek. De vaststellingen betreffen vooral structurele en organisationele zaken. Ook communicatie kwam aan bod (Stageverslag Elke Rutsaert, 2010). We beschouwen de evaluator als extern gepositioneerd. Ze maakt immers geen deel uit van de organisatie maar verbleef er tijdelijk in het kader van haar opdracht. De centrale vraag van het onderzoek luidde als volgt: “Op welke manier beïnvloedt de huidige interne organisatie van de provincie de projectwerking?” Hier werd vooral naar de impact van de structuur op de processen gekeken. De inhoud van het beleid, want de structuur wordt bekeken, staat dus centraal. Het gaat hier om een tussentijdse evaluatie in de beleidsuitvoeringsfase van de projectwerking waarbij aanbevelingen voor de toekomstige werking worden geponeerd. Er werd geen gebruik gemaakt van indicatoren om verschillende prestaties te meten. INVENTARISATIE: 2012 Ten slotte werd in 2012 intern een inventarisatie opgemaakt van de realisaties van de gebiedswerking in de provincie tussen 2006 en 2011. Dit was een terugblik, een evaluatie in de allerbreedste zin van het woord. Het was een opsomming van de verschillende initiatieven in die jaren. Het gaf een beeld weer over wat er veranderd was in de voorgaande legislatuur.

Het initiatief tot het ontwikkelen van deze inventarisatie kwam vanuit het kabinet van de gedeputeerde voor GGW. Hij bereidde zich op het einde van de vorige legislatuur voor en op de volgende verkiezing en wilde daarbij graag een lijst van realisaties die liefst zo tastbaar, meetbaar of zichtbaar mogelijk waren. Het doel was om die lijst te gebruiken in toespraken of

51 | P a g i n a

persberichten. Enkele gebiedswerkers putten later ook uit de lijst voor onder andere bijdragen op studiedagen.28

De inventarisatie is een bundel met alles wat de gebiedswerking tussen 2006 en 2011 heeft gerealiseerd. In het eerste deel wordt kort aangehaald welke evolutie de verschillende regio’s hebben meegemaakt. Het aantal partners en personeelsleden worden opgelijst. Ten tweede worden de realisaties gegroepeerd per beleidsdomein. Daaronder volgt een opsomming per regio. In het laatste deel worden de realisaties van een aantal strategische projecten uit de verschillende regio’s opgelijst

(Realisaties

gebiedswerking 2006-2011, 2012). De

inhoudstafel werd opgemaakt door een stafmedewerker van de dienst GGW. Deze was gebaseerd op jaarboeken, jaarplanningen en uitgaven van elk budgetjaar. Deze werd vervolgens aangevuld op stafniveau. Daarna werd dit drie keer besproken met de regiocoördinatoren en vervolgens ook aangevuld. De meeste regiocoördinatoren plaatsten dit ook op de agenda van hun regioteam. Daar werd dit nogmaals besproken. De eindredactie gebeurde opnieuw door een stafmedewerker van de dienst GGW.29 Men ging eigenlijk op een kwalitatieve manier te werk. Aan de hand van een documentenanalyse en overleg. Het gaat om een ex post evaluatie die wordt uitgevoerd op het moment van de beleidsbeoordeling. De impact van het beleid staat centraal. Er wordt immers weergegeven wat het beleid in de maatschappij heeft teweeggebracht. Dankzij deze inventarisatie kan de organisatie te weten komen welke outputs werden geleverd, of met andere woorden welke resultaten of prestaties hun beleid heeft opgeleverd. Op die manier kan de effectiviteit van het gebiedsgericht beleid worden nagegaan. Aan de hand van de realisaties kan gekeken worden of een aantal vooropgestelde doelen al dan niet volledig werden behaald. SAMENGEVAT In de geschiedenis van GGW werden drie evaluaties van de volledige werking uitgevoerd: één externe evaluatie en twee zelfevaluaties. Daarnaast zorgde een stageopdracht ook voor een blik op de projectwerking. In 2012 werd een inventarisatie gemaakt van alle realisaties van de gebiedswerking tussen 2006 en 2011. Ook dit is richtinggevend voor de dienst en houdt een element van evaluatie in.

28 29

K.Catteeuw, persoonlijke communicatie, 13 augustus 2013 K. Catteeuw, persoonlijke communicatie, 13 augustus 2013

52 | P a g i n a

Opvallend bij bovenvermelde evaluaties is dat het allemaal kwalitatieve vormen van evaluatiestudies betreft. Aan de hand van interviews bij strategisch gekozen interne actoren werd tot een aantal conclusies gekomen. Bij de zelfevaluatie van 2009 werden de interviews aangevuld met een schriftelijke enquête. Daar krijgen we dus een aanvulling met kwantitatief onderzoek. De bovenvermelde evaluaties gebeurden ook allemaal tussentijds. De focus ligt bij alle drie op processen. In de eerste twee evaluaties van 2000 en 2006 worden ook resultaten meegenomen in de analyse. Bij de inventarisatie ligt de nadruk op outputs of resultaten. Aangezien meestal op processen wordt gefocust zien we dat de focus van de evaluatiestudies meestal op de inhoud van het beleid liggen. De meeste evaluatiestudies vinden plaats tijdens de beleidsuitvoeringsfase, met uitzondering van de inventarisatie. We bemerken dat er zowel evaluatiestudies met externe evaluatoren als zelfevaluaties, en dus met interne evaluatoren, zijn gebeurd. Het merendeel van de evaluatiestudies gebeurde wel door een interne evaluator. Het definiëren van soorten prestaties is moeilijk. In twee studies is het duidelijk dat de effectiviteit van het gevoerde beleid onder de loep werd genomen. Slechts in twee gevallen werd gebruikt gemaakt van indicatoren, namelijk bij de eerste evaluatiestudie in 2000 en de inventarisatie in 2012. De evaluaties gebeurden niet op vastgelegde tijdstippen. TABEL 6: Evaluatiestudies van de volledige werking Evaluatiestudies van de volledige werking 2000

2006 2009

2010

x

x

x

2012

Fase in beleidscyclus Beleidsvoorbereiding Beleidsuitvoering

x

Beleidsbeoordeling Tijdsperspectief

x

Ex ante Tussentijds

x

x

x

x x

Ex post Soort studie

Kwantitatief Kwalitatief

Inhoudelijke kern

x x

Inhoud Impact

x

x

x

x

x

x

x

x

x 53 | P a g i n a

Organisatorische positie evaluator

Intern Extern

Soorten prestaties

x x

Efficiëntie Effectiviteit

x

x x

n.v.t. n.v.t.

n.v.t.

x

x

Kosteneffectiviteit Zuinigheid Duurzaamheid en nut Relevantie Soorten indicatoren

Input

x

Proces

x

Output

x

n.v.t.

n.v.t.

x x

Outcome

EVALUATIESTUDIES VANUIT REGIOPERSPECTIEF In de loop van de geschiedenis werden bij de GGW ook een aantal evaluaties uitgevoerd die niet de volledige werking als scope hadden maar slechts één regio. De verschillende regio’s worden gekenmerkt door andere dynamieken, uitdagingen en opportuniteiten en vandaar dat het soms aangewezen is om ook in de evaluatie niet uniform te gaan handelen. Daarnaast zitten niet alle regio’s op hetzelfde niveau van ontwikkeling waarbij een uniforme aanpak onmogelijk is. Hieronder bekijken we een aantal studies van dichterbij om de belangrijkste kenmerken te detecteren. EVALUATIE GEBIEDSWERKING CULTUUR WESTHOEK:2008 In 2008 werd de gebiedsgerichte werking cultuur in de Westhoek geëvalueerd. De gebiedswerking cultuur liep dan al drie jaar (en dus sinds 2005). Het betrof hier dus een tussentijdse evaluatie. Het beleid zat nog steeds in de beleidsuitvoeringsfase. We zien opnieuw een evaluatie van één bepaalde regio maar nu wordt ook het beleidsdomein afgebakend. De evaluatie kwam er op initiatief van het provinciebestuur en werd uitgevoerd door externe evaluatoren. De evaluatiestudie die tot doel had de impact van GGW cultuur in 54 | P a g i n a

de Westhoek te meten, kwam tot stand door middel van gesprekken met actoren in en buiten de streek, documenten van de provincie en het Westhoekoverleg en publicaties over gebiedsgerichte werking in het algemeen. Een kwalitatieve onderzoeksmethode werd dus gehanteerd. Het evaluatierapport geeft aan dat de impact van GGW cultuur om een aantal redenen moeilijk kwantitatief te meten is. Vooreerst omwille van de beperkte levensduur van de werking (namelijk slechts drie jaar). Een aantal projecten zijn dan wel opgestart maar het effect is nog niet zichtbaar. Bovendien is de werking vooral procesgericht. Er bestaan weinig meetbare indicatoren voor dit soort processen. Bij het begin van de werking werden geen indicatoren opgesteld. Er werden een reeks gesprekken gevoerd met betrokkenen in en buiten de streek. De gesprekspartners waren van diverse aard: schepenen van cultuur, cultuurbeleidscoördinatoren, vertegenwoordigers van de sector erfgoed en van aan cultuur verwante sectoren, ambtenaren van het streekhuis, personeelsleden van de centrale dienst cultuur in Brugge en twee gedeputeerden. Er werd in de gesprekken ook aandacht besteed aan de toekomst. De evaluatie werd thematisch opgebouwd uitgaande van de taken en opdrachten van de GGW cultuur, van de feitelijke werking, van de essentie van wat GGW is en van wat de gesprekspartners over al deze thema’s inbrachten. Samenvattend werden een aantal positieve punten en knelpunten opgelijst (Evaluatie van de werking cultuur in de Westhoek 2005-2008, 2008). Meer informatie over hoe de evaluatiestudie is uitgevoerd, welke indicatoren concreet gebruikt werden etc. staat niet vermeld in het verslag. Daarom hebben we er geen zicht op. De evaluatie trachtte de impact na te gaan van de gebiedswerking op de regio dus het gaat naar alle waarschijnlijkheid om outcome-indicatoren. We kunnen dit echter niet staven met een voorbeeld. De evaluatiestudie behandelt de impact van de GGW cultuur op de regio, en focust dus op de effecten die het beleid teweeg brengt in de maatschappij. EVALUATIE PROJECT GEÏNTEGREERDE GEBIEDSVISIE LEIEVALLEI TUSSEN WERVIK EN KORTRIJK: 2010 De volgende evaluatie vanuit perspectief van de regio vond plaats eind 2010. In februari 2011 werd het eindrapport gepubliceerd. In de evaluatie gaat men het project “Geïntegreerde Gebiedsvisie Leievallei tussen Wervik en Kortrijk” gaan doorlichten. In 2005 werd de “Geïntegreerde Gebiedsvisie Leievallei tussen Wervik en Kortrijk” (GGV) goedgekeurd. De provincie gaf in 2010, na vijf jaar werking, een kortlopende opdracht aan het Instituut voor de

55 | P a g i n a

Overheid (K.U. Leven) en de Afdeling Mobiliteit en Ruimtelijke Planning van de Universiteit van Gent een tussentijdse evaluatie uit te voeren. Het beleid bevindt zich in de beleidsuitvoeringsfase. Er werden dus externe evaluatoren gevraagd. Centraal in het onderzoek stonden de realisaties van het proces en of deze stroken met de gebiedsvisie. Ook de methodologie werd bekeken. Er werd gekeken naar hoe het proces werd gevoerd en wat daaruit geleerd kan worden. Tot slot werden ook aanbevelingen voor de toekomst geformuleerd. Concreet werd er een plan-, proces- en prestatieanalyse uitgevoerd (Eindrapport evaluatie geïntegreerde gebiedsvisie Leievallei tussen Wervik en Kortrijk, 2011).

De focus lag hier dus zowel op planning, processen als op prestaties. De

evaluatiestudie betreft hier de inhoud van het beleid maar eveneens ook de impact en effecten van het gevoerde beleid (Eindrapport evaluatie geïntegreerde gebiedsvisie Leievallei tussen Wervik en Kortrijk, 2011). De evaluatie gebeurde aan de hand van een kwalitatieve evaluatiemethode: deskresearch van bestaande planning- en beleidsdocumenten, 24 interviews met bevoorrechte getuigen en een terreinanalyse. In de inhoudelijke plananalyse werd nagegaan hoe consistent en in welke mate de gebiedsvisie inhoudelijk gerelateerd is met en doorwerkt in andere beleids- en planningsdocumenten. In de procesanalyse werd gekeken naar de manier waarop het planproces is verlopen, welke actoren een bepalende rol speelden, inschattingen over sterke en werkpunten van dat verloop en het management ervan. De prestatieanalyse combineerde de analyse van planningsdocumenten met interviews en een terreinbezoek. Dit leverde een genuanceerd beeld op over de realisaties op het terrein. De selectie van het te analyseren schriftelijk bronnenmateriaal gebeurde door de opdrachtgever zelf. Dit werd aangevuld met documentvragen vanwege het onderzoeksteam. Voor de interviews werd samen met de gebiedswerking van de provincie een lijst opgesteld met de te interviewen personen. Vooraf werd een interviewleidraad opgesteld die diende om de gesprekken te structureren maar ook om de wederzijdse openheid in de gevoerde interviews te benadrukken. De interviews werden gevoerd met betrokken en bevoorrechte getuigen, zowel politiek, ambtelijk als maatschappelijk van lokaal tot bovenlokaal niveau (Eindrapport evaluatie geïntegreerde gebiedsvisie Leievallei tussen Wervik en Kortrijk, 2011). Bij de plananalyse werden de visie en structuurschets, het actieplan, jaarlijkse actieprogramma’s en de afbakening van het plangebied bekeken. In functie van andere gebiedsgerichte projecten formuleerden de evaluatoren vanuit hun expertise een aantal aandachtspunten of leerpunten. Deze hadden betrekking op de formulering, de opbouw en 56 | P a g i n a

weergave van visie en actieprogramma en tot de afbakening van het plangebied. Bij de plananalyse werd dus geen gebruik gemaakt van een centrale vraag of indicatoren (Eindrapport evaluatie geïntegreerde gebiedsvisie Leievallei tussen Wervik en Kortrijk, 2011). De procesanalyse richtte zich op de multi-actor en multi-level setting. Gebiedsgerichte planningsprocessen krijgen immers altijd vorm binnen een multi-actor setting. In interviews werd aan de respondenten gevraagd om hun mening te geven op wat betreft wederzijdse afhankelijkheid, middelen, de relatie met Vlaamse diensten en private actoren en ook over de verwevenheid met Frankrijk en de schaal waarop gewerkt wordt. Daarnaast werd ook naar meningen gevraagd omtrent het huidig en toekomstig management van het project. Het functioneren van de managers, monitoring en prioriteiten kwamen aan bod (Eindrapport evaluatie geïntegreerde gebiedsvisie Leievallei tussen Wervik en Kortrijk, 2011). Tot slot richtte de prestatieanalyse zich op de doorwerking van visie en actieprogramma, effectieve realisaties op het terrein en het geïntegreerde karakter van het geheel. De centrale vraag hierbij was: “Wat is er tot nu toe gerealiseerd?” Er werden vier soorten realisaties geïdentificeerd: onderzoek en studiewerk, het opmaken van plannen, het opzetten van overlegstructuren en netwerken en effectieve, zichtbare realisaties op het terrein. Deze prestaties werden geanalyseerd door verschillende planningdocumenten door te nemen. Dit werd aangevuld met inschattingen en percepties van actoren tijdens interviews en eigen indrukken van de onderzoekers tijdens terreinbezoeken. Bij de planningsdocumenten maakte de opdrachtgever een eerste selectie. Nadien werden op het initiatief van het onderzoeksteam nog enkele documenten bijgevoegd. De geanalyseerde documenten zijn overkoepelende plannen, plannen die hoofdzakelijk gericht zijn op detaillering en verfijning van een bestaand idee of concept en plannen of projecten die vooral gericht zijn op het verkrijgen van financiële middelen. Eerst werd een quick scan van de verschillende plannings- en beleidsdocumenten uitgevoerd. Deze werden verwerkt tot individuele projectfiches. In deze fiches staat telkens een systematische beschrijving van het onderzochte document. Eerst wordt een algemene beschrijving gegeven met gegevens zoals project, opdrachtgever, ontwerper, relatie met de visie, etc. Daarnaast wordt de vraag gesteld: “In hoeverre houden plannen rekening met de doelstellingen uit de gebiedsgerichte visie?” Wat is met andere woorden de doorwerking van doelstellingen in de plannen? Om die vraag te beantwoorden, wordt gekeken naar het actieplan en de visie- en structuurschets. Ook de doelstellingen, actiepunten en de meerwaarde van de actie worden in de projectfiche geduid. Voor elk onderzocht plannings- en 57 | P a g i n a

beleidsdocument is zo’n projectfiche terug te vinden. Op basis daarvan werd een analyse gemaakt waarbij wordt gekeken naar de doorwerking van de visie en de daarin geformuleerde doelstelling, de doorwerking van het actieprogramma, de realisaties op het terrein zelf en het effect op de betrokken actoren. Er werd daarnaast ook aandacht besteed aan de plannen in hun geheel en de onderlinge samenhang. De analyse heeft dan geresulteerd in de opmaak van verschillende geografische kaarten die een hulpmiddel kunnen zijn voor de opdrachtgever in de verdere ontwikkeling van de gebiedsgerichte visie. Ze bieden ook inspiratie voor de visualisering van andere projecten (Eindrapport evaluatie geïntegreerde gebiedsvisie Leievallei tussen Wervik en Kortrijk, 2011). Er werd in de analyse gebruik gemaakt van output-indicatoren. Men vroeg immers naar de al dan niet voorlopige resultaten van het gevoerde project. Ook proces-indicatoren werden gebruikt. Er werd immers gevraagd naar de doorwerking van de doelstellingen in plannen. EVALUATIE VAN GEMEENTELIJKE WOONPROJECTEN WESTHOEK: 2012 In de periode april tot en met november 2012 wilde de gebiedswerking een aantal stads- en dorpsuitbreidingsprojecten in de Westhoek laten evalueren. Ze gaf daarvoor opdracht aan het bureau MAAT. Het betreft hier dus een externe evaluatie. Het was de bedoeling dat deze evaluatie dan gekoppeld werd aan de begeleiding van nieuwe initiatieven voor duurzame woonprojecten in de Westhoek. Concreet werden drie stads- en dorpsuitbreidingsprojecten in de Westhoek geëvalueerd: Schaerdeke in Lo, de Suikerfabriek in Veurne en De Vloei in Ieper. De evaluatie verliep als volgt. Eerst werden alle relevante documenten van de projecten doorgenomen. Ook interviews met belangrijke actoren vonden plaats. Er werden dus kwalitatieve onderzoeksmethoden gehanteerd. Daarna werd per project een werksessie georganiseerd. Hierin werd gepeild naar het gevoerde proces, de ingezette middelen (= input) en het plan dat werd opgemaakt. Ten derde werd een evaluatieworkshop met verschillende provinciale diensten georganiseerd. Tot slot werd een evaluatiedocument opgesteld waarin per traject knel- en leerpunten werden opgelijst. Het gaat hier om een ex-post evaluatie waaruit aanbevelingen voor nieuwe projecten kunnen volgen. De evaluatie werd uitgevoerd in de beleidsbeoordelingsfase. De analyse behandelt drie stad- en dorpsuitbreidingsprojecten. Telkens is er een beschrijvend en een evaluerend luik. Vooreerst wordt een situering gegeven. Ook een beschrijving van de ambitie en de actoren vinden we terug. Ook de procesaanpak wordt beschreven. Daaronder vinden we: de processtructuur, het procesverloop, een taakverdeling en communicatie en participatie tijdens het proces en ervaringsuitwisseling van 58 | P a g i n a

actoren. Daarna volgt een evaluatie waarin positieve en negatieve punten worden opgesomd. Er wordt niet gewerkt met indicatoren. De focus ligt op de inhoud van het beleid, het proces en de daarin aanwezige actoren worden bekeken doorheen de evaluatie. (Evaluatie en begeleiding van gemeentelijke projecten, 2012). SAMENGEVAT Hierboven werden enkele projecten uit verschillende regio’s van dichterbij bekeken op gebied van evaluatie. De verschillende streken voeren heel wat kleinere evaluaties uit om hun projecten te evalueren en zodoende hun werking te verbeteren. Vaak zijn dat kleinschalige evaluaties waarbij de verschillende uitvoerders van een project rond de tafel gaan zitten. De hierboven vermelde evaluaties zijn het meest uitgewerkt en hebben een uitgeschreven evaluatieverslag. Dit maakt het makkelijk om na te gaan hoe de evaluatie is gebeurd en waar de klemtonen op lagen. Opvallend bij de evaluaties vanuit streekperspectief is dat overal voor de kwalitatieve onderzoeksmethode wordt gekozen. De meeste evaluaties werden tussentijds uitgevoerd door externe actoren. In de Westhoek zien we een voorbeeld van een zelfevaluatie in het kader van gemeentelijke woonprojecten. De focus van de evaluatiestudies was meestal procesgericht maar soms worden ook de effecten, input en resultaten meegenomen. Zowel inhoud als impact van beleid stonden in de evaluatiestudies centraal. Bij de evaluatie van het project Geïntegreerde gebiedsvisie Leievallei tussen Wervik en Kortrijk kunnen we in de analyse verschillende indicatoren opmerken. TABEL 7: Evaluatiestudies vanuit regioperspectief

Fase in beleidscyclus

2008: WH: cultu ur

2010 2012: GWW : GG H LV

x

x

Beleidsvoorbereiding Beleidsuitvoering

x

Beleidsbeoordeling Tijdsperspectief

Ex ante Tussentijds

x

x 59 | P a g i n a

x

Ex post Kwantitatief

Soort studie

Kwalitatief Inhoudelijke kern

Inhoud Impact

Organisatorische positie evaluator Soorten prestaties

x

x

x

x

x

x

x

Extern

x

x

Efficiëntie

n.v.t.

n.v.t. n.v.t.

Intern x

Effectiviteit Kosteneffectiviteit Zuinigheid Duurzaamheid en nut Relevantie Soorten indicatoren

Input

n.v.t.

Proces

x

Output

x

Outcome

x

WH: Westhoek GGLV: Geïntegreerde gebiedsvisie Leievallei GWWH: Gemeentelijke woonprojecten Westhoek EVALUATIESTUDIES VAN EUROPESE PROGRAMMA’S Gebiedsgerichte projecten kunnen veel middelen vanuit Europa halen. Europese projecten en programma’s vormen dan ook een belangrijk deel van de gebiedswerking. Er zijn heel wat Europese programma’s al afgelopen of nog steeds aan de gang. We gaan nader kijken naar een aantal programma’s die van belang zijn geweest voor West-Vlaanderen. Vooreerst bekijken we een evaluatie van de impact van Europese steun aan de Westhoek, daarna een 60 | P a g i n a

evaluatie van het project ‘Leefbaarheidsaanpak in de Westhoek’. Vervolgens ook een evaluatie van het Vlaamse PDPO II en tot slot een evaluatie van het provinciaal plattelandsbeleid en PDPO II. EVALUATIE VAN LEEFBAARHEIDSAANPAK IN DE WESTHOEK: 2004 De Leefbaarheidsaanpak in de Westhoek werd in 2004 geëvalueerd en geactualiseerd. Er werd gekeken of het gevoerde dorpsversterkingsbeleid leidde tot een verbetering van de lokale leefbaarheid. Het betrof een interne analyse. Deze werd deels kwantitief en deel kwalitatief uitgevoerd. In de analyse worden de ontwikkelingen in de deelgemeenten van de Westhoek sinds 1997 beschreven en geanalyseerd. In 1997 was de reeds een onderzoek gevoerd naar de leefbaarheid in die gemeenten. Een tweede analyse, zoveel jaar later kon zorgen voor een vergelijking waardoor kon worden nagegaan of het gevoerde beleid, de Leefbaarheidsaanpak, zijn vruchten afwierp. Het aantal huishoudens en de kwalitatieve ontwikkeling van het woonmilieu staan centraal in de analyse en worden doelvariabelen genoemd. Dit is veeleer een getalsmatige analyse waarbij een aantal cijfers van 1997 worden vergeleken met de cijfers van nu. Daarnaast is ook het oordeel van bewoners over de ontwikkelingen en het gevoerde beleid geanalyseerd aan de hand van groepsinterviews. Dit was in 1997 ook zo gebeurd waardoor een vergelijking mogelijk was. Er wordt geen gebruik gemaakt van indicatoren. Het betrof hier dus een evaluatie van het gevoerde beleid, met andere woorden een ex post evaluatie in de beleidsbeoordelingsfase (De Mets, 2009). De focus ligt op de effecten (of impact) die het beleid teweeggebracht heeft in de regio Westhoek. EVALUATIE VAN DE IMPACT VAN 20 JAAR EUROPESE STEUN VOOR DE WESTHOEK: 2008 Vanaf 1987 kon de Westhoek op Europese steun rekenen omwille van de socio-economische situatie. De impact van die Europese steun werd aan de hand van twee studies geëvalueerd. Vooreerst was er een evaluatie van WES. Daarnaast voerde Westtoer ook een evaluatiestudie uit waarbij de toeristische sector centraal stond.

61 | P a g i n a

In 2008 werd op vraag van het provinciebestuur door het WES30 een evaluatiestudie van de impact van 20 jaar Europese steun voor economie in de Westhoek uitgevoerd. De centrale vraag was: Heeft deze steun ook effectief resultaat opgeleverd? De WES-studie beperkte zich tot economische thema’s en de arrondissementen Diksmuide, Ieper en Veurne vormden het studiegebied. In de evaluatie werd gebruik gemaakt van twee benaderingen: een top-down- en een

bottom-up-analyse.

Bij

de

topdown-analyse

werd

gebruik

gemaakt

van

sociaaleconomische indicatoren waarmee veranderingen door de tijd werden gemeten. In de tweede methode werden gegevens verzameld tijdens de projectuitvoering of via enquêtes met projectpromotoren

en

sleutelfiguren.

Het

WES

vermeldde

er

wel

bij

dat

de

evaluatiemethodiek niet sluitend kan zijn omdat het onmogelijk is om te bepalen hoe de Westhoek zou zijn geëvolueerd zonder de steun van de Europese programma’s. Er werd in de evaluatie van WES vooral gekeken naar de effectiviteit van de projecten, de geografische verdeling van de middelen, categorische indeling van de projecten en de aard van de promotor van de projecten. Verder werd in de evaluatie gekeken naar de kwantitatieve en kwalitatieve evolutie. Wat de kwantitatieve evolutie betreft zien we dat er voor de recentere programma’s een set van indicatoren bestaat (input, output, resultaat, impact). Voor de oudere programma’s is de set indicatoren gering en meestal beperkt tot globale impactindicatoren. Aan de hand van een top-down-analyse gebruikte WES impactindicatoren om de evolutie in de regionale economie te schetsen en van daaruit resultaten van economische steun te destilleren. Volgende indicatoren werden gebruikt: bezoldigde en zelfstandige

werkgelegenheid,

tuinbouwactiviteiten,

werkgelegenheids-

industriële

en

en

tertiaire

werkloosheidsgraad, werkgelegenheid,

land-

en

pendelarbeid,

uitwijkingsoverschot, bedrijfsonthaalinfrastructuur en investeringen en welvaart. Aan de hand van sociaaleconomische impactindicatoren werd de situatie in de Westhoek en dus de impact van 20 jaar Europese steun bekeken. De studie van WES was kwantitatief. Er werd gebruik gemaakt van sociaaleconomische indicatoren en enquêtes met sleutelfiguren. De focus lag op de impact van het beleid want men wil te weten komen welke impact Europese steun in de Westhoek

heeft

gehad.

Het

betreft

dus

een

ex-post

evaluatie

tijdens

de

beleidsbeoordelingsfase. Daarnaast zorgde Europese steun in de Westhoek voor de uitbouw van de toeristische sector, zowel kwantitatief als kwalitatief. Westtoer (autonoom provinciebedrijf voor toerisme en 30

WES vzw voert onderzoeks- en adviesopdrachten uit voor openbare besturen, private organisaties en bedrijven in binnen- en buitenland.

62 | P a g i n a

recreatie) voerde een evaluatie uit om de impact van Europese steun en dus Europese programma’s op de toeristische sector in de Westhoek te bekijken. Het rapport van Westtoer brengt verschillende gegevens naar voor: de verdeling van de steun over de verschillende gemeenten en over de verschillende categorieën binnen de toeristische sector. Westtoer focuste zich in de evaluatiestudie ook op de steun verkregen van het EFRO (Europees Fonds voor Regionale Ontwikkeling) en het EOGFL (Europees Oriëntatie- en Garantiefonds voor de Landbouw). Westtoer keek programmaoverschrijdend en gebruikte globale impactindicatoren waarvan de evolutie doorheen de jaren werd bekeken. In de evaluatiestudie stond dan ook de impact van het beleid centraal. In de evaluatiestudie werd de omvang van de steun bekeken en de verdeling en continuering ervan. Ook de impact van de steun op het toerisme werd onder de loep genomen. Hiervoor werden een aantal indicatoren gehanteerd: de evolutie van de totale BTW-omzet en de BTW-omzet in de horeca voor de Westhoek en West-Vlaanderen, de evolutie van het bezoekersaantal voor attractiepunten en de evolutie van het verblijfstoerisme en van de werkgelegenheid in toerisme. We kunnen stellen dat hier de effectiviteit van het beleid werd nagegaan. Werden met andere woorden de doelen bereikt? Heeft Europese steun ook tot betere leefomstandigheden geleid? Een kwantitatieve onderzoeksmethode werd dus gehanteerd. Er werden in het rapport ook een aantal aanbevelingen geformuleerd (De Mets, 2009). Het betreft een ex post evaluatie tijdens de beleidsbeoordelingsfase. De evaluatie werd uitgevoerd door het WES en Westtoer. Het WES is een vzw, en dus extern, en stond in voor de economische thema’s. Westtoer is een autonoom provinciebedrijf, en dus intern, en nam de toeristische sector in de Westhoek onder de loep. EVALUATIE VAN PDPO II: 2010 Vanuit Europa komt de verplichting voort om PDPO II extern te evalueren. In oktober 2010 voerden IDEA Consult, Universiteit Gent, Soresma en Vrije Universiteit Brussel op verzoek van de Vlaamse Overheid een tussentijdse evaluatie uit van het Vlaamse PDPO II, het beleid was dan nog steeds in uitvoering. Het ging om een evaluatie van de uitvoering van de maatregelen en de effecten (en dus de impact). De evaluatierichtlijnen bevatten gemeenschappelijke evaluatievragen die werden opgesteld voor alle programma’s voor plattelandsontwikkeling in de EU. Het gaat om evaluatievragen per maatregel en om horizontale evaluatievragen over het volledige programma. Het betreft samen meer dan 100 vragen. De Vlaamse Overheid stelde daarnaast ook programmaspecifieke vragen op. We 63 | P a g i n a

merken een kwantitatieve evaluatiestudie op. De belangrijkste doelstellingen van de evaluatie zijn of alles verloopt in lijn met de vooropgezette doelstellingen en of die doelstellingen worden behaald (effectiviteit en impact) met een economische inzet van middelen (efficiëntie). Er werd niet gekozen voor een grootschalige bevraging. De evaluatie kwam er immers al vroeg in de uitvoeringsperiode. Betrokkenen werden nog maar bevraagd voor de ex post evaluatie van PDPO I en zullen moeten gemotiveerd worden voor de ex post evaluatie van PDPO II. Op die manier werd de last voor de betrokkenen niet te groot. We moeten hier wel opmerken dat het gaat om een evaluatie van het volledige PDPO II programma. Dit is dus breder dan enkel as 3 en as 4 die de gebiedwerking inhouden. Er wordt in het rapport wel aandacht besteed aan de uitvoering van gebiedsgerichte maatregelen (Eindrapport tussentijdse evaluatie PDPO II, oktober 2010). Het betreft hier een tussentijdse evaluatie waar zowel de impact als de inhoud van het beleid wordt bekeken. EVALUATIE GEBIEDSGERICHTE WERKING IN PDPO II: 2011 Later, in december 2011, volgde een evaluatie van specifiek de gebiedsgerichte werking in PDPO II (looptijd 2007-2013). Zoals de verplichtingen het opleggen, gebeurde dit opnieuw door een externe actor, de Vlaamse Landmaatschappij (VLM). De VLM bereidt het plattelandsbeleid op Vlaams niveau voor. De maatschappij staat in voor het beleidskader en zorgt voor afstemming tussen sectoren. VLM bepaalde samen met alle stakeholders, met in de eerste plaats de provincies, de inhoudelijke doelstellingen en maatregelen voor de uitwerking van de GGW. VLM staat als beheersdienst van de GGW ook in voor de dagdagelijkse opvolging. VLM gaat na of ingediende projecten passen binnen het gestelde kader, of projecten worden uitgevoerd zoals goedgekeurd, voert controle uit op projecten en zorgt voor de uitbetalingen (Tussentijdse evaluatie GGW in PDPOII, 2011). De evaluatie van de GGW van het PDPO is uitgevoerd op basis van een analyse van de provinciale plattelandsbeleidsplannen en de lokale ontwikkelingsstrategieën, een enquêtering van de leden van de plaatselijke groepen van de verschillende Leader-gebieden en interviews met een aantal stakeholders (kwantitatief en kwalitatief). De enquête was een grootschalige, digitale bevraging van alle leden van plaatselijke groepen, ondersteunende Leaderactoren en provinciale plattelandsloketten. Meer dan 300 mensen kregen de vraag om de enquête anoniem in te vullen. 144 van die respondenten zijn lid van een plaatselijke groep, 18 niet maar zijn wel betrokken bij de Leaderwerking. Het overgrote deel van de respondenten waren dus leden van plaatselijke groepen wat de enquête een lokale invalshoek geeft. Voor as 3 64 | P a g i n a

gebeurde degelijke bevraging niet. Dit zorgt ervoor dat een vergelijking van as 3 en as 4 niet mogelijk wordt gemaakt. De interviews waarvan sprake gebeurden met enkele betrokkenen zoals VVSG, VLM intern, etc. (Tussentijdse evaluatie GGW in PDPOII, 2011). Er worden in de analyse zowel outputindicatoren (aantal projecten), resultaatindicatoren (resultaat van de projecten) als impactindicatoren (effecten op de regio) meegenomen. De effectiviteit wordt hier dus nagegaan (Tussentijdse evaluatie GGW in PDPOII, 2011). De focus van de evaluatie lag dus op inhoud en impact van beleid. Het betreft hier opnieuw een tussentijdse evaluatie in de beleidsuitvoeringsfase aangezien de looptijd van PDPO II pas afloopt in 2013. EVALUATIE PROVINCIAAL PLATTELANDSBELEID EN PDPO II: 2012 In 2012 volgde een evaluatie van het provinciaal plattelandsbeleid en PDPO II. Het eindrapport kwam er in januari 2013. De evaluatie kwam er met het oog op een bijsturing omwille van de nieuwe provinciale legislatuur (2013-2018) en een nieuwe beleidscyclus (2014-2020). Het PDPO II programma liep dan op z’n einde en PDPO III moest worden gelanceerd. De huidige werking van PDPO II werd geëvalueerd en relevante agendapunten voor een nieuw plan werden nagegaan. Dit gebeurde via kwalitatieve onderzoeksmethoden: een analyse van cijfermateriaal, debatmomenten, een literatuurstudie, een brede bevraging en overleg. De evaluatie betrof hier de GGW van PDPO II, as 3 en as 4. Er werden twee vragenlijsten opgesteld in het voorjaar van 2012: één over de werking van het managementcomité, de technische werkgroep en het secretariaat. Een tweede over de uitvoering van de projecten. De doelgroepen van de enquêtes waren de promotoren, de plaatselijke groep Tielts Plateau, de plaatselijke groep Westhoek en het provinciaal managementcomité. Een eindevaluatie (ex post) van het project zorgt ervoor dat bijgestuurd kan worden met het oog op een vervolgtraject en een nieuwe legislatuur. Er werd in de evaluatie gepeild naar de werking van bepaalde organen en de uitvoering van projecten. De nadruk lag dus op processen en de inhoud van het beleid. In de enquête werden vragen gesteld naar meningen over projecten. Hebben projecten een meerwaarde? Zoja, welke meerwaarde? Stimuleren projecten samenwerking? Er werd nagegaan hoe tevreden respondenten waren over de projectwerking en over de samenstelling van de beslissingsorganen (Evaluatie provinciaal plattelandsbeleid en PDPO II, 2012). We zien in deze evaluatie geen indicatoren.

65 | P a g i n a

SAMENGEVAT Bij de Europese projecten is het opvallend dat regels worden opgelegd voor de evaluatie. Zo is er bij de evaluatie van PDPO II de verplichting om de evaluatie door externe actoren te laten gebeuren. Er kan ook de verplichting worden opgelegd om tot evaluatie over te gaan en te rapporteren. Wanneer we de evaluatiestudies bekijken zien we dat de meeste achteraf (ex post) gebeuren tijdens de beleidsbeoordelingsfase. De meeste studies zijn op een kwantitatieve manier uitgevoerd door een externe evaluator. Er wordt vooral gekeken naar de impact en de effectiviteit van het beleid. In vergelijking met de evaluatiestudies van de volledige werking en die vanuit regioperspectief zijn hier meer indicatoren in de studies terug te vinden. Dit is logisch te verklaren vanuit het feit dat de evaluatie op een meer kwantitatieve manier gebeurd. TABEL 8: Evaluatiestudies van Europese programma’s Evaluatiestudies van Europese programma’s 2004: Leefb aarhe id WH

Fase in beleidscyclus

2008: Europ ese steun WH: WES

2008: Europ ese steun WH: Westt oer

Beleidsbeoordeling

x

x

Inhoudelijke kern

x

x

x

2012: Provi nciaal plattel andsb eleid en PDPO II

x

Ex ante Tussentijds

Soort studie

2011: PDPO II

Beleidsvoorbereiding Beleidsuitvoering

Tijdsperspectief

2010 : PDP O II

x

Ex post

x

x

x

Kwantitatief

x

x

x

Kwalitatief

x

Inhoud

x x

x

x

x

x

x

x

x

x

66 | P a g i n a

Organisatorische positie evaluator

Impact

x

Intern

x

Extern Soorten prestaties

x

x

n.v.t.

Effectiviteit

x

x

x

x x

Efficiëntie

x

x x

x

x n.v.t.

x

x

Kosteneffectiviteit Zuinigheid Duurzaamheid en nut Relevantie Soorten indicatoren

Input

n.v.t.

x

Proces

x

Output

x

Outcome

x

x

n.v.t.

x x

x

x

BESCHOUWING OVER DE KENMERKEN VAN GEANALYSEERDE EVALUATIESTUDIES Wanneer we algemeen de verschillende uitgevoerde evaluatiestudies bekijken dan zien we dat het om ad hoc evaluaties gaat. Niet alle uitgevoerde projecten worden systematisch in een evaluatiesysteem gegoten. Dit wil niet zeggen dat binnen de dienst niet kan gereflecteerd worden wanneer een project is afgelopen. Echter, daar hebben we geen zicht op. De meeste evaluatiestudies bij de GGW zijn tussentijdse evaluaties. Het beleid zit meestal nog in de beleidsuitvoeringsfase wanneer een evaluatie plaatsvindt. Dit biedt mogelijkheden naar bijsturing toe. Ex ante evaluaties hebben we niet opgemerkt, ex post evaluaties komen wel voor. Vooral evaluatiestudies van Europese programma’s gebeuren vaak bij afronding van het programma of project. Daarnaast leert onderstaand overzicht ons dat bijna altijd voor kwalitatief onderzoek wordt gekozen. In sommige gevallen gaat men aanvullend ook kwantitatieve methoden gebruiken maar het leeuwendeel van de evaluatieonderzoeken gebeuren met behulp van kwalitatieve 67 | P a g i n a

onderzoeksmethodes. Later zullen we ingaan op beweegredenen hiervoor. Bij Europese programma’s is de verplichting om te evalueren vaak inherent aan het project en wordt op een kwantitatieve manier met indicatoren gewerkt. De inhoud van het beleid staat meestal centraal binnen de evaluatiestudies. Vaak gaat men gaan kijken naar de werkingsprocessen. Processen zijn eigenlijk de core business van de gebiedswerking. In die processen wordt zo geïntegreerd mogelijk samengewerkt over alle beleidsdomeinen heen. 31 Een analyse van het proces gaat vaak over de rolverdeling, de verschillende stappen in het proces en de betrokken actoren.32 Het is zo dat bij de GGW op voorhand moeilijk kan getypeerd worden wat er moet gerealiseerd worden. Dit maakt het achteraf moeilijk om te bepalen of men bereikt heeft wat men wilde bereiken.33 Bij Europese programma’s is dat anders. Daar staat de impact van het beleid eerder centraal. Men wil te weten komen wat het gevoerde beleid teweeg heeft gebracht in de maatschappij.

31

B. Tricot, persoonlijke communicatie, 26 juni 2013 F. Boury, persoonlijke communicatie, 10 mei 2013 33 S. Lombaert, persoonlijke communicatie, 2 mei 2013 32

68 | P a g i n a

TABEL 9: Overzichtstabel Overzichtstabel

Fase in beleidscyclus Tijdsperspectief

Soort studie Inhoudelijke kern Organisatorische positie evaluator Soorten prestaties

Soorten indicatoren

Evaluaties van de volledige werking

Beleidsvoorbereiding Beleidsuitvoering Beleidsbeoordeling Ex ante Tussentijds Ex post Kwantitatief Kwalitatief Inhoud Impact Intern Extern Efficiëntie Effectiviteit Kosteneffectiviteit Zuinigheid Duurzaamheid en nut Relevantie Input Proces Output Outcome

2000 2006

2009

2010

x

x

x

x

Evaluaties vanuit regioperspectief 2012 2008

x

2010

x

x

x x

x x x

x

x

x x

x

x

x x

2008 2008 2010 2011 2012

x

x

x x

x

x x x

x n.v.t.

x n.v.t.

x n.v.t.

x

x x x

x x

x x

x

x x

x x

x x

x x

x

x x

x

x x x x

x x x x

x

x

x

x

x

n.v.t. x

x

x

x

x x

x

x n.v.t. n.v.t. n.v.t.

x

x x x

x x

2004

x x

x x x

2012

x

x x

Evaluatiestudies van Europese programma’s

x x x x

x

x x

x n.v.t.

x

x

x

x x

69 | P a g i n a

MOTIEVEN VOOR BELEIDSEVALUATIE BIJ DE GEBIEDSGERICHTE WERKING MOTIEVEN UIT DE LITERATUUR In wat vooraf ging bekeken we de kenmerken van de evaluatiestudies bij de GGW. In wat volgt gaan we dieper in op de motieven om over te gaan tot evaluatie. Wat zijn met andere woorden de drijfveren om het gebiedsgericht beleid te evalueren? In de literatuur stonden enkele motieven vermeld: de ondersteuning van plan- en beslissingsprocessen, uitvoeringsprocessen en

organisaties

opvolgen en verbeteren,

verantwoording en beleidsleren. Deze motieven nemen we op in onderstaande tabel samen met de geanalyseerde evaluatiestudies. Per evaluatiestudie trachten we het motief aan te duiden. Vaak is het ook zo dat er andere dan de vermelde motieven kunnen worden gedetecteerd. Dit wordt dan aangeduid met ‘andere’ en in de tekst verder geëxpliciteerd. Daarnaast leerden we uit de literatuur dat er ook politieke motieven bestaan om tot beleidsevaluatie over te gaan. Deze zijn echter meestal onzichtbaar. Daarom kunnen we ook niet per evaluatiestudie aangeven of dergelijke motieven hier speelden. Algemeen gezien kunnen we er wel iets over zeggen maar dat komt straks aan bod. We hanteren hier opnieuw dezelfde indeling: evaluatiestudies van de volledige werking, evaluatiestudies vanuit regioperspectief en evaluatiestudies van Europese programma’s. EVALUATIESTUDIES VAN DE VOLLEDIGE WERKING De eerste evaluatiestudie waarbij de volledige werking werd bekeken was de externe evaluatie van 2000. Men wilde met behulp van de evaluatie te weten komen of de GGW als werkmethode verankerd was in de organisatie. Het betreft hier in feite een evaluatie van de uitvoeringsprocessen met het oog op verbetering en bijsturing. Dit kan dan ook als motief bij deze evaluatiestudie worden aangegeven. Bij de tweede evaluatie in 2006 van de volledige werking werd vooral gekeken naar de interne organisatie. De inhoud van het beleid, en meer bepaald de werkingsprocessen bij de GGW, stonden centraal in de evaluatie. Men bekeek de impact van het beleid op de interne werking. Eventuele aanpassingen aan het beleid en de werkingsprocessen kunnen hieruit

70 | P a g i n a

volgen. Vandaar dat we kunnen stellen dat ook de tweede evaluatie vanuit hetzelfde motief gebeurde, namelijk: het opvolgen en verbeteren van uitvoeringsprocessen en organisaties. De derde evaluatiestudie met de volledige dienst als scope was een interne zelfevaluatie op initiatief van het managementteam. De eerste evaluatie van 2000 had als belangrijkste conclusie dat de GGW te weinig verankerd was binnen de organisatiebestuur. Met het oog daarop besliste het managementteam van de provincie om tot evaluatie over te gaan. Men wilde leren uit het gevoerde beleid. Op die manier kon men maatregelen nemen om de gebiedswerking sterker in de organisatie te verankeren. Eigenlijk zien we hier een drievoudig motief. Enerzijds wil men leren van het beleid en met die kennis de uitvoeringsprocessen verbeteren. Anderzijds kunnen we ook stellen dat plan- en beslissingsprocessen ondersteund worden door de opgedane kennis bij de evaluatiestudie. Daarnaast was er de kleinschalige opdracht waarbij een stagiaire van de Hogeschool van Gent onderzocht wat de invloed was van de interne organisatie van de provincie op de projectwerking. Er werden aanbevelingen voor de toekomstige werking geponeerd. We kunnen besluiten dat het hier om beleidsleren gaat. De organisatie kan lessen trekken uit het gevoerde beleid om de toekomstige werking te verbeteren. De laatste vorm van evaluatie waarbij de volledige dienst als scope wordt genomen is de inventarisatie van realisaties tijdens de vorige legislatuur. Deze inventarisatie kan als verantwoording fungeren voor de gebiedswerking tegenover het provinciebestuur. Het toont immers aan wat met de beschikbare middelen in de vorige jaren werd gerealiseerd. Daarnaast kan een politiek motief ook aan de basis van de evaluatie liggen. De inventarisatie gebeurde immers op vraag van de gedeputeerde. De studie kan aangegrepen worden om het succes van het eigen beleid aan te tonen. Dit is echter een mogelijkheid maar wordt nergens letterlijk vermeld. EVALUATIESTUDIES VANUIT REGIOPERSPECTIEF In dit deel gaan we dieper in op de motieven die aan de basis kunnen liggen bij de evaluaties vanuit regioperspectief. De eerste studie die we bekeken behandelde de gebiedswerking cultuur in de Westhoek. Naast de regio werd dus ook het beleidsdomein afgebakend. De bedoeling was om de impact van het gebiedsgericht beleid na te gaan in de regio op gebied van cultuur. We kunnen stellen dat 71 | P a g i n a

de evaluatie gebeurde vanuit een verantwoordingmotief. Het provinciebestuur stelde middelen ter beschikking van de regio om het cultuurbeleid op maat van de regio uit te werken. Met behulp van de evaluatie kan de gebiedswerking de aanwending van de middelen verantwoorden. De tweede evaluatiestudie die we analyseerden betrof een evaluatie van het project Geïntegreerde Gebiedsvisie Leievallei tussen Wervik en Kortrijk. Opnieuw kunnen we aanhalen dat een verantwoordingsmotief speelt vanwege de middelen die ter beschikking werden gesteld voor het project. Ten tweede is het ook zo dat een evaluatie van het project de dienst GGW toelaat om te leren uit het gevoerde beleid. Op die manier kunnen toekomstige werkingsprocessen of projecten ook verbeterd worden. Ook bij de evaluatie van de gemeentelijke woonprojecten in de Westhoek kunnen we het verantwoordingsmotief aanhalen vanwege de beschikbaar gestelde middelen. Daarnaast betreft het een ex post evaluatie. Dit laat de organisatie toe om aan beleidsleren te doen en te zien wat voor andere projecten beter kan. EVALUATIESTUDIES VAN EUROPESE PROGRAMMA’S Ook bij de evaluatiestudies van Europese programma’s die we geanalyseerd hebben trachtten we na te gaan wat de drijfveren waren om over te gaan tot evaluatie. De eerste evaluatiestudie betrof een evaluatie van de Leefbaarheidsaanpak in de Westhoek. Dit project met Europese middelen werd geëvalueerd vanuit een verantwoordingsmotief. Europa stelt immers middelen ter beschikking en wensen daarom een rapportage over wat met die middelen precies is gebeurd en of deze werden ingezet op een efficiënte en effectieve manier. Dit geldt eigenlijk ook voor de andere Europese projecten die aan bod kwamen. De Leefbaarheidsaanpak was een ex post evaluatie. Als tweede drijfveer kunnen we dan ook beleidsleren aanhalen. Dergelijke evaluatiestudies zijn ook voor Europa een bron van kennis die ze kunnen gebruiken in nieuwe projecten. Bij de evaluatiestudies over de impact van 20 jaar Europese Steun in de Westhoek, uitgevoerd door WES en Westoer, kunnen we dezelfde drijfveren aanhalen: verantwoording en beleidsleren. Het betreft opnieuw een ex post evaluatie. De evaluatiestudies van de PDPO-programma’s zijn verplicht. Europa wil dat gerapporteerd wordt over de realisaties die gebeurd zijn met Europese middelen. 72 | P a g i n a

TABEL 10: Motieven voor beleidsevaluatie gebaseerd op de literatuur Evaluaties van de volledige werking

Evaluatiestudies vanuit Evaluatiestudies van Europese projecten regioperspectief

Externe

Interne

Interne

evaluatie: evaluatie, zelf2000

Stage:

Inventarisatie:

2008:

2010

2012:

2004

2008

2008

2010

2011

2012

2010

2012

WH

:GG

GWWH

:

:

:

:

:

:

cultuur

LV

leefb

WE

West

PDP

PDP

PDP

S

oer

O II

O II

O II

x

x

x

7-S

evaluat

model:

ie:

aarhe

2006

2009

id WH

Ondersteuning plan-

x

van en

beslissingsprocessen Uitvoeringsprocessen x en

x

x

x

organisaties

opvolgen

en

verbeteren x

Verantwoording Beleidsleren

x

Andere

x x

x

x

x

x

x

x

x

x

x

x

x

WH: Westhoek GGLV: Geïntegreerde gebiedsvisie Leievallei GWWH: Gemeentelijke woonprojecten Westhoek 73 | P a g i n a

Wanneer we bovenstaande tabel bekijken en terugkoppelen naar de motieven van De Peuter et al. (2007) zien we dat bij de evaluatie van de gebiedswerking alle vier de motieven in min of meerdere mate voorkomen. Slechts bij één evaluatiestudie, namelijk de interne zelfevaluatie van 2009, werd de ondersteuning van plan- en beslissingsprocessen als motief aangeduid. Dit komt omdat heel wat studies bij de gebiedswerking ex post of tussentijds worden uitgevoerd. De interne zelfevaluatie was er op gericht om het beleid sterker te verankeren binnen de organisatie en daarom moesten doelstellingen worden opgezet. De evaluatie diende dan ook als inspiratiebron. Verantwoording is een veel voorkomend motief, vooral bij de evaluatiestudies uit regioperspectief en evaluatiestudies van de Europese programma’s. Bij verantwoording kan financiering een reden zijn om tot evaluatie over te gaan. De dienst krijgt binnen de organisatie middelen toebedeeld. Dankzij een evaluatie van het beleid kan de dienst hun al dan niet goede werking aantonen en dus verantwoording afleggen. De interne middelenallocatie wordt hier dan op gebaseerd. Daarnaast beroept de gebiedsgerichte werking zich ook op externe middelen. Voor heel wat projecten kunnen middelen via Europa worden verkregen. Dit is als het ware een externe motivatie om te gaan evalueren. In dat opzicht is een goede, efficiënte en effectieve werking van de dienst belangrijk met het oog op het verkrijgen van financieringsmiddelen. Om dit in te schatten gaat men over tot beleidsevaluatie.34 Ook beleidsleren zien we vaak terug komen. Door middel van evaluatie kunnen fouten of tekortkomingen in de toekomst worden vermeden. Er kunnen gedurende het traject een aantal kansen gemist zijn of bepaalde obstakels te voorschijn gekomen zijn waarmee de werking werd geconfronteerd. Wanneer de dienst daarvan op de hoogte is, kan men er in de toekomst meer aandacht aan besteden.35 De organisatie kan in feite kennis opdoen aan de hand van beleidsevaluatie. Bepaalde trajecten vereisen grote investeringen en dan is het belangrijk dat de dienst te weten komt of die investering ook iets heeft opgebracht en op welke manier het beleid werd beïnvloed.36 Het motief van beleidsleren kan samenhangen met het motief om uitvoeringsprocessen en organisaties op te volgen en te verbeteren.

34

S. Lombaert, persoonlijke communicatie, 2 mei 2013 S. Lombaert, persoonlijke communicatie, 2 mei 2013; R. Samyn, persoonlijke communicatie, 14 mei 2013 & K. Marchand, persoonlijke communicatie, 24 juni 2013 36 R. Samyn, persoonlijke communicatie, 14 mei 2013 & K. Marchand, persoonlijke communicatie, 24 juni 2013 35

74 | P a g i n a

Bij de evaluatie van de PDPO II programma’s zien we dat een verplichting ook een motief is om te evalueren. De Peuter et al. (2007) stellen dat motieven samenhangen met het tijdsperspectief van de evaluatie. Het verantwoordingmotief en het motief van beleidsleren hangt meestal samen met ex post evaluaties terwijl uitvoeringsprocessen verbeteren vaker voorkomt als motief voor tussentijdse evaluaties. Het ondersteunen van plan- en beslissingsprocessen is vaakst terug te vinden als motief voor ex ante evaluaties. De theorie toont ons dat dit niet altijd strikt genomen het geval is. Meestal is verantwoording wel één van de motieven bij ex post evaluaties maar er kunnen ook nog andere motieven spelen. Daarnaast zien we bij tussentijdse evaluaties ook vaak beleidsleren als motief. De Peuter et. al. (2007) koppelden dezelfde motieven ook aan de evaluatietypologie waarbij inhoud/impact centraal staat. Evaluatiestudies waarbij het motief het ondersteunen van planen beslissingsprocessen is, zouden eerder focussen op de inhoud van het beleid. Daarnaast zouden evaluatiestudies vanuit een verantwoordingsmotief of motief om te leren uit het gevoerde beleid, impact centraal stellen. Bij evaluaties waarbij het verbeteren van uitvoeringsprocessen een motief is, wordt ofwel op inhoud ofwel op impact gefocust maar het kan allebei. De praktijk toont aan dat in de meeste gevallen dit wel zo is maar er bestaan uitzonderingen. Dit komt omdat sommige studies vaak omwille van meerdere motieven gebeuren. Verder onderzoek leert ons dat er bij de GGW van de provincie nog andere motieven zijn om over te gaan tot evaluatie. Vooreerst, het verkrijgen van realiteitszin door evaluatie. Dit sluit aan bij beleidsleren. De realiteit is vaak anders dan men zich voorstelt. Men voert heel wat beleid maar er zijn altijd zaken die dat beleid beïnvloeden. Daarom is het interessant om na te gaan wat er effectief in de realiteit gebeurt. De realiteitszin wordt op die manier aangescherpt.37 Evaluatie kan de dienst en bijgevolg de organisatie ook toelaten om hun plaats in het bestuurlijk veld aan te tonen. 38 De provincies staan bestuurlijk wat onder druk. Het is

37 38

R. Samyn, persoonlijke communicatie, 14 mei 2013 S. Lombaert, persoonlijke communicatie, 2 mei 2013

75 | P a g i n a

belangrijk dat provincies zich een eigen profiel aanmeten waarmee ze zich kunnen onderscheiden. Door middel van evaluatie kan men zichzelf beter in de markt plaatsen.39 Tot slot is het zo dat beleidsevaluatie in het kader van de beheers- en beleidscyclus (BBC) zal worden versterkt. Van BBC gaat namelijk de verplichting uit om je als dienst te verantwoorden over wat er met de middeleninzet gebeurt.40 Tot slot zijn er ook de politieke motieven. Vaak gaat men iets evalueren waarvan men weet dat het positief zal zijn. Op die manier kan de meerwaarde binnen de organisatie worden aangetoond.41 MOTIEVEN VOOR DE METHODE VAN EVALUEREN Wanneer we de evaluaties van Europese programma’s buiten beschouwing laten zijn de meeste evaluatiestudies bij de gebiedswerking kwalitatieve studies. In bijna alle gevallen maakt het afnemen van interviews een aanzienlijk deel uit van de studies. Dit komt omdat er relatief weinig cijfermatige gegevens voor handen zijn. De kwalitatieve methode laat toe om een minder tastbaar en concreet oordeel te vellen op basis van de beschikbare gegevens.42 Op te merken valt dat dit afhankelijk is van de materie. Sommige zaken lenen zich er gemakkelijker toe om kwantitatief gekwalificeerd te worden. Bij geschreven enquêtes kan je misschien meer mensen bereiken maar er zijn er heel veel die nonchalant of zelfs niet antwoorden. Dat geeft dan een vertekend beeld. Interviews kunnen meer naar de kern gaan, kunnen veel diepgaander zijn.43 Daarnaast valt op te merken dat ook externe evaluatie vaak voorkomt. Dit vanuit de gedachte dat externe evaluatie neutraliteit verzekert omwille van de afstand die de evaluator behoudt.44 Neutraliteit is ook mogelijk bij een interne evaluatie maar naar de buitenwereld toe wordt dat vaak anders gepercipieerd.45 Objectiviteit in de evaluatie is belangrijk, zeker bij processen waar veel middelen in geïnvesteerd werden. 46 Daarnaast is knowhow en expertise een belangrijke reden om voor externe evaluatie te kiezen. Evalueren is namelijk een vak op zich 39

B. Tricot, persoonlijke communicatie, 26 juni 2013 S. Lombaert, persoonlijke communicatie, 2 mei 2013 41 S. Lombaert, persoonlijke communicatie,2 mei 2013 42 S. Lombaert, persoonlijke communicatie, 2 mei 2013 43 K. Belpaeme, persoonlijke communicatie, 31 juli 2013 44 S. Lombaert, persoonlijke communicatie, 2 mei 2013 & B. Tricot, persoonlijke communicatie, 26 juni 2013 45 K. Belpaeme, persoonlijke communicatie, 31 juli 2013 46 B.Tricot, persoonlijke communicatie, 26 juni 2013 40

76 | P a g i n a

en de nodige kennis is vereist om een goede evaluatiestudie te implementeren.47 Een externe evaluatie kan methodisch en wetenschappelijk beter worden uitgevoerd.48 In het kader van BBC zal interne evaluatie wel meer zijn plaats opeisen binnen de organisatie. Evaluatiestudies van Europese programma’s worden meer op een kwantitatieve manier geëvalueerd worden. Vaak bestaan evaluatiestudies erin om antwoorden te geven op vragen die in termen van hoeveelheid kunnen worden uitgedrukt. Deze evaluaties gebeuren op een hoger niveau. Europa legt evaluatiestudies in de meeste gevallen op en schuift daarin soms ook indicatoren naar voor. Op die manier is men bij de provincie verplicht om deze kwantitatieve manier van onderzoek te hanteren los van het feit of ze dat zelf de beste manier vinden of niet. PRESTATIEMETING BIJ DE GEBIEDSWERKING? Prestatiemeting is een meer specifieke vorm van beleidsevaluatie die zich concentreert op output en outcome (zie supra). De vraag die we ons stellen is of bij de evaluatie van het gebiedsgericht beleid ook elementen van prestatiemeting terug te vinden zijn. Uit de geanalyseerde evaluatiestudies blijkt dat er evaluaties zijn waarbij resultaten, output en effecten, outcome worden nagegaan. Dit gebeurt echter niet vaak. Bij de Europese programma’s zien we dat veel meer terugkomen. Daar worden vaak indicatoren voorop gesteld die als doel hebben output en outcome kwantitatief na te gaan. Binnen de reguliere gebiedswerking kunnen prestaties worden nagegaan maar het is echter zo dat de focus veel meer op het proces ligt en minder op output. De output is vaak van in het begin nog niet gekend. 49 Het grote probleem bij het gebruik van prestatiemeetsystemen is dat doelgericht gewerkt moet worden. Gebiedsgericht beleid daarentegen wordt als doelzoekend getypeerd. 50 Problemen en opportuniteiten worden en cours de route geïdentificeerd en doelstellingen worden aan de hand daarvan geformuleerd en aangepast. De te meten prestaties kunnen dus moeilijk vooraf gedefinieerd worden. Daarnaast zijn prestaties zelf vaak een samenwerking met anderen. Zelfs bij eenvoudige projecten zijn de prestaties van GGW vaak afhankelijk van andere diensten (bijvoorbeeld promotie door Westtoer, groenaanleg door Milieu-Natuur47

K. Marchand, persoonlijke communicatie, 24 juni 2013; K. Belpaeme, persoonlijke communicatie, 31 juli 2013 48 B. Tricot, persoonlijke communicatie, 26 juni 2013 49 S. Lombaert, persoonlijke communicatie, 2 mei 2013 50 R. Samyn, persoonlijke communicatie, 14 mei 2013

77 | P a g i n a

Water, etc.). Het is dus niet eenvoudig om prestaties op voorhand te formuleren omwille van het feit dat de dienst deze zelf nog niet kent en ook vaak zelf niet in de hand heeft.51 BBC zet in op prestatiemeting. In het kader van BBC wordt de organisatie, en dus ook de GGW, verplicht om op het niveau van de doelstellingen indicatoren te formuleren. Die indicatoren dienen minstens output te meten. Er zal naar gestreefd worden om ook outcome te gaan bepalen maar dat is zeer moeilijk meetbaar. Wat betreft de invoering van BBC en de daaraan gekoppelde verplichting om indicatoren te formuleren zien we binnen de organisatie een spanningsveld. Aangezien het bij de gebiedswerking moeilijk is om prestaties op voorhand te bepalen is het ook niet evident om meetbare indicatoren te vinden. Een duidelijke uitlijning vooraf is bij de gebiedswerking veel moeilijker dan bij het klassieke beleid. Gebiedsgericht beleid voeren is een proces van onderhandelen, samenwerken met partners, bijsturen, etc. Daarom is het gebruik van indicatoren, zoals in BBC voorop wordt gesteld, minder hanteerbaar bij de gebiedswerking. Het gebiedsgericht beleid laat zich niet zomaar in systemen vatten. Er is een grote flexibiliteit vereist om zaken gaandeweg bij te stellen.52 Het is bovendien ook zo dat indicatoren voor een aantal aspecten nuttig kunnen zijn maar dat ze niet bruikbaar zijn om het hele proces te evalueren. Het totaalplaatje van de gebiedswerking kan niet gevat worden door louter gebruikt te maken van indicatoren bij de evaluatie.53 Dit idee heerst zeer sterk binnen de GGW. Het centrale niveau stelt dat het proces natuurlijk een essentieel element is in de gebiedswerking. Het is echter niet zo dat het resultaat maar bijkomend is zoals bij de gebiedswerking soms kan worden geïmpliceerd. Afhankelijk van een probleemanalyse in een bepaalde regio zou het volgens het centrale niveau ook mogelijk moeten zijn om daar resultaten te gaan formuleren en op te volgen.54 Kortom, volgens het centrale

niveau moet prestatiemeting mogelijk zijn binnen de

gebiedswerking terwijl de GGW zelf aanhaalt dat dit moeilijk is. De klemtoon van de beleidsvoering ligt op het proces en niet op output of outcome.

51

K. Catteeuw, persoonlijke communicatie, 20 augustus 2013 R. Samyn, persoonlijke communicatie, 14 mei 2013 53 K. Marchand, persoonlijke communicatie, 24 juni 2013 54 S. Lombaert, persoonlijke communicatie, 2 mei 2013 52

78 | P a g i n a

DEEL 2: EFFECTEN EN HOUDINGEN

EFFECTEN VAN EVALUATIESTUDIES Wat zijn de effecten van evaluatiestudies binnen de organisatie? Dat is de volgende onderzoeksvraag die we ons stellen. Wat wordt met resultaten van evaluatiestudies gedaan in de organisatie en welke concrete effecten kunnen we zien als gevolgen van evaluatiestudies? Op deze vragen gaan we in dit onderdeel in. Het gebruik van informatie uit evaluatiestudies in de werking is het ideale scenario. Dit reflecteert het idee van performance based management waarbij de organisatie gaat bijsturen op basis van de resultaten die worden bekomen. Er wordt vanuit de organisatie aangegeven dat vandaag de dag informatie uit evaluatiestudies bij de gebiedswerking te weinig en niet structureel wordt gebruikt. Dat wil zeggen dat het gebruik niet ingebed is in de beslissingsprocedures. Resultaten worden soms wel ad hoc gebruikt maar meestal vanuit een positieve benadering. Men wil aantonen dat er resultaten geboekt zijn en men gaat er automatisch vanuit dat het totale project ook wel goed zal zijn.55 De organisatie beschikt niet over methodieken om systematisch de leerpunten van afgelopen projecten op te lijsten.56 Het feit dat informatie uit evaluatiestudies weinig effectief en zeker niet structureel wordt gebruikt, kan zijn oorzaak vinden in de weinige beschikbare tijd. Momenten van reflectie en feedback ontbreken vaak. Er wordt binnen de organisatie weinig tijd en ruimte gecreëerd om de informatie uit evaluatiestudies te verankeren in de besluitvormingsprocessen. Men vindt het niet belangrijk genoeg. Het is de organisatiecultuur die hier ook bepalend voor is. Belangrijk hierbij is dat de gebiedswerking functioneert in een politieke omgeving, het beleid wordt uitgestippeld door democratisch verkozen actoren. In dit klimaat is het niet evident om tekortkomingen te tonen. Daarnaast ontbreekt vaak ook de capaciteit om ermee om te gaan. Een intensievere samenwerking met de academische wereld kan hier soelaas brengen. Ook het feit dat in andere Vlaamse provincies nauwelijks op een systematische manier wordt gewerkt rond gebiedswerking zorgt ervoor dat er weinig uitwisseling is. Men komt in feite in een vicieuze cirkel terecht. De menselijke factor, de organisatiecultuur staat het gebruik van informatie uit evaluatiestudies deels in de weg. De organisatie, die opereert in een politieke

55 56

S. Lombaert, persoonlijke communicatie, 2 mei 2013 B. Tricot, persoonlijke communicatie, 26 juni 2013

79 | P a g i n a

omgeving stimuleert dit niet. Wanneer mensen geen feedback krijgen dan zullen ze ook geen moeite doen.57 Toch hebben enkele evaluatiestudies binnen de GGW een aantal noemenswaardige effecten met zich meegebracht. De meer organisatorische evaluaties, de evaluatiestudie van 2000 en de interne evaluatie van 2009 waarbij de volledige werking onder de loep werd genomen zijn duidelijk gebruikt geweest om bij te sturen. De evaluatie van 2000 bracht een aantal zaken naar boven rond de inbedding en afstemming van het instrumentarium binnen de provincie. Dit leidde gaandeweg ook tot een toenadering met ruimtelijke planning waardoor de GGW ook hun instrumenten ging gaan gebruiken. De interne zelfevaluatie van 2009 zorgde voor het zetten van een aantal stappen waardoor de gebiedswerking sterker werd verankerd in de organisatie.58 Voor de evaluatie van 2009 werd teruggegrepen naar de externe evaluatie van 2000. In 2000 werd vastgesteld dat teveel nadruk werd gelegd op de structurele uitbouw van de gebiedswerking terwijl in de beleidsinhoudelijke en procesmatige aspecten te weinig werd geïnvesteerd. Een gevolg daarvan was een gebrek aan verankering van de GGW in het geheel van de organisatie. De zelfevaluatie van 2009 had als doel de gebiedswerking sterker te verankeren in de organisatie. Daarom werd een evaluatie uitgevoerd aan de hand waarvan een aantal vaststellingen konden worden gedaan en doelstellingen worden geformuleerd. Alles wat uit de evaluatie van 2009 voortkwam, werd in twee nota’s verwerkt. Deze werden vervolgens besproken in een coördinatieteam Gebiedenbeleid waarbij de regiocoördinatoren aanwezig waren. In dit overleg werd een synthesenota opgemaakt waarin elementen van consensus en elementen voor verdere discussie werden geformuleerd. Deze nota werd dan voorgelegd aan het managementteam van het provinciebestuur. Daarna werd teruggekoppeld naar de coördinatieteams en werd een finale versie opnieuw op een vergadering van het managementteam besproken. Daar werden prioriteiten en de verdere werkwijze bepaald. Uiteindelijk

werd

het

document

aan

de

deputatie

voorgelegd

ter

goedkeuring

(Gebiedsgerichte werking, reflecties voor de toekomst, 2009).

57

R. Samyn, persoonlijke communicatie, 14 mei 2013 & K. Marchand, persoonlijke communicatie, 24 juni 2013 58 R. Samyn, persoonlijke communicatie, 14 mei 2013

80 | P a g i n a

Evaluaties van projecten zoals Leievallei zijn belangrijk voor vervolgtrajecten die moeten gereden worden.59 Ze kunnen immers aantonen waar het fout kan lopen. We willen nog op merken dat uit de Europese programma’s bitter weinig informatie tot bijsturing wordt gehaald. 60 Dit kan te maken hebben met de kwantitatieve aard van deze evaluatiestudies. Niet alles valt in cijfers te vatten. De finaliteit van dergelijke evaluatiestudies van Europese programma’s is ook anders. Ze zijn er eerder op gericht op te controleren dan om effectief uit te leren. Bij het evalueren van bepaalde processen van één strategisch project is het moeilijk om alles te laten doorstromen naar de gebiedswerkers in het veld zodat iedereen er kan van leren. Dat zit niet voldoende ingebed. Vaak is het dan ook zo dat personeelsleden die nog maar korte tijd in dienst zijn geen weet hebben van reeds gevoerde evaluaties in het verleden terwijl die voor hen ook nuttig en hulpvol kunnen zijn. Evaluatiestudies hebben vooral gevolg bij de interne werking van de dienst of in relatie met andere diensten of externe partijen maar niet binnen de gehele organisatie. Al staat de organisatie nu misschien wel op een keerpunt. Zoals eerder aangehaald wordt GGW steeds belangrijker en professioneler binnen de organisatie. GGW neemt ook steeds meer plaats in en is een kerntaak van de provincie.61 De concrete effecten van evaluatiestudies konden bij de gebiedswerking veel groter zijn geweest. De werking heeft gaandeweg zijn plek gevonden en is blijven groeien en kennis opbouwen ook mede door evaluaties. De resultaten van evaluatiestudies worden telkens via een interne intervisie besproken met de mensen die er mee bezig zijn geweest met de bedoeling om die informatie toch voor een stuk in de werking te interioriseren. Toch kan het veel beter. Er is heel wat materiaal beschikbaar binnen de organisatie waarvan men niet altijd weet dat het bestaat.62 De effecten bleven echter beperkt omwille van het feit dat evaluatie te weinig gedragen wordt in de organisatie. Zeker vanuit de politiek wordt geen enkele betrokkenheid ervaren.

63

Het feit dat dankzij gebiedswerking een aantal gemeenten

ondersteund werden om in te tekenen op onderdelen van Europese programma’s is een positief effect van gebiedswerking. Daarnaast is het gebiedsgericht beleid een nuttig

59

R. Samyn, persoonlijke communicatie, 14 mei 2013 R. Samyn,persoonlijke communicatie, 14 mei 2013 61 K. Belpaeme, persoonlijke communicatie, 31 juli 2013 62 R. Samyn, persoonlijke communicatie, 14 mei 2013 63 R. Samyn, persoonlijke communicatie, 14 mei 2013 & F. Boury, persoonlijke communicatie, 10 mei 2013 60

81 | P a g i n a

instrument geweest om geïntegreerd beleid te voeren.64 Ook het inzicht in de processen dat men via evaluatie verkrijgt is een nuttig effect van evaluatie.65 Kortom, er zijn effecten op te merken maar de concrete effecten, voortkomend uit evaluatiestudies konden veel groter geweest zijn. HOUDINGEN TEGENOVER EVALUATIESTUDIES BINNEN DE ORGANISATIE In dit deel bekijken we hoe de gebiedswerking binnen de organisatie wordt benaderd. Wat zijn globale meningen omtrent evaluatiestudies? Algemeen gesteld zijn er drie lijnen op te merken binnen de organisatie. Vooreerst is er de griffie. Zij hebben een zeer rationele kijk op evaluatie, prestatiemetingen en systemen. Ze willen dit dan ook vertaald zien in de volledige organisatie.66 Binnen de verschillende diensten van de administratie zijn de houdingen tegenover evaluatie relatief positief.67 Globaal gezien zijn de ambtenaren van de verschillende diensten op een oprechte manier bekommerd om de kwaliteit van het werk dat ze neerzetten. Ze zijn dan ook pro evaluaties ervan als deze gericht zijn op het verbeteren van de dienst en als ze ervan kunnen leren.68 Evaluatie zorgt ook voor input voor een nieuw planningsproces.69 Natuurlijk gaat evaluatie altijd gepaard met wat onwennigheid. Mensen hebben soms schrik om bevraagd, bekritiseerd of zelfs afgestraft te worden.70 Tot slot zijn er de politieke actoren. De provincie is een politieke organisatie en dan moet onvermijdelijk rekening worden gehouden met de politieke context.71 De politieke actoren staan wat negatiever tegenover evaluatie. Het is politiek veel gemakkelijker om je te verantwoorden voor input dan voor het effect dat bereikt is. Daarom staat men niet te springen

64

J. Durnez, persoonlijke communicatie, 19 juni 2013 K. Marchand, persoonlijke communicatie, 24 juni 2013 66 K. Marchand, persoonlijke communicatie, 24 juni 2013 67 S. Lombaert, persoonlijke communicatie, 2 mei 2013 68 K. Marchand, persoonlijke communciatie, 24 juni 2013 & R. Samyn, persoonlijke communicatie, 14 mei 2013 69 B. Tricot, persoonlijke communicatie, 26 juni 2013 70 K. Marchand, persoonlijke communicatie, 24 juni 2013 & R. Samyn, persoonlijke communicatie, 14 mei 2013 71 K. Marchand, persoonlijke communicatie, 24 juni 2013 65

82 | P a g i n a

om outcome te gaan meten.72 De maatstaf van de politiek is populisme, in de media komen. Dat heeft weinig met inhoud te maken.73 Enige nuance is wel vereist. De wil om te evalueren hangt ook af van persoon tot persoon. Een politiek verantwoordelijk die pro evaluatie is, die stuurt de organisatie ook richting meer beleidsevaluatie. De dienst GGW zelf staat ook positief tegenover evaluatie en is bereid om evaluatiestudies te implementeren. Ze zijn echter voorstanders van kwalitatieve evaluaties achteraf, aangezien ze op voorhand niet gemakkelijk indicatoren kunnen bepalen.74

72

S. Lombaert, persoonlijke communicatie, 2 mei 2013 R. Samyn, persoonlijke communicatie, 14 mei 2013 74 R. Samyn, persoonlijke communicatie, 14 mei 2013 73

83 | P a g i n a

HOOFDSTUK 5: AANBEVELINGEN VOOR TOEKOMSTIGE EVALUATIESTUDIES In de interviews vroegen we na of de respondenten vonden dat evaluatiestudies goed werden aangepakt en wat eventuele leerpunten zijn die naar de toekomst kunnen meegenomen worden. Er is een goede mix tussen externe en interne evaluaties. Als je als organisatie enkel externe evaluaties doet dan loop je het risico dat de afstand te groot wordt. Terwijl als je enkel interne evaluaties doet er dan een geloofwaardigheidsprobleem kan ontstaan.75 Daarnaast is het zo dat wanneer evaluatiestudies door externe partners worden uitgevoerd dat die meestal wel goed zijn. Dergelijke partners zijn gespecialiseerd in dergelijke materie en voeren hun werk dan ook naar behoren uit. Binnen de provincie is er geen systeem aanwezig waarbij op regelmatige tijdstippen volgens een vast patroon wordt geëvalueerd. Wat betreft aanbevelingen werd opgemerkt dat er zeker een bepaalde systematiek in het model moet worden gebracht.76 Er wordt tot op vandaag niet systematisch geëvalueerd. Niet binnen de gebiedswerking maar ook niet binnen het provinciebestuur in het algemeen. Terwijl men zich wel bewust is dat een systematische evaluatie een meerwaarde kan betekenen. De drive om op die manier te gaan werken is echter te weinig aanwezig.77 Men staat er binnen de provincie te weinig bij stil, er wordt te weinig gesproken en gediscussieerd over een beleidscultuur.78 Er moet geëvolueerd worden naar een beleidscultuur waar systematische evaluatie ook een plaats in krijgt. Daarnaast heeft men er binnen de organisatie ook de tijd niet voor. Het werk van iedere dag loopt door en men neemt de tijd niet om telkens opnieuw te gaan nadenken wat beter kan.79 Daarnaast kan een betere formulering van de doelstelling de evaluatie vlotter laten verlopen. Wanneer een doelstelling SMART (= specifiek, meetbaar, aanvaardbaar, realistisch/relevant en tijdsgebonden) is geformuleerd dan komen de prioriteiten daar duidelijk in naar voor en is

75

K. Belpaeme, persoonlijke communicatie, 31 juli 2013 J. Durnez, persoonlijke communicatie, 19 juni 2013 77 J. Durnez, persoonlijke communicatie, 19 juni 2013 78 F. Boury, persoonlijke communicatie, 10 mei 2013 79 R. Samyn, persoonlijke communicatie, 14 mei 76

84 | P a g i n a

meteen duidelijk waar in de evaluatie op gelet moet worden.80 Een goede voorbereiding is met andere woorden belangrijk. Er moet van in het begin duidelijk gesteld worden wat precies geëvalueerd moet worden en hoe dat moet gebeuren. De evaluatie moet op maat van de probleemstelling worden uitgevoerd.81 Dit is natuurlijk, zoals eerder aangehaald, een moeilijk punt bij de gebiedswerking. Veel gebiedsgericht werk is onvoorspelbaar of oncontroleerbaar. Toch zou aan een duidelijke formulering en een goede voorbereiding meer aandacht moeten besteed worden. Er wordt opgemerkt dat bij de opbouw van een bepaalde vraag of probleemstelling te weinig reflectie wordt gemaakt van wat al is gebeurd, hoe dat is gebeurd en of deze aanpak goed is of niet. Het institutioneel geheugen is te weinig ontwikkeld. Dit zou beter kunnen.82 Samenhangend met de voorbereiding hangt de tijdsbesteding. Er moet gestreefd worden naar een gezond evenwicht tussen evalueren en het gewone werk. Een evaluatie mag geen belemmering zijn voor het dagdagelijkse werk. Zowel naar aantal evaluaties die moeten gebeuren als de tijdsbesteding van een evaluatie moet gekeken worden. Evaluaties mogen niet gaan overheersen.83 Eventueel kan voor kwalitatieve evaluatiestudies samengewerkt worden met andere diensten.84 De inspanningen en kosten worden op die manier verdeeld en de andere diensten worden aangezet om ook meer te gaan evalueren. Voor meer kwantitatieve evaluaties kan gebruik gemaakt worden van het BBC-kader. De organisatie is immers verplicht dit systeem te introduceren. De gebiedswerking wordt er in meegenomen.85 Een belangrijk punt bij de evaluatiestudies van de gebiedswerking is het feit dat de doorwerking van de resultaten te beperkt is. Meestal worden de evaluatiestudies wel goed uitgevoerd maar het gebeurt veel te ad hoc. Men heeft binnen de organisatie ook te weinig capaciteit opgebouwd om op vlak van deskundigheid een progressieve voortgang te maken. De resultaten van evaluatiestudies zouden beter moeten doorstromen binnen de organisatie naar mensen die er minder direct bij betrokken zijn. Op te merken valt dat het niet zo is dat 80 81 82 83 84 85

J.Durnez, persoonlijke communicatie, 19 juni 2013 F. Boury, persoonlijke communicatie, 10 mei 2013 R. Samyn, persoonlijke communicatie, 14 mei 2013 K. Belpaeme, persoonlijke communicatie, 31 juli 2013 & J. Durnez, persoonlijke communicatie, 19 juni 2013 K. Catteeuw, persoonlijke communicatie, 19 augustus 2013 K. Catteeuw, persoonlijke communicatie, 19 augustus 2013

85 | P a g i n a

iedereen van alles op de hoogte moet zijn maar het werk dat gedaan is moet wel door iedereen gekend zijn. Het is dan de taak van de diensthoofden of regiocoördinatoren om te beslissen in welke mate en naar wie de informatie doorstroomt. Er moeten mogelijkheden worden gecreëerd om daar kennis van te nemen. 86 Op die manier wordt evaluatie misschien meer gedragen binnen de organisatie en kan ze een plaats veroveren binnen de organisatiecultuur. Samenhangend hierbij kan misschien getracht worden om systemen voor kennisdeling op te zetten. Handleidingen, studiemomenten, samenwerking met de academische wereld, etc. kunnen ervoor zorgen dat men binnen de organisatie beter op de hoogte is van de manier waarop evaluatiestudies het best worden uitgevoerd.87 Op te merken valt dat de organisatiecultuur meer dan vroeger openstaat voor evaluatie en bijsturing. Er wordt binnen de organisatie steeds professioneler met evaluatie omgesprongen. In theorie wordt de GGW in de provincie sterker benaderd dan vroeger. In de praktijk is te zien dat de organisatie nog te weinig gebiedsgericht werkt. De heersende gedachte bij gebiedswerking is dat er lijndiensten zijn die beleid maken en hun gebiedswerkers worden hierover geïnformeerd en aangestuurd. Ze implementeren het dan in de regio. Op die manier is een lijn te trekken van provincie naar regio. Het is echter zo dat de omgekeerde beweging, van regio naar provincie, minstens even sterk is. Daarnaast wordt er teveel gefocust op deze verticale lijn. De horizontale lijn verdient minstens evenveel aandacht. Er moet binnen een regio in geslaagd worden om met verschillende organisaties samen te werken. Er wordt dan teveel gesproken over een louter verticale lijn waarbij de provincie zijn beleid uitvoert in de regio terwijl de GGW de schakel is tussen de provincie en de regio. De gebiedswerking wordt steeds belangrijker. Dit heeft ook een invloed op evaluatie. Als de GGW matuur genoeg is dan beschikt ze ook over voldoende materiaal om te reflecteren. Aangezien de gebiedswerking als steeds belangrijker wordt ervaren, wordt men binnen de organisatie ook gedwongen om op een meer kwalitatieve en kosteneffectieve manier te gaan nadenken over de werking.88 De laatste opmerking is niet specifiek naar de provincie gericht maar misschien moet ook eens nagedacht worden over een andere manier van evalueren wat betreft de Europese programma’s. Die evaluatiestudies gebeuren regelmatig en ogen ook professioneel. We hadden verwacht dat deze dan ook meer zouden aangegrepen worden om kennis op te doen 86

K. Belpaeme, persoonlijke communicatie, 31 juli 2013 & R. Samyn, persoonlijke communicatie, 14 mei 2013 K. Catteeuw, persoonlijke communicatie, 19 augustus 2013 88 K. Marchand, persoonlijke communicatie, 24 juni 2013 87

86 | P a g i n a

voor toekomstig beleid. Het is echter zo dat ze meestal bevestigen wat al op voorhand is geweten. Dit vervalt dan vaak in een routinekwestie waarbij de kritische reflectie voor een stuk verdwijnt.89 Vaak is het gewoon een verplichting die moet worden vervuld maar wordt de informatie uit de evaluatiestudies niet gebruikt om aan het beleid aan te passen. Er wordt in de interviews ook aangegeven dat de Europese programma’s een sleur kunnen worden. Er zijn zware voorschriften mee verbonden en ze komen vaak op het moment dat de programma’s nog lopen.90 Dit maakt dat ze eerder een last zijn dan een zinvol hulpmiddel. Misschien kan de gebiedswerking ook de Europese programma’s trachten op een meer kwalitatieve manier te meten. Zo kunnen ze zelf meer leren uit de gevoerde evaluatiestudies.

89 90

R. Samyn, persoonlijke communicatie, 14 mei 2013 F. Boury, persoonlijke communicatie, 10 mei 2013

87 | P a g i n a

HOOFDSTUK 6: CONCLUSIE De focus van deze masterproef was beleidsevaluatie bij de GGW van de provincie WestVlaanderen. We wilden weten hoe het gebiedsgericht beleid doorheen de jaren werd geëvalueerd. De eerste onderzoeksvraag was dan ook: “Hoe wordt het beleid van de gebiedsgerichte werking van de provincie West-Vlaanderen in de praktijk geëvalueerd?” Een aantal evaluatiestudies werden geanalyseerd en de belangrijkste kenmerken werden op die manier gedetecteerd. We trachtten ook de drijfveren om te evalueren te achterhalen. Dit vormde het eerste onderzoeksdeel. Algemeen gesteld is de organisatiecultuur binnen de provincie een cultuur waar beleidsevaluatie niet echt een prominente plaats heeft. Vanuit het beleid komt zelden vraag naar evaluatie. De gebiedswerking wordt meer geëvalueerd dan klassieke lijndiensten. Sinds het ontstaan in 1996 werden een aantal evaluatiestudies uitgevoerd. Deze kwamen er meestal op initiatief van de dienst zelf. De evaluatiestudies bij de GGW kunnen in drie categorieën worden opgesplitst: evaluatiestudies van de volledige werking, evaluatiestudies vanuit regioperspectief en evaluatiestudies van Europese programma’s. In de 17-jarige geschiedenis van de gebiedswerking vonden drie evaluaties plaats waarbij de volledige dienst werd bekeken. Daarnaast waren er aanvullende initiatieven zoals een stageopdracht en een inventarisatie van realisaties die we ook als beleidsevaluatie beschouwden. De meeste evaluaties gebeurden tussentijds in de beleidsuitvoeringsfase en werden op een kwalitatieve manier uitgevoerd. In het merendeel van de gevallen betrof het een zelfevaluatie. Er werd meestal op processen gefocust waardoor de klemtoon van de evaluatiestudies meestal lag op de inhoud van het beleid. De verschillende regio’s gaan vaak over tot informeel overleg. Wanneer een project is afgelopen, wordt daarover gereflecteerd. Wanneer we de formele evaluatiestudies vanuit regioperspectief

bekijken,

valt

op

dat

ook

hier

overal

voor

de

kwalitatieve

onderzoeksmethode werd gekozen. De meeste evaluaties werden uitgevoerd door externe actoren. Dit gebeurde meestal tussentijds tijdens de beleidsuitvoeringsfase. Zowel inhoud als impact van het beleid stonden in de evaluatiestudies centraal.

88 | P a g i n a

De kenmerken van evaluatiestudies van Europese programma’s zijn opvallend verschillend. Ze vinden meestal achteraf plaats tijdens de beleidsbeoordelingsfase. In tegenstelling tot de eerder vermelde evaluaties gebeurden de meeste studies op een kwantitatieve manier. Er werd dan ook meer met indicatoren gewerkt. In de meeste gevallen was de evaluator een extern persoon. Er werd vooral gekeken naar de impact en effectiviteit van het beleid. Heel vaak legt de Europese Unie een verplichting om te evalueren op. Onderstaande tabel geeft nogmaals een kort overzicht. Tabel 11: Conclusietabel: kenmerken Evaluatiestudies

Kenmerken

Volledige werking

Regioperspectief

Europese programma’s

Tussentijds

Tussentijds

Ex post

Kwalitatief

Kwalitatief

Kwantitatief

Intern

Extern

Extern

Inhoud van beleid

Inhoud en impact van Impact van beleid beleid

Wat betreft prestatiemeting, een vorm van beleidsevaluatie waarbij de klemtoon op output/effect ligt, kunnen we concluderen dat er een spanningsveld bestaat binnen de organisatie. Volgens het centrale niveau moet prestatiemeting mogelijk zijn binnen de gebiedswerking terwijl de GGW zelf aanhaalt dat dit moeilijk is omwille van het feit dat de klemtoon van de beleidsvoering ligt op het proces en niet op de outputs of outcomes van de beleidsvoering. We zien dan ook weinig prestatiemeting terug komen bij de evaluatiestudies. Bij de evaluaties van Europese programma’s komt dat meer naar voren. De drijfveren om tot evaluatie over te gaan, zijn meestal verantwoording en beleidsleren. De gebiedswerking krijgt middelen ter beschikking en om te waken over een optimale besteding ervan vinden evaluatiestudies plaats. Dit is zeker het geval bij evaluaties vanuit regioperspectief en in het kader van de Europese programma’s. Daar is evaluatie ook vaak verplicht. Beleidsleren laat de organisatie toe om zichzelf een spiegel voor te houden en fouten en tekortkomingen in de toekomst te vermijden. Evaluatie vanuit het motief om uitvoeringsprocessen en organisaties op te volgen en te verbeteren, komt ook in en aantal gevallen voor. Daarnaast zijn het verkrijgen van realiteitszin en het aantonen van de plaats in het bestuurlijk veld motieven om een evaluatiestudie op te zetten. Ook politieke motieven

89 | P a g i n a

kunnen meespelen. Evaluatiestudies worden dan aangegrepen als strategisch middel. Vaak zijn dergelijke motieven niet zichtbaar. In het tweede deel van het onderzoek behandelden we effecten van evaluatiestudies en keken we naar houdingen tegenover evaluatie binnen de organisatie. De tweede onderzoeksvraag luidde: “Wat kunnen effecten zijn van evaluatiestudies en hoe worden de studies benaderd binnen de gebiedsgerichte werking van de provincie West-Vlaanderen?” De informatie uit evaluatiestudies wordt bij de gebiedswerking van de provincie WestVlaanderen niet structureel gebruikt. Men beschikt niet over methodieken om dergelijke informatie te integreren in besluitvormingsprocessen. Evaluatiestudies hebben in het verleden wel al een aantal effecten met zich meegebracht. Hierdoor is de GGW ook blijven groeien. Toch wordt evaluatie nog steeds te weinig gedragen binnen de organisatie waardoor de effecten ook beperkt blijven. Het zijn vooral de politieke actoren die iets negatiever staan tegenover evaluatie. Het centrale niveau, de griffie, heeft daarentegen een zeer rationele kijk op evaluatie en wil dit vertaald zien in de volledige organisatie. Ook de ambtenaren binnen de verschillende diensten van de administratie zijn bereid om kritisch hun eigen werk in vraag stellen met het oog op een verbetering ervan. Sterker inzetten op GGW is een strategische keuze voor de komende legislatuur. Hiermee toont de provincie dat GGW een belangrijke plaats inneemt binnen de provinciale werking. Beleidsevaluatie kan een middel zijn om de gebiedswerking sterker uit te bouwen en te verankeren binnen de organisatie. Voldoende tijd en middelen zijn hiervoor noodzakelijk maar zijn momenteel erg schaars. Er ontbreekt een systeem waarbij op regelmatige tijdstippen volgens een vast patroon wordt geëvalueerd. Er zou binnen de organisatie meer gediscussieerd moeten worden over een beleidscultuur en evaluatie zou daar een plaats moeten in krijgen. Een groter draagvlak voor beleidsevaluatie kan ook worden bekomen door de doorwerking van de resultaten van evaluatiestudies beter te laten verlopen. Daarnaast zou een duidelijkere formulering van de doelstellingen de gebiedswerking toelaten om de evaluatie vlotter te laten verlopen. Gebiedsgericht werken wordt steeds belangrijker maar ook beleidsevaluatie krijgt in het ‘New Public Management-tijdperk’ meer en meer belangstelling. Daarnaast is er BBC waardoor de organisatie de verschillende diensten verplicht om indicatoren te gaan formuleren.

90 | P a g i n a

Evaluatie van de GGW (en de andere diensten) moet in de toekomst de provincie toelaten om op een nog efficiëntere manier (gebiedgericht) beleid te voeren. In een vervolgonderzoek omtrent beleidsevaluatie bij de gebiedswerking in de provincie West-Vlaanderen zou kunnen gekeken worden naar de impact van BBC op de evaluatie van gebiedgericht beleid in het bijzonder en het volledige beleid van de provincie in het algemeen. Ook een analyse van de organisatiecultuur en de plaats van evaluatie hierin, met specifieke klemtoon op de gebiedswerking zou een interessante studie kunnen zijn. Verder is er ook een mogelijkheid om te gaan kijken naar evaluatie van GGW in andere provincies. Op die manier kan een vergelijkende studie gemaakt worden met de bedoeling hieruit te leren.

91 | P a g i n a

BIBLIOGRAFIE LITERATUUR Billiet, J. & Waege, H. (2005). Een samenleving onderzocht: methoden voor sociaalwetenschappelijk onderzoek. Antwerpen: De Boeck nv Bouckaert, G. & Halligan, J.(2008). Managing performance: international comparisons. Oxon: Routledge Bouckaert, G. (1996) Measurement of Public Sector Performance: some European perspectives. In Halamachi, A & Bouckaert, G. (Ed.), Organizational Performance and measurement in the public sector. Westport: Greenwood Publishing Group Bouckaert, G. (2006). Prestaties en prestatiemanagement in de publieke sector. Tijdschrift voor Economie en Management, vol LI (3), 237-265 Bressers, J. & Hoogerwerf, A. (z.d.) Inleiding tot de beleidsevaluatie. Geraadpleegd op 9 augustus 2013 via http://doc.utwente.nl/4632/1/K4632___.PDF Bressers, J., Herweijer, M. & Korsten, A. (z.d.) Beleidsevaluatie. Geraadpleegd op 9 augustus 2013 via http://doc.utwente.nl/4603/1/K4603___.PDF Christensen T., Laegreid P. (2001) New Public Management, the Transformation of Ideas and Practice. Aldershot: Ashgate De Bruijn, H. (2006). Prestatiemeting in de publieke sector. Tussen professie en verantwoording (2e druk). Den Haag: Lemma. De Mets, J. (2006), De ene streek is de andere niet... 10 jaar gebiedsgerichte werking in de provincie West-Vlaanderen. Oostende: provincie West-Vlaanderen De Mets, J. (2009), 20 jaar Europese steun voor de Westhoek 1987-2007. Brugge: grafische dienst provincie West-Vlaanderen De Peuter B., De Smedt J. & Bouckaert G. (2007). Handleiding beleidsevaluatie deel 1: evaluatiedesing en – management. Leuven: Steunpunt Bestuurlijke Organisatie Vlaanderen.

92 | P a g i n a

De Peuter, B., De Smedt, J., Van Dooren, W. & Bouckaert, G. (2007). Handleiding beleidsevaluatie deel 2: monitoring van beleid. Leuven: Steunpunt Bestuurlijke Organisatie Vlaanderen. De Peuter, B., Pattyn, V. & Brans, M. (2008) Hoofdstuk 4: risico’s op perverse effecten bij beleidsevaluatie? Een vergelijking vanuit mogelijke evaluatiemotieven tegen de achtergrond van de Vlaamse hervormingscontext. In Verlet, D. & Devos, C. (Ed.), Beleidsevaluatie : een inleidende situering (pp. 84-113). Brussel de Waal, A.A. & Kerklaan, L.A.F.M. (2003) Prestatiemanagement in de overheid: een overzicht. Amsterdam: Vrije Universiteit Delarue, A., & Spanhove, J. (z.d.). Prestatiemeting als drijfveer voor resultaatgericht management. Vlaamse Overheid: departement Bestuurszaken Dye, T. (1976). Policy analysis. What governments do, why they do it, and what difference it makes. Alabama: The University of Alabama Press. Halligan, J. (2001) Comparing Public Sector Reform in the OECD. In Brendan, N. (Ed.), Public Sector Reform: an International Perspective. Hampshire: MacMillan Hatry, H. (1999) Performance Measurement: Getting results. Washington DC: Urban Institute Press Korsten, A. (2007) Prestatiemanagement: doet management ertoe? Geraadpleegd op 6 maart 2013 via: www.arnokorsten.nl/PDF/.../Prestatiemanagement.pdf Korsten, A. (2013) Wat ervan terechtkomt. Zicht op beleidsevaluatie. Geraadpleegd via http://www.arnokorsten.nl/PDF/Onderzoek/ABC%20van%20beleidsevaluatie.pdf op 13 augustus 2013 Koster, J.M.D., Spronk, J., Vermeulen, E.M. (z.d.) Project performance-evaluatie. Geraadpleegd op 28 februari 2012 via http://repub.eur.nl/res/pub/6023/18299.pdf Leiedal (2005) Geïntegreerde gebiedsvisie Leievallei tussen Wervik en Kortrijk. Geraadpleegd

via

http://www.leiedal.be/sites/leiedal/files/assets/admin/groene-

sporen/gebiedsvisie%20Leie%20Wervik-Kortrijk_folder%20visie+actieplan.pdf

op

12

augustus 2013

93 | P a g i n a

Leiedal (2013) Intercommunale Leiedal.

Geraadpleegd op 10 april 2013 via

http://www.leiedal.be/over-leiedal Lombaert, S. (2012) Implementing financial and performance management in Flemish provinces: a comparative study. Leuven: Instituut voor de Overheid KU Leuven Miller, G., Bartley, H. & Rabin, J. (2001) Performance Based Budgeting. Colorado: Westview Ministerie van Binnenlandse Zaken en Koninkrijksrelaties (2012) Evaluatie als fundering voor het beleid. Geraadpleegd op 10 juli 2013 via http://webcache.googleusercontent.com/search?q=cache:ozFBCZBdUNIJ:www.rijksover heid.nl/documenten-en-publicaties/rapporten/2012/06/01/evaluatie-als-fundering-vanbeleid.html+&cd=1&hl=en&ct=clnk&gl=be Moynihan, D.P. & Pandy, S.K. (2006) Creating Desirable Characteristics: How organizations create a focus on results and managerial authority. Oxon: Routledge Nielsen, S.B. & Ejler, N. (2008) Improving performance? Exploring the complementaries between evaluation and performance management. Evaluation, 14 (2), pp. 171-192 Politt, C. & Bouckaert, G. (2011). Public management reform: a comparative analysis new public management, governance and the neo-weberian state. Derde ed. New York: Oxford University Press Provincie West-Vlaanderen (2008) Kustbeheer. Geraadpleegd op 16 april 2013 via http://www.westvlaanderen.be/provincie/beleid_bestuur/gebiedsgerichte_werking/kustbeheer_nl/Pages/def ault.aspx Provincie West-Vlaanderen (2009). Externe relaties. Geraadpleegd op 27 maart 2013 via http://www.westvlaanderen.be/provincie/gebiedenbeleid/externe_relaties/Pages/europaendeprovincie.aspx

Provincie West-Vlaanderen (2009). Gebiedsgerichte werking. Geraadpleegd op 28 december

2012

via

http://www.west-

vlaanderen.be/provincie/beleid_bestuur/gebiedsgerichte_werking/Pages/default.aspx

94 | P a g i n a

Radin, B. (2000) Beyond Machiavelli: policy analysis comes of age. Washington DC: Georgetown University Press Reulink, N. & Lindeman, L. (2005). Kwalitatief onderzoek. Geraadpleegd via http://www.cs.ru.nl/~tomh/onderwijs/om2%20(2005)/om2_files/syllabus/kwalitatief.pdf op 9 juli 2013 Smith, P. (1995) On the unintended consequences of publishing performance date in the public sector. International Journal of Public Administration, 18 (2/3), pp. 277-310 Sterck, M. & Bouckaert, G.(2003). Internationale trends in prestatiemeting bij de overheid. Leuven: Steunpunt bestuurlijke organisatie in Vlaanderen Talbot, C. (2005) Performance. In Ferlie, E., Lynn junior, L.E. & Pollitt, C. (Ed.), Handbook of Public Management. Oxford: University Press Thomas, P. (2004) Performance Measurement, Reporting and Accountability: recent trends and future directions. (Public Policy Paper 23) Regina: The Saskatchewan Institute of Public Policy. Van Alsenoy, I.; Samyn, R. & Catteeuw, K. (2012) De provincie in de regio BruggeOostende. Brugge: Hilaire Ost Vereniging Vlaams Provincies (VVP) (2011). Nota streekontwikkeling. Geraadpleegd op 22 februari 2013 via http://www.vlaamseprovincies.be/streekontwikkeling Verlet,

D.

(2008).

Good

governance,

corporate

governance,

government

governance:what’s in a name? Een theoretische situering van Beter Bestuurlijk Beleid in Vlaanderen. Brussel: Studiedienst van de Vlaamse Regering, SVR-nota 2008/4. Verlet, D., & Devos, C. (2008). Beleidsevaluatie: een inleidende situering. In Verlet, D., Devos, C. (Ed.), Hoofdstuk 2: prestatiemeting: doel of middel? Over de niet evidente meting van prestaties binnen de publieke sector (pp. 44-67). Brussel: Drukkerij Gazelle NV Verlet, D., & Devos, C. (2008).. Beleidsevaluatie: een inleidende situering. In Verlet, D., Devos, C. (Ed.), Over beleidsevaluatie: van theorie naar praktijk en terug (pp. 11-24). Brussel: Drukkerij Gazelle NV

95 | P a g i n a

Verlet,

D.,

Reynaert,

H.

&

Devos,

C.

(2005).

Burgers

in

Vlaamse

grootsteden.Tevredenheid, vertrouwen, veiligheidsgevoel en participatie in Gent, Brugge en Antwerpen. Brugge: Vanden Broele. Vlaamse Regering (2011) Witboek Interne Staatshervorming. Geraadpleegd op 22 februari 2013 via VVSG website: www.vvsg.be/.../Documents/Witboek_8april2011.pdf Wollman, H. (2003) Evaluating Public Sector Reforms. Aldershot: Edward Elgar EVALUATIEVERSLAGEN EN RAPPORTEN Activiteitenrapport 2004-2007 Coördinatiepunt Duurzaam Kustbeheer. Eindrapport evaluatie geïntegreerde gebiedsvisie Leievallei tussen Wervik en Kortrijk, februari 2011 Eindrapport tussentijdse evaluatie van het Vlaamse PDPO II (2007-2013), oktober 2010 Evaluatie en begeleiding van gemeentelijke projecten in de Westhoek: hoe kwalitatief omgaan met ruimte in de Westhoek, april – november 2012 Evaluatie provinciaal plattelandsbeleid en PDPO II, verslag 1ste commissie, 17 september 2012 Evaluatie van de GGW cultuur in de Westhoek 2005-2008, juni 2008 Evaluatiestudie over de ‘gebiedswerking’ van de provincie West-Vlaanderen, uitgevoerd in opdracht van het provinciebestuur door de Hogeschool Gent, februari 2000 Evaluatieverslag: een evaluatie volgens het 7-S model, 2006 Gebiedsgerichte werking, reflecties voor de toekomst, nota aan de deputatie, evaluatie 2009 Intern evaluatierapport Coördinatiepunt Duurzaam Kustbeheer, maart 2011 Rapport ‘Realisaties gebiedswerking provincie West-Vlaanderen 2006-2011’, 2012 Stageverslag Elke Rutsaert: analyse van de projectwerking binnen de dienst gebiedsgerichte werking, 2010

96 | P a g i n a

Tussentijdse evaluatie GGW in PDPOII (2007-2013): voor een optimale gebiedsgerichte plattelandswerking in PDPO III, december 2011 PARLEMENTAIRE STUKKEN Verslag van het Rekenhof over het Europees plattelandsontwikkelingsbeleid. Gebiedsgerichte werking in de Vlaamse provincies, Parl.St. Vlaams Parlement 20112012 , 37-F nr. 1

OVERIGE Organogram Coördinatieteam Gebiedenbeleid Beleidsnota gebiedsgerichte werking 1996 Beleidsnota gebiedsgerichte werking 2007-2012

Opmerking: Om de tekst niet teveel te belasten werden verwijzingen naar persoonlijke communicatie in de voetnoten geplaatst. 97 | P a g i n a

BIJLAGEN

98 | P a g i n a

ORGANOGRAMMEN (JULI 2013)

99 | P a g i n a

100 | P a g i n a

101 | P a g i n a

INTERVIEWVRAGEN Algemeen 1. Kunnen we stellen dat gebiedswerking meer geëvalueerd wordt dan klassieke lijndiensten? Zo ja, hoe komt dit? Kenmerken van de evaluatiestudies 2. Er zijn al een aantal evaluaties van de gebiedswerking geweest. Hoe wordt dit aangepakt? Wie neemt bijvoorbeeld initiatief? Wordt dit voor Europese projecten opgelegd? 3. Wie is verantwoordelijk voor de evaluatie van de gebiedswerking? Wie bepaalt bijvoorbeeld evaluatiecriteria? 4. Wat is opvallend of kenmerkend aan de evaluatiestudies van de gebiedsgerichte werking? Waar ligt bijvoorbeeld de focus op? Inputs? Processen? Outputs/resultaten? Outcomes/effecten? Welke types van evaluatie zijn er dus al geweest?

Motieven voor beleidsevaluatie bij de gebiedsgerichte werking 5. Wat kunnen motieven zijn om over te gaan tot beleidsevaluatie? Wat is met andere woorden de reden voor evaluatie? 6. Wat kunnen motieven zijn om te kiezen voor een bepaalde soort evaluatiestudie? a. Waarom kiest men voor een externe evaluator? b. Waarom kiest men voor kwalitatief onderzoek? Bijvoorbeeld interviews. Effecten van beleidsevaluatie bij de GGW

7. Wat wordt met de resultaten van evaluatiestudies gedaan? Gaat het puur om meten? Of ook om gebruik van de informatie die wordt afgeleid uit evaluatiestudies of worden de resultaten van evaluatiestudies geïntegreerd in de besluitvormingsprocessen? 8. Wat zijn volgens u de effecten van evaluatiestudies? Leerpunten

9. Wat kan men leren uit evaluatiestudies voor toekomstige evaluaties?

102 | P a g i n a

Houdingen en meningen in de organisatie

10. Ziet u een evolutie op gebied van beleidsevaluatie bij de gebiedsgerichte werking? 11. Zal er in het kader van BBC meer in termen van prestaties geredeneerd worden? Zal er met andere woorden een evolutie zijn naar prestatiemeting? 12. Heeft het feit dat er veel projectmatig wordt gewerkt in de provincie, en zeker bij de gebiedsgerichte werking, een (al dan niet positieve invloed) op evaluatie? 13. Waarom wordt de gebiedsgerichte werking niet op een systematische manier geëvalueerd? Ligt dit aan het feit dat de uitkomst van gebiedsgerichte projecten niet duidelijk kan worden bepaald of zijn er andere redenen? 14. Is men zich bewust van de voordelen die een systematische beleidsevaluatie kunnen bieden? 15. Wat zijn de houdingen in de organisatie tegenover evaluaties van beleid? 16. Vindt u dat de evaluatiestudies goed worden aangepakt? 17. Bent u van mening dat er meer aan prestatiemeting moet worden gedaan?

103 | P a g i n a