PROJECTEVALUATIEBELEID VAN CHARITATIEVE VERMOGENSFONDSEN

PROJECTEVALUATIEBELEID VAN CHARITATIEVE VERMOGENSFONDSEN Een probleemanalytisch onderzoek naar de relatie tussen het strategisch beleid en het projectevaluatiebeleid van charitatieve vermogensfondsen

Ronald A. Zoutendijk MSW [email protected] studentnummer 144959 Wassenaar, 28 januari 2010 NCOI Business School MBA Masterclass Afstudeerscriptie

Begeleider: dr. A.C.J.M. (Adriaan) Olsthoorn

PROJECTEVALUATIEBELEID VAN CHARITATIEVE VERMOGENSFONDSEN

Een probleemanalytisch onderzoek naar de relatie tussen het strategisch beleid en het projectevaluatiebeleid van charitatieve vermogensfondsen

Masterthesis ter verkrijging van de titel van Master of Business Administration De openbare verdediging heeft te Utrecht plaatsgevonden op 28 januari 2010

© 2010, R.A. Zoutendijk Alle rechten voorbehouden. Niets uit deze uitgave mag worden verveelvoudigd, opgeslagen in een geautomatiseerd gegevensbestand of openbaar gemaakt in enige vorm of op enige wijze, hetzij elektronisch, mechanisch, door fotokopieën, opnamen of enige andere manier, zonder voorafgaande schriftelijke toestemming van de auteur.

II

Woord vooraf Voordat ik in 2007 aan de MBA-opleiding begon, was ik vooral geschoold op agogisch terrein op hbo- en posthbo-niveau. Uiteraard had ik daarna in de loop van de tijd de nodige managementcursussen gevolgd, maar ik bleef behoefte houden aan een meer intellectuele uitdaging op het terrein van bestuurs- en bedrijfskunde. Dat was dan ook mijn reden om de MBA-opleiding te volgen. In het kader van de MBA-opleiding is deze masterthesis tot stand gekomen, die een onderwerp behandelt waarmee veel charitatieve vermogensfondsen in Nederland worstelen en waarvoor veel aandacht bestaat. Het betreft het evalueren van door deze fondsen gefinancierde projecten. In deze thesis wordt de relatie onderzocht tussen de strategische doelen van vermogensfondsen en het evalueren van door deze fondsen gefinancierde projecten. Met het onderzoek hoop ik een bijdrage te leveren aan het door vermogensfondsen te voeren beleid op dit terrein. Ik wil graag een aantal mensen bedanken voor hun bijdrage bij de totstandkoming van deze thesis, te weten: -

het bestuur van het Sint Laurensfonds voor de bekostiging van mijn opleiding; de docenten van NCOI Business School, in het bijzonder mijn scriptiebegeleider Adriaan van Olsthoorn, voor hun inspirerende colleges; mijn medestudenten van NCOI Business School, voor de prettige samenwerking en het plezier tijdens en na de colleges; mijn collega‟s van het Sint Laurensfonds en de collega‟s van andere vermogensfondsen, die een bijdrage hebben geleverd aan de totstandkoming van deze thesis; Rien van Gendt en Rick Wagenvoort van de Vereniging Fondsen in Nederland (FIN) voor de beschikbaarstelling van literatuur en documentatie; Theo Schuyt, hoogleraar filantropie, voor zijn deskundige commentaar op deze thesis.

Last but not least wil ik mijn echtgenote Deborah Benjamin heel hartelijk bedanken voor de gelegenheid die zij mij heeft geboden om gedurende 2,5 jaar vele uren te kunnen studeren. Ook bedank ik mijn kinderen Sifra, Christian en Thomas die op concepten van deze thesis hun commentaar hebben geleverd.

III

Samenvatting Onderwerp van deze masterthesis Het onderwerp van deze masterthesis is een probleemanalytisch onderzoek dat erop is gericht te achterhalen in hoeverre en op welke wijze projectevaluatiebeleid kan bijdragen aan strategische doelstellingen van charitatieve vermogensfondsen. Daartoe is in deze masterthesis een studie uitgevoerd naar literatuur over strategisch beleid en over evaluatie van projecten, in het bijzonder in de filantropische sector, alsmede een empirisch onderzoek naar het strategisch beleid in relatie tot de evaluatiepraktijk van enkele charitatieve fondsen. Het onderzoek levert kennis, inzichten en informatie op die nuttig zijn bij de besluitvorming over de gewenste situatie voor het Sint Laurensfonds, waar de auteur als directeur aan verbonden is, op het terrein van projectevaluatie.

Methode van onderzoek Voor de beantwoording van de deelvragen op het terrein van de theorie is door middel van bureauonderzoek gekomen tot een inhoudsanalyse van tekstueel materiaal, zoals vakliteratuur en secundaire data. Het betreft literatuur van de masterclasses Strategie en Omgeving, Financieel Management en Bedrijfskundig Procesmanagement over strategisch beleid en evaluatiebeleid. Daarnaast is gebruik gemaakt van de bibliotheek van de Faculteit Sociale Wetenschappen van de Universiteit Leiden voor literatuur over evaluatie in het algemeen. Voor literatuur over evaluatie in de filantropische sector is gebruik gemaakt van het documentatiecentrum van de Bernard van Leer Foundation. Voor de beantwoording van de deelvragen op het terrein van de empirie zijn deskundigen van dertien charitatieve vermogensfondsen persoonlijk face-to-face geïnterviewd op locatie. De interviews hadden ten doel kennis en gegevens op te leveren die een antwoord geven op de gestelde vragen. De vragenlijst voor de interviews is gebaseerd op de gevonden resultaten uit het literatuuronderzoek. Bij de dataverzameling voor het empirisch onderzoek is gebruik gemaakt van methodentriangulatie, te weten een combinatie van semigestructureerde interviews en een inhoudsanalyse van tekstueel materiaal, zoals beleidsdocumenten.

Resultaten en conclusies van het onderzoek Volgens de onderzochte theorie speelt projectevaluatiebeleid met betrekking tot de door deze fondsen gefinancierde projecten een grote rol in het kader van strategische doelstellingen van charitatieve vermogensfondsen. Uit het onderzoek is gebleken dat projectevaluatiebeleid van belang is voor het realiseren van strategische doelstellingen, omdat dit beleid onmisbaar is voor het bijsturen van het strategisch IV

beleid. Wanneer uit projectevaluatie blijkt dat bepaalde doeleinden niet worden bereikt, rijst de vraag hoe dit valt te verklaren. Een volgende vraag is hoe het project moet worden bijgestuurd om te zorgen dat de doeleinden wel worden bereikt. Projectevaluatie kan helpen zulke vragen te beantwoorden. De verschillende projectevaluatiedoelen kunnen worden samengevat in drie algemene perspectieven: - projectevaluatie om verantwoording af te leggen (bijvoorbeeld de meting van resultaten of de doelmatigheid van een project); - projectevaluatie om te ontwikkelen (bijvoorbeeld de beschikbaarstelling van evaluatieonderzoek om een interventiemethode of een project te verbeteren); - projectevaluatie om kennis te vermeerderen (bijvoorbeeld het verwerven van een diepgaander begrip van een specifiek aspect of terrein). Vier van de dertien onderzochte fondsen beschikken over een strategisch meerjarenbeleidsplan, waarin projectevaluatie wordt gezien als kritieke succesfactor voor het desbetreffende fonds. Deze fondsen leggen veel nadruk leggen op het partnerschap van projecten. Niet-financiële ondersteuning wordt van groot belang geacht naast financiële investeringen. Bij deze fondsen is de betrokkenheid bij projecten, zowel inhoudelijk als financieel, over het algemeen meerjarig van karakter. Het gaat voor deze fondsen zowel om waardetoevoeging, inzicht in maatschappelijke problematiek, beleidsontwikkeling, methodiekontwikkeling en om organisaties te versterken. Evaluaties vinden zowel vooraf, tussentijds en achteraf plaats. Vijf van de dertien onderzochte fondsen hebben een toenemende aandacht voor projectevaluatie. Bij deze fondsen vinden evaluaties over het algemeen plaats door een door de projectuitvoerder ingevuld evaluatieformulier. Deze zelfevaluaties hebben voor deze fondsen zelf een betrekkelijk gering nut. Zij worden wel gebruikt bij het beoordelen van vervolgaanvragen. Voor zover het projecten met een meerjarig karakter betreft waarmee relatief grote bedragen zijn gemoeid, wordt er meer aandacht besteed aan evaluatie. Bij middelgrote projecten worden deze tussentijds gevolgd. Bij grotere projecten wordt de evaluatie soms uitbesteed aan een extern bureau. Deze fondsen leggen voor hun eigen fonds het accent op het verantwoordingsperspectief van evaluatie. Bij grotere projecten van deze fondsen speelt ook het kennis- en ontwikkelingsperspectief mee, echter vooral dat van het desbetreffende project en in mindere mate van het fonds zelf. Vier van de dertien onderzochte fondsen hebben geen plannen om projectevaluatiebeleid te ontwikkelen. Soms heeft dat te maken met een aarzeling omdat men bureaucratie wil vermijden. In een ander geval hecht men weinig belang aan prestatiemeting en zoekt men het meer in de dialoog met projectuitvoerders.

V

Inhoudsopgave Woord vooraf ...................................................................................................................... III Samenvatting...................................................................................................................... IV Onderwerp van deze masterthesis ..................................................................................................... IV Methode van onderzoek ...................................................................................................................... IV Resultaten en conclusies van het onderzoek..................................................................................... IV

Inhoudsopgave................................................................................................................... VI 1 Inleiding ........................................................................................................................ 1

2

1.1

Toelichting bij dit hoofdstuk...................................................................................................... 1

1.2

Projectkader .................................................................................................................................. 1

1.3

Probleemstelling........................................................................................................................... 1

1.4

Doelstelling ................................................................................................................................... 2

1.5

Centrale vraagstelling .................................................................................................................. 2

1.6

Onderzoeksvragen ....................................................................................................................... 2

1.7

Begripsbepaling ............................................................................................................................ 3

1.8

Afbakening.................................................................................................................................... 3

1.9

Bronnenontsluiting ...................................................................................................................... 4

1.10

Plaats in de bedrijfskunde ........................................................................................................... 4

1.11

Onderzoeksmodel ....................................................................................................................... 5

1.12

Leeswijzer...................................................................................................................................... 6

Literatuuronderzoek ......................................................................................................7 2.1

Toelichting bij dit hoofdstuk...................................................................................................... 7

2.2

Onderzoeksvragen ....................................................................................................................... 7

2.3

Strategisch beleid en prestatiemanagement.............................................................................. 8

2.3.1 Strategisch beleid ................................................................................................................. 8 2.3.2 Vaststelling van prestaties ................................................................................................ 11 2.4 Definities, visies en benaderingswijzen van projectevaluatiebeleid .................................... 13

3

2.5

Bijdrage van projectevaluatiebeleid aan strategische doelstellingen ................................... 15

2.6

Conceptueel model .................................................................................................................... 19

2.7

Samenvatting van dit hoofdstuk .............................................................................................. 21

Onderzoeksmethodologie ........................................................................................... 23 3.1

Toelichting bij dit hoofdstuk.................................................................................................... 23

3.2

Onderzoeksmethode ................................................................................................................. 23

3.3

Onderzoekseenheden ................................................................................................................ 23

3.4

Onderzoeksvragen ..................................................................................................................... 24

3.5

Onderzoeksstrategie .................................................................................................................. 24

3.6

Dataverwerking .......................................................................................................................... 25

VI

3.7

4

Validiteit en betrouwbaarheid .................................................................................................. 25

Empirisch onderzoek .................................................................................................. 27 4.1

Toelichting bij dit hoofdstuk.................................................................................................... 27

4.2

Onderzoeksvragen ..................................................................................................................... 27

4.3

Geïnterviewden .......................................................................................................................... 27

4.4

Kenschets van de fondsen en hun opvattingen over evaluatie ........................................... 28

4.5

Gehanteerde methoden van evaluatie..................................................................................... 35

4.6

Analyse ........................................................................................................................................ 42

4.6.1 Opvattingen over evaluatie .............................................................................................. 42 4.6.2 Gehanteerde methoden van projectevaluatiebeleid ..................................................... 43 4.6.3 Mate van overeenstemming van de visies en benaderingswijzen van de fondsen onderling en met de in de literatuurstudie genoemde visies en benaderingswijzen ................ 45 4.6.4 Toetsing onderzoeksvariabelen ....................................................................................... 46 4.7 Synthese....................................................................................................................................... 47

5

Resultaten en conclusies ............................................................................................. 48 5.1

Toelichting bij dit hoofdstuk.................................................................................................... 48

5.2

De rol van evaluatiebeleid in het kader van strategische doelstellingen ............................ 48

5.3 Praktijkervaringen van charitatieve vermogensfondsen bij het voeren van projectevaluatiebeleid en de verhouding tot de theorie hieromtrent ............................................. 49 5.4

6

Conclusies ................................................................................................................................... 51

Aanbevelingen ............................................................................................................. 54 6.1

Toelichting bij dit hoofdstuk.................................................................................................... 54

6.2

Aanbevelingen op basis van het literatuuronderzoek ........................................................... 54

6.3

Aanbevelingen op basis van het empirisch onderzoek ........................................................ 55

Reflectie .............................................................................................................................. 56 Literatuurlijst ...................................................................................................................... 57 Bijlagen ............................................................................................................................... 59 Bijlage 1

Brief aan geïnterviewden .................................................................................................. 60

Bijlage 2

Vragenlijst ........................................................................................................................... 62

VII

1 Inleiding 1.1 Toelichting bij dit hoofdstuk In dit hoofdstuk wordt het kader geschetst van het onderzoek. Het vormt het voorbereidende en ondersteunende gedeelte van het onderzoek en bestaat uit de achtergrond en de probleemstelling van het onderwerp. Vervolgens komt de centrale vraagstelling aan bod, alsmede de onderzoeksvragen. De definiëring van gehanteerde begrippen, de afbakening en de plaats in de bedrijfskunde komen daarna aan de orde. Het hoofdstuk wordt afgesloten met het onderzoeksmodel en een leeswijzer.

1.2 Projectkader Het Sint Laurensfonds, voorheen: Roomsch-Katholiek Parochiaal Armbestuur van Rotterdam, is een charitatief vermogensfonds met een private kerkelijke rechtspersoonlijkheid dat is opgericht op 9 mei 1857 als rechtsopvolger van “de Gemeene-Armen-Borse, ten behouve van de Catholijcke armen deser stede Rotterdam”, opgericht op 24 november 1651 (Van Lieburg 2007:23). Het Sint Laurensfonds doet uit de opbrengsten van zijn kapitaal schenkingen aan pastorale, diaconale en sociale initiatieven van organisaties die niet handelen in strijd met katholieke beginselen, die werkzaam zijn op het terrein van welzijn en zorg in de stadsregio Rotterdam en die bijdragen aan materiële en geestelijke behoeften van bij voorkeur jeugdigen en ouderen1. Het Sint Laurensfonds is een vermogende, kleinschalige organisatie met een bestuur, een directeur en een projectmedewerker. Het Sint Laurensfonds keert jaarlijks € 3,5 miljoen uit aan projecten op het terrein van zorg en welzijn. Deze projecten worden geacht zich inhoudelijk en financieel te verantwoorden. Er zijn geen beoordelingscriteria op basis waarvan wordt beoordeeld of hiermee de doelstelling in voldoende mate is bereikt. Als directeur van het Sint Laurensfonds acht de auteur het van belang dat de beschikbaar gestelde middelen financieel en maatschappelijk verantwoord worden besteed, omdat dit bijdraagt aan de strategische doelstelling van het Sint Laurensfonds. Het onderzoek moet kennis, inzichten en informatie produceren die nuttig zijn bij de besluitvorming over de gewenste situatie voor het Sint Laurensfonds op het terrein van projectevaluatie.

1.3 Probleemstelling Het Sint Laurensfonds heeft geen beleid met betrekking tot de evaluatie van de door hem gefinancierde projecten en heeft daardoor onvoldoende zicht op het bereik van zijn strategische doelstelling.

1

Statuten Sint Laurensfonds (2009)

1

1.4 Doelstelling Het doel van het onderzoek is voor het bestuur van het Sint Laurensfonds een bijdrage te leveren aan de ontwikkeling van beleid op het terrein van evaluatie van door het Sint Laurensfonds gefinancierde projecten ter ondersteuning van zijn strategische doelstellingen door een probleemanalytisch onderzoek te doen naar de relatie tussen het strategisch beleid en het projectevaluatiebeleid van charitatieve vermogensfondsen. Deze bijdrage wordt geleverd door een probleemanalytisch onderzoek dat erop is gericht te achterhalen in hoeverre en op welke wijze evaluatie kan bijdragen aan strategische doelstellingen van charitatieve vermogensfondsen zoals het Sint Laurensfonds. Hiertoe wordt een studie uitgevoerd naar literatuur over strategisch beleid en over evaluatie van projecten, in het bijzonder in de filantropische sector, alsmede een empirisch onderzoek naar het strategisch beleid in relatie tot de evaluatiepraktijk van enkele charitatieve fondsen. Met het onderzoek wordt beoogd te komen tot aanbevelingen voor het bestuur van het Sint Laurensfonds met betrekking tot het ontwikkelen van projectevaluatiebeleid.

1.5 Centrale vraagstelling De centrale vraagstelling is als volgt. 1. Welke rol kan volgens de theorie evaluatiebeleid in het kader van strategische doelstellingen van charitatieve vermogensfondsen spelen met betrekking tot de door deze fondsen gefinancierde projecten? 2. Welke praktijkervaringen zijn er bij charitatieve vermogensfondsen m.b.t. het voeren van een evaluatiebeleid inzake door deze fondsen gefinancierde projecten en hoe verhouden deze zich tot de theorie hieromtrent? 3. Welke aanbevelingen kunnen aan het bestuur van het Sint Laurensfonds worden gedaan m.b.t. het te ontwikkelen evaluatiebeleid inzake de door dit fonds gefinancierde projecten op basis van het gevoerde onderzoek?

1.6 Onderzoeksvragen De onderzoeks- of deelvragen zijn beschrijvend van aard en zijn de volgende. Het literatuuronderzoek geeft antwoord op de volgende deelvragen: 1. Wat wordt verstaan onder strategisch beleid en op welke wijze kunnen prestaties van organisaties worden vastgesteld? 2. Wat is evaluatie en welke visies en benaderingswijzen van evaluatiebeleid kunnen in het algemeen worden onderscheiden? 3. Op welke wijze kan evaluatiebeleid m.b.t. door charitatieve vermogensfondsen gefinancierde projecten bijdragen aan strategische doelstellingen van deze sector?

2

De uitkomsten van het vooronderzoek hebben geleid tot een conceptueel model. In het conceptueel model gaat het om de relaties tussen te selecteren kenmerken of dimensies van de kernbegrippen van het onderzoek, te weten strategisch beleid en projectevaluatiebeleid van charitatieve vermogensfondsen. Het empirisch onderzoek geeft antwoord op de volgende deelvragen: 4. Welke opvattingen hebben de te onderzoeken charitatieve vermogensfondsen over evaluatie van door deze fondsen gefinancierde projecten? 5. Welke methoden hanteren de te onderzoeken charitatieve vermogensfondsen bij hun projectevaluatiebeleid? 6. In hoeverre stemmen de visies en benaderingswijzen van de te onderzoeken charitatieve vermogensfondsen met elkaar overeen en met de in de literatuurstudie genoemde visies en benaderingswijzen met betrekking tot projectevaluatiebeleid? Op basis van beide onderzoeken zijn aanbevelingen geformuleerd over de gewenste situatie voor het Sint Laurensfonds ten aanzien van het te voeren projectevaluatiebeleid.

1.7 Begripsbepaling Onder „vermogensfonds‟ wordt in dit onderzoek verstaan: een organisatie die haar eigen vermogen beheert en het rendement ervan besteedt aan haar doelstelling2. Vermogenfondsen doen niet aan actieve fondsenwerving, maar kunnen eventueel wel fondsen van anderen aannemen. Charitatieve vermogensfondsen hebben een charitatieve doelstelling en besteden het rendement op het vermogen aan goede doelen. Onder „strategisch beleid‟ wordt in dit onderzoek verstaan: het beleid van een organisatie met betrekking tot de richting en focus van een organisatie op de lange termijn om voordelen te behalen in een veranderende omgeving door middel van groepering van bronnen en competenties, met de bedoeling de verwachting van belanghebbenden te vervullen (Johnson, Scholes & Whittington, 2006:9). Onder „evaluatiebeleid‟ wordt in dit onderzoek verstaan: het beleid met betrekking tot de systematische verzameling van informatie over de activiteiten, karakteristieken en waardetoevoeging van projecten teneinde deze te gebruiken om onzekerheden te reduceren, de effectiviteit te bevorderen en om besluiten te nemen met betrekking tot wat deze projecten bereiken en wat zij beïnvloeden (Patton, 1986, geciteerd in: Castle, 1991:3). In het geval van projectevaluatie in de filantropische sector gaat het om het verzamelen, interpreteren en presenteren van informatie over te financieren en/of gefinancierde projecten teneinde de waardetoevoeging van deze projecten te bepalen.

1.8 Afbakening Bij de literatuurstudie is zoveel mogelijk gebruik gemaakt van recente, hoofdzakelijk Nederlandse en Amerikaanse literatuur. De uitkomsten van het literatuuronderzoek en het vooronderzoek

2

http://www.encyco.nl/nol.php, geraadpleegd op 6 juni 2009

3

leiden tot een selectie van kenmerken of dimensies van de kernbegrippen van het onderzoek en de verwachte relaties daartussen. Het empirisch onderzoek richt zich op dertien charitatieve vermogensfondsen in Nederland die beschikken over een evaluatiebeleid. Het empirisch onderzoek levert een beschrijving op van de verschillen en overeenkomsten tussen het conceptuele model en de onderzochte praktijk, alsmede de redenen hiervan.

1.9 Bronnenontsluiting Uit vooronderzoek is gebleken dat over de relatie tussen strategisch beleid van charitatieve vermogensfondsen en projectevaluatiebeleid van deze fondsen niet eerder is gepubliceerd. Wel is het nodige gepubliceerd over strategisch beleid in het algemeen en over evaluatiebeleid in het algemeen en in de filantropische sector in het bijzonder. Voor de beantwoording van de deelvragen op het terrein van de theorie wordt door middel van bureauonderzoek gekomen tot een inhoudsanalyse van tekstueel materiaal, zoals vakliteratuur en secundaire data. Voor wat betreft strategisch beleid wordt gebruik gemaakt van literatuur van de masterclasses Strategie en Omgeving, Financieel Management en Bedrijfskundig Procesmanagement over strategisch beleid en evaluatiebeleid (waaronder het gebruik van kritieke succesfactoren en prestatie-indicatoren). Voor literatuur over evaluatiebeleid in het algemeen wordt gebruik gemaakt van de bibliotheek van de Faculteit Sociale Wetenschappen van de Universiteit Leiden. Voor literatuur over evaluatie in de filantropische sector wordt gebruik gemaakt van het documentatiecentrum van de Bernard van Leer Foundation. Om een eerste overzicht te verkrijgen van het onderwerp wordt gezocht naar handboeken over het onderwerp waarbij als zoekterm „evaluatie‟ is gebruikt. Ook wordt de sneeuwbalmethode gehanteerd en worden citeersporen gevolgd. Voorts wordt gebruik gemaakt van het persoonlijke netwerk van de onderzoeker door sleutelfiguren in de fondsenwereld te vragen of zij behulpzaam kunnen zijn bij het vinden van actuele literatuur over projectevaluatie in de charitatieve sector. Daarenboven wordt gebruik gemaakt van zoekmachines op internet.

1.10 Plaats in de bedrijfskunde In de door de auteur gevolgde masterclasses van de MBA-opleiding is evaluatiebeleid in min of meerdere mate aan de orde geweest. In de Masterclass Strategie en Omgeving is met name de relatie tussen de organisatie en haar belanghebbenden („stakeholders‟) onderwerp van studie. In de Masterclass Organisatie en Management staat de organisatiestructuur en de organisatiecultuur centraal. De werkprocessen vormen daarvan een onderdeel. In de Masterclass Financieel Management gaat het om factoren die bijdragen aan de strategie en onderdeel zijn van een bestuurskundig verantwoord financieel managementsysteem (sturing en beheersing). In de Masterclass Bedrijfskundig Procesmanagement ligt de focus op de analyse van bewerkende, ondersteunende en regelende processen, waarvan de evaluerende functie onderdeel uitmaakt. Literatuur van deze masterclasses maakt onderdeel uit van de literatuurlijst. 4

1.11 Onderzoeksmodel Het onderzoek is volgens de interventiecyclus (Verschuren & Doorewaard, 2007:49) te kenschetsen als een probleemanalytisch onderzoek en is tot stand gekomen op basis van een vooronderzoek. Dit vooronderzoek omvat gesprekken met deskundigen van vermogensfondsen, deelname aan een module evaluatie van de postacademische opleiding Philanthropic Studies aan de Vrije Universiteit, kennisneming van onderzoeksrapportage van Hogeschool Windesheim over projectevaluatie bij het vermogensfonds Ars Donandi en deelname aan een congres van het Erasmus Centre for Strategic Philanthropy van de Erasmus Universiteit Rotterdam.

Figuur 1. Onderzoeksmodel In figuur 1 wordt het onderzoeksmodel gevisualiseerd. Deze figuur laat zich als volgt toelichten. Een bestudering van verschillende beleidstheorieën op het terrein van strategisch, financieel en projectmanagement met betrekking tot strategisch beleid en evaluatie in het algemeen, alsmede een bestudering van literatuur over evaluatiebeleid in de filantropische sector m.b.t. gefinancierde projecten en een vooronderzoek (a), levert een conceptueel model op van verwachte relaties tussen geselecteerde kernbegrippen van het literatuur- en vooronderzoek (b) op, waarmee het huidig beleid van de onderzoeksobjecten wordt vergeleken (c). De resultaten worden geanalyseerd (d) en verwerkt tot conclusies en aanbevelingen (e) voor het te ontwikkelen projectevaluatiebeleid van het Sint Laurensfonds.

5

1.12 Leeswijzer In hoofdstuk 2 worden de onderzoeksvragen beschreven en wordt verslag gedaan van de uitkomsten van het literatuuronderzoek. De uitkomsten van het literatuuronderzoek en het vooronderzoek leiden tot een selectie van kenmerken of dimensies van de kernbegrippen van het onderzoek en de verwachte relaties daartussen, dat wordt uitgewerkt in een conceptueel model. In hoofdstuk 3 wordt een beschrijving gegeven van de methode van het empirisch onderzoek, de bij het empirisch onderzoek betrokken onderzoekseenheden en de onderzoeksvragen. Ook wordt beschreven welke bronnen worden gebruikt voor het onderzoek en welke onderzoeksstrategie wordt gehanteerd. Ten slotte wordt kort stilgestaan bij de verwerking van data en bij de validiteit en de betrouwbaarheid van het onderzoek. In hoofdstuk 4 wordt verslag gedaan van de gehouden interviews in het kader van het empirisch onderzoek. Van de geïnterviewde fondsen wordt een kenschets gegeven, alsmede hun opvattingen over evaluatie. Ook wordt verslag gedaan van de door de onderzochte fondsen gehanteerde methoden van evaluatie. Op basis van de uitkomsten van het empirisch onderzoek worden vervolgens de constituerende elementen geanalyseerd en afgezet tegen het op basis van het literatuur- en vooronderzoek door de auteur geconstrueerde conceptuele model. In hoofdstuk 5 worden de resultaten van het gevoerde literatuur- en empirisch onderzoek opgesomd en worden op basis van de uitkomsten hiervan conclusies getrokken. In hoofdstuk 6 zijn de aanbevelingen opgenomen.

6

2 Literatuuronderzoek 2.1 Toelichting bij dit hoofdstuk In dit hoofdstuk worden de onderzoeksvragen beschreven en wordt verslag gedaan van de uitkomsten van het literatuuronderzoek. De auteur heeft voor de beantwoording van de onderzoeksvragen gebruik gemaakt van recente, hoofdzakelijk Nederlandse en Amerikaanse literatuur van de door de auteur gevolgde masterclasses van de MBA-opleiding op het terrein van strategie en omgeving, organisatie en management, financieel management en bedrijfskundig procesmanagement. Voorts is gebruik gemaakt van voornamelijk Nederlandse wetenschappelijke literatuur over evaluatie en hoofdzakelijk Amerikaanse wetenschappelijke literatuur over projectevaluatie door charitatieve fondsen. De uitkomsten van het literatuuronderzoek en het vooronderzoek leiden tot een selectie van kenmerken of dimensies van de kernbegrippen van het onderzoek en de verwachte relaties daartussen, dat wordt uitgewerkt in een conceptueel model. Dat model zal worden afgezet tegen het in hoofdstuk 4 beschreven empirisch onderzoek.

2.2 Onderzoeksvragen Het literatuuronderzoek levert een theoretisch kader door middel van een theoretische onderbouwing van het conceptueel model. Om deze stap te kunnen maken zal eerst vraag 1 van de centrale vraagstelling met de bijbehorende deelvragen worden beantwoord. De eerste vraag van de centrale vraagstelling luidt: -

Welke rol kan volgens de theorie evaluatiebeleid in het kader van strategische doelstellingen van charitatieve vermogensfondsen spelen met betrekking tot de door deze fondsen gefinancierde projecten?

Vanuit deze vraagstelling zijn de volgende deelvragen geformuleerd die worden beantwoord in dit hoofdstuk: 1. Wat wordt verstaan onder strategisch beleid en op welke wijze kunnen prestaties van organisaties worden vastgesteld? 2. Wat is evaluatie en welke visies en benaderingswijzen van evaluatiebeleid kunnen in het algemeen worden onderscheiden? 3. Op welke wijze kan evaluatiebeleid m.b.t. door charitatieve vermogensfondsen gefinancierde projecten bijdragen aan strategische doelstellingen van deze sector?

7

2.3 Strategisch beleid en prestatiemanagement 2.3.1 Strategisch beleid Johnson, Scholes & Whittington (2006:9) definiëren strategie als volgt: „Strategy is the direction and scope of an organisation over the long term, which achieves advantage in a changing environment through its configuration of resources and competences with the aim of fulfilling stakeholder expectations‟. Strategie omvat de strategische besturing van een organisatie. Missie en visie vormen het fundament van een strategie. De missie beschrijft de opdracht van de organisatie conform de waarden en verwachtingen van de belanghebbenden. De visie beschrijft de gewenste toekomstige staat, oftewel de ambitie, van de organisatie. Missie en visie beschrijven aldus de identiteit van een organisatie, de bestaansreden en een globaal toekomstbeeld. Een strategie concretiseert dit toekomstbeeld in termen van doelstellingen die in de gewenste situatie bereikt moeten zijn. Scenario‟s of maatregelen beschrijven vervolgens het pad waarmee de gewenste situatie bereikt kan worden. Kotler & Keller (2006:44) stellen dat om de missie te definiëren een organisatie de volgende vragen moet beantwoorden: - Wat zijn onze taken? - Wie zijn onze klanten? - Wat is van waarde voor de klant? - Wat zullen onze taken zijn? - Wat zouden onze taken moeten zijn? Volgens deze auteurs werpen succesvolle organisaties deze vragen voortdurend op en beantwoorden zij ze diepzinnig en uitputtend. Een strategie gaat in essentie om de vraag, hoe de organisatie extern waarde wil toevoegen in zijn omgeving en zich intern moet ontwikkelen om dat mogelijk te maken. Om die vraag te kunnen beantwoorden wordt vaak een analyse van sterkten, zwakten, kansen en bedreigingen („SWOTanalyse‟) uitgevoerd. Het interne analysetraject (inside-out) onderzoekt sterkten en zwakten van de managementbouwstenen mensen, middelen, structuur en cultuur. Het externe analysetraject (outside-in) onderzoekt kansen en bedreigingen door analyse van de omgeving (de markt, de klanten, de leveranciers en de bedrijfskolom) waarin de organisatie zich bevindt. Johnson, Scholes & Whittington (2006:347) hanteren de TOWS-matrix, die voortborduurt op de strategische positie die wordt samengevat door middel van een SWOT-analyse (zie tabel 1).

8

Tabel 1. Elementen van strategisch beleid (Johnson et al. 2006:347)

Mouwen (2008:39) heeft voor de non-profitsector een aangepast strategiemodel geïntroduceerd. Kern daarvan wordt gevormd door de traditionele SWOT-benadering, maar nu aangevuld met een aantal nieuwe elementen. Deze zijn ingebracht om met name de complexiteit en onzekerheid, die in de non-profitsector zo prominent aanwezig zijn, beter te accommoderen. Enkele van deze elementen zijn volledig nieuw, zoals de existentieanalyse en de strategischeruimtematrix, andere daarentegen zijn opnieuw gedefinieerd, dan wel voorzien van nieuwe, praktische instrumenten om ze beter te hanteren, zoals het missieconcept. Een eerste en onmisbaar element in elke missie is volgens Mouwen (2008:45-46) de ten principale en op strategisch niveau geformuleerde bestaansreden van de organisatie. Het gaat hierbij om de volgende vragen: -

wat is in essentie de toegevoegde waarde van de kernactiviteiten? voor wie wil de organisatie in welke termen wat betekenen? hoe wil de organisatie dat anderen haar percipiëren? welke activiteiten wil de organisatie niet (meer) uitvoeren? hoe wil de organisatie zich strategisch positioneren ten opzichte van de overheid, de markt en de burger?

Er bestaan verschillende strategiebenaderingen en -theorieën. Zij onderscheiden zich door de bij hun indeling gekozen karakteristieke parameters in het strategieproces, zoals het behaalde financiële resultaat, de complexiteit van of de onzekerheid van de werkprocessen, de mate van gehanteerde rationaliteit of de gerealiseerde procesbeheersing, dan wel de verhouding tussen de centrale en decentrale aansturing van de organisatie. Deze theorieën worden hier als bekend verondersteld. Mouwen (2008:80) geeft voor de non-profitsector de voorkeur aan een systeemtheoretische benadering, gelet op de sociaal-maatschappelijke context waarin dit soort organisaties functioneert. Hij noemt Whittington (2001) die voor de systeembenadering de volgende karakteristieken afleidt: -

beleidsmakers zijn diep geworteld in de bij de organisatie horende sociale systemen; de voor het strategieproces richtinggevende waarden en normen komen rechtstreeks voort uit de culturele voorschriften van de maatschappelijke omgeving; dit geldt zelfs voor het economisch handelen, waarvan de randvoorwaarden uiteindelijk vooral bepaald worden door de sociale context. 9

Volgens deze auteur richt de systeembenadering zich dus sterk op de verschillen in beleid ten gevolge van de verschillen in maatschappelijke stelsels en de daarin functionerende waarden- en normenpatronen. Hierbij speelt ook de maatschappelijke verantwoordelijkheid van de organisatie een grote rol. De organisatie dient zich volgens de auteur er daarbij terdege van bewust te zijn dat het in de dialoog met de omgeving lang niet altijd gaat om de feiten, maar ook om de perceptie van de feiten. Een goed communicatiebeleid is daarom ook in het kader van de strategieontwikkeling noodzakelijk. Bos, Van der Ham & Van Rooij (2005:232) stellen dat organisaties niet alleen richting moeten geven door het formuleren van een missie, maar dat ze tevens moeten vaststellen welke activiteiten moeten worden verricht, in welke activiteiten moet worden geïnvesteerd dan wel gedesinvesteerd en welke nieuwe activiteiten moeten worden verricht. Zij noemen Keuning & Eppink (2001) die onder strategisch management niet alleen het vaststellen van doelen die bereikt moeten worden verstaan, maar ook het bepalen op welke wijze deze doelen moeten worden bereikt. Daft (2007:44) noemt Kotter (1982) die stelt dat de voornaamste taak van het topmanagement is het bepalen van de doelen, de strategie en het ontwerp van de organisatie, en zo de organisatie aan een veranderende omgeving aan te passen. Mawhood (1997:135) ziet een verband met deze ontwikkelingen met het concept „new public management‟, te weten: -

focus op uitkomsten in plaats van inbreng; gedreven door doelen en niet door wetten en regels; cliënt herdefiniëren als klanten; decentralisatie van autoriteit; gebruik van de markt in plaats van bureaucratische mechanismen; katalyseren van publieke, private en vrijwillige sectoren; bekrachtigen van burgers; introduceren van private financiering.

Charitatieve fondsen beogen door middel van financiering van projecten waarde toe te voegen aan de maatschappij. Zij staan niet geïsoleerd in de wereld, integendeel. Fondsen in de filantropische sector hebben met in- en externe factoren te doen en kunnen door middel van een strategische analyse hun positie en beleid bepalen en verbeteren. Wentink (2008:21) stelt dat de druk om maatschappelijk verantwoord te handelen en om het gedrag ten opzichte van belanghebbenden in de samenleving transparanter te maken, een aantal prestatievelden in beeld brengt. Mouwen (2008:33) constateert dat in de non-profitsector het vaak ontbreekt aan een duidelijke visie op de gewenste strategische positionering en koers. In het verlengde van de missie van een fonds en als eerste stap tot concretisering daarvan kan een strategische visie worden opgesteld. Volgens Mouwen (2008:53) gaat het hierbij om concrete opvattingen over de volgende zaken: -

de gewenste toekomstige staat van de organisatie, alsmede de doelen die de organisatie wenst na te streven; de concrete ambities en de specifieke ontwikkelingsrichtingen van de organisatie; het kwaliteitsniveau en de concrete afbakening van de primaire processen en alle daaraan gerelateerde activiteiten; de gewenste perceptie van de organisatie door haar belanghebbenden en de samenleving; de wijze waarop de financiering van de diverse activiteiten dient te geschieden.

10

2.3.2 Vaststelling van prestaties In de literatuur worden meerdere begrippen gebruikt voor prestatiemanagement, zoals corporate, strategic en business performance management. Wentink (2008:18) citeert Geelen (2004:23) die stelt dat prestatiemanagement de uitvoering van de strategie van de organisatie moet beheersen „op een zodanige wijze dat continu verbeteren wordt gestimuleerd en proactief kan worden bijgestuurd, waardoor de onderneming op een duurzame wijze waarde creëert‟. Prestatiemanagement staat daarbij voor een verzameling van opvattingen, zienswijzen, methoden en technieken die het management van een organisatie gebruiken om organisatiedoelen te behalen en prestaties te optimaliseren. Volgens Wentink (2008:17) beginnen processen van prestatiemanagement op strategisch niveau met strategieontwikkeling gevoed door contextanalyse en scenarioanalyse. Daaruit worden kritieke succesfactoren en prestatie-indicatoren, doelen en acties afgeleid. Op het tactisch niveau leiden acties tot planning en budgettering, prognose van de uitvoering, verbeteren en monitoren, en beoordelen. Op operationeel niveau gaat het om processen en activiteiten. De besturing vindt dus plaats op verschillende niveaus. De strategie wordt bepaald op het strategische besturingsniveau. Deze globale uitgangspunten over de koers van de organisatie op lange termijn zijn kaderstellend voor de lagere tactische en operationele besturingsniveaus. Op deze niveaus wordt de strategie verder verfijnd en concreet gemaakt. Wentink noemt Geelen (2004:18) die stelt dat het daarbij de crux is om strategische sturingsinformatie te integreren in de planning- en beheersingscyclus. Er zijn verschillende methoden die hierbij ondersteuning kunnen bieden, zoals de Balanced Scorecard en het INK-model, beide genoemd door Ahaus, Diepman, Van der Lugt & Beuving (1998). Organisaties leveren volgens Wentink (2008:20) een betere prestatie als zij: -

een hoge productiviteit realiseren, met name een hogere arbeidsproductiviteit; kwaliteit tonen, zowel in producten als processen; flexibel zijn, zodat zij hun organisatie snel kunnen omzetten en omschakelen als de (markt)omgeving en technologische ontwikkelingen daarom vragen; innovatief zijn in producten, processen en systemen, ook in hun sociale systemen.

Het strategische besturingsproces geeft de strategiekaders in de vorm van een plan aan lagere besturingsniveaus door. Deze besturingsniveaus rapporteren op hun beurt terug over de voortgang en eventuele afwijkingen. Prestatiemanagement brengt met zich mee dat het management wordt afgerekend op de prestaties van de organisatie. Het management tracht de organisatie zodanig te sturen dat de vereiste resultaten ook worden bereikt. Hierbij worden doelstelling van de organisatie omgezet in kritieke prestatie-indicatoren die moeten worden gemeten, bewaard, bewerkt en verspreid. Wentink (2008:21) onderscheidt naast de organisatorische component een gedragsmatige component die betrekking heeft op het realiseren van een zodanige houding bij alle organisatieleden, zodat hun dagelijks handelen prestatiegedreven is en gericht is op het realiseren van de doelstellingen van de organisatie. De meest toegepaste managementsystemen die prestatiemanagement als uitgangspunt nemen zijn de Balanced Scorecard en het INK-model, zoals eerder genoemd. Deze modellen hebben grote invloed op de theorie en praktijk van integraal kwaliteitsmanagement, gericht op het verbeteren van prestaties van organisaties en worden hier als bekend verondersteld. 11

Mouwen (2006:118-119) stelt dat er een fundamenteel probleem in de non-profitsector speelt, namelijk het gemis aan representatieve performanceparameters en sturingsconcepten die niet alleen de resultaten, maar ook de effecten representeren. Deze constatering is zowel van toepassing op de interne sturing in de organisatie, alsook op de sturing van het stelsel of domein waartoe de organisatie behoort. Mouwen hoopt dat via de doorontwikkeling van moderne rapportage- en kwaliteitssystemen stappen op weg gezet kunnen worden. Tot het zover is zal volgens hem moeten worden gewerkt met redelijk beperkte sturingssystemen. Wentink (2008:35) noemt als kritieke succesfactoren voor effectief gebruik van prestatiemeting : cultuur, mensen, technologie en regelgeving. Metingen moeten zijn verbonden met strategie. Acties moeten in lijn zijn met de metingen. De mensen moeten een adequate training in het gebruik van een meetsysteem hebben en over vaardigheden beschikken om met het meetsysteem te kunnen werken. Informatietechnologische ondersteuning is noodzakelijk voor een goed functionerend prestatiemeetsysteem. Er moet bij het samenstellen van de prestatie-indicatoren vaak rekening gehouden worden met wettelijke criteria en regelgeving. Prestatiemeting moet zijn gebaseerd op vertrouwen. Er moet overeenstemming zijn over de functies van de metingen en voor welke fora zij dienen. Wentink (2005:36) noemt Meyer (2002:1-5) die de vraag stelt of prestaties van een project wel accuraat kunnen worden gemeten. Hij verwijst naar drie dilemma‟s, namelijk: -

Prestaties in het verleden zijn geen garanties voor prestaties in de toekomst. Projecten kunnen complex zijn en kunnen prestatiemaatstaven hanteren die niet altijd consistent ten opzichte van elkaar zijn. Er is een kloof tussen wat we willen meten en wat we kunnen meten.

Meyer onderscheidt vier typen van prestatie-indicatoren, te weten: -

Indicatoren die betrekking hebben op de marktwaarde (zoals „total shareholders return‟). Financiële indicatoren (bijvoorbeeld „return on investment‟). Kostenindicatoren (bijvoorbeeld „activity based costing‟). Niet-financiële maatstaven (zoals „social return on investment‟).

Meyer stelt dat prestatiemanagement suboptimaal is als er onvoldoende ruimte is voor gesprekken met medewerkers over de beoordeling van prestaties en als er weerstand en angst voor meten van prestaties bestaat en men een bijltjesdag vreest als prestaties transparant worden. De Bruijn (2006:29-46) noemt perverse leereffecten van prestatiemeting. Deze betreffen interventies als zich verschillen tussen werkelijke prestaties en streefwaarden voordoen, met name door het manipuleren en knoeien met de werkelijke prestaties of door prestaties te meten van weinig ter zake doende activiteiten. Een andere manier van pervers gebruik is door alleen goed presterende eenheden te volgen en de slecht presterende eenheden uit te sluiten, zodat de gemiddelde prestatie hoog is. Meten en belonen kan strategisch gedrag uitlokken. Prestatiemeting is gemakkelijker als producten en processen eenduidig en gestructureerd zijn en als de doorlooptijd van processen kort is. Wentink (2008:22) stelt dat causaliteiten (relaties tussen inspanning en resultaat) vaak onbekend zijn, omstreden en niet objectief.

12

De Bruijn (2006:23) wijst erop dat de kwaliteit van prestaties van non-profitorganisaties moeilijk is te bepalen met behulp van prestatie-indicatoren. Aandacht voor kwantiteit verdrijft nogal eens die voor kwaliteit. Prestatiemeting in professionele organisaties is problematisch; het primaire proces vergt expertise die moeilijk te standaardiseren is. Producten van non-profitorganisaties zijn vaak meervoudig; zij doen recht aan diverse waarden. De producten van deze organisaties komen dikwijls in stand met anderen en zijn doorgaans met elkaar vervlochten. Als eenzelfde product in verschillende contexten een verschillende betekenis kan hebben, geeft prestatiemeting een onjuist beeld van de werkelijkheid. Professionalisering is een dynamisch proces; er wordt steeds nieuwe expertise gecreëerd waardoor prestatie-indicatoren aan slijtage onderhevig kunnen zijn.

2.4 Definities, visies en benaderingswijzen van projectevaluatiebeleid Evaluatiebeleid is beleid dat gericht is op een waardeschatting of waardebepaling. Door evaluatiebeleid plaatst een organisatie informatie over bepaalde situaties of bepaalde processen in het licht van maatstaven die zij aanlegt. Dit stelt de organisatie in staat haar positie tegenover de situaties of de processen te bepalen. Het vinden van die positie is op zijn beurt weer een voorwaarde voor een weloverwogen handelen. Het begrip evaluatiebeleid kan op vele wijzen worden gedefinieerd. Doermann (1993:xiv) stelt dat het begrip „evaluatiebeleid‟ bijna net zoveel betekenissen heeft als het aantal mensen dat het erover heeft en dat deze vele meningen kunnen leiden tot verwarring over de uitvoerbaarheid van evaluaties door charitatieve fondsen. Castle (1991:3) citeert Patton (1986) die evaluatiebeleid als volgt definieert: „the systematic collection of information about the activities, characteristics and outcomes of programs for use by specific people to reduce uncertainties, improve effectiveness and make decisions with regard to what those programs are doing and affecting‟. Freriks (2007) definieert evaluatiebeleid als volgt: -

beleid met betrekking tot gedocumenteerde waardering en analyse, zo objectief mogelijk, van het ontwerp, de uitvoering, bedoelde en onbedoelde resultaten van lopende of afgeronde programma‟s of projecten; gebaseerd op empirisch onderzoek en systematische dataverzameling; met uitspraken over relevantie, doeltreffendheid, doelmatigheid en duurzaamheid van de activiteiten; waarin aanbevelingen worden gedaan voor toekomstige verbeteringen door middel van feedbackmechanismen.

Projectevaluatiebeleid is van belang, omdat zij onmisbaar is voor het bijsturen van het beleid. Wanneer uit evaluatie blijkt dat bepaalde doeleinden niet worden bereikt, rijst de vraag hoe dit valt te verklaren. Een volgende vraag is hoe het beleid moet worden bijgestuurd om te zorgen dat de doeleinden wel worden bereikt. Projectevaluatie kan helpen zulke vragen te beantwoorden. Kehrer (1993:1) is van mening dat projectevaluatiebeleid antwoorden kan geven op de volgende vragen: - vragen over doelbereiking; - vragen over implementatie, uitvoerbaarheid, doeltreffendheid en kosten; - vragen over kwaliteit, nut, aanvaardbaarheid en waarde. 13

Boekholdt (1995:11) noemt Donker (1990) volgens wie evaluatie een belangrijke methodiek is om de kwaliteit van projecten te bewaken en te bevorderen. Door het systematisch verzamelen van gegevens over (aspecten van) het functioneren van projecten en door het toetsen hiervan aan de afgesproken criteria, kunnen impulsen worden gegeven aan verbetering van projecten en kan extern worden verantwoord hoe projecten functioneren, wat de resultaten zijn en hoe aan verbetering wordt gewerkt. Met financiers kunnen bij het contracteren over projecten afspraken worden gemaakt over de aard en inhoud van evaluatie. Zij worden daarmee deelgenoot in de kwaliteitszorg van projecten. Op deze wijze kan evaluatiebeleid zowel een interne als een externe functie als methode van kwaliteitszorg vervullen. Boekholdt (1995:10) noemt als belangrijk aangrijpingspunt voor kwaliteitsbeleid het ontwikkelen en vaststellen van basiskwaliteitscriteria. Zij kunnen betrekking hebben op criteria zoals visie, deskundigheid, multidisciplinariteit, cliëntgerichtheid, maar ook op verantwoording en financieel beheer, personeel organisatie en veiligheid en op criteria met betrekking tot de kwaliteitszorg zelf. Chelimsky (1997:10) kiest een invalshoek waarbij de verschillende evaluatiedoelen kunnen worden samengevat in drie algemene perspectieven: -

evaluatie om verantwoording af te leggen (bijvoorbeeld de meting van resultaten of de doelmatigheid van een project); evaluatie om te ontwikkelen (bijvoorbeeld de beschikbaarstelling van evaluatieonderzoek om een interventiemethode of een project te verbeteren); evaluatie om kennis te vermeerderen (bijvoorbeeld het verwerven van een diepgaander begrip van een specifiek aspect of terrein).

Deze drie perspectieven heeft zij uitgewerkt in negen dimensies, te weten: -

doel van de evaluatie; noodzaak van evaluatie om doel te bereiken; kenmerkend gebruik van evaluatie; de rol van de evaluator ten opzichte van de cliënt; onafhankelijkheid van evaluatie; pleitbezorging door evaluatie; aanvaardbaarheid van evaluatie voor cliënten en gebruikers; objectiviteit van evaluatie; positie van de evaluatie t.o.v. beleidsdebat.

Zie tabel 2 op de volgende bladzijde.

14

Tabel 2. De drie perspectieven van evaluatie en hun respectievelijke posities ten opzichte van negen dimensies

2.5 Bijdrage van projectevaluatiebeleid aan strategische doelstellingen Afhankelijk van de eigen ambitie van fondsen kan een fonds zich ontwikkelen in de mate waarin het zijn maatschappelijk rendement weet te betrekken in zijn bedrijfsvoering. In een vervolgstap kan maatschappelijk rendement ook een externe functie krijgen, bijvoorbeeld om belanghebbenden te informeren of om verantwoording af te leggen. In laatste instantie kan maatschappelijk rendement ook worden ingezet om in samenspraak met belanghebbenden het fonds te besturen („governance‟). Deuten & De Kam (2006:29) noemen een aantal bouwstenen voor het verkrijgen van inzicht in het maatschappelijk rendement van een fonds: -

de organisatiedoelen: wat wil het fonds? de maatschappelijke effecten: wat wil het fonds bewerkstelligen in de maatschappij? hoe kunnen de gewenste effecten op basis van een gedegen veranderingstheorie worden vertaald in vereiste resultaten? de investering: wat kost dat? de activiteiten: welke projecten moeten worden uitgevoerd en hoe moet de bedrijfsvoering ervan eruit zien?

15

Om over deze activiteiten verantwoording af te leggen, kunnen dezelfde bouwstenen worden gehanteerd, maar dan in omgekeerde volgorde. Met de kennis die hiermee is opgedaan, kunnen de organisatiedoelen opnieuw tegen het licht worden gehouden en kunnen de overige bouwstenen opnieuw worden doorlopen, al dan niet met belanghebbenden, om zo te komen tot projecten die optimaal zijn afgestemd op de maatschappelijke wensen. Deuten & De Kam (2006:30) onderscheiden hierbij drie impulsen om te komen tot meer maatschappelijk rendement: -

vaststellen van de gewenste en haalbare bijdrage aan de maatschappij; ontdekken van het causale verband tussen de benodigde projecten en de gewenste maatschappelijke bijdrage; bouwen aan een eigen rendementssysteem.

Projectevaluatiebeleid is volgens deze auteurs een belangrijk middel om te kunnen boordelen welke projecten daadwerkelijk bijdragen aan de missie. Op grond van deze beoordeling kan vervolgens worden besloten om geen, minder of juist meer middelen te besteden aan te onderscheiden projecten. Net als andere maatschappelijke ondernemers ondervinden non-profitorganisaties druk vanuit de samenleving om het maatschappelijk rendement zichtbaar te maken. Er is veel kritiek op het beleid en uitvoering op het terrein van zorg en welzijn. Er worden regelmatig blunders gemaakt, zoals kostenoverschrijdingen en niet of niet geheel behaalde doelen. De toegenomen mediaaandacht hiervoor verhoogt de druk op non-profitorganisaties om zich te verantwoorden en zich transparant en controleerbaar op te stellen. Charitatieve vermogensfondsen hebben zich aan dit gewoel redelijk kunnen onttrekken. Zij werven geen fondsen en behoeven niet te voldoen aan allerlei eisen die wel gelden voor fondswervende instellingen. Standaarden, referentie- of ijkkaders („benchmarks‟), richtlijnen en keurmerken zijn veelal afwezig of hebben een strikt vrijblijvend karakter. De Vereniging van Fondsen in Nederland (FIN), waarvan veel charitatieve vermogensfondsen lid zijn, stelt in haar gedragscode3 dat haar leden gehouden zijn het beleid met betrekking tot mandaat, programma‟s en giften helder en begrijpelijk te formuleren, regelmatig te evalueren en eventueel te herzien. Een verdere operationalisatie hiervan ontbreekt echter. De Belastingdienst eist van algemeen nut beogende instellingen dat zij een actueel beleidsplan hebben dat inzicht geeft in de manier waarop de doelstelling wordt uitgevoerd. In een convenant met het Interkerkelijk Contact in Overheidszaken (CIO) is vastgelegd dat de kerkgenootschappen ten aanzien van hun onderdelen zullen letten op de juiste toepassing van deze regeling; elk kerkgenootschap kent vormen van verantwoording en toezicht. Ook hier ontbreekt verdere operationalisatie. In toenemende mate is de charitatieve sector zich bewust van haar maatschappelijke taak. Een belangrijk element in het maatschappelijk ondernemen van charitatieve vermogensfondsen is de relatie tussen het fonds en de samenleving. Hierbij gaat het niet zozeer om het afleggen van verantwoording, als wel het om het in overleg met belanghebbenden bepalen van gewenste maatschappelijke prestaties, dat wil zeggen prestaties die zijn gericht op een positief

3

http://www.verenigingvanfondsen.nl, geraadpleegd op 6 juni 2009

16

maatschappelijk effect. Dit overleg moet ertoe leiden dat het toekenningenbeleid van het fonds optimaal aansluit bij de maatschappelijke doelstelling van het desbetreffende fonds. Voor deze fondsen is deze interactie met de samenleving cruciaal om als maatschappelijk ondernemer te functioneren. Hierbij moet in ogenschouw worden genomen dat het strategisch beleid van fondsen sterk kan differentiëren. Het is een eigen keuze van de fondsen om al dan niet verantwoording af te leggen aan belanghebbenden. De belangstelling bij charitatieve vermogensfondsen om zicht te krijgen op het maatschappelijk rendement neemt toe, hetgeen zich onder andere uit in door de FIN georganiseerde themabijeenkomsten over dit onderwerp. Charitatieve vermogensfondsen vragen zich steeds vaker af welke meerwaarde hun investeringen oplevert en hoe dat te meten is. Daarbij is de drang naar zicht op en verbetering van het maatschappelijk rendement inherent aan de ontwikkeling van charitatieve vermogensfondsen naar maatschappelijk ondernemerschap. Franssen & Scholten (2007:99) noemen Orosz (2004) die onderscheid maakt tussen de volgende typen fondsen: -

Passieve fondsen Passieve fondsen zijn fondsen die de beste aanvragen die hen bereiken financieren. Zij behandelen met name aanvragen die hen per post of e-mail bereiken. In hun jaarverslagen noemen zij doorgaans hun beoordelingscriteria. Systematisch evaluatie van gesteunde projecten en eigen programma‟s heeft meestal geen prioriteit.

-

Proactieve fondsen Proactieve fondsen zijn fondsen die de beste projecten die ze kunnen vinden financieren. Zij communiceren actiever dan passieve fondsen, onder andere via jaarverslagen, websites, brochures en folders. Proactieve fondsen proberen via hun medewerkers goede projecten te vinden. Vaak formuleren proactieve fondsen programma‟s of thema‟s waarvoor zij donaties beschikbaar stellen. Dikwijls stellen zij belang in het actief vergaren van kennis via hun netwerk en delen zij opgedane kennis met anderen.

-

Voorschrijvende of gebiedende fondsen Voorschrijvende of gebiedende fondsen formuleren specifieke doelstellingen en criteria en verwachten van hun medewerkers dat zij duidelijk afgebakende werkgebieden vaststellen en hun activiteiten daarop afstemmen. Aanvragen dienen in een strak format te worden aangeleverd. Vaak nodigt men organisaties uit een aanvraag („request for proposal‟) in te dienen. Dit soort fondsen wordt sterk beleidsmatig gerund.

Voor effectieve fondsen is de missie de basis. Zij biedt in- en externe belanghebbenden een duidelijk begrip van de bestaansreden van het desbetreffende fonds. De expliciete maatschappelijke missie van fondsen dient de belanghebbenden richting en inspiratie te geven. Het aantal belanghebbenden bij fondsen is vaak groter dan bij een commerciële onderneming. In dat complexe netwerk is het des te meer van belang de focus helder te krijgen en te houden. Tegelijkertijd is het vertalen van een missie in een donatiebeleid met concrete programma‟s of thema‟s geen sinecure. De missie is de opdracht van het fonds. Het proces van waardetoevoeging begint en eindigt hier. Evaluaties van projecten kunnen informatie opleveren of de missie een stap dichterbij is 17

gebracht. De literatuur over missies en visies van organisaties is omvangrijk en wordt hier als bekend verondersteld. Een missie moet worden vertaald in concrete, meetbare doelen. Kasturi Ragan (2004) stelt dat in de praktijk in binnen- en buitenland dit vaak wordt nagelaten. Het doel van veel fondsen en van de door deze fondsen gefinancierde projecten is het bewerkstelligen van een maatschappelijke verbetering. De waarde die een project toevoegt, wordt ook wel de „impact‟ genoemd. Onder waardetoevoeging wordt in dit verband bedoeld de effecten („outcome‟) van een project minus datgene wat ook zonder dat project zou zijn bereikt. Voor fondsen is het daarom van belang de volgende vragen te kunnen beantwoorden: -

Welke waarde wil het project toevoegen? Met welk (meetbaar) resultaat wil het project deze waardetoevoeging realiseren? Welke resultaten zijn duurzaam en op termijn gerealiseerd dankzij het project? Wat zou er zijn gebeurd als het project er niet was? Wat mist de wereld zonder dit project? Wat is het alternatief?

Schalock (2001:7) noemt vijf vragen die vaak worden gesteld door fondsen: -

Welke uitkomsten levert het project op voor de belanghebbenden (programma-evaluatie)? Bereikt het project zijn doelen en beoogde resultaten (evaluatie van effectiviteit)? Is het project beter dan andere projecten (evaluatie van waardetoevoeging)? Werkt het beleid (beleidsevaluatie)? Hoe kan informatie over de uitkomsten worden gebruikt om het project of het beleid te verbeteren (evaluatie van bruikbaarheid)?

Kramer et al. (2007:5) stellen dat evaluatiebeleid de filantropische sector het beste van dienst kan zijn als het leidt tot betere besluitvorming en grotere doeltreffendheid. Charitatieve fondsen hebben er belang bij om te weten welke mogelijkheden evaluatiebeleid heeft, welke verschillende doelen zij kan dienen en in welke omstandigheden zij relevant is, opdat er een benaderingswijze kan worden gekozen die het beste past bij de informatiebehoefte. De traditionele evaluatieaanpak van charitatieve fondsen in de Verenigde Staten is volgens Kramer et al. een impactstudie van gefinancierde projecten, gericht op verantwoording en op de bevordering van disseminatie van goede praktijkvoorbeelden. Het vaststellen van de impact kan echter een kostbare en tijdrovende onderneming zijn. Deze traditionele aanpak is gebaseerd op een specifieke veranderingstheorie, te weten: de charitatieve fondsen ontdekken nieuwe oplossingen voor de belangrijkste voorzaken van maatschappelijke problemen, zij testen deze op kleine schaal, bewijzen hun werkzaamheid en laten het vervolgens aan de overheid of andere financiers over de projecten te dissemineren en uit te breiden. Deze theorie is breed geaccepteerd, maar wordt zelden in de praktijk gebracht. Fondsen gebruiken in toenemende mate alternatieve methoden om maatschappelijk rendement te bereiken, zoals versterking („empowerment‟) van organisaties die projecten uitvoeren, het creëren van publiekprivate samenwerkingsrelaties, het doen van missiegerelateerde investeringen in maatschappelijk verantwoorde ondernemingen en pleitbezorging om de publieke opinie te beïnvloeden. Deze nieuwe werkwijze vereist een andere aanpak van evaluatie. De praktijk van het evaluatiebeleid van de charitatieve sector in de Verenigde Staten verschuift naar meer tijdige en pragmatische processen om toekomstgerichte informatie te verkrijgen die zowel de fondsen als de projecten in staat stelt voortdurend verbeteringen te bewerkstelligen. De vraag is niet meer 18

„Wat is de waardetoevoeging van onze financiële bijdragen?‟ maar „Wat moeten we weten om onze doeltreffendheid te vergroten?‟. Kramer et al. (2007:5) noemen vijf principes voor effectief evaluatiebeleid door charitatieve fondsen: -

Creëer een organisatiecultuur en werkprocessen van een fonds die noodzakelijk zijn om informatie uit evaluatie om te zetten in inzicht en vervolgens in actie. Betrek direct de belanghebbenden bij de evaluatie van het project. Geef de regie van de evaluatie aan de verantwoordelijken voor het project. Kies de minste en simpelste maatregelen. Gebruik doelgerichte en inspirerende communicatiemethoden.

Wanneer het onderwerp van evaluatiebeleid de gevolgen van een project betreft, zal een groot deel van de analyse zich moeten richten op de vraag in hoeverre de projecten de oorzaak zijn geweest van bepaalde veranderingen, met andere woorden van mogelijke gevolgen. Het antwoord op deze vraag veronderstelt een onderzoek naar de causale relatie tussen oorzaken en gevolgen, hetgeen zeer moeilijk te onderzoeken is. Bressers & Hoogerwerf (1995:28) stellen dat de aanname dat een aangetoonde samenhang tussen twee verschijnselen een causale relatie is, in vrijwel alle gevallen moet worden gebaseerd op het bestaan van een theorie waarin deze samenhangen juist worden voorspeld en causaal worden geïnterpreteerd. Verscheidene auteurs wijzen in dit verband op de noodzaak om bij het doen van evaluatieonderzoek gebruik te maken van een zogenaamd impactmodel. In zo‟n impactmodel worden de causale relaties tussen het toepassen van middelen en veranderingen geëxpliciteerd. In dit verband kan een onderscheid worden gemaakt tussen veranderingstheorie en interventielogica. Een veranderingstheorie veronderstelt een brede visie op een gewenste verandering, waarbij zorgvuldig wordt onderzocht welke vooronderstellingen ten grondslag liggen aan elke activiteit die moet bijdragen aan deze verandering. Ook moeten de voorwaarden die bijdragen aan (of in de weg staan van) de realisatie van de gewenste verandering worden onderzocht. Een interventielogica is een meer praktische zienswijze over de relatie tussen interventies en resultaten.

2.6 Conceptueel model Het globale conceptueel model ziet er, na toevoeging van dimensies, variabelen en relatiepatronen zoals die naar voren zijn gekomen op basis van het gehouden literatuuronderzoek, als volgt uit (zie figuur 2 op de volgende bladzijde).

19

Figuur 2. Globaal conceptueel model met dimensies, variabelen en relatiepatronen Gelet op het niet goed werkbare aantal relaties is voor het empirisch onderzoek een selectie gemaakt, ingegeven door de doelstelling van het onderzoek. Deze variabelen zijn gekozen omdat zij naar verwachting het meeste bijdragen aan de beantwoording van de vraagstelling en aansluiten op de bij de auteur aanwezige kennis en belangstelling ter zake. De auteur gaat op basis van het literatuur- en vooronderzoek ervan uit dat de strategische doelstellingen, missie en visie en stuurinformatie een sterke invloed hebben op het doel en de stijl van projectevaluatie en de soort ervan. Kennis van evaluatiemethoden en de mate van proactiviteit van het fonds, alsmede het belang dat wordt gehecht om als fonds te leren en te groeien, hebben volgens de auteur vermoedelijk een positief effect op de totstandkoming en implementatie van projectevaluatie. De beschikbaarheid van financiën heeft volgens de auteur een additionele invloed. Kennis van evaluatiemethoden en een prestatiegerichte attitude, alsmede beschikbare middelen hebben een additionele invloed en zijn daarmee te kenschetsen als aanvullende onafhankelijke, respectievelijk interveniërende variabelen. Het definitieve conceptueel model met vermelding van effecten ziet er als volgt uit (figuur 3). 20

Dit model wordt afgezet tegen het te verrichten empirisch onderzoek, waarna toetsing plaatsvindt van de hierboven beschreven uitgangspunten van de auteur.

Figuur 3. Definitief conceptueel model Het empirisch onderzoek is primair gericht systematisch toe te werken naar de beantwoording van de onderzoeksvragen. De auteur heeft in dit verband meer affiniteit met een kwalificerende en interpreterende benadering, waarbij vooral verbaal en beschouwend wordt gerapporteerd. Dit heeft ook te maken met de aard van het onderzoeksveld. Gezien het relatief gesloten en vertrouwelijke karakter van deze sector heeft een persoonlijke, relationele benadering de voorkeur, ook bij de informanten van de onderzoekseenheden. Mede gelet hierop draagt het onderzoek een kwalitatief karakter, waarbij het aantal onderzoeksheden beperkt is tot dertien charitatieve vermogensfondsen.

2.7 Samenvatting van dit hoofdstuk Strategie omvat de strategische besturing van een organisatie. Missie en visie vormen het fundament van een strategie. De missie beschrijft de opdracht van de organisatie conform de waarden en verwachtingen van de belanghebbenden. De visie beschrijft de gewenste toekomstige staat, oftewel de ambitie, van de organisatie. Missie en visie beschrijven aldus de identiteit van een organisatie, de bestaansreden en een globaal toekomstbeeld. Een strategie concretiseert dit toekomstbeeld in termen van doelstellingen die in de gewenste situatie bereikt moeten zijn. Scenario‟s of maatregelen beschrijven vervolgens het pad waarmee de gewenste situatie bereikt kan worden.

21

Prestatiemanagement staat voor een verzameling van opvattingen, zienswijzen, methoden en technieken die het management van een organisatie gebruiken om organisatiedoelen te behalen en prestaties te optimaliseren. Processen van prestatiemanagement beginnen op strategisch niveau met strategieontwikkeling gevoed door contextanalyse en scenarioanalyse. Daaruit worden kritieke succesfactoren en prestatie-indicatoren, doelen en acties afgeleid. Op het tactisch niveau leiden acties tot planning en budgettering, prognose van de uitvoering, verbeteren en monitoren, en beoordelen. Op operationeel niveau gaat het om processen en activiteiten. Projectevaluatiebeleid is beleid dat gericht is op een waardeschatting of waardebepaling. Door projectevaluatiebeleid plaatst een organisatie informatie over projecten in het licht van maatstaven die zij aanlegt. Dit stelt de organisatie in staat haar positie tegenover deze projecten te bepalen. Het vinden van die positie is op zijn beurt weer een voorwaarde voor een weloverwogen handelen. Afhankelijk van de eigen ambitie van fondsen kan een fonds zich ontwikkelen in de mate waarin het zijn maatschappelijk rendement weet te betrekken in zijn bedrijfsvoering. In een vervolgstap kan maatschappelijk rendement ook een externe functie krijgen, bijvoorbeeld om belanghebbenden te informeren of om verantwoording af te leggen. Projectevaluatiebeleid is een belangrijk middel om te kunnen boordelen welke projecten daadwerkelijk bijdragen aan de missie. Op grond van deze beoordeling kan vervolgens worden besloten om geen, minder of juist meer middelen te besteden aan te onderscheiden projecten. De auteur gaat op basis van het literatuur- en vooronderzoek ervan uit dat de strategische doelstellingen, missie en visie en stuurinformatie een sterke invloed heeft op het doel en de stijl van het projectevaluatiebeleid. Kennis van evaluatiemethoden en de mate van proactiviteit van het fonds, alsmede het belang dat wordt gehecht om als fonds te leren en te groeien, hebben volgens de auteur vermoedelijk een positief effect op de totstandkoming en implementatie van evaluatiebeleid. De beschikbaarheid van financiën heeft volgens de auteur een additionele invloed. Het definitieve conceptueel model zal worden afgezet tegen het te verrichten empirisch onderzoek, waarna vergelijking zal plaatsvinden van de hierboven beschreven uitgangspunten van de auteur.

22

3 Onderzoeksmethodologie 3.1 Toelichting bij dit hoofdstuk In dit hoofdstuk wordt een beschrijving gegeven van de methode van het empirisch onderzoek, de bij het empirisch onderzoek betrokken onderzoekseenheden en de onderzoeksvragen. Ook wordt beschreven welke bronnen worden gebruikt voor het onderzoek en welke onderzoeksstrategie wordt gehanteerd. Ten slotte wordt kort stilgestaan bij de verwerking van data en bij de validiteit en de betrouwbaarheid van het onderzoek.

3.2 Onderzoeksmethode Het onderzoek is praktijkgericht en kwalitatief van aard. In het conceptueel model gaat het om de relaties tussen te selecteren kenmerken of dimensies van de kernbegrippen van het onderzoek, te weten strategisch beleid en projectevaluatiebeleid. Hierbij wordt strategisch beleid als onafhankelijk variabele beschouwd en projectevaluatiebeleid als afhankelijke variabele. Met het onderzoek wordt beoogd te komen tot aanbevelingen voor het bestuur van het Sint Laurensfonds met betrekking tot het ontwikkelen van projectevaluatiebeleid. Het onderzoek is volgens de interventiecyclus, zoals gedefinieerd door Verschuren & Doorewaard (2007:49), te kenschetsen als een probleemanalytisch onderzoek. In dit stadium van de interventiecyclus gaat het erom een probleem onder de aandacht van belanghebbenden te brengen. Het onderzoek moet duidelijk maken wat precies het probleem is, waarom het een probleem is en van wie het probleem is.

3.3 Onderzoekseenheden De onderzoekseenheden zijn de onderzochte charitatieve vermogensfondsen. In de maanden oktober en november 2009 zijn informanten van dertien fondsen geïnterviewd, te weten: -

Adessium Foundation Bernard van Leer Foundation Fonds 1818 Fonds NutsOhra Fonds Sluyterman van Loo Instituut GAK K.F. Hein Fonds Levi Lassen Noaber Foundation Oranje Fonds Skanfonds Start Foundation VSBfonds

Per dag worden niet meer dan twee interviews gehouden. Elk interview duurt circa twee uren. 23

3.4 Onderzoeksvragen Het onderdeel van de centrale vraagstelling dat betrekking heeft op het empirisch onderzoek is als volgt geoperationaliseerd met behulp van de volgende onderzoeks- of deelvragen: o Welke opvattingen hebben de te onderzoeken charitatieve vermogensfondsen over evaluatie van door deze fondsen gefinancierde projecten? o Welke methoden hanteren de te onderzoeken charitatieve vermogensfondsen bij hun projectevaluatiebeleid? o In hoeverre stemmen de visies en benaderingswijzen van de te onderzoeken charitatieve vermogensfondsen met elkaar overeen en met de in de literatuurstudie genoemde visies en benaderingswijzen met betrekking tot projectevaluatiebeleid?

3.5 Onderzoeksstrategie Het empirisch onderzoek heeft een smal domein, bestaande uit dertien charitatieve vermogensfondsen. De benadering is arbeidsintensief en kent meer diepte dan breedte. Dit is een passende strategie voor dit onderzoek gelet op de aard en cultuur van charitatieve vermogensfondsen waarbij aan een persoonlijke benadering op basis van bestaande relaties de voorkeur wordt gegeven. Bij de dataverzameling voor het empirisch onderzoek is gebruik gemaakt van methodentriangulatie, te weten een combinatie van semigestructureerde interviews en een inhoudsanalyse van tekstueel materiaal, zoals beleidsdocumenten. Het gaat hierbij om documenten over strategie, visie en missie, ambitie, meerjarenbeleid, evaluatiebeleid en dergelijke, die zijn opgevraagd voorafgaand aan de interviews (zie bijlage 1). Voor zover deze documenten beschikbaar zijn gesteld, zijn zij geanalyseerd op inhoud met betrekking tot de in de vragenlijst (zie bijlage 2) genoemde onderwerpen. Voor de beantwoording van de deelvragen op het terrein van de empirie zijn deskundigen van dertien charitatieve vermogensfondsen face-to-face geïnterviewd op locatie. Interviewen is de aangewezen dataverzamelingsmethode wanneer attitudes, opinies of kennis onderwerp van onderzoek zijn. De interviews hadden ten doel kennis en gegevens op te leveren die een antwoord geven op de gestelde vragen. Omdat er geen bestaande, gevalideerde, vragenlijst beschikbaar is, is een eigen vragenlijst ontworpen. Bij de samenstelling van de vragenlijst is aangesloten op de uitkomsten van het gevoerde voor- en literatuuronderzoek. Deze onderzoeken hebben geleid tot attenderende begrippen zoals beschreven in het conceptueel model die richtinggevend kunnen zijn bij het empirische onderzoek en behulpzaam zijn bij de samenstelling van de vragenlijst voor de af te nemen interviews. De vijf kernbegrippen, strategisch beleid, projectevaluatiebeleid, kennis van evaluatiemethoden, prestatiegerichte attitude en beschikbaarheid van middelen, vormden de leidraad van de interviewvragen. De interviewvragen staan vermeld in bijlage 2 en zijn als volgt gerubriceerd: -

Persoonsgegevens Organisatiegegevens/beschikbaarheid van middelen Strategisch beleid 24

-

Prestatiegerichte attitude Projectevaluatiebeleid Evaluatiemethode

De vragenlijst voor de interviews is gebaseerd op de gevonden resultaten uit het literatuuronderzoek. Elke geïnterviewde heeft dezelfde vaste open vragen gekregen, waardoor de interne validiteit en geldigheid van het onderzoek is gewaarborgd. De inhoudsanalyse heeft betrekking op kennis- en gegevensbronnen. Bij kennisbronnen gaat het over de aanwezigheid en het functioneren van strategisch en projectevaluatiebeleid van de organisaties van de informanten, blijkend uit documenten op het terrein van strategisch beleid en projectevaluatiebeleid, voor zover deze beschikbaar zijn gesteld. Bij gegevensbronnen gaat het om zaken als ervaringen en opvattingen ter zake van de informanten. De steekproef is selectief ofwel strategisch; fondsen zijn geselecteerd uit een opgave van de Vereniging van Fondsen in Nederland (FIN) van de 25 grootste charitatieve vermogensfondsen in Nederland op basis van de veronderstelling dat deze vermogensfonds mogelijk meer ervaring hebben met projectevaluatie dan kleinere fondsen.

3.6 Dataverwerking Op basis van een literatuur- en vooronderzoek naar strategisch beleid en projectevaluatie, is een conceptueel model ontwikkeld. Dit conceptueel model is de gevisualiseerde weergave van geselecteerde kernbegrippen en onderlinge relaties van het theoretisch kader. De inhoud van de begrippen is de basis voor de vragenlijst van de te houden interviews met sleutelfiguren van een beperkt aantal charitatieve vermogensfondsen in Nederland die reeds enige ervaring hebben met projectevaluatie. Bij het houden van interviews voor het empirisch onderzoek is gebruik gemaakt van opnameapparatuur. De antwoorden op de in de interviews gestelde vragen zijn tijdens het interview genoteerd door zowel de auteur als door Paul van Mansum, een collega van de auteur. De door de geïnterviewde beschikbaar gestelde documenten zijn vastgelegd. De uitkomsten van de interviews zijn aan de hand van de topics gerubriceerd en met elkaar vergeleken, hetgeen heeft geleid tot beantwoording van de deelvragen. Vervolgens is het referentiesysteem van het conceptueel model vergeleken met de objectsystemen van het empirisch onderzoek en zijn conclusies en aanbevelingen geformuleerd.

3.7 Validiteit en betrouwbaarheid Validiteit zegt iets over de inhoud: wordt er gemeten wat de bedoeling is? Bij validiteit wordt ook wel onderscheid gemaakt tussen interne en externe validiteit (Verschuren & Doorewaard, 2007:139). Interne validiteit is de mate waarin de conclusies van het onderzoek geldig zijn voor de onderzoeksgroep. Externe validiteit is de mate waarin de conclusies ook van toepassing zijn op de gehele populatie (oftewel de generaliseerbaarheid die mede afhankelijk is van de representativiteit van de onderzoeksgroep).

25

Het literatuuronderzoek heeft een conceptueel model opgeleverd met dimensies, kenmerken en/of indicatoren. Hiermee wordt een belangrijke bijdrage geleverd aan de interne geldigheid van het onderzoek, omdat daarmee toevalsfactoren en factoren m.b.t. de afhankelijkheid van de onderzoeker zijn gereduceerd. Bij de selectie van de geïnterviewde vermogensfondsen is zoveel mogelijk gebruik gemaakt van relevante kenmerken die de onderlinge vergelijkbaarheid, en daarmee de interne geldigheid, bevorderen. Zo is er naast triangulatie ook gebruik gemaakt van terugkoppeling naar de informanten. De betrouwbaarheid van het empirisch onderzoek betreft de consistentie en de repliceerbaarheid van de methoden, de omstandigheden en de resultaten van dat onderzoek. Om tot betrouwbare conclusies en aanbevelingen te komen vindt het empirisch onderzoek plaats op basis van een inventarisatie bij de 13 van de 25 grootste charitatieve vermogensfondsen in Nederland (volgens opgave van de Vereniging van Fondsen in Nederland) naar de aanwezigheid van beleid op het terrein van strategie en projectevaluatie. De keuze voor de grootste fondsen hangt samen met de verwachting dat bij deze fondsen het projectevaluatiebeleid het verst ontwikkeld is. De selectie binnen deze 25 fondsen heeft willekeurig plaatsgevonden. Het vertrouwen dat de auteur heeft verworven bij de informanten, hetgeen onder meer blijkt uit de bereidheid van alle benaderde informanten deel te nemen in het empirisch onderzoek, draagt bij aan de betrouwbaarheid van het onderzoek. Hetzelfde geldt voor de gekozen gegevensverzameling, de data-analyse en de conclusies. De geloofwaardigheid van het empirisch onderzoek wordt bevorderd door het geven van relevante informatie aan de informanten, voorafgaand aan de interviews. De informanten hebben van tevoren de vragenlijst ontvangen, hetgeen hun de mogelijkheid biedt te anticiperen op de verlangde informatie en zo nodig aanvullende documentatie te raadplegen. Ook is de informanten verzocht van tevoren bedrijfsdocumenten toe te zenden, hetgeen triangulatie van verkregen gegevens mogelijk maakt. De flexibele en responsieve interactie tussen auteur en informanten die eigen is aan semigestructureerde interviews maakt het mogelijk meningen nader te onderzoeken, onderwerpen vanuit verschillende perspectieven te benaderen en vragen aan informanten te verhelderen. Dit alles draagt bij aan de validiteit van het onderzoek. Het is niet noodzakelijkerwijs de bedoeling dat de resultaten die worden afgeleid door het gebruik van deze niet-gestandaardiseerde onderzoeksmethode herhaalbaar zijn, omdat ze de werkelijkheid weerspiegelen op het moment dat ze zijn verzameld, in een situatie die onderhevig is aan verandering.

26

4 Empirisch onderzoek 4.1 Toelichting bij dit hoofdstuk In dit hoofdstuk wordt verslag gedaan van de gehouden interviews in het kader van het empirisch onderzoek. Van de geïnterviewde fondsen wordt een kenschets gegeven, alsmede hun opvattingen over evaluatie. Ook wordt verslag gedaan van de door de onderzochte fondsen gehanteerde methoden van evaluatie. Op basis van de uitkomsten van het empirisch onderzoek worden vervolgens de constituerende elementen geanalyseerd en afgezet tegen het op basis van het literatuur- en vooronderzoek door de auteur geconstrueerde conceptuele model.

4.2 Onderzoeksvragen Het onderdeel van de centrale vraagstelling dat betrekking heeft op het empirisch onderzoek is als volgt geoperationaliseerd met behulp van de volgende onderzoeks- of deelvragen: o Welke opvattingen hebben de te onderzoeken charitatieve vermogensfondsen over evaluatie van door deze fondsen gefinancierde projecten? o Welke methoden hanteren de te onderzoeken charitatieve vermogensfondsen bij hun projectevaluatiebeleid? o In hoeverre stemmen de visies en benaderingswijzen van de te onderzoeken charitatieve vermogensfondsen met elkaar overeen en met de in de literatuurstudie genoemde visies en benaderingswijzen met betrekking tot projectevaluatiebeleid? Voor de beantwoording van de onderzoeksvragen van het empirisch onderzoek zijn in de maanden oktober en november 2009 13 interviews gehouden. In dit hoofdstuk zijn de resultaten van de interviews beschreven. Hierbij is de structuur aangehouden van de onderzoeksvragen die in paragraaf 1.6 zijn geformuleerd. In de paragrafen 4.4 en 4.5 worden de resultaten van de interviews beschreven. Deze paragraaf begint met een beschrijving van de gerealiseerde dataverzameling. Hierin wordt duidelijk welke informanten zijn geïnterviewd, waar en wanneer. Vervolgens zijn per onderzoeksvraag de resultaten weergegeven. De resultaten zijn geïllustreerd met citaten uit de interviews.

4.3 Geïnterviewden Met behulp van een vragenlijst (zie bijlage 2) zijn 13 interviews gehouden met informanten van de in tabel 3 genoemde charitatieve vermogensfondsen.

27

Tabel 3. Lijst van onderzoeksobjecten, onderzoekssubjecten, alsmede plaats en datum gehouden interviews

4.4 Kenschets van de fondsen en hun opvattingen over evaluatie Uit de interviews komen uiteenlopende opvattingen naar voren over evaluatie van door de geïnterviewde fondsen gefinancierde projecten. -

De Adessium Foundation is in 2005 opgericht en is wereldwijd werkzaam op het terrein van mens & maatschappij en natuur & hulpbronnen. Het jaarbudget voor bestedingen bedraagt € 15 miljoen. Bij Adessium werken 8 hoog opgeleide medewerkers. Men werkt op basis van een meerjarenbeleidsplan 2009-2011, dat vooralsnog een intern stuk is en niet beschikbaar wordt gesteld. Er is nog geen jaarverslag gepubliceerd. De interne prestatiemeting is beperkt tot functionerings- en beoordelingsgesprekken. Naast kleinschalige zogenoemde compassieprojecten, die 10% uitmaken van het donatiebudget, werkt Adessium met wat wordt genoemd „partnerships‟. Van deze partners wordt gevraagd een beknopte programmaschets te leveren. Bij een positief oordeel wordt de partner gevraagd een projectvoorstel in te dienen. Na beoordeling hiervan, in de regel op basis van due diligence (inclusief een governanceonderzoek) en een advies van de projectcommissie, wordt een eindoordeel gegeven. Daarna is er een formele afronding door middel van een donatieovereenkomst. Elk programma wordt begeleid door een account- en een programmamanager van Adessium. Voor alle programma‟s geldt een verplichting tot halfjaarlijkse rapportage. Adessium ziet evaluatie van grotere projecten als een noodzakelijkheid, die bedoeld is om ervan te leren, zowel het fonds als de begunstigde.

28

“Gebruik de uitkomsten van een evaluatie om daaruit lering te trekken en je plannen aan te passen. Dat geldt zowel voor de partij met wie je een relatie aangaat, maar ook voor ons.” Uit: interview informant -

De Bernard van Leer Foundation is in 1949 opgericht en is wereldwijd werkzaam op het terrein van ontwikkelingsprogramma‟s voor jonge kinderen. Het jaarbudget voor bestedingen is vanwege de kredietcrisis teruggebracht tot € 12,5 miljoen. Bij Bernard van Leer werken 25 personen (in 2004 was dit aantal 60), onder wie een groot aantal academici in de sociale wetenschappen. Men werkt op basis van een strategisch meerjarenplan 2007-20094. Dit is een intern document. Hierin zijn de visie, missie, waarden en stijl van werken vastgelegd. Ook zijn de strategische keuzen beschreven, inclusief prestatie-indicatoren, alsmede de rol van monitoring en evaluatie. Elk jaar wordt een jaarverslag gepubliceerd. Er worden geen interne prestatieafspraken gemaakt. Bernard van Leer ziet zijn monitoring- en evaluatiesysteem als een kritieke succesfactor bij het bereiken van haar strategie op middellange termijn. De nadruk ligt daarbij op systemen om de effectiviteit te beoordelen en om te komen tot waardetoevoeging. Het monitoring- en evaluatiebeleid heeft primair ten doel de verbetering van verantwoording, management en leren. Daarnaast wordt het gebruikt voor publicaties, communicatie en pleitbezorging. Dit beleid is niet alleen bruikbaar voor Bernard van Leer, maar ook voor belanghebbenden, zoals partners en begunstigden. Het vindt plaats op diverse niveaus, inclusief landenprogramma‟s en de fondsstrategie, en levert daaraan een belangrijke bijdrage.

-

Het Fonds 1818 is in 1992 opgericht als rechtsopvolger van de in het jaar 1818 opgerichte Nutsspaarbank en is werkzaam in het werkgebied van deze voormalige bank: de regio Den Haag, Delft, Leiden, Zoetermeer en de Bollenstreek. Het fonds kent vier aandachtsgebieden: zorg & welzijn, natuur & milieu, kunst & cultuur en educatie & nieuw beleid. Het jaarbudget voor bestedingen bedraagt € 10 miljoen. Bij Fonds 1818 werken 20 personen, onder wie 7 projectadviseurs op hbo- en academisch niveau. Het fonds heeft geen op schrift gesteld meerjarenbeleid. De gedachte hierachter is dat veel beleid in de hoofden van de medewerkers zit. Zonder alles vast te leggen schep je de nodige ruimte en beleidsvrijheid. Interne sturing vindt mede plaats met behulp van een beknopt managementdashboard. Als emancipatiegericht fonds wil Fonds 1818 zijn partners dwingen kritisch naar hun activiteiten te kijken. Het doel van het evaluatiebeleid is dan ook het leereffect voor de partner. De uitkomsten van een evaluatie kunnen wel een rol spelen bij een eventuele vervolgaanvraag.

4

Bernard van Leer Foundation, Statement of Strategic Intent 2007-2009 (2006)

29

“Mensen schrijven normaal gesproken niet achteraf op wat zij gedaan hebben. Nu dwing je ze om dat wél te doen. Het is eigenlijk belangrijker voor henzelf om dat op te schrijven dan dat voor ons misschien is.” Uit: interview formant -

Het Fonds NutsOhra is opgericht in 1999 bij de fusie tussen Nuts Ohra en Delta Lloyd en is werkzaam in Nederland op het terrein van de gezondheidszorg in brede zin. De focus ligt op projecten die zijn gericht op zorg, een sociaal karakter hebben en van goede kwaliteit zijn5. Het betreft in het bijzonder projecten die achterstandssituaties verbeteren of de zelfredzaamheid bevorderen, dan wel die bijdragen aan de kwaliteit van leven. Het jaarbudget voor bestedingen bedraagt € 10 miljoen. Voor Fonds NutsOhra werken 8 personen, onder wie 4 projectadviseurs op hbo- en academisch niveau. Het fonds beschikt over een strategienota6 waarin een in- en externe omgevingsanalyse is beschreven, alsmede strategische keuzen en beleidsvoornemens. Er wordt toegewerkt naar een professionele organisatie waarin het bestuur op hoofdlijnen stuurt en het bureau de volledige operationele verantwoordelijkheid heeft. Er zijn interne prestatieafspraken gemaakt over de behandelingstermijn. Interne sturing vindt mede plaats door middel van overzichten van de financiële medewerker. Fonds NutsOhra acht projectevaluatiebeleid nuttig, maar wil bureaucratisering voorkomen.

-

Het Fonds Sluyterman van Loo is een van oorsprong vrijzinnig-protestants fonds dat is opgericht in 1916 en werkzaam is in Nederland, de Nederlandse Antillen en Aruba en is werkzaam op het terrein van het welzijn van ouderen. Het fonds ondersteunt projecten die zich richten op welbevinden, autonomie, waardigheid en zingeving7. Het jaarbudget voor bestedingen bedraagt € 2,5 miljoen. Bij Fonds Sluyterman van Loo werken 6 personen, onder wie 3 projectadviseurs op hbo- en academisch niveau. Het beleid van Fonds Sluyterman van Loo wordt tot op heden organisch gevormd, hetgeen in de cultuur past. Er worden geen interne prestatieafspraken gemaakt. Jaarlijks worden er functioneringsgesprekken gehouden. Het fonds beschikt over een meerjarenbeleidsnota8 waarin een paragraaf is opgenomen over monitoring en effectmeting. Het fonds wil graag inzicht krijgen in hoe projecten zijn verlopen. Is het project succesvol of vallen de resultaten tegen? En, wanneer het laatste het geval is, hoe zou het een volgende keer beter kunnen worden aangepakt?

-

Instituut Gak is in 2001 ontstaan door een fusie van Gak Groep NV en Stichting Gak Holding en is werkzaam in Nederland. Het fonds ondersteunt projecten en programma‟s op het terrein van de sociale zekerheid en de arbeidsmarkt, waaronder praktijkprojecten, zoals leerwerkprojecten, en wetenschappelijke onderzoeken.

Fonds NutsOhra, Jaarverslag 2008 (2009) p. 5 Fonds NutsOhra, Strategienota 2007-2010 (2006) 7 Fonds Sluyterman van Loo, Jaarverslag 2008 (2009), p. 3 8 Fonds Sluyterman van Loo, Beleid 2007-2009 (2006) 5 6

30

Het jaarbudget voor bestedingen bedraagt € 13 miljoen. Bij Instituut Gak werken 7 personen, onder wie 2 wetenschappers, een projectadviseur en een projectbeheerder. Men werkt op basis van interne beleidsdocumenten, die niet beschikbaar worden gesteld. Er is wel een jaarverslag9 gepubliceerd. De behoefte aan prestatiesturing is gering. Er wordt niet gewerkt met meerjarenbeleidsplannen. Voor het formuleren van een missie en een visie is enig draagvlak in de organisatie. Er is veel aandacht voor de verbetering van de administratieve organisatie en de interne beheersing. -

Het K.F. Hein Fonds is in 1938 opgericht en is werkzaam in de provincie Utrecht. Het steunt projecten op het terrein van cultuur & volksontwikkeling, podiumkunsten, maatschappelijk werk, monumentenzorg, volksgezondheid en natuurbehoud. Het jaarbudget voor bestedingen bedraagt € 2 miljoen. Bij K.F. Hein Fonds werken 4 personen, onder wie 3 projectadviseurs op academisch niveau. Hoewel de directeur een poging heeft gedaan om te komen tot een meerjarenbeleidsplan, is deze niet vastgesteld. De projectadviseurs voorzien de aanvragen van een advies, de directeur parafeert deze en het bestuur beslist. Er is een beknopt jaarverslag10. Het fonds houdt functionerings- en beoordelingsgesprekken.

-

Levi Lassen is opgericht in 1957 en is voor 50% werkzaam in Nederland (deels voor de Haagse regio, deels voor de Nederlandse Joodse gemeenschap) en voor 50% in Israël. Het fonds steunt projecten die zich inzetten voor sociale en economische rechtvaardigheid. Het jaarbudget voor bestedingen bedraagt € 2,5 miljoen. Bij Levi Lassen werken 3 personen in Nederland op het uitkeringssecretariaat en 1 adviseur in Israël. In zijn jaarverslag11 wordt de visie, missie en beleidsdoelstellingen geformuleerd. Er is geen meerjarenbeleidsplan; een in- en externe analyse ontbreekt. Voorts is een bespreeknotitie opgesteld over evaluaties12. Hierin staat dat Levi Lassen het belangrijk vindt om te weten te komen of: o de gelden op de juiste wijze zijn besteed; o het project werd afgerond; o het project succesvol was; o het project een voorbeeldfunctie heeft; o het project bijdraagt aan de beleidsontwikkeling van Levi Lassen; o andere fondsen tot participatie kunnen worden bewogen. Tot op heden is dit voorstel niet geoperationaliseerd. Een opleidingsplan is in ontwikkeling. Er zijn ideeën over het houden van intervisiebijeenkomsten met collega-fondsen. Voor de bestuursleden is in samenwerking met andere Haagse fondsen een bestuurderscursus opgezet.

Instituut Gak, Jaarverslag 2008 (2009) K.F. Hein Fonds, In de schijnwerpers. Jaarbericht 2008 (2009) 11 Levi Lassen, Jaarbericht 2008 (2009) 12 Levi Lassen, Evaluaties bij Levi Lassen (z.j.) 9

10

31

-

De Noaber Foundation is een orthodox-protestants fonds dat is opgericht in 1999 en dat ten doel heeft de driehoek van maatschappelijk middenveld, overheden en bedrijven te versterken door het stimuleren en ondersteunen van maatschappelijke, bij voorkeur diaconale, initiatieven met een algemeen nut. Noaber Foundation is met Noaber Ventures onderdeel van Stewardship Foundation. Het jaarbudget voor bestedingen van dit fonds bedraagt € 7 miljoen. Voor het fonds werken 13 personen, onder wie een programmamanager, een programmaadviseur, een investeringsmanager en een investeringsanalist. Noaber Foundation heeft in een zogenoemd „whitepaper‟13 zijn visie en missie, strategie en uitvoering vastgelegd. Kenmerkend hierin is de nadruk op „social venturing & entrepeneurship‟. „Social venturing‟ is een activiteit die de kennis, bijdragen en instrumenten van het maatschappelijke middenveld, overheden en bedrijven benut, maar daarnaast een eigen visie op ontwikkeling en de daarbij passende resultaatscriteria en kwaliteitsgrenzen toepast. Van belang is voorts de benutting van netwerken en informele institutieontwikkeling, alsmede stimulering van ondernemerschap als belangrijkste instrument. Noaber Foundation hanteert persoonlijke ontwikkelingsplannen voor zijn medewerkers en maakt om de interne prestaties te meten gebruik van financiële en kwalitatieve managementrapportages, bijvoorbeeld over de behandelingsduur van aanvragen.

-

Het Oranje Fonds is in 2002 ontstaan toen het als cadeau van alle Nederlanders werd aangeboden aan prins Willem-Alexander en prinses Máxima ter gelegenheid van hun huwelijk. In het oprichtingsjaar is het Oranje Fonds gefuseerd met het Juliana Welzijn Fonds, dat sinds 1948 binnen de sociale sector werkzaam was. Het fonds heeft als werkgebied Nederland, de Nederlandse Antillen en Aruba en heeft ten doel een actieve samenwerkingspartner te zijn voor iedereen die activiteiten wil ondernemen om de sociale cohesie te verhogen. Om dit te faciliteren zijn drie inhoudelijke pijlers geformuleerd, te weten: samenhang in de buurt, actief burgerschap en diversiteit. Het jaarbudget voor bestedingen bedraagt € 23 miljoen. Bij het fonds werken 43 medewerkers, onder wie 15 projectadviseurs op academisch niveau. Het Oranje Fonds heeft een meerjarenbeleidsplan14 en een jaarverslag15. In het meerjarenbeleidsplan is onder meer het volgende beschreven: o o o o o o o

de doelstelling van het fonds; de belanghebbenden bij het fonds; de plaats van het fonds; het bestedingsbeleid; communicatie en fondsenwerving; financiën; organisatie.

Noaber Foundation, Whitepaper januari 2007 (2007) Oranje Fonds, Beleidsplan 2009 tot en met 2011. Inhoud en communicatie centraal (2008) 15 Oranje Fonds, Jaarverslag 2008 (2009) 13 14

32

“Wij zijn transparant, wij leggen zwaar de nadruk op governance en wij proberen steeds verbeteringen aan te brengen, oftewel wij streven naar excellentie”. Uit: interview informant Het Oranje Fonds hanteert een plannings- en beheersingscyclus die wordt gevoed met informatie over in- en externe ontwikkelingen. Het fonds heeft de interne controle op de naleving van de procedures en de juistheid van de betalingen uitbesteed aan een onafhankelijk bureau, dat rapporteert aan de directeur. In het hoofdstuk over het bestedingenbeleid is een paragraaf gewijd aan evalueren en monitoren. Hierin wordt beschreven dat in de afgelopen beleidsperiode een begin is gemaakt met het systematisch opzetten van controle en evaluatie. Waar het gaat om de vraag in hoeverre het fonds met de projecten zijn maatschappelijke doelstelling bereikt, heeft het Instituut voor integratie en sociale weerbaarheid van de Rijksuniversiteit Groningen een advies uitgebracht16. Hierin wordt gesteld dat de behoefte van het Oranje Fonds om haar projecten te evalueren samenhangt met vier motieven, te weten: professionaliteit, verantwoording, lerende organisatie en expertiseopbouw. Het fonds hecht belang aan evaluatie van projecten, met name om het draagvlak van projecten te vergroten, om te kunnen selecteren op projecten van gerede organisaties en met het oog op de duurzaamheid van projecten. -

Het Skanfonds is in 1957 opgericht onder de naam Stichting Katholieke Noden. Het fonds heeft als werkgebied het Koninkrijk der Nederlanden, Suriname en Midden- en Oost-Europa. Het fonds geeft financiële ondersteuning aan organisaties die zich bezig houden met kwetsbare mensen en de sociale cohesie bevorderen. Daarnaast steunt het fonds het behoud van materieel en immaterieel religieus erfgoed. Het jaarbudget voor bestedingen bedraagt € 9 miljoen. Bij het Skanfonds werken 16 medewerkers, onder wie 6 projectadviseurs op hbo- en academisch niveau. Het Skanfonds heeft een meerjarenbeleidsplan17 en een interne notitie over evaluatie van projecten18. Het fonds hanteert managementrapportages op het terrein van financiën, projecten en medewerkers. Het Skanfonds acht projectevaluatie nuttig en nodig. Overigens stelt ook het CBF-keur eisen op het terrein van projectevaluatie. In 2008 is onderzocht wat en op welke wijze het fonds wil gaan evalueren. Met projectevaluatie wil het fonds het volgende bereiken: o onderzoeken welke vruchten het bestedingsbeleid afwerpt; o aansporen tot zelfreflectie door het project;

Van Oudenhoven & Koekkoek (z.j.), Structurele evaluatie van projecten door het Oranje Fonds, Groningen: Rijksuniversiteit Groningen, Instituut voor integratie en sociale weerbaarheid 17 Skanfonds, Meerjarenbeleidsplan 2009-2011 (2008) 18 Skanfonds, Notitie 16 september 2008 “Evaluatie van projecten” (2008) 16

33

-

o profijt trekken voor de eigen organisatie van de ervaringen die uitvoerders opdoen bij de realisatie van projecten. De Start Foundation is in 1998 opgericht. De Start Foundation is een maatschappelijk investeerder die ernaar streeft mensen aan de rand van de arbeidsmarkt een optimaal perspectief te bieden. Dit doet het fonds door vernieuwende experimenten en ondernemingen te steunen met financiële en niet-financiële diensten. Het jaarbudget voor bestedingen bedraagt circa € 1,7 miljoen. Er werken 13 medewerkers, onder wie 5 projectadviseurs. De Start Foundation heeft een jaarplan19 waarin beleid en strategie beknopt zijn beschreven. Het fonds wil effecten realiseren op mensen, opinie, beleid en praktijk. Het wil een zogeheten „rebel voice‟ zijn voor hen die geen stem hebben. Daarvoor zet het fonds durfkapitaal in, geeft het advies, zoekt publiciteit en zet het zijn netwerk in. Op deze manier wil het fonds zich onderscheiden vanuit de aanjaagfunctie en de kennisdoelstelling die het voor zichzelf ziet weggelegd. De Start Foundation hanteert managementrapportages met betrekking tot financiën, projectaanvragen en medewerkers. Er is een begin gemaakt met een positiebepaling en een verbeterplan volgens het model Instituut Nederlandse Kwaliteit. Het fonds organiseert een jaarlijkse „heidedag‟ voor de stafmedewerkers, gericht op verdere professionalisering. Jaarlijks wordt de medewerkerstevredenheid20 onderzocht. Er wordt gewerkt met een organisatie- en ontwikkelingsplan per medewerker, dat bestaat uit een zelfassessment, een reguliere POP en een productieplan. Bij de investeringen wordt gekeken naar financieel en maatschappelijk rendement, leereffecten en communicatieve waarde. Het fonds hecht groot belang aan projectevaluatie en rendementsmeting. Het gebruikt daarvoor verschillende instrumenten.

-

Het VSBfonds kent een geschiedenis die terug gaat tot 1817, het jaar waarin de eerste Nutsspaarbank werd opgericht21. Het doel van het fonds is bij te dragen aan de kwaliteit van de Nederlandse samenleving. Het verleent steun aan projecten met geld, kennis en netwerken en beoogt daarbij de individuele ontwikkeling van de mens te vergroten, alsmede diens betrokkenheid bij de samenleving. Het VSBfonds brengt zijn missie in de praktijk door bij zijn donatiebeleid de volgende concrete doelen na te streven: ontmoeten-participeren-bewust zijn-inspireren22, en wel op het terrein van mens & maatschappij en kunst & cultuur. Het jaarbudget voor bestedingen bedraagt na de kredietcrisis € 26 miljoen. In 2008 werkten er nog 63 medewerkers; in 2009 is dat terug gebracht naar 32, onder wie 8 projectadviseurs op hbo- of academisch niveau. Het fonds kent naast de projectadviseurs een aparte afdeling projectbegeleiding. In de periode van oktober 2008 tot april 2009 is het strategisch beleid in verband met de kredietcrisis bijgesteld. Dit document is niet beschikbaar gesteld.

Start Foundation, Memo „Onderweg naar morgen, jaarplan 2009 en verder‟ (2008) Start Foundation, Jaaroverzicht 2008 (2009), p.35 21 VSBfonds, Het jaar 2008 (2009), p. 22 22 VSBfonds, Praktijkboek 2.0 conceptversie 7 (2009), p. 10 19 20

34

Het VSBfonds kent managementrapportages op het gebied van financiën, donaties, behandelingstermijnen, vacatures en dossiers per medewerker. Het VSBfonds beschikt niet over een beschreven evaluatiebeleid. De aandacht gaat vooral naar het in dialoog begeleiden van projecten. Zelfevaluaties vinden plaats in het kader van de verantwoording door aanvragers van uitgevoerde projecten.

4.5 Gehanteerde methoden van evaluatie -

De Adessium Foundation past evaluaties steekproefsgewijs toe, met uitzondering van programma‟s vanaf € 500.000. Die worden altijd geëvalueerd. Voor projecten tot € 500.000 gebruikt men een eigen evaluatieformulier, voor programma‟s vanaf € 500.000 vindt de evaluatie extern plaats. Een externe evaluatie kost circa € 10.000 tot € 30.000. Vijfjarige projecten kennen een tussentijdse evaluatie met de nadruk op de voortgang. Adessium hanteert een analysekader23, waarbinnen indicatoren en doelen, middelen ter verificatie en vooronderstellingen worden vastgelegd met betrekking tot algemene doelstellingen, specifieke doelstellingen, resultaten en hoofdactiviteiten. Ook wordt gevraagd naar procedures voor voortgangscontrole en effectiviteitmeting, een nulmeting van de programmacontext en indicatoren en tijdstippen voor effectiviteitmeting van het programma. Adessium beschikt niet over een standaardevaluatieprotocol. Als reden hiervoor wordt het grote aantal contextvariabelen gegeven. Wel zijn parameters gedefinieerd. Ook maakt men gebruik van reeds bestaande evaluaties. Zelfevaluaties worden toegepast waar zij relevant worden geacht. Naast inhoudelijke en financiële evaluatierapportages worden voorts veldbezoeken afgelegd. De uitkomsten van evaluaties worden gedeeld met de partners.

-

De Bernard van Leer Foundation heeft als beleid dat alle programma‟s boven € 200.000 worden geëvalueerd. Bij programma‟s vanaf € 350.000 vinden de evaluaties extern plaats in het desbetreffende land. Deze evaluaties kosten gemiddeld € 450 per dag en maken onderdeel uit van de donatie. De kosten van evaluaties variëren van € 5.000 tot € 20.000. Als leidend beginsel wordt gehanteerd dat monitoring en evaluatie eenvoudig en snel moet zijn, zonder af te doen aan een passend niveau van precisie en betrouwbaarheid. Bernard van Leer hecht eraan dat evaluatie tijdig, transparant en objectief is, met de focus op het effect en de waardetoevoeging van interventies. De evaluatie is hoofdzakelijk summatief in plaats van formatief. Het fonds heeft een monitoring & evaluation officer in dienst. Deze verleent ondersteuning bij het definiëren van indicatoren voor waardetoevoeging en bij opzetten van volgsystemen hiervoor. Ook worden workshops georganiseerd voor capaciteitsvergroting van de medewerkers en de projecten op het terrein van monitoring en evaluatie.

23

Adessium Foundation, Formulier t.b.v. financieringsaanvraag (z.j.)

35

Bernard van Leer hanteert voor evaluaties een analysekader24. Per project worden algemene en specifieke doelen geformuleerd, alsmede de resultaten en activiteiten. Voor elk van deze items worden objectief verifieerbare indicatoren vastgesteld, alsmede de wijze waarop verificatie plaatsvindt en de vooronderstellingen en risico‟s. De ervaring leert dat programmamanagers moeten wennen aan deze werkwijze. Dit betekent dat evaluaties zo kleinschalig en overzichtelijk mogelijk worden gehouden. Goede voorbeelden worden op het intranet geplaatst. “Het logisch analysekader wordt ingevuld door de aanvrager. De programmamanagers van het fonds worden niet gedwongen het standaardformat te gebruiken. De reden is dat zij niet houden van het invullen van vakjes. Daarom hebben wij een beknoptere versie gemaakt, waarin zij hun tekst kwijt kunnen in plaats van het invullen van vakjes op een formulier.” Uit: interview informant -

Het Fonds 1818 stelt veel relatief kleine donaties beschikbaar. De meeste donaties zijn niet hoger dan € 5.000. Het fonds hanteert vier verschillende evaluatiecategorieën. In de eerste categorie vallen eenmalige, niet-vernieuwende projecten die in het beleid van het fonds passen. In de tweede categorie vallen kleinschalige terugkerende en vervolgprojecten. Hiervoor gebruikt het fonds een standaardformulier25 dat op de website is geplaatst. Het betreft hier een zelfevaluatie-instrument. In de derde categorie vallen experimentele, vernieuwende, risicovolle of ontwikkelingsprojecten. Met deze projecten worden evaluatiecriteria vooraf gezamenlijk opgesteld en na afloop getoetst. Hiervoor wordt een relatief eenvoudig rapportageformulier26 gehanteerd. In de vierde categorie vallen experimentele, vernieuwende, risicovolle of ontwikkelingsprojecten, die overdraagbaar zijn en hoge kosten met zich meebrengen. Voor deze categorie wordt over het algemeen een externe partij ingeschakeld voor een evaluatie. Dit vindt slechts incidenteel plaats, met name bij projecten van meer dan € 100.000 met een te verwachten belangwekkende uitkomst. Fonds 1818 heeft de ervaring dat sommige aanvragers het invullen van een evaluatieformulier enerzijds lastig vinden, maar anderzijds graag een reactie krijgen op hun zelfevaluatie.

-

Het Fonds NutsOhra stelt jaarlijks circa 200 donaties beschikbaar, waarvan 15% tot een bedrag van € 25.000, 40% tot € 100.000, 35% tot € 200.000 en 10% meer dan € 200.000. Het fonds beschikt niet over een beschreven evaluatiebeleid. De evaluatie beperkt zich tot de vraag of het projectdoel gehaald is of niet. De evaluatiecriteria worden per project vooraf meegedeeld. Fonds NutsOhra hanteert een eigen evaluatieformulier dat door de projectadviseurs wordt ingevuld op basis van documenten en rapportages.

Bernard van Leer Foundation, Logical Framework Analysis 7 June 2005 Fonds 1818, Evaluatieformulier A: inhoudelijk eindverslag bij een activiteit (2009) 26 Fonds 1818, Rapportageformulier (2009) 24 25

36

De stijl is kort en bondig en moet antwoord geven op de volgende vragen: o zijn de doelstellingen van het project behaald? o zijn er opmerkingen t.a.v. de financiële kant van de zaak? o zijn er bijzonderheden te melden? o zijn er leerpunten m.b.t. bovenstaande aspecten die kunnen dienen als aanscherping bij de beoordeling van aanvragen? Het fonds is van mening dat evaluatie weinig kosten met zich mag meebrengen. Het accent ligt op financiële verantwoording. -

Het Fonds Sluyterman van Loo stelt jaarlijks circa 235 merendeels relatief kleinere donaties beschikbaar, waarvan 35% van € 100 tot € 3.000, 55% van € 3.000 tot € 15.000 en 10% meer dan € 15.000. Het fonds vraagt de aanvragers na afloop van elk project een beknopt evaluatieformulier27 in te vullen. Het accent ligt op het leereffect voor de aanvragers. Op projecten vanaf € 20.000 met een langere looptijd wordt een monitorsysteem toegepast (via telefoon of e-mail). Betalingen worden mede afhankelijk gesteld van de uitkomst van tussenrapportages. Het fonds legt regelmatig veldbezoeken af. Dit wordt gewaardeerd door de aanvragers; men is vaak trots op het project. Thematische programma‟s worden onderworpen aan een effectmeting, waarvoor gerenommeerde organisaties als het Trimbos Instituut en het Nederlands Interdisciplinair Demografisch Instituut worden ingeschakeld. De effectstudies geven inzicht in de resultaten van het programma‟s. Hiermee ontstaat een referentiekader van goede praktijkvoorbeelden. Aan de uitkomsten hiervan wordt brede bekendheid gegeven. De themaprogramma‟s kosten circa € 625.000 per programma. De evaluatiekosten varieerden van € 25.000 en € 150.000 per programma. Fonds Sluyterman van Loo legt het accent bij evaluatie op kennisvermeerdering en bewustmaking, zowel in- als extern.

-

Instituut Gak stelt jaarlijks circa 45 donaties beschikbaar die qua bedrag sterk variëren van € 1.800 tot € 3,6 miljoen. Het fonds stelt op basis van het projectplan kwartaalrapportages en een eindverantwoording verplicht. Deze zijn zodanig ingericht dat zij het voor het fonds eenvoudig mogelijk maken om de resultaten van het project te toetsen aan de inhoudelijke en financiële gegevens, zoals die zijn verstrekt door de aanvrager. Dit wordt vastgelegd in een subsidieovereenkomst. Er is geen beleidsdocument over projectevaluatie. Er wordt niet gewerkt met een standaardformulier. De projectbeheerder volgt en beoordeelt de projecten. Eenmaal vond een externe evaluatie plaats. De kosten hiervan bedroegen circa € 15.000. Men vindt projectevaluatiebeleid belangrijk, maar men ervaart beperkingen om al te kritisch te zijn.

-

27

Het K.F. Hein Fonds stelt jaarlijks circa 600 relatief kleine donaties beschikbaar, waarvan het merendeel tussen de € 1.000 en € 10.000 bedraagt.

Fonds Sluyterman van Loo, Evaluatieformulier (z.j.)

37

Het fonds beschikt niet over een beschreven projectevaluatiebeleid. Er is nog geen evaluatieformulier beschikbaar. Projectevaluatie wordt gezien als een hulpmiddel, dat vooral niet te zwaar moet worden gemaakt. De projecten wordt gevraagd om een korte verantwoording. “Ik vind evaluatie op zich wel nuttig. Het is leuk om even te weten of je geld goed terecht is gekomen. Het kan goed zijn voor de projecten om nog eens even te reflecteren op hoe je dat nou allemaal hebt opgezet en waarom het dan wel of niet goed gelukt is. Maar je moet het niet te zwaar maken. Niet bij de clubjes waar wij mee te maken hebben, want het is allemaal al heel gauw erg belastend”. Uit: interview informant -

Levi Lassen stelt jaarlijks circa 250 relatief kleine donaties beschikbaar, waarvan de helft lager dan € 10.000, een kwart tussen € 10.000 en € 20.000 en de rest daarboven met een maximum van € 50.000 per jaar. Het fonds beschikt voor Nederland niet over een beschreven projectevaluatiebeleid, maar wel over een interne bespreeknotitie28. Hierin wordt voorgesteld aan het bestaande aanvraagformulier de volgende vragen toe te voegen: o Welke resultaten wilt u met dit project behalen? o Wanneer is naar uw mening dit project geslaagd? Tot op heden is dit voorstel niet geïmplementeerd. De projecten wordt gevraagd om een zelfevaluatie op te stellen. Deze wijze van evaluatie kent een groot draagvlak bij de aanvragers. Steekproefsgewijs en bij donaties boven € 20.000 wordt een accountantskantoor ingeschakeld om de rechtmatigheid van de bestedingen te controleren. De kosten hiervan bedragen circa € 2.500 per controle. Voor Israël is er een jaarplan29, waarin een allocatievoorstel wordt geformuleerd voor de donaties. Israël wordt in het kader van projectevaluatiebeleid gezien als het grote voorbeeld. Veel instellingen doen aan fondswerving en evaluatie is veel meer ingebed in de cultuur dan in Nederland, waar het meer als extra werk, als belastend wordt ervaren. “De aanvragers in Israël krijgen een brief waarin hun uitkering beschreven staat en daarin staat ook de vraag om evaluatiepunten bij ons in te dienen. In Israël is dat standaard. In Nederland is het nog meer wat men nu zelf opstuurt. Hier wordt het als extra werk beleefd. Je belast de organisatie die je ondersteunt, althans zo wordt het gevoeld. In Israël is zorg toch meer een marktonderwerp en ze zijn ontzettend goed in fondswerving. Dat hebben ze gekopieerd uit Amerika. Het is gewoon een industrie die het heel goed doet en daar kun je van leren. In Nederland hebben we daarentegen een reusachtig lange cultuur van charitas.” Uit: interview informant

28 29

Levi Lassen, Evaluaties bij Levi Lassen (z.j.) Levi Lassen, Annual Plan 2008 (z.j.)

38

-

De Noaber Foundation stelt jaarlijks 10 meerjarige donaties beschikbaar tot een bedrag van € 125.000 per donatie. De zusterorganisatie Noaber Ventures doet daarnaast 5 nieuwe investeringen per jaar van € 100.000 tot € 2 miljoen en participeert tevens in ondernemingen. Het fonds hanteert de karakteristieken van „ondernemende filantropie‟ zoals gedefinieerd door de „European Venture Philanthropy Association‟30, te weten: o Actief partnerschap van het fonds met de programma‟s om te komen tot organisatorische effectiviteit en competentievergroting van de programma‟s. o Het gebruik van verschillende financiële technieken in aanvulling op donaties, zoals meerjarige financiering en investeringen. o De capaciteit om te voorzien in kennis en vaardigheden met de bedoeling waarde toe te voegen aan de ontwikkeling van de charitatieve sector. o Het verlangen om het maatschappelijke rendement van de charitatieve sector te vergroten. Voor donaties vanaf € 25.000 worden aanvragers verplicht het maatschappelijk rendement te analyseren. Zij krijgen hiertoe door middel van een inlogcode toegang tot een webapplicatie, „Social e-valuator‟31 geheten. Het invullen hiervan vergt een tijdsinvestering van een of meer dagen. Noaber Foundation gebruikt verschillende formulieren die ertoe bijdragen dat in het begin van de aanvraagprocedure doelstelling en criteria zo expliciet mogelijk worden verwoord. Voor donaties vanaf € 10.000 worden evaluatierapporten opgesteld door de projectmanager van het fonds, waarin diepgaand aandacht wordt besteed aan de doelbereiking en de leereffecten. De impact van programma‟s wordt gemonetariseerd volgens de methodiek van „Social Return On Investment (SROI)‟32.

-

Het Oranje Fonds stelt jaarlijks circa 1.700 donaties beschikbaar, variërend van circa 2.000 initiatieven voor een bedrag van gemiddeld € 750 per initiatief tot circa 1.300 projecten met een bedrag van € 1.000 tot € 100.000 per project. Bij de aanvraag van projecten wordt een aanvraagformulier ingevuld en een projectplan ingediend. Kleine projecten tot een budget van € 5.000 die vallen onder het algemene bestedingsbeleid van het fonds worden niet geëvalueerd. Grote projecten met een budget tussen € 5.000 en € 150.000 uit het algemene bestedingsbeleid worden aan het eind van het project geëvalueerd door middel van een zelfevaluatie. Tussentijdse evaluatie vindt niet structureel plaats. Projecten uit het algemene bestedingsbeleid met een budget van meer dan € 150.000 en programma‟s uit het thematische bestedingsbeleid worden tussentijds geëvalueerd door zelfevaluatie met behulp van een standaardformulier en door een bezoek van de

http://www.evpa.eu.com, geraadpleegd op 21 november 2009 http://www.socialevaluator.eu, geraadpleegd op 21 november 2009 32 http://www.sroi.nl, geraadpleegd op 21 november 2009 30 31

39

themacoördinator. Deze stelt tevens de eindevaluatie op aan de hand van een door de themacoördinator zelf ontwikkeld formulier. Het Oranje Fonds wil de systematiek van evaluatie verder uitbreiden, met name voor projecten uit het algemene bestedingsbeleid met een budget van meer dan € 150.000 en voor alle programma‟s uit het thematische bestedingsbeleid. Het Instituut voor integratie en sociale weerbaarheid van de Rijksuniversiteit Groningen33 heeft het Oranjefonds geadviseerd tussentijdse en eindevaluaties van deze projecten te laten verrichten door een externe instantie in samenwerking met de projectadviseur dan wel de themacoördinator. Voorts is geadviseerd aan projecten uit het algemene bestedingsbeleid met een budget tussen € 5.000 en € 15.000 met behulp van een standaardformulier te rapporteren over het verloop en de resultaten en over welke activiteiten al dan niet zijn uitgevoerd. Hiertoe is een standaardformulier ontwikkeld. Dit formulier beperkt zich wat betreft uitkomsten tot beschrijvingen van resultaten en reacties van deelnemers en uitvoerders. Voor externe evaluaties zijn uitgangspunten beschreven. Hierbij wordt een onderscheid gemaakt tussen proces- en uitkomstevaluatie. -

Het Skanfonds stelt jaarlijks circa 650 donaties beschikbaar. Het merendeel betreft projecten tot € 45.000. Het Skanfonds acht het niet zinnig om alle projecten te evalueren, bijvoorbeeld in het geval van aanschaf van inventaris. Het fonds wil eerst experimenteren en is gestart met de evaluatie van 20 projecten. Bij de selectie wordt rekening gehouden met de omvang, de doelgroep, de proportie van cofinanciering, verwacht resultaat en duur. Beschikbaarheid van menskracht is een beperkende factor bij voortgangsbewaking en projectevaluatie. Het Skanfonds is daarom gestart met een steekproef van 20 projecten in Nederland, waarvan 6 meerjarige projecten, 7 projecten sociale activering en 7 projecten maatschappelijke zorg. Het Skanfonds hanteert meetpunten aan de hand waarvan de voortgang of de resultaten worden afgelezen. Voor projectevaluaties worden de volgende meetpunten gehanteerd: o bereikte resultaten; o veranderingen; o gebruik van voorziening; o opgedane ervaringen; o leermomenten; o uitgekomen verwachtingen; o beeldmateriaal; o contact met media; o vervolgproject. Deze onderwerpen komen terug in de „Vragenlijst eindrapportage‟ van het fonds. Het Skanfonds is van mening dat evaluaties door de eigen medewerkers moeten kunnen worden gedaan om er zelf van te kunnen leren. Het gebruikt de evaluatie vooral voor de

Van Oudenhoven & Koekkoek (z.j.), Structurele evaluatie van projecten door het Oranje Fonds, Groningen: Rijksuniversiteit Groningen, Instituut voor integratie en sociale weerbaarheid 33

40

eigen beleidsvorming. Maar het is ook bedoeld om projectuitvoerders aan te zetten tot reflectie. -

De Start Foundation onderscheidt waarderingsbijdragen (tot € 15.000), experimenten (van € 15.000 tot € 175.000) en kredieten (ten hoogste € 175.000 en voor maximaal 90% van de kosten). Per jaar starten circa 25 projecten. Het fonds is, om meer inzicht te krijgen in de ontwikkelingen en resultaten van de projecten, in de loop van de tijd meer gaan investeren in de samenwerking met de projecten. Er wordt gebruikt gemaakt van een exitformulier, waarmee de projectadviseur een project evalueert. Input komt uit de formele rapportages van het project, waarbij gebruik wordt gemaakt van het 3PRF-model, te weten: product, planning, proces, resultaat en financiën. Maar ook uit persoonlijke gesprekken met direct betrokkenen. De Start Foundation heeft een bijdrage geleverd aan de verdere ontwikkeling van de webapplicatie „Social e-valuator‟. Dit is een instrument om het maatschappelijk rendement op investeringen te meten, ook bekend als „Social Return on Investment‟ (SROI). Voorts wordt gebruik gemaakt van het CMO-model (hetgeen staat voor „context-mechanism-outcome‟) dat onderscheid maakt tussen de werkzame bestanddelen van projecten en de condities die bepalend zijn voor de uitkomsten. Daarmee levert het antwoorden op de vraag wat werkt voor wie onder welke omstandigheden. Andere instrumenten zijn het analysekader en „story telling‟. Ten aanzien van het maatschappelijk rendement maakt het fonds het volgende onderscheid. o Directe, operationele resultaten van het project, zoals aantal deelnemers, bereik van de doelgroep, geleverde producten, de implementatie en de bijdrage aan het debat, zoals beschreven in het projectplan (de aanvraag) en de eindrapportage; o Duurzame effecten, oftewel uitkomsten en waardetoevoeging ook na afloop van het project. Hierbij kan worden gedacht aan:  voortzetting van het project als reguliere voorziening of als rendabel bedrijf met een maatschappelijke meerwaarde;  de ontwikkelde aanpak van het project is overgenomen door derden;  opgedane inzichten zijn geïntegreerd in werkwijzen of opleidingen. o Bijdrage aan het maatschappelijk debat. Dit wordt gemeten door aandacht in de media, congressen, projectbezoeken, bezoekersaantallen op internet, aantal verzoeken om informatie, en dergelijke. Het fonds gaat hiervoor succesparameters invoeren, te weten: o Hefboomfactor financieel (door het krediet kwamen ook andere financiers over de brug). o Hefboomfactor in mainstreaming (de methode wordt ook elders toegepast). o Initiatiefactor (1 = zelf, 2 = samen met derden, 3 = sluitfinanciering). o CMO-leerfactor (1 = niets geleerd, 2 = iets geleerd, 3 = veel geleerd). o SROI-factor (maatschappelijke meerwaarde rendementstoets). De kosten van begeleiding en evaluatie door de projectadviseurs bedragen € 71 per uur. Sommige programma‟s worden extern geëvalueerd. Een externe evaluatie, uitgevoerd door een zzp‟er, kost tussen de € 10.000 en € 25.000. Een evaluatie door een extern bureau, zoals het Trimbos Instituut of het Nicis Institute, kost een veelvoud hiervan.

41

-

De VSBfonds keert donaties uit van € 500 tot € 500.000. Het aantal gehonoreerde aanvragen bedraagt in 2009 naar verwachting circa 2.500, waarvan 800 donaties van meer dan € 30.000. Het VSBfonds hanteert een uitgebreid aanvraagformulier, waarin wordt gevraagd op welke punten de aanvrager het project gaat evalueren om te beoordelen hoe het proces is verlopen en welk effect het project heeft gehad. Ook wordt gevraagd naar kwantitatieve gegevens. Het VSBfonds werkt met zelfevaluaties bij de inhoudelijke en financiële verantwoording van projecten door aanvragers. Bij de 800 grotere donaties van meer dan € 30.000 wordt in de helft van de gevallen gevraagd een beknopt tussentijds verslag te schrijven over de voortgang van het project. Bij kleinere donaties blijft dit achterwege. Externe evaluaties zijn niet aan de orde. “Wij laten de aanvrager zelf evalueren. Het nadeel hiervan is dat je de kwaliteit van de evaluatie niet altijd kan inschatten. Wat wij veel doen in dit soort gevallen, dus complexe projecten, is een gesprek aangaan. Dialoog is voor ons belangrijk om projecten te evalueren. Niet „meten = weten‟ via afstandelijke metingen, maar direct contact met de aanvrager.” Uit: interview informant Volgens een intern voorstel gaat het fonds van alle projecten vanaf een nader te bepalen bedrag een verantwoording in enigerlei vorm, bijvoorbeeld een verslag, een fotoserie of een evaluatie. Deze verantwoording kan meer doelen dienen, waarbij volgens het fonds het grote aantal donaties met zich meebrengt dat meestal slechts het eerste doel opportuun is. Het betreft de volgende doelen. o o o o o

Het fonds wil weten of het project heeft plaatsgevonden. Het fonds wil weten wat de resultaten waren. Het fonds wil leren van de ervaring. Het fonds wil dat de aanvrager leert van de ervaring. Het fonds wil dat de ervaringen eventueel gedeeld kunnen worden.

Het VSBfonds verlangt in de regel een projectverslag of evaluatie in de vorm van een samenvatting van ten hoogste drie pagina‟s. Het fonds is van mening dat het qua capaciteit slechts incidenteel in staat is om iets te doen met de toegezonden evaluatie.

4.6 Analyse In deze paragraaf worden de constituerende elementen geanalyseerd van de uitkomsten van het empirisch onderzoek.

4.6.1 Opvattingen over evaluatie De opvattingen van de onderzochte charitatieve vermogensfondsen over evaluatie van door deze fondsen gefinancierde projecten variëren. 42

Alle onderzochte fondsen zeggen projectevaluatie van belang te achten. In de praktijk zijn er evenwel forse verschillen te constateren. Zo beschikken Adessium Foundation, Bernard van Leer Foundation, Noaber Foundation en Start Foundation over een tamelijk uitgebreid evaluatie-instrumentarium en de daarvoor benodigde stafcapaciteit. Deze fondsen zien projectevaluatie als een kritieke succesfactor bij het realiseren van hun strategisch beleid. Fonds 1818 legt het accent van het projectevaluatiebeleid bij het emancipatorische effect voor de projectuitvoerders en kent een beperkt evaluatie-instrumentarium, afhankelijk van het soort project. Bij andere fondsen is het projectevaluatiebeleid nog in ontwikkeling, zoals bij Fonds Sluyterman van Loo, Levi Lassen (voor wat betreft de projecten in Nederland), Oranje Fonds en Skanfonds. Er zijn ook fondsen die aan projectevaluatie een beperkt nut toekennen, zoals Instituut Gak, K.F. Hein Fonds, Fonds NutsOhra en VSBfonds. Bij Instituut Gak ligt de nadruk meer op het verbeteren van de administratieve organisatie en de interne beheersing. Bij het K.F. Hein Fonds is op bestuursniveau geen draagvlak voor het formuleren van projectevaluatiebeleid. Fonds NutsOhra acht projectevaluatie nuttig, maar is beducht voor bureaucratisering. Het VSBfonds investeert meer in de dialoog met projectuitvoerders en is in mindere mate gericht op prestatiesturing.

4.6.2 Gehanteerde methoden van projectevaluatiebeleid Adessium Foundation, Bernard van Leer Foundation en Start Foundation hanteren een analysekader waarin de uitvoerder van het programma de volgende onderwerpen vastlegt (zie tabel 4):

Tabel 4. Analysekader 43

Als standaardinstrumenten hanteren deze fondsen bij het toetsen van een meerjarig programma een onderscheid tussen: inhoudelijke en financiële rapportage van de uitvoerder van het programma; contactmomenten met de uitvoerder van het programma; inzet van externe evaluatie. De externe evaluatie omvat een gewogen oordeel over de efficiëntie, effectiviteit, impact, relevantie en duurzaamheid. Daarbij kan gebruik worden gemaakt van audits, sleutelinformanten en experts. Noaber Foundation hanteert bij donaties vanaf € 25.000 een internetapplicatie voor het meten van maatschappelijk rendement, de „Social e-valuator‟. De projectaanvrager krijgt een toegangscode tot deze applicatie. Het instrument is bedoeld om processen te verbeteren en de uitvoerders van het programma in staat te stellen het programma tot een succes te maken. Het leidt tot goed nadenken en meer transparantie. Gemiddeld kost het invullen circa 2 dagen. De programmamanagers van het fonds toetsen het resultaat, trekken referenties na en beoordelen de bestuursstructuur. Elk kwartaal en aan het einde van het programma wordt door de programmamanagers van het fonds een evaluatierapport opgesteld, waarin doelbereiking en geleerde lessen centraal staan. Fonds 1818 onderscheidt vier soorten projectevaluaties. Onder zelfevaluatie wordt verstaan dat een eindverslag van het project wordt gevraagd. Hiervoor is een standaardevaluatieformulier beschikbaar op de website van het fonds. Bij interne evaluaties worden evaluatiemomenten samen met de projectaanvrager vastgesteld. Indien de evaluatie wordt uitbesteed, wordt een rapportageformulier gehanteerd. Fonds Sluyterman van Loo, Levi Lassen (voor wat betreft de projecten in Nederland), Oranje Fonds, Skanfonds oriënteren zich op hun projectevaluatiebeleid. Het VSBfonds bevindt zich eveneens in een heroriëntatie vanwege de kredietcrisis, maar heeft geen plannen voor projectevaluatiebeleid. Fonds Sluyterman van Loo heeft een eenvoudig evaluatieformulier op één A4 ontwikkeld, waarop gevraagd wordt naar gerealiseerde activiteiten, resultaten, conclusies, belemmeringen, uitkomsten en leerervaringen. Daarnaast heeft het een enkele maal evaluatie uitbesteed aan gerenommeerde bureaus. Levi Lassen heeft slechts voorstellen geformuleerd met betrekking tot projectevaluatie. Oranje Fonds gaat projectevaluatie structureel invoeren. Daartoe is een evaluatieformulier ontwikkeld. Skanfonds heeft een voorzichtige start gemaakt met projectevaluatie aan de hand van een aantal meetpunten waarvan de resultaten worden afgelezen. Het VSBfonds vraagt om een verantwoording bij donaties van meer dan € 30.000. Bij elke tranche wordt een beknopt voortgangsverslag (één A4) gevraagd. Instituut Gak, K.F. Hein Fonds en Fonds NutsOhra beschikken (nog) niet over een beschreven en geïmplementeerd projectevaluatiebeleid.

44

4.6.3 Mate van overeenstemming van de visies en benaderingswijzen van de fondsen onderling en met de in de literatuurstudie genoemde visies en benaderingswijzen Uit de vorige paragraaf kan worden opgemaakt dat tussen Adessium Foundation, Bernard van Leer Foundation, Noaber Foundation en Start Foundation tamelijk grote overeenkomsten zijn aangetroffen voor wat betreft visie en benaderingswijze van projectevaluatiebeleid. Deze vier fondsen beschikken over een strategisch meerjarenbeleidsplan, waarin projectevaluatie wordt gezien als kritieke succesfactor voor het desbetreffende fonds. Opvallend is dat deze fondsen veel nadruk leggen op het partnerschap (Noaber Foundation noemt het nabuurschap) van projecten (meestal aangeduid als programma‟s). Niet-financiële ondersteuning wordt van groot belang geacht naast financiële investeringen. Bij deze fondsen is de betrokkenheid bij projecten, zowel inhoudelijk als financieel, over het algemeen meerjarig van karakter. Drie van de vier fondsen hanteren voor projectevaluaties een analysekader. De programmadoelstellingen, de indicatoren voor succes, de onderliggende aannamen en de risicofactoren van programma‟s worden expliciet beschreven. Een van de vier fondsen schrijft het gebruik van een internetapplicatie voor het meten van maatschappelijk rendement voor. Zij beschikken alle vier over een relatief grote en hooggekwalificeerde staf, zij het dat het budget van Start Foundation relatief klein is ten opzichte van dat van Adessium Foundation, Bernard van Leer Foundation en Noaber Foundation. Managementinformatie is beschikbaar via een management dashboard of managementrapportages. In de literatuur worden het verantwoordings-, kennis- en ontwikkelingsperspectief van evaluatie onderscheiden. De hier genoemde fondsen richten zich uitdrukkelijk op alle drie perspectieven. Het gaat hen zowel om waardetoevoeging, inzicht in maatschappelijke problematiek, beleidsontwikkeling en methodiekontwikkeling als om het versterken van organisaties. Evaluaties vinden zowel vooraf, tussentijds en achteraf plaats. Fonds 1818, Fonds Sluyterman van Loo, Levi Lassen, Oranje Fonds en Skanfonds hebben een toenemende aandacht voor projectevaluatie. Van deze fondsen beschikken Oranje Fonds en Skanfonds over een strategisch meerjarenbeleidsplan met een analyse van de externe omgeving en interne sterkten en zwakten. Fonds 1818, Fonds Sluyterman van Loo en Levi Lassen ontberen dergelijke beschreven analyses. De beleidsvorming komt bij deze fondsen niet planmatig tot stand, maar meer organisch. Bij Fonds 1818, Fonds Sluyterman van Loo, Levi Lassen, Oranje Fonds en Skanfonds vinden evaluaties over het algemeen plaats door een door de projectuitvoerder ingevuld evaluatieformulier. Deze zelfevaluaties hebben voor deze fondsen zelf een betrekkelijk gering nut. Zij worden wel gebruikt bij het beoordelen van vervolgaanvragen. Voor zover het projecten met een meerjarig karakter betreft waarmee relatief grote bedragen zijn gemoeid, wordt er meer aandacht besteed aan evaluatie. Bij middelgrote projecten worden deze

45

tussentijds gevolgd. Bij grotere projecten wordt de evaluatie soms uitbesteed aan een extern bureau. Deze fondsen hanteren managementrapportages op het terrein van personeel, projecten en financiën. Fonds 1818, Fonds Sluyterman van Loo, Levi Lassen, Oranje Fonds en Skanfonds leggen voor hun eigen fonds het accent op het verantwoordingsperspectief van evaluatie. Het gaat hen vooral om het beoordelen of de resultaten zijn behaald, waarbij zij oog hebben voor het gegeven dat projectevaluatie nuttig kan zijn voor de projectuitvoerders. Voor het Oranje Fonds is het, gelet op het politieke krachtenspel, daarnaast van het grootste belang dat het alleen in zee gaat met gerede organisaties met een stevig maatschappelijk draagvlak. Bij grotere projecten van deze fondsen speelt ook het kennis- en ontwikkelingsperspectief mee, echter vooral dat van het desbetreffende project en in mindere mate van het fonds zelf. Instituut Gak en K.F. Hein Fonds hebben geen plannen om projectevaluatiebeleid te ontwikkelen. Fonds NutsOhra aarzelt omdat het bureaucratie wil vermijden. Het VSBfonds hecht weinig belang aan prestatiemeting en zoekt het meer in de dialoog met projectuitvoerders.

4.6.4 Toetsing onderzoeksvariabelen De aanname dat de aanwezigheid van de onafhankelijke variabelen „strategische doelstellingen‟, „missie en visie‟ en „stuurinformatie‟ van invloed is op de afhankelijke variabele „doel van projectevaluatie‟, kan worden bevestigd. Fondsen die niet beschikken over een meerjarenbeleidsplan zijn vooral gericht op verantwoording en controle. Fondsen die wel beschikken over een dergelijk plan leggen de nadruk op effectiviteit en op het leren. Ten aanzien van de invloed van de aanvullende onafhankelijke variabele „kennis van evaluatiemethoden‟, kan worden vastgesteld dat naarmate de kennis van evaluatiemethoden toeneemt meer verschillende stijlen en soorten projectevaluatie worden gebruikt. Hierbij wordt gevarieerd tussen expert- en participatieve benaderingen en tussen steekproefsgewijze en standaardevaluaties. Ook worden zowel formatieve als summatieve evaluaties gehouden. Ten aanzien van de aanvullende onafhankelijke variabelen „mate van proactiviteit‟ en „leren en groeien‟ kan worden vastgesteld dat er een duidelijke samenhang is met de onafhankelijke variabelen „strategische doelstellingen‟, „missie en visie‟ en „stuurinformatie‟. Ten aanzien van de interveniërende variabele „beschikbaarheid van financiën‟ kan na analyse een verband worden gelegd tussen de hoogte van het projectbudget en de afhankelijke variabelen „doel, stijl en soort projectevaluatie‟. Naarmate het projectbudget hoger is, wordt eerder gekozen voor een extern onderzoek door een expert. Er is wel een relatie aangetroffen tussen de interveniërende variabele „beschikbaarheid van financiën‟ en de onafhankelijke variabele „stuurinformatie‟. Naarmate het jaarlijkse bestedingenbudget van het desbetreffende fonds hoger is, is meer stuurinformatie beschikbaar.

46

4.7 Synthese Het empirisch onderzoek levert, naast de bestaande kennis op basis van het verrichte literatuuronderzoek, interessante aspecten op die van invloed zijn op het projectevaluatiebeleid en die niet als zodanig zijn beschreven in het verrichte literatuuronderzoek. -

Opvallend is dat fondsen die voornamelijk in het buitenland werkzaam zijn meer kennis van en ervaring met projectevaluatiebeleid hebben. Het is denkbaar dat aan projectevaluatie in het buitenland een grotere behoefte is omdat deze projecten moeilijker te beoordelen zijn vanwege de vele contextvariabelen waarop weinig zicht is te verkrijgen. Uit de gehouden interviews is echter ook op te maken dat in Nederland het in mindere mate geaccepteerd lijkt te zijn om kritisch te kijken naar de besteding van giften. Het adagium „doe goed en zie niet om‟ is bij sommige fondsen nog praktijk.

-

Fondsen die voor zichzelf een rol zien weggelegd bij het ook niet-financieel ondersteunen van projecten en hun bijdrage vooral zien als een investering op middellange of langere termijn in plaats van een eenmalige donatie, acteren intensiever met projecten en hechten over het algemeen meer belang aan het vooraf, tussentijds en achteraf evalueren van projecten.

-

Een andere factor die van invloed is op het projectevaluatiebeleid is de schaalgrootte en de omvang van het bestedingenbudget van het fonds.

-

Over het algemeen kan worden gesteld dat grotere fondsen meer kennis van en ervaring met projectevaluatiebeleid hebben. Dit geldt temeer voor fondsen met een omvangrijke, hooggekwalificeerde staf van medewerkers. Ook de omvang van de afzonderlijke donaties speelt een rol; hoe kleiner de donaties, des te minder belang wordt gehecht aan projectevaluatie.

47

5 Resultaten en conclusies 5.1 Toelichting bij dit hoofdstuk Zoals beschreven in hoofdstuk 1 is de bedoeling van deze thesis voor het bestuur van het Sint Laurensfonds een bijdrage te leveren aan de beleidsontwikkeling op het terrein van evaluatie van door het Sint Laurensfonds gefinancierde projecten. Hiermee wordt beoogd de strategische doelstellingen van het Sint Laurensfonds te realiseren. Hiertoe is een probleemanalytisch onderzoek gedaan naar de relatie tussen het strategisch beleid en het projectevaluatiebeleid van charitatieve vermogensfondsen. In dit hoofdstuk worden de resultaten van het gevoerde literatuur- en empirisch onderzoek opgesomd en worden op basis van de uitkomsten hiervan conclusies getrokken. De aanbevelingen zijn opgenomen in hoofdstuk 6.

5.2 De rol van evaluatiebeleid in het kader van strategische doelstellingen De bestudering van verschillende beleidstheorieën op het terrein van strategisch, financieel en projectmanagement met betrekking tot strategisch beleid en evaluatie in het algemeen, alsmede een bestudering van literatuur over evaluatiebeleid in de filantropische sector m.b.t. gefinancierde projecten en een vooronderzoek heeft een conceptueel model opgeleverd. Het betreft een model waarin verwachte relaties tussen geselecteerde kernbegrippen van het literatuur- en vooronderzoek zijn weergegeven. Hiermee is het huidige beleid van de onderzoeksobjecten is vergeleken. Uit het literatuuronderzoek kan worden opgemaakt dat strategie de strategische besturing van een organisatie omvat. Missie en visie vormen het fundament van een strategie. De missie beschrijft de opdracht van de organisatie conform de waarden en verwachtingen van de belanghebbenden. De visie beschrijft de gewenste toekomstige staat, oftewel de ambitie, van de organisatie. Een strategie gaat in essentie om de vraag, hoe de organisatie extern waarde wil toevoegen in zijn omgeving en zich intern moet ontwikkelen om dat mogelijk te maken. Om die vraag te kunnen beantwoorden wordt vaak een analyse van sterkten, zwakten, kansen en bedreigingen („SWOT-analyse‟) uitgevoerd. Het interne analysetraject (inside-out) onderzoekt sterkten en zwakten van de managementbouwstenen mensen, middelen, structuur en cultuur. Het externe analysetraject (outside-in) onderzoekt kansen en bedreigingen door analyse van de omgeving (de markt, de klanten, de leveranciers en de bedrijfskolom) waarin de organisatie zich bevindt. Uit de onderzochte literatuur blijkt dat evaluatie een belangrijk middel is om te kunnen boordelen welke projecten daadwerkelijk bijdragen aan de missie. Op grond van deze beoordeling kan vervolgens worden besloten om geen, minder of juist meer middelen te besteden aan te onderscheiden projecten. Organisaties leveren volgens de literatuur een betere prestatie als zij: - een hoge productiviteit realiseren, met name een hogere arbeidsproductiviteit; - kwaliteit tonen, zowel in producten als processen;

48

-

flexibel zijn, zodat zij hun organisatie snel kunnen omzetten en omschakelen als de (markt)omgeving en technologische ontwikkelingen daarom vragen; innovatief zijn in producten, processen en systemen, ook in hun sociale systemen.

In de literatuur wordt het begrip „evaluatiebeleid‟ op vele wijzen gedefinieerd. Een van de definities van evaluatiebeleid is als volgt: - beleid met betrekking tot gedocumenteerde waardering en analyse, zo objectief mogelijk, van het ontwerp, de uitvoering, bedoelde en onbedoelde resultaten van lopende en/of afgeronde programma‟s of projecten; - gebaseerd op empirisch onderzoek en systematische dataverzameling; - met uitspraken over relevantie, doeltreffendheid, doelmatigheid en duurzaamheid van de activiteiten; - waarin aanbevelingen worden gedaan voor toekomstige verbeteringen door middel van feedbackmechanismen. Uit het literatuuronderzoek is gebleken dat evaluatiebeleid van belang is voor het realiseren van strategische doelstellingen, omdat zij onmisbaar is voor het bijsturen van het strategisch beleid. Wanneer uit projectevaluatie blijkt dat bepaalde doeleinden niet worden bereikt, rijst de vraag hoe dit valt te verklaren. Een volgende vraag is hoe het project moet worden bijgestuurd om te zorgen dat de doeleinden wel worden bereikt. Projectevaluatie kan helpen zulke vragen te beantwoorden. Door het systematisch verzamelen van gegevens over (aspecten van) het functioneren van projecten en door het toetsen hiervan aan de afgesproken criteria, kunnen impulsen worden gegeven aan verbetering van projecten en kan extern worden verantwoord hoe projecten functioneren, wat de resultaten zijn en hoe aan verbetering wordt gewerkt. De verschillende projectevaluatiedoelen kunnen worden samengevat in drie algemene perspectieven: - projectevaluatie om verantwoording af te leggen (bijvoorbeeld de meting van resultaten of de doelmatigheid van een project); - projectevaluatie om te ontwikkelen (bijvoorbeeld de beschikbaarstelling van evaluatieonderzoek om een interventiemethode of een project te verbeteren); - projectevaluatie om kennis te vermeerderen (bijvoorbeeld het verwerven van een diepgaander begrip van een specifiek aspect of terrein).

5.3 Praktijkervaringen van charitatieve vermogensfondsen bij het voeren van projectevaluatiebeleid en de verhouding tot de theorie hieromtrent In hoofdstuk 4 is een driedeling gemaakt tussen de onderzochte charitatieve vermogensfondsen naar de mate waarin overeenkomsten zijn aangetroffen voor wat betreft visie en benaderingswijze van projectevaluatiebeleid. -

Vier van de dertien onderzochte fondsen beschikken over een strategisch meerjarenbeleidsplan, waarin projectevaluatie wordt gezien als kritieke succesfactor voor het desbetreffende fonds. Deze fondsen leggen veel nadruk leggen op het partnerschap van projecten. Niet-financiële ondersteuning wordt van groot belang geacht naast financiële investeringen. Bij deze fondsen is de betrokkenheid bij projecten, zowel inhoudelijk als financieel, over het algemeen meerjarig van karakter. 49

Drie van deze vier fondsen hanteren voor projectevaluaties een analysekader. De programmadoelstellingen, de indicatoren voor succes, de onderliggende aannamen en de risicofactoren van programma‟s worden expliciet beschreven. Een van de vier fondsen schrijft het gebruik van een internetapplicatie voor het meten van maatschappelijk rendement voor. In de literatuur worden het verantwoordings-, kennis- en ontwikkelingsperspectief van evaluatie onderscheiden. De hier genoemde fondsen richten zich uitdrukkelijk op alle drie perspectieven. Het gaat hen zowel om waardetoevoeging, inzicht in maatschappelijke problematiek, beleidsontwikkeling, methodiekontwikkeling en om organisaties te versterken. Evaluaties vinden zowel vooraf, tussentijds en achteraf plaats. -

Vijf van de dertien onderzochte fondsen hebben een toenemende aandacht voor projectevaluatie. Twee van deze fondsen beschikken over een strategisch meerjarenbeleidsplan met een analyse van de externe omgeving en interne sterkten en zwakten. Bij deze fondsen vinden evaluaties over het algemeen plaats door een door de projectuitvoerder ingevuld evaluatieformulier. Deze zelfevaluaties hebben voor deze fondsen zelf een betrekkelijk gering nut. Zij worden wel gebruikt bij het beoordelen van vervolgaanvragen. Voor zover het projecten met een meerjarig karakter betreft waarmee relatief grote bedragen zijn gemoeid, wordt er meer aandacht besteed aan evaluatie. Bij middelgrote projecten worden deze tussentijds gevolgd. Bij grotere projecten wordt de evaluatie soms uitbesteed aan een extern bureau. Deze fondsen leggen voor hun eigen fonds het accent op het verantwoordingsperspectief van evaluatie. Bij grotere projecten van deze fondsen speelt ook het kennis- en ontwikkelingsperspectief mee, echter vooral dat van het desbetreffende project en in mindere mate van het fonds zelf.

-

Vier van de dertien onderzochte fondsen hebben geen plannen om projectevaluatiebeleid te ontwikkelen. Soms heeft dat te maken met een aarzeling omdat men bureaucratie wil vermijden. In een ander geval hecht men weinig belang aan prestatiemeting en zoekt men het meer in de dialoog met projectuitvoerders.

Het empirisch onderzoek levert, naast de bestaande kennis op basis van het verrichte literatuuronderzoek, interessante aspecten op die van invloed zijn op het projectevaluatiebeleid en die niet als zodanig zijn beschreven in het verrichte literatuuronderzoek. -

Opvallend is dat fondsen die voornamelijk in het buitenland werkzaam zijn meer kennis van en ervaring met projectevaluatiebeleid hebben. Uit de gehouden interviews is op te maken dat in Nederland het in mindere mate geaccepteerd lijkt te zijn om kritisch te kijken naar de besteding van giften. Het adagium „doe goed en zie niet om‟ is bij sommige fondsen nog steeds praktijk.

-

Fondsen die voor zichzelf een rol zien weggelegd bij het ook niet-financieel ondersteunen van projecten en hun bijdrage vooral zien als een investering op middellange of langere termijn in plaats van een eenmalige donatie, acteren intensiever met projecten en hechten over het algemeen meer belang aan het vooraf, tussentijds en achteraf evalueren van projecten.

50

-

Een andere factor die van invloed is op het projectevaluatiebeleid is de schaalgrootte en de omvang van het bestedingenbudget van het fonds. Over het algemeen kan worden gesteld dat grotere fondsen meer kennis van en ervaring met projectevaluatiebeleid hebben. Dit geldt temeer voor fondsen met een omvangrijke, hooggekwalificeerde staf van medewerkers. Ook de omvang van de afzonderlijke donaties speelt een rol; hoe kleiner de donaties, des te minder belang wordt gehecht aan projectevaluatie.

5.4 Conclusies De auteur is op basis van het literatuur- en vooronderzoek ervan uitgegaan dat de strategische doelstellingen, missie en visie en stuurinformatie een sterke invloed hebben op het doel en de stijl van projectevaluatie en de soort ervan. Kennis van projectevaluatiemethoden en de mate van proactiviteit van het fonds, alsmede het belang dat wordt gehecht om als fonds te leren en te groeien, hebben volgens de auteur vermoedelijk een positief effect op de totstandkoming en implementatie van projectevaluatie. De beschikbaarheid van financiën heeft volgens de auteur een additionele invloed. Kennis van evaluatiemethoden en een prestatiegerichte attitude, alsmede beschikbare middelen, hebben een additionele invloed en zijn daarmee te kenschetsen als aanvullende onafhankelijke, respectievelijk interveniërende variabelen. Als het door de auteur geformuleerde conceptueel model wordt afgezet tegen de uitkomsten van het verrichte empirisch onderzoek, kunnen de volgende conclusies worden getrokken. -

Volgens de onderzochte theorie speelt projectevaluatiebeleid met betrekking tot de door deze fondsen gefinancierde projecten een grote rol in het kader van strategische doelstellingen van charitatieve vermogensfondsen. Een strategie gaat in essentie om de vraag hoe de organisatie extern waarde wil toevoegen aan zijn omgeving en zich intern moet ontwikkelen om dat mogelijk te maken.

-

Uit de onderzochte literatuur blijkt dat projectevaluatie een belangrijk middel is om te kunnen boordelen welke projecten daadwerkelijk bijdragen aan de missie. Op grond van deze beoordeling kan vervolgens worden besloten geen, minder of juist meer middelen te besteden aan te onderscheiden projecten.

-

Organisaties leveren volgens de literatuur een betere prestatie als zij een hoge productiviteit realiseren, kwaliteit tonen (zowel in producten als processen), flexibel zijn, zodat zij hun organisatie snel kunnen omzetten en omschakelen als de (markt)omgeving en technologische ontwikkelingen daarom vragen, en innovatief zijn in producten, processen en systemen, ook in hun sociale systemen.

-

Uit het literatuuronderzoek is gebleken dat evaluatie van belang is voor het realiseren van strategische doelstellingen, omdat zij onmisbaar is voor het bijsturen van het beleid. Wanneer uit projectevaluatie blijkt dat bepaalde doeleinden niet worden bereikt, rijst de vraag hoe dit valt te verklaren. Een volgende vraag is hoe het project moet worden bijgestuurd om te zorgen dat de doeleinden wel worden bereikt. Projectevaluatie kan helpen zulke vragen te beantwoorden. Door het systematisch verzamelen van gegevens over (aspecten van) het functioneren van een project en door het toetsen hiervan aan de afgesproken criteria, kunnen impulsen worden

-

51

gegeven aan verbetering van het project en kan extern worden verantwoord hoe het project functioneert, wat de resultaten zijn en hoe aan verbetering wordt gewerkt. -

De verschillende projectevaluatiedoelen kunnen worden samengevat in drie algemene perspectieven:: o projectevaluatie om verantwoording af te leggen (bijvoorbeeld de meting van resultaten of de doelmatigheid van een project); o projectevaluatie om te ontwikkelen (bijvoorbeeld de beschikbaarstelling van evaluatieonderzoek om een interventiemethode of een project te verbeteren); o projectevaluatie om kennis te vermeerderen (bijvoorbeeld het verwerven van een diepgaander begrip van een specifiek aspect of terrein).

Met betrekking tot de vraag welke praktijkervaringen er zijn bij charitatieve vermogensfondsen m.b.t. het voeren van een evaluatiebeleid inzake door deze fondsen gefinancierde projecten en hoe verhouden deze zich tot de theorie hieromtrent, kan het volgende worden geconcludeerd. Hierbij moet worden opgemerkt dat onderstaande conclusies uitsluitend betrekking hebben op de dertien onderzochte charitatieve vermogensfondsen. Deze dertien zijn geselecteerd uit een opgave van de Vereniging van Fondsen in Nederland (FIN) van de 25 grootste charitatieve vermogensfondsen in Nederland op basis van de veronderstelling dat deze vermogensfondsen mogelijk meer ervaring hebben met projectevaluatie dan kleinere fondsen. -

Vier van de dertien onderzochte fondsen beschikken over een strategisch meerjarenbeleidsplan, waarin projectevaluatie wordt gezien als kritieke succesfactor voor het desbetreffende fonds. Deze fondsen leggen veel nadruk leggen op het partnerschap van projecten. Niet-financiële ondersteuning wordt van groot belang geacht naast financiële investeringen. Bij deze fondsen is de betrokkenheid bij projecten, zowel inhoudelijk als financieel, over het algemeen meerjarig van karakter. In de literatuur worden het verantwoordings-, kennis- en ontwikkelingsperspectief van evaluatie onderscheiden. De hier genoemde fondsen richten zich uitdrukkelijk op alle drie perspectieven. Het gaat hen zowel om waardetoevoeging, inzicht in maatschappelijke problematiek, beleidsontwikkeling, methodiekontwikkeling en om organisaties te versterken. Evaluaties vinden zowel vooraf, tussentijds als achteraf plaats.

-

Vijf van de dertien onderzochte fondsen hebben een toenemende aandacht voor projectevaluatie. Bij deze fondsen vinden evaluaties over het algemeen plaats door een door de projectuitvoerder ingevuld evaluatieformulier. Deze zelfevaluaties hebben voor deze fondsen zelf een betrekkelijk gering nut. Zij worden wel gebruikt bij het beoordelen van vervolgaanvragen. Voor zover het projecten met een meerjarig karakter betreft waarmee relatief grote bedragen zijn gemoeid, wordt er meer aandacht besteed aan evaluatie. Bij middelgrote projecten worden deze tussentijds gevolgd. Bij grotere projecten wordt de evaluatie soms uitbesteed aan een extern bureau. Deze fondsen leggen voor hun eigen fonds het accent op het verantwoordingsperspectief van evaluatie. Bij grotere projecten van deze fondsen speelt ook het kennis- en ontwikkelingsperspectief mee, echter vooral dat van het desbetreffende project en in mindere mate van het fonds zelf. Vier van de dertien onderzochte fondsen hebben geen plannen om projectevaluatiebeleid te ontwikkelen. Soms heeft dat te maken met een aarzeling omdat men bureaucratie wil

-

52

vermijden. In een ander geval hecht men weinig belang aan prestatiemeting en zoekt men het meer in de dialoog met projectuitvoerders. De aanname dat de aanwezigheid van de onafhankelijke variabelen „strategische doelstellingen‟, „missie en visie‟ en „stuurinformatie‟ van invloed is op de afhankelijke variabele „doel van projectevaluatie‟, kan worden bevestigd. Fondsen die niet beschikken over een meerjarenbeleidsplan zijn vooral gericht op verantwoording en controle. Fondsen die wel beschikken over een dergelijk plan leggen de nadruk op effectiviteit en op het leren. Ten aanzien van de invloed van de aanvullende onafhankelijke variabele „kennis van evaluatiemethoden‟, kan worden vastgesteld dat naarmate de kennis van evaluatiemethoden toeneemt, meer verschillende stijlen en soorten projectevaluatie worden gebruikt. Hierbij wordt gevarieerd tussen expert- en participatieve benaderingen en tussen steekproefsgewijze en standaardevaluaties. Ook worden zowel formatieve als summatieve evaluaties gehouden. Ten aanzien van de aanvullende onafhankelijke variabelen „mate van proactiviteit‟ en „leren en groeien‟ kan worden vastgesteld dat er een duidelijke samenhang is met de onafhankelijke variabelen „strategische doelstellingen‟, „missie en visie‟ en „stuurinformatie‟. Ten aanzien van de interveniërende variabele „beschikbaarheid van financiën‟ kan na analyse een verband worden gelegd tussen de hoogte van het projectbudget en de afhankelijke variabelen „doel, stijl en soort projectevaluatie‟. Naarmate het projectbudget hoger is, wordt eerder gekozen voor een extern onderzoek door een expert. Er is tevens een relatie aangetroffen tussen de interveniërende variabele „beschikbaarheid van financiën‟ en de onafhankelijke variabele „stuurinformatie‟. Naarmate het jaarlijkse bestedingenbudget van het desbetreffende fonds hoger is, is er meer stuurinformatie beschikbaar. Het empirisch onderzoek levert, naast de bestaande kennis op basis van het verrichte literatuuronderzoek, interessante aspecten op die van invloed zijn op het projectevaluatiebeleid en die niet als zodanig zijn beschreven in het verrichte literatuuronderzoek. -

Opvallend is dat fondsen die voornamelijk in het buitenland werkzaam zijn meer kennis van en ervaring met projectevaluatiebeleid hebben. Uit de gehouden interviews is op te maken dat in Nederland het in mindere mate geaccepteerd lijkt te zijn om kritisch te kijken naar de besteding van giften. Het adagium „doe goed en zie niet om‟ is bij sommige fondsen nog steeds praktijk.

-

Fondsen die voor zichzelf een rol zien weggelegd bij het ook niet-financieel ondersteunen van projecten en hun bijdrage vooral zien als een investering op middellange of langere termijn in plaats van een eenmalige donatie, acteren intensiever met projecten en hechten over het algemeen meer belang aan het vooraf, tussentijds en achteraf evalueren van projecten.

-

Een andere factor die van invloed is op het projectevaluatiebeleid is de schaalgrootte en de omvang van het bestedingenbudget van het fonds. Over het algemeen kan worden gesteld dat grotere fondsen meer kennis van en ervaring met projectevaluatiebeleid hebben. Dit geldt temeer voor fondsen met een omvangrijke, hooggekwalificeerde staf van medewerkers. Ook de omvang van de afzonderlijke donaties speelt een rol; hoe kleiner de donaties, des te minder belang wordt gehecht aan projectevaluatie.

53

6 Aanbevelingen 6.1 Toelichting bij dit hoofdstuk Het Sint Laurensfonds keert jaarlijks € 3,5 miljoen uit aan projecten op het terrein van zorg en welzijn. Het is van belang dat de beschikbaar gestelde middelen financieel en maatschappelijk verantwoord worden besteed, omdat dit bijdraagt aan de strategische doelstelling van het Sint Laurensfonds. De door het Sint Laurensfonds gefinancierde projecten worden geacht zich inhoudelijk en financieel te verantwoorden. Er zijn geen criteria op basis waarvan wordt beoordeeld of met deze verantwoording de doelstelling van het Sint Laurensfonds in voldoende mate is bereikt. Het Sint Laurensfonds heeft daardoor onvoldoende zicht of zijn strategische doelstelling wordt bereikt. In dit hoofdstuk worden op basis van het verrichte literatuur- en empirisch onderzoek aanbevelingen gedaan aan het bestuur van het Sint Laurensfonds voor de besluitvorming over de gewenste situatie voor het Sint Laurensfonds op het terrein van projectevaluatie.

6.2 Aanbevelingen op basis van het literatuuronderzoek 1. Het verdient aanbeveling om te komen tot een strategisch meerjarenbeleid op basis van een analyse van sterkten, zwakten, kansen en bedreigingen. Dit plan moet antwoord geven op de vraag hoe het Sint Laurensfonds extern waarde wil toevoegen aan zijn omgeving en zich intern moet ontwikkelen om dat mogelijk te maken. 2. Omdat evaluatie van belang is voor het realiseren van strategische doelstellingen en onmisbaar is voor het bijsturen van het beleid, wordt aanbevolen over te gaan tot een vorm van projectevaluatie. Door het systematisch verzamelen van gegevens over (aspecten van) het functioneren van een project en door het toetsen hiervan aan de afgesproken criteria, kunnen impulsen worden gegeven aan verbetering van het project en kan extern worden verantwoord hoe het project functioneert, wat de resultaten zijn en hoe aan verbetering wordt gewerkt. 3. Het Sint Laurensfonds zal voor zichzelf helderheid moeten verschaffen wat het beoogt met projectevaluatie. Daarbij moet een uitspraak worden gedaan of het primair gaat om het afleggen van verantwoording van projecten aan het fonds, de ontwikkeling van projecten en/of om kennis van het fonds of te vermeerderen.

54

6.3 Aanbevelingen op basis van het empirisch onderzoek 1. Het verdient aanbeveling om op basis van een strategische analyse een keuze te maken voor de mate waarin projectuitvoerders door het Sint Laurensfonds worden gezien als partners, met wie het fonds een nauwe relatie onderhoudt en aan wie naast financiële middelen ook niet-financiële ondersteuning wordt geboden. Een aspect daarbij is of wordt gekozen voor meerjarige programma‟s met een relatief grote omvang, of voor kleine kortlopende projecten. 2. Indien op basis van een strategische analyse wordt gekozen voor investeringen in meerjarige programma‟s verdient het aanbeveling een analysekader te hanteren, waarin de programmadoelstellingen, de indicatoren voor succes, de onderliggende aannamen en de risicofactoren van programma‟s expliciet worden beschreven. Overwogen kan worden daarbij een instrument te hanteren voor het meten van maatschappelijk rendement. Bij dergelijke programma‟s kan het gaan om waardetoevoeging, inzicht in maatschappelijke problematiek, beleidsontwikkeling, methodiekontwikkeling en om organisaties te versterken. Programma-evaluaties vinden vooraf, tussentijds en achteraf plaats. 3. Als op basis van een strategische analyse wordt gekozen voor de financiering van kortdurende projecten, kunnen evaluaties worden uitgevoerd op basis van een categorie-indeling, bijvoorbeeld: - eenmalige, niet vernieuwende projecten; - kleinschalige terugkerende en vervolgprojecten; - experimentele, vernieuwende, risicovolle of ontwikkelingsprojecten; - experimentele, vernieuwende, risicovolle of ontwikkelingsprojecten, die overdraagbaar zijn en hoge kosten met zich meebrengen. Per categorie kan een keuze worden gemaakt tussen geen evaluatie, zelfevaluatie, interne of externe evaluatie. Ook kan rekening worden gehouden met de hoogte van de gift. Het accent ligt hierbij op het verantwoordingsperspectief van projectevaluatie.

55

Reflectie Voor mij is het de eerste keer dat ik een onderzoek heb uitgevoerd volgens een wetenschappelijk model. Het was voor mij dan ook een terrein waarmee ik geen enkele ervaring had, anders dan het lezen van onderzoeksrapporten van anderen. In dat laatste geval keek ik vooral naar de conclusies en aanbevelingen en haakte ik af bij de hoofdstukken over de wijze waarop het desbetreffende onderzoek was uitgevoerd. Deze masterthesis heeft mijn kennis over het doen van onderzoek enorm verrijkt. De masterclass van mijn begeleider Adriaan van Olsthoorn en de aangereikte literatuur, in het bijzonder van Verschuren & Doorewaard, heeft mij flink op weg geholpen. Door de hoofdstukken integraal door te nemen en de juiste volgorde aan te houden kwam ik een heel eind. De meeste moeite kostte mij het ontwerpen van een conceptueel model. Ik heb mij lang afgevraagd of dat voor een probleemanalytisch onderzoek nodig was. Daarbij was ik volstrekt niet gewend om impliciete kennis over mogelijke verbanden tussen dimensies te expliciteren. Al met al heeft het me veel hoofdbrekens gekost. Een groot deel van mijn zomervakantie heeft in het teken gestaan van het literatuuronderzoek. Na wat zoeken op internet en een bezoekje aan de Koninklijke Bibliotheek heb ik redelijk snel gekozen om me vooral te richten op de (toenmalige) bibliotheek van de Bernard van Leer Foundation voor literatuur over projectevaluatie door charitatieve vermogensfondsen en op de bibliotheek van de Faculteit Sociale Wetenschappen van de Universiteit Leiden voor literatuur over wetenschappelijke en praktijkevaluatie. Eenmaal op gang heb ik me verwonderd over de enorme hoeveelheid kennis die daar lag opgeslagen. Ik heb ervan genoten. Voor het empirisch onderzoek heb ik van alle dertien benaderde charitatieve vermogensfondsen direct groen licht gekregen voor de interviews. Met administratieve ondersteuning van Paul van Mansum, projectmedewerker van het Sint Laurensfonds, heb ik interviews gehouden van telkens twee uur. In de meeste gevallen sprak ik de fondsdirecteur. De interviews hebben een groot beslag gelegd op mijn werkweken, maar waren zeer interessant en vonden telkens in een uiterst prettige sfeer plaats. Ook daar heb ik van genoten. Voor de opzet van deze masterthesis heb ik het standaardformaat gehanteerd zoals dat is voorgeschreven door NCOI Business School. Alle hoofdstukken en de inhoudsopgave stonden van tevoren vast. Ik beschik over een stevige discipline en heb mij dan ook voorgenomen om geen termijnen te overschrijden, net als bij alle gevolgde masterclasses. De planning is dan ook gehaald, zij het door vele weekeinden op te offeren en op een aantal zaterdagen en zondagen naar mijn werk te gaan om daar in alle rust aan mijn masterthesis te werken. Hoewel dit bij mijn thuisfront niet in dank werd aanvaard, is dat voor mij de beste manier om effectief te kunnen werken. Nu ik deze masterthesis eenmaal heb gedaan, denk ik dat ik een volgende keer sneller tot een conceptueel ontwerp kom en me een stuk minder onthand voel als ik de vraag krijg een onderzoek te doen.

56

Literatuurlijst Ahaus, C.T.B. & Diepman, F.J. (red.) (1998), Balanced Scorecard & Model Nederlandse Kwaliteit, Apeldoorn: Kluwer Bedrijfsinformatie Atkinson, A.A., Kaplan, R.S. & Young, S.M. (2007), Management accounting, vierde editie, Amsterdam: Pearson Education Benelux Boekholdt, M.G. (1995), Programma-evaluatie: sleutel tot kwaliteit, Utrecht: SWP Bos, R. ten & Ham, M.A.J.W. van der & Van Rooij, M.M.M.(2007), De Manager, Leer en Praktijkboek, ‟s-Gravenhage: Reed Business Bruijn, H. de (2006), Prestatiemeting in de publieke sector, Tussen professie en verantwoording, 2e druk, ‟s-Gravenhage: Lemma Castle, A.L. 1991), Evaluation Essentials for Small Private Foundations, Washington, DC, USA: Council of Foundations Chelimsky, E. & Shadish, W.R. (1997), Evaluation for the 21st Century, Thousand Oaks, USA: Sage Publications Daft, R.L. (2006), Organisatietheorie en -ontwerp, Den Haag: Academic Service/Sdu Uitgevers Deuten, J. & De Kam, G. (2006), Weten van renderen. Nieuwe wegen om het maatschappelijk rendement van woningcorporaties zichtbaar te maken, Rotterdam: SEV Doermann, H. (2003), Preface. In: Evaluation for Foundations (2003), p. xiv, San Francisco, USA: Jossey-Bass Publishers Franssen, B. & Scholten, P. (2007), Handboek voor sociaal ondernemen in Nederland, Assen: Van Gorcum Johnson, G., K. Scholes, & R. Whittington (2006), Exploring Corporate Strategy, 7th edition, Harlow, England, UK: Pearson Prentice Hall Kehrer, B.H. (2003), Introduction and Overview of Evaluation. In: Evaluation for Foundations (2003), p. 1, San Francisco, USA: Jossey-Bass Publishers Kotler, P. & Keller, K.L. (2006), Marketing Management, 12th Edition, New Jersey, USA; Pearson Education Kramer, M., Graves, R., Hirschhorn, J. & Fiske, L. (2007), From Insight to Action: New Directions in Foundation Evaluation, Boston, USA: FSG Social Impact Advisors Lieburg, M.J. van (2007), Het Sint Laurensinstituut 1651-1857-2007: De geschiedenis van de katholieke charitas te Rotterdam, Rotterdam: Erasmus Publishing Mouwen, C.A.M. (2006), Strategie-implementatie, sturing en governance in de moderne non-profitorganisatie, Assen: Van Gorcum

57

Mouwen, C.A.M. (2008), Strategische planning voor de moderne non-profitorganisatie, 2e druk, Assen: Van Gorcum Schalock, R.L. (2001), Outcome-Based Evaluation, 2nd Edition, New York, USA: Kluwer Academic/Plenum Publishers Veld, J. in ‟t, Slatius, B & Veld, M. in ‟t (2007), Analyse van bedrijfsprocessen, Groningen/Houten: Wolters-Noordhoff Verschuren, P.J.M. & Doorewaard, J.A.C.M. (2007), Het ontwerpen van een onderzoek, ‟s-Gravenhage: Lemma Wentink, T. (2008), Business Performance Management, ‟s-Gravenhage: Boom Onderwijs

58

Bijlagen

59

Bijlage 1

Brief aan geïnterviewden

Aan: Naam vermogensfonds Ter attentie van Adres Postcode en plaats

Onze referentie: 09…../../…

Rotterdam, september 2009

Geachte heer, mevrouw, Door middel van deze brief zeg ik u heel hartelijk dank voor uw toezegging deel te nemen in een door mij af te nemen interview in het kader van mijn MBA-studie. Zoals met u is afgesproken kom ik op (datum) om (tijdstip) bij u langs op het adres (adres). Het interview duurt ten hoogste twee uren. Het interview heeft betrekking op de relatie tussen het strategisch beleid van uw vermogensfonds en op uw beleid ten aanzien van evaluatie van door u gefinancierde projecten. Het onderzoek moet antwoord geven op de volgende onderzoeksvragen: 1. Welke opvattingen hebben de te onderzoeken charitatieve vermogensfondsen over evaluatie van door deze fondsen gefinancierde projecten? 2. Welke methoden hanteren de te onderzoeken charitatieve vermogensfondsen bij hun projectevaluatiebeleid? 3. In hoeverre stemmen de visies en benaderingswijzen van de te onderzoeken charitatieve vermogensfondsen met elkaar overeen en met de in de literatuurstudie genoemde visies en benaderingswijzen? Onder „strategisch beleid‟ wordt in dit onderzoek verstaan: het beleid van een organisatie met betrekking tot de richting en focus van een organisatie op de lange termijn om voordelen te behalen in een veranderende omgeving door middel van groepering van bronnen en competenties, met de bedoeling de verwachting van belanghebbenden te vervullen. Onder „projectevaluatiebeleid‟ wordt in dit onderzoek verstaan: het beleid met betrekking tot de systematische verzameling, interpretatie en presentatie van informatie over te financieren en/of gefinancierde projecten, teneinde de waardetoevoeging van deze projecten te bepalen. Ter voorbereiding van het interview zou ik graag de beschikking hebben over kennisbronnen over de aanwezigheid en het functioneren van strategisch en projectevaluatiebeleid van uw fonds. Daarom verzoek ik u vriendelijk de hierop betrekking hebben documenten aan mij toe te zenden, bij voorkeur via e-mail.

60

Het gaat hierbij om documenten over strategie, visie en missie, ambitie, meerjarenbeleid, evaluatiebeleid en dergelijke. Voorts ontvang ik graag een exemplaar van uw statuten, jaarplan en jaarverantwoording. Voorts verzoek ik u – voor zover bovengenoemde documenten hierin niet voorzien – mij voorafgaande aan het interview de volgende gegevens toe te zenden over de volgende onderwerpen, bij voorkeur per e-mail: -

Oprichtingsjaar Sector(en) en/of doelgroep(en) Doelstelling Werkgebied Bestedingenbudget per jaar Aantal medewerkers en fte‟s per functie Organisatiestructuur

Heeft u vragen over het onderzoek? U kunt mij bereiken op het e-mailadres [email protected] of per telefoon 0644532164. Ik dank u nogmaals heel hartelijk voor uw medewerking! Met vriendelijke en groet en tot ziens,

Ronald A. Zoutendijk, directeur.

61

Bijlage 2

Vragenlijst

Persoonsgegevens 1. Wat is uw naam en functie? 2. Sinds wanneer bent u werkzaam bij het fonds? Organisatiegegevens/beschikbaarheid van middelen 3. Wat is de naam van het fonds? 4. Wat is het oprichtingsjaar van het fonds? 5. Wat is de doelstelling van het fonds? (statuten vragen) 6. Wat is het werkgebied van het fonds? 7. Op welke sector(en) en doelgroep(en) richt het fonds zich? 8. Wat is het bestedingenbudget per jaar? 9. Hoeveel medewerkers en fte‟s heeft het fonds per 1 januari 2009? 10. Wat is de organisatiestructuur? 11. Hoe typeert u de cultuur van uw fonds? Strategisch beleid 12. Is er sprake van strategisch beleid? 13. Wat is de missie (richting) en visie (inspiratie), ambitie, ontwikkelingsrichting en gewenste perceptie van uw fonds? 14. Is er sprake van prestatiemanagement? 15. Welke rol spelen maatschappelijke waarden en normen/ethiek bij uw fonds? 16. Welke rol speelt ICT bij uw fonds? Prestatiegerichte attitude 17. Wat zijn de doelen, activiteiten en omvang van projecten van uw fonds? 18. Wat is de mate van proactiviteit van uw fonds? 19. Wat is de mate van focus van uw fonds? 20. In hoeverre is uw fonds gericht op prestaties en op continue verbetering? 21. Hoe groot is het omgevingsbewustzijn van uw fonds? 22. Wat zijn de ondernemingsresultaten? Projectevaluatiebeleid 23. Is er sprake van projectevaluatiebeleid? 24. Wat is de visie van het fonds op projectevaluatiebeleid? 25. Wat is het doel van het evaluatiebeleid? 26. Wat is het nut en de noodzaak van het evaluatiebeleid? 27. Wat is het kenmerkend gebruik van het evaluatiebeleid? 28. Wat is de mate van uitvoerbaarheid van het evaluatiebeleid? 29. Op welke wijze wordt het evaluatiebeleid geïmplementeerd? Evaluatiemethode 30. Over welke kennis, vaardigheden en ervaring van methoden beschikt het fonds? 31. Hoe ziet het ontwerp van de methode eruit? 32. Hoe vindt de dataverzameling plaats? 33. Hoe identificeert en formuleert u evaluatievragen? 34. Wat is de positie van de evaluator? 35. Wie zijn de gebruikers van evaluatie? 36. Welke communicatiemethoden worden gebruikt? 62

37. Welke tijdsdimensie wordt gehanteerd? 38. Welke stijl wordt gehanteerd? 39. Welke soort evaluaties vinden plaats? 40. Wat is de diepgang/focus/bereik? 41. Wat wordt geëvalueerd? 42. Hoe wordt rekening gehouden met contextvariabelen? 43. Hoe wordt rekening gehouden met neveneffecten? 44. Welke indicatoren worden gehanteerd?

63