Besturen van Fondsen door Resultaatmeting, Sturing en Strategie

Besturen van Fondsen door Resultaatmeting, Sturing en Strategie Kellie Liket Erasmus Centre for Strategic Philanthropy (PhD Student Social Impact Measurement)

ECSP Conferentie – De Toekomst van Fondsen in de Filantropie

21 maart 2013

Agenda

Wat Impact-gericht bezig zijn is de voedingsbodem voor de gehele filantropische strategie Doel = Meer verschil maken Wie Vermogensfondsen(+), subsidieverstrekkers & fondsenwervende instellingen Stappen Het vormen van de strategie 1. Impact als basis voor de focus; Visie en Missie 2. Impact als het fundament voor keuzes; (operationele) Missie en Strategie Het evaluaren van de strategie 1. Impact voor het toetsen en aanpassen van de strategie; Programma’s en Projecten 2. Impact als sluitstuk; Evaluatie vermogensfondsen


21 maart 2013

Filantropisch Impact Framework Liket & Maas, forthcoming

Compe Maatschappij

eve Context;

Overheidscapaciteit, bedrijven, filantropische sector

LRWFK/I

Missie

Visie……………………….……….

Maatschappij LRWFK/I Legi miteit Relevan e Waarden Fit Kosteneffec viteit/ Innova e

Missie

Missie……………………………… LRWFK/I

Opera onele Missie

Strategie………………….….…… LRWFK/I

Strategie

Tak ek…………………….……… LRWFK/I

Uitvoering..

Programma A

Programma B

*extra ac viteiten + synergiën*


Project A1

Project B1

Project A2


Project B2

21 maart 2013

Filantropisch Impact Framework Liket & Maas, forthcoming

Probleem: kinderen geen toegang tot basisonderwijs

Compe

Maatschappij

eve Context;


LRWFK/I

Missie

Visie……………………….……….

Maatschappij LRWFK/I Missie

Missie………………………………

Universeel basisonderwijs

LRWFK/I

Opera onele Missie

Strategie………………….….……

Universele toegang tot basisonderwijs

LRWFK/I

Strategie


Uitvoering..

Legi miteit Relevan e Waarden Fit Kosteneffec viteit/ Innova e

Individuele barrieres verlagen

Programma A *extra ac viteiten + synergiën*

Project A1 CCT

Project A2

School uniformen

Samenwerkingen stimuleren

Programma B *extra ac viteiten + synergiën*

Project B1 Evidence base vergroten


Project B2 PPP project NGO x

21 maart 2013

Stap 1 Impact als basis voor de focus: Visie en Missie Wat is de meeste effectieve rol, gezien de huidige structuren, die wij als vermogensfonds kunnen vervullen? Een geschiedenis met verschillende modellen 1970s & 1980s Onderzoek en innovaties –opschalen als overheidstaak (Sandfort, 2008) 1980s &1990ss Samenwerken in “comprehensive community initiatives”, PPPs + “Strategic Philanthropy” (Silver, 2004; Porter & Kramer, 2002; Wood, 1990) Einde 1990s “Venture philanthropy” (Frumkin, 2003; Letts, Ryan, & Grossman, 1997) Nu Nadruk op overheidsbeleid policy en de rol van filantropie t.o.v. dit beleid (Arons, 2007; Ferris, 2003; Mandeville, 2007)

Succesfactoren (Voorbeeld: ontwikkelingssector) (DAC, 2003) – Lange termijn (15-20 jaar) – Planning combineerde visie en goed begrip van onderzoek – Executie met nadruk op het bouwen van vertrouwen en respect met lokale autoriteiten, technische mensen en lokale populaties – Initiatieven waren risicovol, met een acceptatie voor mogelijke mislukkingen

Relatie tot de Context: Overheid (bedrijfsleven en andere vermogensfondsen) Bijdragend – kleinere financieringsgaten in overheidsbestedingen • Organisaties die kwetsbaar voor overheidsbesparingen • Gevallen waarin overheidshulp de kosten van essentiële services en producten niet dekt • Programma’s die relevant zijn voor specifieke (etnische) groepen • Overheidsprogramma’s steunen Grootste Voordeel: Verschil kan gemaakt worden met relatief kleine investeringen Grootste Nadeel: Assumptie is dat overheidsbeleid correct is Aanvullend – grotere thema’s die de overheid (vooralsnog) laat liggen • Het aanpakken van nieuwe problemen (duurzaamheid, financiële crisis) Grootste Voordeel: Veel invloed Grootste Nadeel: Problemen met opschaling en duurzaamheid Corrigerend – afzetten tegen overheid • Verandering van publieke percepties (NCDO) • Beinvloeden van beleidsbesluiten • Aansporen civiele betrokkenheid (NCDO) Grootste Voordeel: Uiting van fundamentele verschillen van visie met overheidsbeleid Grootste Nadeel: (in democratische context) overheidsbeleid representeert preferenties meerderheid

Relationships of foundations to governments, Sandfort, 2008

Compe Maatschappij

LRWFK/I

eve Context;


Missie

Visie……………………….……….

Maatschappij

Bijdragend Aanvullend Corrigerend

LRWFK/I Missie


Opera onele Missie


Strategie


Uitvoering..

Programma A

Programma B



Project A1

Project B1

Project A2


Project B2

Legitimiteit Relevantie Waarden Fit Kosteneffectiviteit/In novatie 21 maart 2013

Deel 2 Impact als het fundament voor keuzes: (operationele) missie en strategie Wat zijn de mogelijke interventie-niveaus voor vermogensfondsen? • Macro (beleid, instituties, etc.) – Social movements – Beinvloeden van (overheids)agenda’s (bv. early childhood education) – Agenda zetten (bv. Bill & Melinda Clinton Foundation ‘Fight Against Polio’) • Meso (sectoren, communities, etc.) – Collective impact , PPPs – Lokale/Regionale focus (bv. Rotterdamse Fondsen Overleg) – Kennis en onderzoek (bv. werkgroepen FIN Duurzaam beleid en Totaal Rendement op Vermogen, ECSP) • Micro (organisaties, projecten, etc.) – Project Grantmaking (bv. Fonds 1818) – Organisatie Grantmaking – Capaciteit ontwikkeling Waar bestaat de toolbox van vermogensfondsen uit? Voorbeelden van ‘tools’ • Steun organisaties, projecten of capaciteit • Korte termijn grants, Lange termijn relaties, Matching • Investeringen & leningen

Interventieniveau en operationele toolbox, Sandfort, 2008

Compe Maatschappij

LRWFK/I

eve Context;


Missie

Visie……………………….……….

Maatschappij

Bijdragend Aanvullend Corrigerend

LRWFK/I Missie


Macro Meso Micro

Opera onele Missie


Strategie

Tak ek…………………….………

Legitimiteit Relevantie Waarden Fit Kosteneffectiviteit/In novatie

LRWFK/I

Uitvoering..


Project A1

Project A2


Project B1


Project B2

Operationele Toolbox

21 maart 2013

Strategievorming: 3 vragen, velen antwoorden

Wat is de meeste effectieve rol, gezien de huidige structuren, die wij als vermogensfonds kunnen vervullen? – Bijdragend – Aanvullend – Corrigerend Wat zijn de mogelijke interventie-niveaus voor vermogensfondsen? – Macro – Meso – Micro Waar bestaat de toolbox van vermogensfondsen uit? – Project/organisaties/capaciteit – Korte termijn grants/ lange termijn partnerschappen/ matching – Leningen, Investeringen


21 maart 2013

Voorbeeld: fysieke en psychosociale producten en diensten Bron: Sandfort, 2008

Deel 3 Impact voor het toetsen en aanpassen van de strategie

1.

Verplaats je in de uitvoerende organisatie (fondsenwervende instellingen) – Wanneer is de informatie uit de evaluatie nuttig – verschilt per stakeholder?* – Wie draagt de kosten en lasten van de evaluatie? – Meerder financiers

2. Ga partnerschappen aan met organisaties die evalueren Projectselectie: – Gebruik bestaande informatie zoals PPS – Kijk naar ‘track record’ van evaluatie (respect voor context) Projectevaluatie – Beoordeel de kwaliteit van de evaluatie en reik suggesties aan voor verbetering* 3.

Maak ruimte voor uitzonderingen*

Promote MC

Promote IC

Evaluate OE

Evaluate PGE

How much has the activity contributed to the mission?

How much has the activity contributed to the public good?

Motivate Reporting functions

Celebrate Budget Control

Reporting questions

Activity Mission Prevent malaria

Public good

Input Funds, equipment, time, expertise

Distribute free bed nets

Activity Distribute subsidized bed nets

How much have we produced with our activity?

Output Number of nets distributed

Output Number of nets distributed

How much has the activity contributed directly to people and organizations, natural and physical environment, social systems and institutions?

Mission related impact

Outcome Δ bed net usage amongst beneficiaries

Δ infection rates Mission

Mission Public good

Mission related impact Public good impact Δ Public health costs

Mission related impact

Outcome Δ bed net usage amongst beneficiaries

Δ infection rates Mission

Mission Public good

Mission related impact Public good impact Δ Public health costs

Learning questions

Can we produce our output more cost-effectively?

Can we contribute directly to people and organizations, physical and natural environments, social systems and institutions more cost-effectively?

Can we contribute to the mission more costeffectively?

Learn Reporting functions

Improve Budget

Can we contribute to the public good more costeffectively?

Deel 3 Impact voor het toetsen en aanpassen van de strategie

1.

Verplaats je in de uitvoerende organisatie (fondsenwervende instellingen) – Wanneer is de informatie uit de evaluatie nuttig – verschilt per stakeholder?* – Wie draagt de kosten en lasten van de evaluatie? – Meerder financiers

2. Ga partnerschappen aan met organisaties die evalueren • Projectselectie: – Gebruik bestaande informatie zoals PPS – Kijk naar ‘track record’ van evaluatie (respect voor context) • Projectevaluatie – Beoordeel de kwaliteit van de evaluatie en reik suggesties aan voor verbetering* 3.

Maak ruimte voor uitzonderingen*

Het beoordelen van de kwaliteit van(impact) asessments en evaluaties

• •

Niveau (output, outcome, MR impact, PG impact) – afhankelijk van evaluatievraag Kwaliteit van indicatoren – – – –

• •

Moment waarop de (impact) data wordt verzameld + duurzaamheid Schaal voor de diepte van het bewijs – – –

–

• •

Good practice – ‘we’ve done it, we like it, and it feels like we make an impact’ Promising approaches – some positive findings but the evaluations are not consistent or rigorous enough to be sure Research-based – the programme or practice is based on sound theory informed by a growing body of empirical research Evidence-based – the programme or practice has been rigorously evaluated and has consistently been shown to work

Open Access Een aantal parameters voor de beoordelingen van de algehele kwaliteit www.wmich.edu/evalctr/jc – – – –

•

wikivois.org Iris.thegiin.org performwell.org urban.org/center/cnp/projects/outcomeindicators.cfm

Utility (praktische waarde) Feasibility (realistisch) Propriety (ethisch) Accuracy (technisch correct)

Uitzonderingen – – –

Bestaand onderzoek/bewijs (context?)* Lange termijn resultaten (wanneer zijn midden-termijn effecten voldoende) Innovatieve en niet lineaire trajecten van sociale verandering*

Bronnen: Bestaand Bewijs

•

•

•

•

•

SCIE (Social Care Institute for Excellence) is an independent charity, funded by the UK, Wales and Northern Ireland governments. It identifies and disseminates the knowledge base for good practice in all aspects of social care throughout the United Kingdom. (www.scie.org.uk) The EPPI-centre (Evidence for Policy and Practice Information and Co-ordinating Centre) is part of the Social Science Research Unit at the Institute of Education, University of London. It maintains an on-line evidence library that provides access to its systematic reviews of evidence relating to topics in education, social policy, health promotion and public health. (www.eppi.ioe.ac.uk) Project Oracle is part of the Mayor of London’s Time for Action programme. It offers a developing evidence hub that aims to understand and share ‘what really works’ in youth programmes in London (building up from provider experience). It seeks to offer an innovative space in which providers can interact and learn from each other. (www.project- oracle.com) Ofsted (Office for Standards in Education, Children’s Services and Skills) is an independent publicly-funded body that inspects a wide range of services in care and learning and shares examples of good practice through its website and conferences. (www.ofsted.gov.uk) NPIA (National Police Improvement Agency) is funded primarily by the Home Office. It offers practice advice developed through research and consultation with stakeholders. The Agency aims to assist practitioners by promoting good practice. (www.npia.police.uk)

Het beoordelen van de kwaliteit van(impact) asessments en evaluaties

• •

Niveau (output, outcome, MR impact, PG impact) – afhankelijk van evaluatievraag Kwaliteit van indicatoren – – – –

• •

Moment waarop de (impact) data wordt verzameld + duurzaamheid Schaal voor de diepte van het bewijs – – –

–

• •

Good practice – ‘we’ve done it, we like it, and it feels like we make an impact’ Promising approaches – some positive findings but the evaluations are not consistent or rigorous enough to be sure Research-based – the programme or practice is based on sound theory informed by a growing body of empirical research Evidence-based – the programme or practice has been rigorously evaluated and has consistently been shown to work

Open Access Een aantal parameters voor de beoordelingen van de algehele kwaliteit www.wmich.edu/evalctr/jc – – – –

•

wikivois.org Iris.thegiin.org performwell.org urban.org/center/cnp/projects/outcomeindicators.cfm

Utility (praktische waarde) Feasibility (realistisch) Propriety (ethisch) Accuracy (technisch correct)

Uitzonderingen – – –

Bestaand onderzoek/bewijs (context?)* Lange termijn resultaten (wanneer zijn midden-termijn effecten voldoende) Innovatieve en niet lineaire trajecten van sociale verandering*

Uitzonderingen Type evaluaties en maatschappelijke veranderingstrajecten: formative, summative & development evaluaties Evalueren met..... Lineaire veranderingstrajecten 1. Zet duidelijke doelen 2. Creëer een goede veranderingstheorie met voorspellende waarde 3. Formuleer performance indicatoren 4. Evalueer om voortgang te meten t.o.v. vooraf gestelde doelen 5. Stel vast wat door het project/ de organisatie/ de geldverstrekker kwam 6. Doel: verbeteren interventie en beoordelen of het aan de verwachtingen voldeed 7. Evaluator is extern, objectief en onafhankelijk

Complexe veranderingstrajecten 1. Focus op (de innovatie in) het proces, niet de uitkomsten 2. Veranderingstheorie onduidelijk 3. Performance indicators onduidelijk 4. Proberen, falen en aanpassen als de basis 5. Attributie minder betekenisvol en belangrijk 6. Doel: bijdragen aan sociale innovaties 7. Evaluator is betrokken in het strategische leerproces

Lineaire veranderingstrajecten Voorbeelden van hiërarchieën


21 maart 2013

Link evaluatietype aan evaluatievraag


21 maart 2013

Deel 4 Evaluatie van vermogensfondsen “Robin Hood is often asked whether we measure ourselves with the same rigor with which we measure the success of our grantees. In fast, the two are identical. Our benefit-cost ratios capture, as best as we know, RH’s impact”

– Waarom evalueren als vermogensfonds? • (Kosten-)effectiever missie bereiken = meer verschil maken! – Informatiebouwstenen • Kosten • Impact Projecten • Impact extra activiteiten – Uitdagingen • Vaak niet-lineaire veranderingstrajecten – innovaties en risico • Aggregatie (monetair?) • Impact synergiën • Attributie • Gedeeltelijke financiering • het laatste stukje risicokapitaal: welke assumptie neem je – zou het gebeurd zijn zonder jullie? • Kapitaal is een van de inputs

Framework voor evaluatie van vermogensfondsen

Compe Maatschappij

LRWFK/I

eve Context;


1. Context 2. Leiderschap

Missie

Visie……………………….……….

Maatschappij LRWFK/I Missie


3. Lessen 4. Reputatie 5. Gezondheid

Opera onele Missie


Strategie


Uitvoering..


Project A1

Project A2


Project B1


6. Voortgang

Project B2

21 maart 2013

Framework evaluatie vermogensfondsen

1. Context  Ontwikkelingen overheidsbeleid  Nieuwe relevante kennis  Ontwikkelingen andere vermogensfondsen en private sector

2. Leiderschap  Platformrol  Invloed op maatschappelijke agenda

3. Lessen  Concrete veranderingen op basis van evaluaties

4. Reputatie  Meningen stakeholders

5. (Financiële) Gezondheid  Beleggingen, diversiteit, etc.

6. Voortgang    

Attributie assumpties impact organisaties/ projecten Assumpties bij aggregatie Evaluaties innovaties en uitzonderingen: strategische leren Assumpties evaluaties synergiën

Bruikbare bronnen

Plekken voor informatie en inspiratie • CEP – Centre for Effective Philanthropy • FSG Social Impact Advisors • New Philanthropy Capital • McKinsey Social Sector Office • NEF – New Economic Foundation • The Centre for What Works • Foundation Centre - Glasspockets Specifieke gidsen • Bill & Melinda Gates Foundation – A guide to Actionable Measurement • W.K. Kellogg Foundation – meerdere gidsen zie website • FIN – Maatschappelijk meer bereiken door evalueren van projecten Voorbeelden en (HBS) cases • James Irvin Foundation • Robert Wood Johnson Foundation • Grossman & Sesia (2011): Edna McConnell Clark Foundation – Enabling a Performance Driven Philanthropic Capital Market • Ebrahim & Rangan (2011): Acumen Fund: Measurement in Impact Investing (A) • Ebrahim & Ross (2010): The Robin Hood Foundation • Grossman & Greckol-Herlich (2011): Year Up: A Social Entrepreneur Builds High Performance • Grossman (2010): Jumpstart – A Culture of Performance Measurement and Management

Besturen van Fondsen door Resultaatmeting, Sturing en Strategie

Recommend Documents