Project Cycle Management Werkboek: achtergrond en toelichting
ACE Europe in samenwerking met ngo-federatie vzw | december 2012
Inhoudsopgave Lijst van Figuren .................................................................................................................... 5 Inleiding................................................................................................................................. 7 Deel I: Analyse .....................................................................................................................11 1 Waar hebben we het over? ............................................................................................11 1.1 Analyse als basis ........................................................................................................11 1.2 Soorten analyses ........................................................................................................11 1.3 FAQ ............................................................................................................................12 2 Hoe begin je eraan: stappen en methodieken ................................................................14 3 Aan de slag ....................................................................................................................14 4 Samenwerken ................................................................................................................14 Deel II: Formulering ..............................................................................................................16 1 Waar hebben we het over? ............................................................................................16 1.1 Formulering als concretisering van ideeën ..................................................................16 1.2 Enkele aandachtspunten ............................................................................................17 1.2.1 1.2.2 1.2.3 1.2.4
Resultaatsgerichte projectformulering ............................................................................... 17 Aandacht voor kwaliteit van interventies ........................................................................... 21 Formulering kan niet zonder kennis van begroting ............................................................ 22 Modellen voor formulering ................................................................................................. 25
1.3 FAQ ............................................................................................................................26 2 Hoe begin je eraan: stappen en methodieken ................................................................27 3 Aan de slag ....................................................................................................................29 4 Samenwerken ................................................................................................................29 Deel III: Evaluatie en monitoring ...........................................................................................30 1 Waar hebben we het over? ............................................................................................30 1.1 Monitoring ...................................................................................................................30 1.2 Evaluatie .....................................................................................................................32 1.3 Monitoring & Evaluatie bij Vlaamse ngo’s ...................................................................35 1.4 Monitoring en budget ..................................................................................................36 1.5 FAQ’s .........................................................................................................................37 2 Hoe begin je eraan: stappen en methodieken ................................................................38 2.1 Monitoring ...................................................................................................................38 2.2 Evaluatie .....................................................................................................................38 3 Aan de slag ....................................................................................................................39 4 Samenwerking ...............................................................................................................39 Bijlagen ................................................................................................................................41 Bijlage 1: Glossarium ...........................................................................................................41
Lijst van figuren Figuur 1: Van analyse naar formulering ................................................................................................ 16 Figuur 2: Wat zijn resultaten? ................................................................................................................ 18 Figuur 3: Wat zijn resultaten? De resultatenketen ................................................................................ 18 Figuur 4: Continuüm beleidsbeïnvloeding ............................................................................................. 19 Figuur 5: Resultaten verwezenlijken = rekening houden met externe invloeden .................................. 20 Figuur 6: Logisch kader ......................................................................................................................... 25 Figuur 7: Logisch kader en link met monitoring ..................................................................................... 32 Figuur 8: Logisch kader en link met evaluatie ....................................................................................... 33
Een woord van dank en waardering - Dit werkboek is het resultaat van de ervaringen die werden opgedaan tijdens de cursus. Dit betekent dat ook alle lesgevers en bureaus die deze starterscursus gaven hebben bijgedragen tot dit resultaat. We denken in het bijzonder aan South Research en MDF. Ook de cursisten van de voorbije jaren hebben meegewerkt aan dit werkboek: zij gaven commentaar op het ‘work in progress’ en beoordeelden de relevantie van inhoud en haalbaarheid van oefeningen. We danken in het bijzonder: Kaat Torfs, Anuschka Mahieu, Hans De Greve, Laura de Grève, Dominique Dooms, Nele Cosyns, Wouter Fransen, Marie Devreux, Isabelle Vertriest, Koen Van Troos, Jeroen Roskams, Marleen Van Oudenhove, Stéphanie Eeckman, Ellen von Arx en Anne-Sophie Bruylants.
Inleiding 1
Dit werkboek levert materiaal dat hoort bij de jaarlijkse Project Cycle Management (PCM ) cursus die ngo-federatie organiseert voor nieuwe medewerkers van ngo’s. In principe kan het werkboek ook gebruikt worden zonder de PCM cursus te volgen. In deze inleiding wordt de aanpak en de inhoud toegelicht en wordt er uitgelegd wat je van dit werkboek kan verwachten. Voor beginners Het materiaal is gericht op beginners en met name op nieuwe medewerkers bij ngo’s die programma’s en projecten moeten formuleren, uitvoeren en opvolgen. Dat kunnen programma’s of projecten zijn met partners in het Zuiden, maar ook in het Noorden. Het maakt verder in dit werkboek niet uit of je werkt voor een programma- of een projectngo (zie kader). Je hoeft dit werkboek niet te laten liggen tot het aan jou is om een nieuw programma te formuleren: het materiaal helpt je ook om een bestaand programma te ‘lezen’, te begrijpen en te beoordelen. Medewerkers die al langer meedraaien kunnen het werkboek eventueel gebruiken om wat jargon op te frissen.
Programma- of projectngo? De wet of de financiering van de ngo’s (KB van 24 december 2006) maakt een onderscheid tussen programmaen projectngo’s. Een project heeft één specifieke doelstelling en een maximale duur van 24 maanden. Het is een Zuid- of een Noordproject, beide luiken in één project kan niet. Een programma is een coherent geheel van specifieke doelstellingen. Het duurt maximaal 3 jaar en kan zowel een noord- als een zuidluik bevatten. Zowel projecten als programma's moeten voldoen aan de criteria van relevantie, doeltreffendheid, doelmatigheid en duurzaamheid. Ze moeten ook een resultaatgerichte benadering hebben en zowel projecten als programma’s moeten kaderen binnen een strategisch kader van 6 jaar. Een projectngo kan pas een programma-ngo worden als de ngo geregeld subsidies heeft ontvangen gedurende de laatste zes jaar. Voor de erkenning wordt de ngo ook gescreend door een extern bureau op basis van vier criteria: haar financiële autonomie, een transparant financieel beheer, de capaciteit inzake voorbereiding, uitvoering en opvolging en de doeltreffendheid van haar acties op het terrein. Een overzicht van alle verschillen tussen programma- en projectngo’s vind je ook terug op de website van ngofederatie. Bron: www.ngo-federatie.be
PCM en logisch kader als rode draad De leidraad in het werkboek is die van ‘project cycle management’ of PCM die interventies van ngo’s bekijkt als onderdeel van een cyclus van analyse, planning, formulering, uitvoering, evaluatie, leren, analyse, enz. De keuze voor PCM werd gemaakt omdat de belangrijkste donor van ngo’s, het Ministerie van Ontwikkelingssamenwerking of DG-D, deze benadering hanteert in haar beoordeling van programmavoorstellen. PCM is sterk verbonden met het instrument van het logisch kader; een manier om op een coherente manier een project weer te geven met doelstellingen, resultaten en activiteiten. PCM is ook sterk verbonden met aandacht voor resultaten en resultaatsgericht beheer. Dit
1
In een afzonderlijk glossarium (zie bijlage 1) vind je verschillende termen uitgelegd.
7/43
wil zeggen dat formulering, planning en budgettering gebeuren in functie van verwachte resultaten en dat gevolgen van activiteiten opgevolgd en gemeten moeten kunnen worden aan de hand van indicatoren (ook wel: aanwijzingen dat een bepaalde situatie verandert). PCM is dus een model dat helpt om projecten voor te bereiden, te identificeren, te formuleren, uit te voeren en op te volgen en te evalueren. Waar relevant, zal dit werkboek ingaan op andere modellen en benaderingen die in de wereld van ontwikkelingssamenwerking gebruikt worden. Inhoud van het werkboek
Op welke vragen kan je in dit werkboek een antwoord vinden? Allicht is dit werkboek geen antwoord op alle mogelijke vragen en varianten van ngo-werk. We denken toch dat het werkboek je al een aardig eind op weg kan helpen. Verwijzingen naar bijkomende informatiebronnen helpen je hopelijk om een antwoord te vinden op nieuwe of andere vragen. Het werkboek gaat in ieder geval direct in op diverse vereisten van DG-D als subsidiegever ten aanzien van projecten en programma’s, met name de vereisten voor coherentie, ontwikkelingsrelevantie, duurzaamheid, methodologie, doeltreffendheid (of effectiviteit) en doelmatigheid (of efficiëntie).
Wat vind je niet terug in het werkboek? De meeste programmamedewerkers worden geconfronteerd met programma’s die uitgevoerd worden in verschillende landen en met diverse partners. Hun taak is dat samen te brengen in één programma (met één logisch kader). Er zijn verschillende manieren om dat te doen: DG-D raadt bijvoorbeeld aan om aan iedere partner of land een andere specifieke doelstelling te koppelen. (Er bestaat zelfs een reële kans dat dit in de toekomst een meer dwingend karakter zal krijgen). Dit werkboek gaat echter niet uitgebreid in op de manier waarop je diverse programmaonderdelen best kan bundelen en samen kan voegen in één logisch kader.
Ngo-medewerkers die met noodhulp of met humanitaire hulp bezig zijn, komen wellicht minder aan hun trekken. We merken op dat ook noodhulp en structurele ontwikkelingssamenwerking in de praktijk naar elkaar toegroeien: noodhulp creëert immers mee de voorwaarden voor een meer structurele aanpak van ontwikkelingsproblemen. Dit betekent dat ook noodhulporganisaties meer en meer te maken krijgen met logische kaders en andere vereisten die door donoren worden opgelegd. Een aantal nieuwere concepten zoals ‘Theory of change’ en ‘Outcome mapping’ worden in het werkboek wel aangehaald maar niet in detail uitgewerkt. Elementen van deze concepten zijn hier en daar verwerkt in de oefeningen omdat ze vaak een meerwaarde bieden voor de praktijk. Partnerschap en capaciteitsversterking van partners zijn twee andere thema’s die minder aan bod komen in dit werkboek: ngo-federatie heeft op dit moment een traject lopen om hierover te reflecteren en werkmateriaal te ontwikkelen. Het werkboek gaat evenmin concreet in op de DG-D vereisten voor synergie en complementariteit. Aanpak: drie delen Het werkboek is opgedeeld in drie delen: (i) de analyse (voorafgaand aan de formulering van een programma/project), (ii) de formulering (het uitwerken van het programma/project met een logisch kader en een budget) en (iii) de opvolging en evaluatie (het bewaken van de uitvoering en het beoordelen van de resultaten van het programma/project). Dit werkboek introduceert in ieder deel enkele begrippen en koppelt hier werkinstrumenten aan vast onder de vorm van oefeningen of leidraden. Elk deel is op dezelfde manier opgebouwd: een korte situering: waar hebben we het over, waar vind je informatie terug, welke technieken en instrumenten zijn voorhanden? suggesties voor de aanpak: hoe begin je, welke stappen kan je doorlopen, welke technieken zijn het meest geschikt voor jou en jouw organisatie?
8/43
zelf doen: oefeningen, checklists en fictieve voorbeelden helpen je om zelf aan de slag te gaan doen met anderen: je werkt niet alleen aan een project of programma dus wat kan je doen om één en ander op te pakken met collega’s en partners? In ieder geval werken Ngo’s steeds meer met partners, zowel in het Noorden als in het Zuiden. Die partners hebben soms andere doelstellingen en vaak werken ze niet enkel met jouw ngo samen; dat vraagt specifieke aandacht.
Oefeningen De oefeningen, leidraden en fictieve voorbeelden (goed/minder goed) zijn opgesteld als afzonderlijke documenten, die vind je terug in het ‘Werkboek: oefeningen en leidraden’: Oefeningen: zijn steeds op dezelfde manier opgebouwd met een inleiding, toelichting bij de aanpak van de oefening en de stappen, toelichting bij de manier waarop je de output van de oefening (de informatie die eruit komt) verwerkt en gebruikt, een overzichtswerkblad en toelichting bij de volgende stappen. De oefeningen zijn uitgewerkt op basis van fictieve voorbeelden (gebaseerd op ervaringen met ‘echte’ projecten van Vlaamse ngo’s). Bijv. hoe werk ik met een probleemboom? Leidraden: dit zijn overzichten van aandachtspunten die je helpen bij een kritische lezing van je eigen werk of werk geleverd door collega’s en partners, bijv. hoe beoordeel ik de kwaliteit van een logisch kader? Fictieve voorbeelden: we leggen uit wat goed/minder goed is aan de hand van concrete voorbeelden. Bijv. wat is een goede indicator/slechte indicator om aan te geven dat je project vooruitgang boekt? Het is belangrijk om te beseffen dat de voorgestelde instrumenten ‘maar’ instrumenten zijn en geen doel op zich. Ze geven aan welke denkstappen je kan zetten om meer inzicht te krijgen en ze helpen je één en ander op papier te krijgen. Dat die denkstappen worden gezet en dat het resultaat van die stappen wordt gedeeld met anderen is essentieel; of de geschreven uitkomst perfect geformuleerd is of helemaal volgens de regels is dat veel minder.
Typologie van ngo-werk In de uitwerking van dit materiaal, besteden we aandacht aan verschillende types van ngo-werking. We houden rekening met soorten projecten (al is er in de praktijk wel de nodige overlap) en met het verschil in Noord- en Zuidwerking. Concreet: Je bent (mee-)verantwoordelijk voor de Noordwerking? De projecten waar je mee bezig bent kunnen gericht zijn op: (i) sensibilisatie en bewustwording van specifieke doelgroepen of het grote publiek (bijv. via bewegingswerk, scholenwerking, publiekscampagnes, ontwikkelen van educatief materiaal,.. ), (ii) bewegingswerk (bijv. uitbouwen van een eigen vrijwilligersbeweging of partnerschappen met bestaande bewegingen) (iii) beleidsontwikkeling, advocacy en lobby (bijv. via beïnvloeding van politici en beleidsmakers middels schaduwrapporten, opstellen van petities, beïnvloeden van subsidieprogramma’s,…), (iv) versterken van organisaties en bewegingen (bijv. ondersteunen van Vlaamse afdelingen van een vakbond of mutualiteit om zelf initiatieven te nemen rond het Zuiden, versterken van lokale 4depijlergroepen, studie- en onderzoekswerk in dienst van het werkveld …). Je bent (mee-)verantwoordelijk voor de Zuidwerking? De projecten waar je mee bezig bent kunnen gericht zijn op: (i) sensibilisatie en bewustwording (bij. Sensibilisatie rond het belang van AIDS-testen, of het belang van onderwijs voor meisjes), (ii) beleidsbeïnvloeding, advocacy en lobby (bijv. ervoor zorgen dat programma’s en ontwikkelingsfondsen in het Zuiden ‘pro-poor’
9/43
zijn, gemeenten ondersteunen in het opstellen van lokale ontwikkelingsplannen die gericht zijn op inclusie van achtergestelde groepen,…), (iii) een meer technische dienstverlening (bijv. leveren van een specifieke techniek voor ontmijning van landmijnen, opzetten van trainingen voor het maken en onderhouden van waterputten en irrigatiesystemen in de landbouw), (iv) versterken van organisaties en bewegingen (bijv. het opzetten en versterken van boerenorganisaties en coöperatieven of vakbonden in het Zuiden. In veel programma’s gaat het om een mix van bovenstaande. Uitgewerkte voorbeelden Doorheen het werkboek en meer bepaald in de oefeningen werken we met verschillende fictieve voorbeelden en komen diverse types van projecten aan bod. Twee voorbeelden komen herhaaldelijk terug en worden ook in diverse oefeningen uitgewerkt (de uitgewerkte voorbeelden worden samengevat in een afzonderlijk hoofdstuk dat je terugvindt in het deel ‘Werkboek: oefeningen en leidraden’): Noordwerking: thema rond versterken van maatschappelijk draagvlak voor de NoordZuidproblematiek, uitgewerkt als een project voor versterking van betrokkenheid van schoolgaande jongeren bij de Noord-Zuidproblematiek. Zuidwerking: thema rond voedselzekerheid en ondervoeding van kinderen, dat verder werd uitgewerkt als gezondheidsproject. Ten slotte Dit werkboek biedt een basis voor het werk dat eigenlijk grotendeels in teamverband uitgevoerd moet worden en in samenspraak met de partners van jouw ngo. Het is dan ook een beperking van de PCM vorming en van dit werkboek dat het gericht is op individuen binnen verschillende ngo’s. Soms geven we specifiek aan wat je met je partners kan en moet opnemen. Het mag echter duidelijk zijn dat je zoveel mogelijk doet in samenspraak met partners.
10/43
Deel I: Analyse 1
Waar hebben we het over?
1.1
Analyse als basis
Programma’s en projecten ontstaan niet uit het niets. Wanneer ngo’s starten met nieuwe programma’s vertrekken ze steeds van enkele basisvragen: ‘welke problemen willen we aanpakken’, ‘wat willen we veranderen?’. Voor je een programma of project uitwerkt heb je dus een fase van analyse nodig, van ‘meer te weten komen’. Ngo’s besteden steeds meer aandacht aan een goede analyse voor ze een programma of project formuleren. Ze vertrekken daarbij vanuit de expertise en ervaring die ze hebben in een bepaalde sector, bijv. water of landbouw, ontwikkelingseducatie in scholen,… De expertise en ervaring vormen als het ware het kader om te kijken naar de context. Volgende vragen staan centraal in de analyse: Noordwerking: richten we ons op gans Vlaanderen of België, welk probleem willen we vooral aanpakken (bijv. Noord-Zuid problematiek is te weinig bekend bij het publiek of staat te weinig op de agenda), wie is er nog actief rond deze problematiek, wat is er al allemaal, welke perspectieven zijn er op verbetering, wat is onze visie op de verandering die mogelijk is, wat zijn onze waarden, enz... Zuidwerking: in welk land of gebied gaan we werken, wat zijn de problemen en noden (in de sector waarbinnen wij willen werken), welke mensen en groepen kampen met die problemen, welke organisaties en instellingen moeten en kunnen deze problemen mee helpen oplossen, welke andere organisaties werken er nog in dit land op deze problemen, wat is er al allemaal gebeurd/geprobeerd om de problemen aan te pakken, welke perspectieven zijn er op vlak van verbetering, wat is onze visie op de verandering die mogelijk is, wat zijn onze waarden, enz... Meestal worden die vragen gesteld in het kader van de formulering van een meerjarenstrategie en worden ze ook in die strategie zo goed als mogelijk beantwoord. Dit laat de ngo toe om de grote lijnen van haar werking voor enkele jaren vast te leggen. Het wordt dan verder geconcretiseerd in programma’s en/of projecten in overleg met de partners. In dit werkboek bekijken we de analyse op het niveau van programma’s en projecten. Indien de strategiebepaling in jouw ngo goed werd aangepakt en uitgewerkt, is een stuk van die analyse al gebeurd en komt het erop neer om verder te verfijnen in functie van het programma of project. Als je een bestaand project opvolgt, kan het handig zijn om eerst na te gaan of en welke analyses voor jouw project werden uitgevoerd.
1.2
Soorten analyses
Een ngo kan verschillende soorten analyses uitvoeren. We beperken ons hier tot de meest essentiële (en komen er later op terug): Contextanalyse: hoe ziet de algemene omgeving er uit als je kijkt naar de sector binnen dewelke de ngo actief wilt zijn: wat is het beleid van de overheid, welke programma’s bestaan er al, welke structuren en instellingen spelen een rol, wat zijn de voornaamste trends in de sector, wat staat er op dit moment op de agenda, welke zijn de voornaamste uitdagingen, …?
11/43
Probleemanalyse en behoefteanalyse: wat zijn binnen de sector de voornaamste problemen, voor wie zijn dit problemen (en wat zijn de behoeften voor deze groepen), hoe hangen de verschillende problemen samen en wat zijn de oorzaken en gevolgen? Stakeholderanalyse / analyse van actoren: wie speelt er allemaal een rol in de problematiek en wie kan en moet een rol spelen in de oplossing of in het veranderingsproces dat de ngo voor ogen heeft? We spreken verder in dit werkboek vooral over actoren (in plaats van stakeholders) om te benadrukken dat iedereen wel een bepaalde rol/taak te vervullen heeft in veranderingsprocessen. Meer en meer wordt deze stakeholderanalyse gecombineerd met een analyse van machtsrelaties en –verhoudingen en een analyse van capaciteit van de actoren. Analyse en keuze van strategie: welke verschillende interventies zijn denkbaar, op basis waarvan kan een keuze worden gemaakt? De analyses worden meestal opgenomen met meerdere mensen binnen de ngo en vaak met partners erbij, bijv. onder de vorm van participatieve workshops. Een goede documentatie komt eveneens van pas: zorg er dus voor dat je toegang hebt tot studies, rapporten van evaluaties, statistieken, enz. Analyses zijn zelden 100% objectief of neutraal. De manier waarop een ngo kijkt naar een problematiek wordt sterk beïnvloed door verschillende factoren: eerdere ervaringen, de visie en missie van de organisatie die bepaalt welke soort veranderingsprocessen de ngo wilt ondersteunen, de identiteit en de waarden van de organisatie. Vaak zijn elementen van visie en missie binnen de organisatie eerder impliciet/onuitgesproken.
1.3
FAQ
Is analyse nuttig? Een grondige analyse geeft je inzicht in de omgeving waarin je aan de slag gaat en laat wat licht schijnen over het soort verandering dat je kan nastreven en realiseren. De sector van ontwikkelingssamenwerking is complex. Ngo’s die duurzame resultaten en veranderingen op lange termijn nastreven, moeten dus goed nadenken over wat mogelijk is en hoe ze dat gaan aanpakken. Een analyse helpt de organisatie ook om onuitgesproken elementen van visie en missie en bepaalde uitgangspunten meer expliciet te maken en ze te toetsen. De analyse en de keuzes die de ngo maakt verduidelijken aldus hoe de ngo denkt dat verandering kan gerealiseerd worden op korte en langere termijn. Analyse helpt dus om een theorie van verandering (zie kader) helder te formuleren en om stil te staan bij de vraag: ‘waarom denken we dat onze aanpak de gewenste verandering kan realiseren?
Waarop baseren we ons om dat te denken?’ Theorie van verandering De theorie van verandering of ‘Theory of change’ (ToC) lijkt wel een nieuw buzzwoord in ontwikkelingssamenwerking. Er worden artikels over geschreven en trainingen over georganiseerd. Donoren vragen soms aan ngo’s om hun ‘theorie van verandering’ te beschrijven. Deze aandacht is het resultaat van een toenemend verlangen om te begrijpen hoe (sociale) verandering gerealiseerd wordt. Doordat ontwikkelingssamenwerking steeds meer onder druk komt te staan om resultaten aan te tonen, werd het belangrijker om te begrijpen hoe die resultaten tot stand komen of om te begrijpen waarom bepaalde resultaten niet gerealiseerd worden. Dit daagt organisaties uit om te onderzoeken wat ervoor zorgt dat ze verandering realiseren en om de vaststellingen en conclusies te verwoorden als een theorie van verandering. Die theorie legt dan uit waarop de organisatie zich baseert om te stellen dat de som van een X aantal activiteiten leidt tot verandering. Meestal komt het erop neer dat de organisatie in staat is om haar veronderstellingen en uitgangspunten ten aanzien van het realiseren van verandering te benoemen en te funderen. In dit werkboek en de oefeningen besteden we daarom de nodige aandacht aan de uitgangspunten die aan de basis liggen van keuzes die ngo’s maken.
12/43
Meer info op: www.intrac.org, of in enkele recente artikels en boeken: Stein, D. en Valters C. (2012) Understanding ‘Theory of change’ in international development. A review of existing knowledge (The Asia Foundation and the Justice and Security Research Programme); Vogel, I. (2012) Review of the use of ‘Theory of change’ in International Development (for the UK Department of International Development); Retolaza Eguren, I (2011) Theory of change. A thinking and action approach to navigate in the complexity of social change processes (voor HIVOS, Democratic Dialogue en UNDP).
Is analyse verplicht door de Belgische overheid? Ja, in haar regelgeving vereist DG-D dat jouw programma of project gebaseerd is op een analyse. Hoe die analyse moet gebeuren en hoe je kan aantonen dat je een analyse gemaakt hebt, wordt door de overheid niet gepreciseerd. Hoe ver moet/kan je gaan? Dat hangt sterk af van de tijd en de middelen die ter beschikking staan. Een goede analyse kan je baseren op een deskstudie van bestaande documenten (van evaluaties of onderzoeken, beschrijving van goede praktijkvoorbeelden) gekoppeld aan één of meerdere workshops met het team en/of met partners. Afhankelijk van de tijd en de middelen, verleg je het accent naar deskstudie of naar workshops. Ideaal is natuurlijk een combinatie van beiden. Idealiter voer je ook verschillende analyses uit of houd je op z’n minst rekening met verschillende elementen in je analyse: wat is de context, wat zijn de problemen en wie zijn de actoren? Het is ook afhankelijk van waar de ngo zich bevindt in de uitvoering van een strategisch kader of meerjarenprogramma: de meeste ngo’s investeren meer in analyse bij de voorbereiding van hun nieuw strategisch kader, bijv. in het voorjaar van 2012 zijn verschillende ngo’s al gestart met zogenaamde strategische oefeningen gebaseerd op een evaluatie van het voorbije programma en analyse van de context met het oog op het nieuwe strategische kader dat zij voor 2014 aan de overheid moeten voorleggen. Overigens, analyse stopt niet echt op een bepaald moment. Zowel bij de formulering als bij de opvolging van programma’s en projecten komt er een stuk analyse kijken bij het werk. Heel belangrijk bij de formulering van een project zijn bijvoorbeeld de risicoanalyse en capaciteitsanalyse. Omdat veranderingsprocessen complex zijn en noodzakelijkerwijze steunen op veranderingen bij mensen en organisaties is het belangrijk om te begrijpen wat de capaciteit is van die organisaties om mee verandering te realiseren. Ngo’s werken meestal vooral door en met partners. Daarom is het belangrijk te analyseren of die partners mee het verschil kunnen maken en dit heeft vooral te maken met de capaciteit van die partners. Om de capaciteit van organisaties te analyseren, bestaan er verschillende modellen. Het tweede deel in dit werkboek, nl. over formulering, komt hierop terug. Wat is mijn taak? Nieuwe medewerkers worden geconfronteerd met drie mogelijkheden: 1) Er is een programma/project dat nog een tijd loopt en waar jij verantwoordelijk voor wordt; 2) Er is een programma/project dat afloopt en het is aan jou om een opvolger te formuleren; 3) Er is nog geen programma/project: het is aan jou om iets nieuws op te starten. Situatie 1 en 2 zijn wellicht de meest voorkomende situaties voor nieuwe medewerkers. De informatie in dit werkboek kan je in iedere situatie helpen: begrijpen van iets dat al bestaat of beginnen van iets nieuws. Je kan het werkboek immers gebruiken om kritisch te kijken naar wat voorligt: welke analyse lag aan de grondslag van het lopende programma: wat is er geanalyseerd, wat is de kwaliteit van de analyses, wat is er met de analyses gebeurd, is het nodig om de analyse opnieuw te bekijken, zijn er stappen overgeslagen,….? Op die manier kan je een lopend programma dus kritisch bekijken en krijg je ideeën voor eventuele aanpassing van het programma.
13/43
2
Hoe begin je eraan: stappen en methodieken
Je kan best in enkele stappen werken om de analyse aan te pakken. We stellen vier stappen voor: (i) informatie verzamelen, (ii) beoordelen van de kwaliteit die voorligt, (iii) keuzes maken, (iv) actie ondernemen. 1) Informatie verzamelen: nagaan welke analyses in het verleden gebeurd zijn voor het huidige programma/project en opsporen van documenten hierover – vaak is niet duidelijk hoeveel informatie al aanwezig is binnen de organisatie, nagaan wie er binnen de organisatie ervaring heeft met deze of andere analyses, navragen wie op hetzelfde moment bezig is met gelijkaardige oefeningen, navragen wat de ervaringen zijn met bepaalde oefeningen (bijv. betrekken van partners bij een probleemanalyse): wat heeft gewerkt en wat niet? Maak eventueel een bibliografie van alle documenten die je terugvindt. Dat is niet altijd een makkelijke opdracht: documenten zijn vaak niet gedateerd of hebben geen auteur of hun status is niet duidelijk,…. 2) Beoordelen van kwaliteit van analyse: is de informatie actueel, is de informatie betrouwbaar (bronverwijzing en manier van gegevensverzameling), is de informatie valide (is dit de informatie die je nodig hebt of zijn er gaten?), bevat de analyse informatie van en over partners? 3) Keuzes maken: welke analyses wil je actualiseren, welke analyses zijn nog niet gebeurd en wil je graag uitvoeren? Bekijk vervolgens op welke manier je de analyse gaat doen: welke techniek, wanneer en met wie? Bekijk wat mogelijk is gezien tijd en middelen binnen de organisatie (na overleg met diensthoofd en financiële dienst). 4) Actie ondernemen: kalender opstellen met acties, de mensen (en partners) die daar bij betrokken moeten zijn, de output die je hiervan verwacht (welk document is er nodig?) en taken verdelen en toewijzen. Bij dit werkboek horen oefeningen waarin verschillende analyses worden uitgelegd en die je kan toepassen.
3
Aan de slag
In het ‘werkboek PCM: oefeningen en leidraden’ reiken we enkele documenten aan die je zelf kan gebruiken om een analyse uit te voeren en die veelvoorkomend zijn (vaak gebruikt in de sector of gevraagd door de donoren). Het is uiteraard goed om eerst in je eigen organisatie na te vragen welke technieken en instrumenten gebruikt worden om bijv. problemen en context in kaart te brengen. Volgende oefeningen zijn uitgewerkt: 1) 2) 3) 4)
4
Oefening 1: probleemboom/behoefteanalyse Oefening 2: strategiebepaling Oefening 3: stakeholderanalyse/analyse van actoren Leidraad 1: contextanalyse
Samenwerken
We gaven eerder al aan dat je een goede analyse meestal niet alleen doet: je werkt in team, consulteert collega’s, wisselt uit met andere ngo’s (bijv. via de werkgroepen van ngo-federatie) en ‘last but not least’ je overlegt met je partners. Je partners komen op de eerste plaats. De grootste uitdaging
14/43
is om de analyse aan te pakken in samenwerking met de partners: die organisaties met wie je bepaalde waarden en/of doelstellingen deelt, die je wilt steunen omdat je vindt dat ze in hun samenleving mee het verschil kunnen maken en waarmee je afspraken hebt gemaakt om samen programma’s of projecten uit te voeren. De manier waarop je samen met je partners werkt, is afhankelijk van de kwaliteit van het partnerschap en de visie die je hebt op capaciteitsversterking bij je partners en inspanningen die je daarvoor doet. Het is dus cruciaal dat dat je je partners goed informeert over de processen binnen je ngo en de voorbereiding van nieuwe programma’s en projecten en om hun feedback vraagt: over het moment waarop je tijd wilt uittrekken voor een analyse en de tijdsspanne waarbinnen dit moet gebeuren, hoe je hen hierbij wilt betrekken en wat van hen wordt verwacht, waarom je de analyse doet (en wat eventuele consequenties zijn voor het partnerschap) en welke werkvormen je voorstelt. Ook hiervoor kan je best een schema (planning en verdelen van taken) opstellen waarop partners kunnen reageren.
15/43
Deel II: Formulering 1 1.1
Waar hebben we het over? Formulering als concretisering van ideeën
In het vorige deel van het werkboek hadden we het over verschillende analyses die je uitvoert vooraleer je een concreet project formuleert. Ervaring van jouw ngo gecombineerd met de visie op verandering en de analyse (in overleg met partners) leveren ideeën op over wat je kan doen om vastgestelde problemen op te lossen. Het hebben van een idee is uiteraard nog niet hetzelfde als een uitgewerkt programma of project dat je kan voorleggen voor subsidie. Het is met andere woorden niet voldoende om te schrijven dat je boeren toegang gaat geven tot water omdat ze op die manier beter kunnen produceren en een inkomen kunnen verwerven. Of dat je gaat lobbyen bij de overheid opdat kinderrechten of handicap meer en beter aan bod komen in het overheidsbeleid en er aangepaste programma’s komen die de kansen op ontwikkeling voor kinderen of mensen met een handicap verbeteren. Het moet allemaal een beetje concreter vormgegeven worden of geformuleerd: wat duidelijk op papier staat kan ook makkelijker gedeeld en begrepen worden, opgevolgd en getoetst. We hebben het hier dus over de stap tussen enerzijds het analyseren van problemen, het projecteren van de gewenste situatie, het bepalen van de strategie (zie deel 1) en anderzijds het plannen en uitvoeren van een project. Binnen PCM wordt hiervoor meestal beroep gedaan op het logisch kader. Figuur 1: Van analyse naar formulering
Formuleren van een project wil zeggen: het vertalen van de strategische opties in concrete doelstellingen en resultaten (wat willen we bereiken?) en in activiteiten waarbij je oog hebt voor kwaliteit (hoe gaan we dat bereiken?). Als je een project formuleert, verduidelijk je ook van welke veronderstellingen je uitgaat, je geeft aan welke indicatoren je zal gebruiken om te zeggen dat je vooruitgang boekt, je schept duidelijkheid over de risico’s die je ziet (en hoe je ermee omgaat) en je legt uit op welke manier je gaat samenwerken met andere actoren. Als je een project formuleert, bepaal je ook meteen een budget (en dat in het kader van het budget van je organisatie).
16/43
1.2 1.2.1
Enkele aandachtspunten Resultaatsgerichte projectformulering
Het blijkt vaak niet zo eenvoudig om een project helder en duidelijk te formuleren. Typische valkuil is dat projectformulering beperkt blijft tot het beschrijven van de middelen en de activiteiten, ook wel ‘input’ genoemd (of: dat wat je in een project stopt, of: hoe je tewerk zal gaan om de resultaten te bereiken) en dat je de eigenlijke resultaten over het hoofd ziet.
Een voorbeeld: een ngo die in het Zuiden vakbonden wilt steunen, beschrijft uitvoerig dat ze vakbondsleden (gedelegeerden) gaat trainen, zegt hoeveel trainingen ze gaat geven, welke cursussen ze daarvoor gaat ontwikkelen en hoeveel geld dit gaat kosten. De ngo stelt vervolgens de training voor als een resultaat. De vraag is echter wat je wilt bereiken en veranderen? Is de verandering het feit dat vakbondsmensen een training kunnen volgen, of gaat de verandering over wat die training teweeg brengt? Als ngo ben je gericht op maatschappelijke veranderingsprocessen: ‘steunen’ door training geeft niet weer welke verandering je beoogt bij de vakbondsleden (en hun vakbond). We werken hieronder verder met hetzelfde voorbeeld om één en ander verder te verduidelijken. Resultaatsgerichte projectformulering bepaalt eerst de effecten of de beoogde veranderingsprocessen en kijkt dan welke acties hiervoor nodig zijn. Ngo’s die een goede analyse hebben gemaakt van de problematiek en eventueel met een probleemboom (zie deel I over analyse) hebben gewerkt, hebben vaak een goede houvast om doelstellingen en resultaten te formuleren die werkelijk gelinkt zijn aan veranderingen bij een bepaalde doelgroep. Onderstaande figuren 1 en 2 over de resultaten en resultatenketen maken duidelijk (i) wat het verschil is tussen resultaten en activiteiten en (ii) dat er verschillende niveaus van resultaten zijn. Die niveaus hebben enerzijds te maken met de groepen waarop jouw ngo zich richt, namelijk actoren en partners (die mee verandering moeten realiseren) en waarvan jouw ngo de capaciteit kan versterken of ondersteunen. Naast die actoren en partners is er de doelgroep voor wie je een concrete verandering nastreeft. Ngo's die uitgaan van een rechtenbenadering (mensen hebben recht op bepaalde diensten en bescherming) spreken eerder over rechthebbenden dan over een doelgroep. In het vorige voorbeeld van de vakbonden, streeft je ngo een verbetering na van de situatie van werknemers in het Zuiden (bijv. in de textielindustrie of in de mijnindustrie): die werknemers vormen de eindbegunstigden of de rechthebbenden. De vakbond moet die verandering mee helpen realiseren en is een partner in de uitvoering. Tegelijk zijn de vakbond en de vakbondsmensen voor jouw ngo ook een doelgroep en streef je bij hen een sterkere capaciteit na. Anderzijds hebben de niveaus van resultaten te maken met de tijd waarbinnen je de resultaten kan verwezenlijken: op korte termijn, middellange of lange termijn.
17/43
Figuur 2: Wat zijn ‘resultaten’?
Figuur 3: Wat zijn resultaten? De resultatenketen
Resultaten situeren zich op verschillende niveaus en worden ook verschillend benoemd (in het logisch kader): Niveau van tussentijdse resultaten: hier gaat het om het directe effect van de input en de activiteiten. Om verder te gaan op het voorbeeld van de ondersteuning van vakbonden in het Zuiden: het directe effect van training van vakbondsmensen is dat X aantal mensen gevormd zijn en meer kennis en inzicht hebben in het vakbondswerk én informatie hebben over de manier waarop zij beter de belangen van hun leden kunnen behartigen. In het jargon wordt dit soms de ‘output’ of gewoon ‘resultaat’ genoemd (maar afhankelijk van de donor durven termen al eens verschillen). Het is een resultaat dat je op korte termijn kan realiseren en waar je ook zelf controle over kan uitoefenen als ngo door de gepaste inhoud en didactiek voor vorming in te zetten. Niveau van effecten: hier gaat het om wat je kan veranderen doordat je verschillende tussentijdse resultaten realiseert. Een effect is het gevolg van het bereiken van een aantal korte termijn resultaten. Om verder te gaan met het zelfde voorbeeld: naast het resultaat van
18/43
vakbondsmensen met meer inzicht en kennis, zijn er ook andere resultaten nodig om werkelijk verandering te realiseren. Zo is er bijv. een tweede resultaat, nl. een meer professioneel management en budgetbeheer bij de vakbond als gevolg van andere activiteiten, zoals: het invoeren van een audit en het aanpassen van managementprocedures. De combinatie van beide resultaten zorgt ervoor dat de vakbond haar dienstverlening aan leden kan verbeteren: ze kan meer relevante diensten aanbieden en meer diverse diensten aan meer leden. De ‘verbeterde dienstverlening’ is een effect of een resultaat op middellange termijn, iets dat je kan realiseren op een termijn van 3 tot 6 jaar. Je kan hier ook de term ‘specifieke doelstelling’ of ‘outcome’ voor gebruiken. Het is een resultaat waar je als ngo niet meer 100% garant voor kan staan omdat ook externe factoren hier een rol in kunnen spelen: zoals bijv. de inspanning van de vakbond zelf of bijv. de wetgeving ten aanzien van werknemers: indien de wet werknemers ontmoedigt om lid te worden van een vakbond, heeft de vakbond een zwakke inkomstenbasis en kunnen bepaalde diensten niet aangeboden worden. Niveau van impact: het gaat hier om de verandering op langere termijn (10 tot 15 jaar of langer). In het voorbeeld van de ondersteuning van vakbonden kan dit betekenen dat de rechten van werknemers beter beschermd en gehandhaafd worden. De ngo kan dus via de effecten bijdragen tot een brede maatschappelijke verandering. Die bijdrage is eerder bescheiden en tal van andere factoren en interventies van andere actoren spelen hier een rol. Op dit niveau spreekt me ook van een ‘algemene doelstelling’. We stellen het hier nogal lineair en in blokjes voor, maar in de realiteit zit er wel continuïteit tussen de resultaten. Er is dus wel wat discussie mogelijk over welk resultaat je op welk niveau zet als je een logisch kader uitwerkt. Figuur 4: Continuüm beleidsbeïnvloeding
Een voorbeeld van beleidsbeïnvloeding (zie figuur 4): het gaat om een ngo die lobbyt om kinderrechten op te laten nemen als transversaal thema in de Belgische ontwikkelingssamenwerking (wat intussen het geval is). Input: de activiteiten van de ngo (in het oranje aangeduid in figuur 4). De ngo doet onderzoek
naar de integratie van kinderrechten in de ontwikkelingssamenwerking in 5 Europese landen, de resultaten van het onderzoek worden gebruikt in een informatiecampagne en gesprekken met beleidsmensen en Belgische ambassades.
19/43
Het resultaat op korte termijn is dat “andere actoren interesse tonen”, “informatie opvragen en
gebruiken”. In het algemeen “stijgt de kennis bij verschillende actoren” en kan je merken dat andere actoren, bijv. de ambassades, uitleg vragen aan lokale actoren over hun ervaringen over de integratie van kinderrechten. “Kennisvergroting en aandacht bij andere actoren” kan je mogelijk redelijk snel realiseren, maar toch zal je daar wellicht een langere termijn voor moeten voorzien. Het uitwerken van alternatieve oplossingen (hoe kan het beter?) met anderen kan je zien als een resultaat op korte termijn (tussentijds resultaat) maar mogelijk ook als een effect, waar je zelf minder controle over hebt. De effecten wijzen dan op een effectieve aanpassing van het beleid ontwikkelingssamenwerking met een concretisering van de wijze waarop er meer aandacht zal worden geschonken aan kinderen en hun rechten. Dit moet uiteindelijk leiden tot een meer systematische aandacht voor kinderrechten in ontwikkelingsprogramma’s wat de kinderen, hun ontwikkeling en de ontwikkeling van lokale gemeenschappen uiteindelijk ten goede komt. Dus het niveau van impact of de algemene doelstelling. Uit het bovenbeschreven voorbeeld is ook duidelijk dat hoe verder jouw ngo komt in de resultatenketen, hoe minder controle zij heeft op de realisatie van het resultaat. Tal van externe factoren spelen immers een rol en hun invloed neemt toe en wordt belangrijker naarmate je verder evolueert in de resultatenketen. Figuur 5: resultaten verwezenlijken = rekening houden met externe invloeden
20/43
1.2.2
Aandacht voor kwaliteit van interventies
Ngo’s besteden steeds meer aandacht aan de kwaliteit van hun werk, bijv. door de introductie van 2 ISO-normen of een EFQM systeem . Ook in de formulering van een project is kwaliteit een belangrijk aandachtspunt: het verleden heeft namelijk uitgewezen dat bepaalde factoren de kans op succes van een project verhogen. Het gaat dan meer bepaald om: participatie, planning voor duurzaamheid, integreren van transversale thema's, aandacht voor capaciteitsopbouw van partners en actoren en analyseren van veronderstellingen en risico’s. Participatie: het is belangrijk om te bepalen welke actoren en doelgroepen een rol kunnen spelen in de formulering van het project, de uitvoering van het project en in de realisatie van de resultaten en op welke manier hun participatie vorm zal krijgen. Hier kan je verder bouwen op de analyse (zie het vorige deel van dit werkboek) van de actoren die van belang zijn bij de aanpak van een bepaald probleem. We hebben het daar de stakeholderanalyse/analyse van actoren genoemd. In de oefeningen van het werkboek vind je een oefening terug voor het opstellen van een participatiematrix. Planning voor duurzaamheid: het is belangrijk om na te denken over maatregelen die ervoor kunnen zorgen dat behaalde resultaten ook na het einde van het project blijven bestaan. Het gaat dan om financiële duurzaamheid, institutionele duurzaamheid, technische duurzaamheid en sociaal-culturele duurzaamheid. In het voorbeeld van het ondersteunen van de vakbond gaat het bijvoorbeeld om: hoe zorgen we dat er geld is/komt om ook in de toekomst een minimum dienstverlening te garanderen (financiële duurzaamheid), hoe zorgen we ervoor dat de vakbond door de overheid erkend blijft als gesprekspartner (institutionele duurzaamheid) en hoe zorgen we ervoor dat de manier van werken voldoende is aangepast aan de tradities of solidariteitsmechanismen die in een bepaalde context gelden (sociaal-culturele duurzaamheid)? Integreren van transversale thema’s: ervaringen en evaluaties hebben uitgewezen dat projecten best aandacht hebben voor bepaalde thema’s die soms niet direct relevant lijken voor het project. Ze zijn belangrijk om mee te nemen omdat (i) het project mogelijk onbewust negatieve effecten kan realiseren en/of omdat (ii) ze het project negatief/positief kunnen beïnvloeden. Voorbeelden van deze transversale thema’s zijn: milieu, kinderrechten, HIV/AIDS en gender. We verduidelijken in het kader hieronder met de voorbeelden van gender en HIV/AIDS. Aandacht voor capaciteitsversterking: Ngo's beseffen al langer dat het in ontwikkeling en in veranderingsprocessen niet enkel om de doelgroep draait. Je hebt sterke partners en actoren nodig om verandering te realiseren. Die actoren zijn vaak zeer divers. Als je bijv. bepaalde dorpen toegang wilt geven tot water, moet je niet enkel dorpscomités oprichten om waterpunten te beheren, maar mogelijk ook lokale overheden en decentrale administraties helpen om hun verantwoordelijkheid op te nemen voor het boren van waterputten, het controleren van de kwaliteit van het water en het onderhoud. Binnen ngo-federatie is een traject opgezet om na te denken over capaciteitsversterking (zie op hun website). Analyseren van veronderstellingen en risico’s: DG-D vraagt expliciet dat ngo’s veel meer aandacht besteden aan de externe factoren die het project beïnvloeden. Uit beleidsdialogen met ngo’s blijkt dat dit aspect vaak nogal verwaarloosd wordt. De veronderstellingen die door de ngo worden aangehaald voegen vaak weinig toe aan de interventielogica en laten je niet nadenken over de kwaliteit of de aangepastheid van je strategie. Bij dit werkboek vind je een oefening rond het formuleren van veronderstellingen en risico’s.
2
Meer informatie over integrale kwaliteitszorg bij ngo’s kan je vinden op de website van ngo-federatie.
21/43
Waarom is gender een belangrijk transversaal thema? Gender verwijst niet naar de biologische verschillen tussen mannen en vrouwen (sekse) maar naar de maatschappelijke invulling daarvan. Gender gaat ervan uit dat de relaties tussen mannen en vrouwen niet biologisch of genetisch bepaald zijn, maar sociaal gedetermineerd en dus veranderbaar. Ze zijn niet universeel, maar hangen af van de maatschappij, het tijdperk, de klasse en de leeftijd. Als we het over gender hebben gaat het om de machtsrelatie tussen beiden geslachten (genderverhoudingen). De relaties tussen mannen en vrouwen worden vaak gekenmerkt door ongelijkheid. Genderanalyses identificeren de eventueel verschillende noden van mannen en vrouwen (zoals toegang tot en controle hebben over water, arbeid, grond, kapitaal, kennis, …) evenals de belemmeringen, de specifieke kansen en de respectievelijke overlevingsstrategieën. Deze analyse omvat zowel de praktische behoeften (verbeteren van de levensomstandigheden) als de strategische behoeften (structurele verbetering van de maatschappelijke positie van vrouwen en ontwikkeling naar een meer gelijkwaardige samenleving) van vrouwen. Die analyses zijn belangrijk want geen enkel ontwikkelingsprogramma is neutraal: de impact van programma’s is verschillend voor mannen en vrouwen, arm of rijk, stedeling of plattelandsbewoner. Gendermainstreaming is een strategie om gender systematisch te integreren in het ontwikkelingsbeleid en doorheen alle fasen van de projectcyclus (formulering, uitvoering en evaluatie). Deze strategie moet garanderen dat ontwikkeling de (feitelijke en juridische) gelijkheid van mannen en vrouwen realiseert. Waarom is HIV/AIDS een belangrijk transversaal thema? HIV/AIDS is een wereldwijd probleem, hoewel de impact van de pandemie verschillend kan zijn van land tot land. HIV/AIDS wordt niet meer louter gezien als een gezondheidsprobleem maar ook als een ontwikkelingsprobleem, gerelateerd aan armoede en beïnvloed door gender-ongelijkheid. De impact van HIV/aids in een bepaalde context zal bepalen welke aandacht je moet besteden aan (i) de formulering van je programma (welke activiteiten zijn nodig om het probleem bespreekbaar te maken en aan te pakken met de actoren in het programma?) en (ii) de situatie bij de partner (wat is de situatie bij de partner, kan het probleem met de partner besproken worden, wat is hun attitude en in welke mate is hun personeelsbeleid aangepast?). Indien je bijv. te maken hebt met een gegeneraliseerde epidemie in een bepaald land (bijv. er zijn zeer hoge niveaus van ernstige ziekte in de leeftijdscategorie tussen 15 en 20 jaar en tuberculose komt vaak voor), moet je eigenlijk rekening houden met het probleem want mensen in je doelgroep worden ziek, sterven, families staan onder druk om voor wezen te zorgen, leiders in de gemeenschap vallen weg enz. Bovendien is ook je partner en het personeel van je partner niet vrij van risico. Dit alles heeft een effect op de uitvoering en resultaten van je programma.
1.2.3
Formulering kan niet zonder kennis van begroting
Ieder project heeft een impact op de begroting van de ngo. Dat wordt erg duidelijk op het moment dat je begint na te denken over de activiteiten die je moet ondernemen om je resultaten te behalen. Bij het formuleren van je activiteiten moet je nadenken over personeelsinzet (en –kost), eventuele investeringen die nodig zijn en werkingskosten: je moet kosten (en eventuele opbrengsten) ramen. Dat is een proces. Meestal krijg je als medewerker van het management te horen wat de grote lijnen zijn van de begroting. Binnen die krijtlijnen maak je een raming voor jouw project/domein en na een toetsing werk je dit verder uit (deelbegroting). Meestal helpt een financieel verantwoordelijke hierbij. Er zijn verschillende technieken om kosten te ramen waarvan ‘zero-based’ of ‘historisch’ begroten de belangrijkste zijn : Zero-based budget: medewerkers formuleren hun activiteiten en trachten vervolgens de kosten in te schatten. Uitgangspunt is dat je vertrekt van wat je wilt realiseren zonder onmiddellijk rekening te houden met het budget dat je hebt. Dit pas je meestal toe bij het ontwikkelen van een nieuw project of programma (al moet je meestal wel rekening houden met een globale som die beschikbaar is voor jouw dienst). Historisch budget: het verleden is de norm voor de toekomst. Uit het verleden blijkt wat bepaalde activiteiten kosten en wat de verdeling is van het budget over verschillende projecten. De vertrekbasis zijn dus de cijfers van het vorige jaar of het vorige programma. Van hieruit ga je kijken wat mogelijk is. In het geval van een jaarlijkse begroting, ligt het accent meestal hierop.
22/43
Voor de projectbegroting zal je wellicht vertrekken vanuit een raming voor kosten van geplande activiteiten (zero-based) en dit combineren met historische informatie (bijv. om de loonkost te ramen). Er is niets zo moeilijk als een begroting of een budget opstellen. Je kan wel een kopie maken van cijfers van andere jaren (voor vergelijkbare projecten) maar dan vergeet je misschien te gemakkelijk dat een begroting maken een inhoudelijke discussie vergt. De cijfers volgen dan wel uit wat je wilt doen, maar soms kan je alleen maar doen waar er middelen voor zijn, tenzij er beslist wordt om middelen te herverdelen of actief te zoeken naar nieuwe financieringsbronnen. Bij het opstellen van een budget zijn er ook enkele typische valkuilen in de relatie tussen de projectverantwoordelijke en de financieel verantwoordelijke: De financieel verantwoordelijke wordt te laat betrokken bij de kostenraming op projectniveau of wordt niet geconsulteerd in de fase van het formuleren; De projectverantwoordelijke wacht te lang met het ramen van kosten waardoor het project plots toch niet haalbaar lijkt.
Wat moet je minimaal weten over een begroting “A budget tells your money where to go; otherwise you wonder where it went .” J. Edgar Hoover Wat is een begroting? Een begroting beschrijft hoeveel geld een ngo denkt te bekomen en uit te geven voor een bepaald doel binnen een bepaalde periode. Een goede begroting is gebaseerd op enige kennis van begrotingstechnieken (bijv. zero-based of historisch begroten), toewijzing van verantwoordelijkheid voor budgetbeheer en een regelmatige toetsing van de begroting aan de werkelijkheid. Voor wie maak je een begroting? Een begroting wordt gebruikt door verschillende mensen en voor verschillende doeleinden. Donoren vragen een begroting om te kunnen inschatten of je de subsidie of giften op een correcte manier zal besteden. Binnen de ngo is de begroting een instrument om activiteiten op alle niveaus in de organisatie te plannen en te controleren en dit zowel door de raad van bestuur, de directie, de financieel verantwoordelijken als de projectverantwoordelijken. Types begroting? Je hebt 3 types van begrotingen die je telkens andere informatie geven: - voor het dagelijks management heb je de liquiditeitsbegroting. Die biedt een overzicht per maand/week van de inkomsten en uitgaven. Dit geeft je informatie over hoeveel geld je beschikbaar hebt binnen deze periode voor geplande aankopen en uitgaven. -voor het monitoren van de uitvoering van het project en de besteding van de middelen heb je de resultatenbegroting. Die biedt een overzicht van kosten en opbrengsten voor het komende jaar. Deze begroting wordt gemaakt voor kortere periodes – maandelijks, per kwartaal of halfjaarlijks. -om het overzicht te bewaren van investeringen of duurdere aankopen (met een levensduur die over verschillende jaren is verspreid), is er de balansbegroting. Vaak gaat het om aankopen die je doet in het kader van de Zuidwerking en projecten in het Zuiden. Het is belangrijk dat jij als projectverantwoordelijke investeringen en dure aankopen zoals auto’s, computers, materiaal,…) op een apart lijstje bijhoudt zodat dit makkelijk kan opgenomen worden in de balansbegroting. Wie maakt de begroting? Aangezien een begroting het financieel plan van activiteiten is, is het belangrijk dat de projectverantwoordelijken nauw betrokken zijn bij de opmaak van de begroting: elke medewerker die voor een activiteit verantwoordelijk is, moet eigenlijk ook een stuk financiële verantwoordelijkheid op zich nemen. Dit betekent dat het de projectverantwoordelijke is die de kosten zo betrouwbaar mogelijk berekent, de juiste gegevens verzamelt over de reële kost tijdens de uitvoering van de activiteiten, de bewijsstukken verzamelt en dit tijdig communiceert aan de financieel verantwoordelijke . Voor de Zuidwerking is er een bijkomende complexiteit: aangezien de activiteiten hier vaak door partners worden uitgevoerd, zijn het de partners die de informatie moeten leveren om de begroting (en de opvolging daarvan) te voeden. Ngo’s ontwikkelen daarvoor vaak aangepaste formats.
23/43
De begroting voor jouw project is slechts een deelbegroting: alle deelbegrotingen worden uiteindelijk samen gebracht in een master budget. Hieruit kan blijken of er overlappingen zijn, die vervolgens aangepakt kunnen worden: bijv. verschillende medewerkers brengen dezelfde kosten in. Hoe moet de begroting eruit zien? Ngo’s die werken met verschillende donoren, krijgen vaak ook te maken met verschillende voorschriften en regels wat de begrotingsopmaak en het budgetbeheer er niet eenvoudiger op maakt. In België moeten de Ngo’s rekening houden met de VZW-wetgeving en met de voorschriften van DG-D. 3
4
De VZW-wetgeving verwacht dat de algemene vergadering voor eind juni de begroting goedkeurt maar schrijft geen vorm of inhoud voor. De wettelijke verplichtingen van de federale overheid zijn gebaseerd op het Koninklijk Besluit betreffende de subsidiëring van programma’s en projecten (24/09/2006). Deze zijn verder vertaald in specifieke richtlijnen die je terug kan vinden op de website van ngo-federatie. DG-D verplicht voor de begroting van het project of programma 5 het gebruik van een schema waarin de kosten moeten onderverdeeld worden per land, per partner en regiokantoor, per specifieke doelstelling, per resultaat, per kostensoort (operationele-, beheers- en structuurkosten), per rubriek (investeringen, werking en personeelskosten): -Operationele kosten (investeringen, werkingskosten en personeel) moet je toewijzen aan specifieke doelstellingen. -Beheerskosten (investeringen, werkingskosten en personeel) worden gefinancierd tot een bepaald percentage (tussen 5 en 8% van het totale budget). Beheerskosten moeten niet toegewezen worden aan specifieke doelstellingen maar moeten wel gepreciseerd worden voor de Noordwerking en voor de Zuidwerking. -Er zijn geen voorschriften voor een verdeling van kosten over de rubrieken: investeringen, werkingskosten of personeel. Dat hangt immers sterk af van het type project, van het feit of je iets nieuws opstart of verder ontwikkelt, van de benadering (arbeidsintensief of niet), … -Als je gaat schuiven tussen deze groepen kosten moet je rekening houden met de beperkingen bij budgetverschuivingen. Bovendien weet je best welke kosten aanvaardbaar en subsidieerbaar zijn zodat je zicht krijgt of de geplande kosten door de subsidie kunnen gefinancierd worden. Bij dit werkboek is een oefening die op basis van concrete activiteiten uitlegt hoe je te werk kan gaan en hoe je rekening kan houden met de voorschriften Begroting in evenwicht? Eens alle deelbegrotingen zijn samengebracht in een masterbudget moet gestreefd worden naar een begroting in evenwicht. Het blijkt vaak een hele uitdaging voor ngo’s om alle kosten gefinancierd te krijgen! Vaak hebben donoren namelijk bepalingen over niet -subsidieerbare kosten en worden kosten voor algemeen beheer slechts voor een stukje gefinancierd. Vaak zullen vrij te besteden giften of subsidies nodig zijn om alle kosten om het beheer van de organisatie in stand te houden.
3
Wet van 2 mei 2002 betreffende de verenigingen zonder winstoogmerk, de internationale verenigingen zonder winstoogmerk en de stichtingen tot wijziging van de wet van 27 juni 1921; Artikel 17§1. 4 Zes maanden na afsluitdatum van het boekjaar. Als het boekjaar loopt van 1 jan tot 31 dec dan moet dit voor 30 juni. 5 Voorstellingsschema’s zijn te vinden op site van de NGO-Federatie, zowel voor Noordwerking als voor Zuidwerking.
24/43
1.2.4
Modellen voor formulering
Er bestaan in de sector bepaalde modellen die ‘voorschrijven’ hoe je best een programma of project formuleert. Het meest voorkomende model is dat van het ‘logisch kader’. Dat is ook het kader dat we in dit werkboek gebruiken omdat het een vereiste is van DG-D. Het logisch kader bestaat uit verschillende bouwstenen die samen een coherent geheel vormen. Figuur 6: Logisch kader
Het logisch kader biedt je de kans om beknopt en overzichtelijk samen te vatten wat je interventielogica of strategie is en welke resultaten je voorop stelt (eerste en tweede kolom), hoe je gaat aantonen dat je de resultaten behaald hebt (indicatoren, derde kolom), waar de informatie over de indicatoren kan gevonden worden (vierde kolom over bronnen) en van welke vooronderstellingen en hypothesen je vertrekt om aannemelijk te maken dat je strategie zal werken. Het logisch kader is een werkinstrument voor formulering maar biedt ook een kader voor planning, beheer, opvolging en evaluatie van je programma. Een goed logisch kader bevat namelijk alle essentiële informatie over je programma en is een referentiedocument dat je meeneemt doorheen de uitvoering van je programma. Er zijn verschillende voordelen aan het werken met een logisch kader: je kan je programma weergeven op een transparante, coherente en systematische manier zodat voor iedereen duidelijk is waar het over gaat, je wordt gedwongen om te denken in termen van resultaten, je hebt meteen een kader voor projectbeheer. In de praktijk blijkt het echter niet altijd zo eenvoudig om een logisch kader goed en helder te formuleren zodat het coherent is. Veel is afhankelijk van de analyse die vooraf gebeurt. Diverse handleidingen verwijzen naar de probleemboom als een essentiële eerste stap om tot een goed logisch kader te komen. Bovendien zijn er ook beperkingen aan het logisch kader: Het is niet zo makkelijk om het aspect van participatie (de manier waarop je gaat samenwerken met diverse actoren) en capaciteitsversterking (de manier waarop je de partner gaat ondersteunen in de uitvoering van het programma) helder voor te stellen in het logisch kader. Dit kan ertoe leiden dat je enkel of voornamelijk oog hebt voor een doelgroepbenadering: je identificeert een bepaalde groep die je gaat helpen. Ontwikkeling is meestal echter complexer en vergt voldoende aandacht voor de diverse actoren (actorenbenadering).
25/43
Het logisch kader geeft de indruk dat je over ontwikkeling kan denken als over een technisch probleem dat je met enkele interventies (van buitenaf) kan oplossen: als we A doen, volgt B hieruit. Het model van het logisch kader is met andere woorden volgens critici het product van een lineaire visie op ontwikkeling en veranderingsprocessen. Het logisch kader laat je erg focussen op het programma/project en minder op processen van verandering bij diverse actoren. Het risico is dat je gedurende de periode van de projectuitvoering enkel of vooral oog hebt voor wat in het logisch kader staat en minder gevoelig bent voor veranderingen of processen die zich ontwikkelen en er werkelijk toe doen. Het logisch kader kan ertoe leiden dat je nogal simplistisch omgaat met het gegeven van impact: de indruk kan ontstaan dat impact het resultaat is van een succesvol programma. Op deze manier ga je enigszins voorbij aan processen van transformatie die plaatsvinden bij diverse actoren en waar jouw ngo niet mee bezig is of niet in betrokken is. Het logisch kader maakt mogelijk te weinig duidelijk hoe jouw ngo denkt verandering te realiseren en wat de visie is van je ngo op processen van maatschappelijke verandering. Veel organisaties gaan te weinig flexibel om met het logisch kader vaak onder druk van de subsidiegever die niet wilt dat er veel aan wordt veranderd tijdens de uitvoering van het project.
Het is daarom goed te beseffen dat het logisch kader maar een werkinstrument is en dat je je best schuwt voor simplistische vereenvoudigingen, het idee dat ontwikkeling lineair zou zijn, de onaantastbaarheid van een logisch kader gedurende de uitvoering van het programma, het idee dat alles meetbaar zou zijn, … Omwille van de nadelen van het logisch kader, zijn mensen en organisaties beginnen nadenken over andere benaderingen. Eén van die andere benaderingen wordt aangeduid met de term ‘Outcome mapping’. In dit werkboek gaan we niet direct in op deze benadering; elementen van outcome mapping hebben we wel verwerkt in oefeningen die bij het werkboek horen (bijv. aandacht voor partners en actoren). Wat is outcome mapping? Outcome mapping is een vrij nieuwe methode om ontwikkelingsinterventies te plannen en op te volgen. Outcome mapping focust net zoals het logisch kader op resultaten en biedt een kader voor projectbeheer. Het is wel een model dat veel dichter aansluit bij theorieën van sociale verandering. Terwijl het logisch kader de ngo vooral laat kijken naar een veranderende toestand, besteedt outcome mapping veel meer aandacht aan actoren en veranderingen in hun gedrag (die tot duurzame sociale veranderingen kunnen leiden). Meer informatie: op de website van ngo-federatie kan je terecht voor een syllabus over outcome mapping.
1.3
FAQ
Wat is verplicht door de Belgische overheid? DG-D schrijft voor dat programma’s en projecten voor subsidiëring ingediend moeten worden mét een logisch kader. De overheid beseft dat er ook andere modellen bestaan, maar kiest ervoor voor om vast te houden aan het logisch kader. De overheid hecht veel belang aan de coherentie van het logisch kader. De overheid wil ook dat de essentie in het logisch kader staat en niet enkel in de narratieve programmabeschrijving. In de narratieve programmabeschrijving krijgt je ngo ruimte om het meer in detail te hebben over de verschillende onderdelen van het logisch kader maar ook over transversale thema's en over monitoring en evaluatie. Hoeveel detail is nodig? Voldoende detail is noodzakelijk in de projectformulering opdat een externe lezer snel een goed begrip krijgt van de verandering die je voor ogen hebt, de manier waarop je dit wilt realiseren en de manier waarop je die verandering gaat opvolgen en meten. Het is vooral belangrijk
26/43
dat de informatie relevant is en ter zake. Hoe beter je analyse en hoe preciezer je strategie, hoe makkelijker om een goede focus te hebben in je programmabeschrijving. Er wordt door de overheid nogal wat aandacht besteed aan de logica, aan de kwaliteit van de indicatoren en aan de analyse van hypothesen. De indicatoren moeten SMART geformuleerd worden: ze moeten met andere woorden Specifiek zijn, Meetbaar, Aanvaardbaar, Realistisch en Tijdsgebonden. Bovendien wil de overheid ook de startsituatie kennen die zal dienen als referentie: wat is de situatie ten aanzien van de indicatoren bij de start van het project en hoe zal de situatie jaarlijks veranderen? Dit betekent dat ngo's een 'baseline' studie moeten uitvoeren en dat ze per jaar van het project de waarden van de indicatoren moeten bepalen. Dit is geen eenvoudige klus: het vergt een stevig inzicht in hoe veranderingsprocessen kunnen plaatsvinden. Meer hierover in het stuk over monitoring en evaluatie. Wat is mijn taak? Nieuwe medewerkers worden geconfronteerd met verschillende situaties; Je volgt een bestaand project op: het logisch kader geeft je informatie over wat het project eigenlijk beoogt. Een eerste taak is het logisch kader te ‘lezen’. Daarvoor moet je weten wat er achter de opbouw van een logisch kader zit. Het is handig als je organisatie een soort van ‘logboek’ bijhoudt om de denkprocessen die achter een logisch kader zitten te documenteren zodat het voor nieuwe mensen duidelijk wordt welke redenering werd gevolgd om tot een bepaald logisch kader te komen. Meestal is dergelijke informatie niet aanwezig binnen de organisatie. De volgende stap is het logisch kader kritisch te bekijken en de kwaliteit van het logisch kader (en de formulering) in te schatten: je spoort op die manier zwakke en sterke punten op waar je rekening mee kan houden. Het gebeurt wel vaker dat nieuwe ngomedewerkers geen touw kunnen vastknopen aan het programma als ze het logisch kader bekijken. Dat heeft veel te maken met de kwaliteit van het logisch kader. Je moet zelf een logisch kader formuleren voor een vervolg op een programma of een nieuw programma. Misschien heb je zelf de analyse gemaakt en dan is de stap naar een logisch kader minder groot. Misschien heeft iemand anders de analyse gemaakt of is er helemaal geen analyse; in dat geval kan het invullen van het logisch kader een hele klus worden.
In dit werkboek gaan we vooral uit van de tweede situatie en werken we met het logisch kader. Een logisch kader formuleren zonder dat een analyse werd uitgevoerd is eigenlijk niet mogelijk: het risico bestaat dat je in het beste geval een programma krijgt dat goed in elkaar lijkt te zitten maar waarvan bij de uitvoering blijkt dat het eigenlijk nergens op gebaseerd is en dus moeilijk uitvoerbaar. Voor analyse verwijzen we naar het stuk in dit werkboek over analyse en de oefeningen die erbij horen.
2
Hoe begin je eraan: stappen en methodieken
Net zoals ontwikkeling geen lineair proces is, is de formulering van een project dat evenmin. Bij elke stap die je zet is het mogelijk dat je voorgaande stappen opnieuw wilt bekijken en eventueel opnieuw doet. 1) Check welke analyses er gebeurd zijn om de projectformulering voor te bereiden. Als je er geen vindt, of er is geen tijd meer (het project moet bijv. dringend worden ingediend), tracht je dan op een andere manier te informeren over het vorige project of over gelijkaardige projecten: zoek naar evaluatie- en voortgangsrapporten, ga praten met verschillende mensen, schuif aan bij ngo overleg over het domein waar je mee bezig bent. 2) Bekijk eerdere/voorgaande formuleringen van het project/programma: wat vind je daar goed/minder goed aan?
27/43
3) Start dan met het logisch kader. Zet eerst de ‘interventielogica’ op papier: algemene doelstelling, specifieke doelstelling, resultaten en activiteiten. Het is goed om daarbij te vertrekken vanuit de algemene en specifieke doelstellingen. In de praktijk blijkt het soms wel makkelijker om met het team te vertrekken vanuit activiteiten om die voor iedereen gekend zijn. Het risico is echter dat je niet denkt vanuit verandering maar vanuit input en dat je moeite hebt om een resultaatsgerichte aanpak te krijgen. Check vervolgens de logica (en de onderliggende veronderstellingen): zullen de activiteiten helpen om de resultaten te halen en zijn de activiteiten voldoende om het resultaat te behalen, zullen de resultaten helpen om de doelstelling te realiseren en welke andere condities/voorwaarden (kolom vooronderstellingen) moeten vervuld zijn zodat resultaten bijdragen tot doelstellingen, etc. Indien er een probleemboom/doelstellingenboom werd gemaakt kan je vandaar vertrekken (zie de oefeningen bij het deel over analyse). 4) Besteed voldoende aandacht aan het bepalen van de activiteiten en de uitvoering daarvan in samenwerking met partners en diverse actoren. 5) Bekijk welke capaciteit actoren en partners hebben om mee de resultaten te realiseren: wat kunnen/weten actoren al, waar is de capaciteit zwak en welke risico's gaan daarmee gepaard? Hoe kan de capaciteit van partners versterkt worden? Kunnen anderen dat doen of moet je eigen ngo die taak op zich nemen? Indien nodig, moet je een resultaat toevoegen aan je logisch kader rond capaciteitsopbouw. 6) Maak een eerste begroting (raming van kosten) om te kijken waar je uitkomt: hoeveel geld heb je nodig en op hoeveel geld kan je rekenen? Herbekijk eventueel je activiteiten waar mogelijk en noodzakelijk. 7) Bepaal vervolgens wat je gaat meten om aan te tonen dat jouw ngo veranderingen heeft gerealiseerd: de indicatoren en dit minimaal op het niveau van de resultaten en specifieke doelstellingen. Uit dit proces kan mogelijk blijken dat je resultaten niet goed zijn gedefinieerd (onduidelijk, vaag). Op dat moment moet je enkele stappen terug zetten en bijv. je resultaten aanpassen. 8) Voor elke indicator moet je aangeven waar je informatie kan terug vinden: dit zijn de bronnen ‘van verificatie’ of bronnen van toetsing. De indicatoren en de bronnen zullen de basis vormen van de monitoring van je programma (zie het volgende deel van dit werkboek). Feitelijk moet je wel eerst nadenken over monitoring en gegevensverzameling vooraleer je je indicatoren gaat vastleggen. Je hebt het denkwerk over monitoring ook nodig om de startwaarde van de indicatoren te bepalen (bijv. via een baseline studie). Pas nadien kan je de waarden van je indicatoren projecteren voor ieder jaar van je project. 9) Analyseer de veronderstellingen en hypothesen: Informatie voor de kolom over veronderstellingen en hypothesen vind je terug in de analyses die gebeurd zijn. Het is belangrijk om die informatie opnieuw mee te nemen. Veronderstellingen gaan over condities die belangrijk zijn om je doelstellingen te realiseren. Je vermeldt hier dingen die buiten de controle van het project liggen en/of dingen waarvoor je als project geen verantwoordelijkheid wil opnemen. Omdat de context verandert, moet je deze condities opvolgen en de risico’s dat de condities niet verzekerd zullen worden, beheren. Dit kan betekenen dat je de activiteiten opnieuw moet bekijken: wat moet je extra doen om het risico beheersbaar te houden? Het kan ook betekenen dat je de resultaten gaat herbekijken: als de risico’s te groot zijn of niet beheerd kunnen worden, moeten de ambities van het project misschien bijgesteld worden of resultaten anders geformuleerd? 10) Verifieer of je voldoende aandacht hebt gehad voor kwaliteit: is er voldoende aandacht voor participatie, is het project gendergevoelig, heb je duurzaamheid gepland? 11) Verifieer of je logisch kader coherent is met je narratieve projectbeschrijving (en of de informatie op de juiste plaats zit).
28/43
3
Aan de slag
In het ‘werkboek: PCM oefenen en leidraden’ reiken we enkele afzonderlijke documenten en instrumenten aan die je zelf kan gebruiken en die veelvoorkomend zijn (vaak gebruikt in de sector of gevraagd door de donoren). De volgende oefeningen en leidraden worden aangeboden: Oefening 4: participatiematrix Oefening 5: veronderstellingen en risico’s Oefening 6: opmaak en monitoring van een projectbudget Leidraad 2: het lezen en beoordelen van een logisch kader (met fictieve voorbeelden 'goed en slecht') Leidraad 3: formuleren van indicatoren: goed/minder goed (verschillende types van projecten)
4
Samenwerken
Een programma formuleren doe je best niet alleen: je werkt in team, consulteert collega’s, wisselt uit met andere ngo’s (bijv. via de werkgroepen van ngo-federatie),…. De grootste uitdaging is om de formulering aan te pakken in samenwerking met partners of actoren die relevant zijn voor het programma. Het is belangrijk om te bekijken hoe je partners informeert over het project/programma: wanneer moet er tijd gemaakt worden voor de formulering, binnen welke tijd moet dat gebeuren, hoe wil je hiervoor met partners samenwerken en wat wordt precies van hen verwacht, wat moet er allemaal in de formulering moet staan en welke werkvormen stel je voor. Hiervoor kan je best een schema (planning en verdelen van taken) opstellen. Indien er weinig ruimte is om dingen samen te doen, of indien je onder tijdsdruk staat, probeer dan op z’n minst wat mensen te verzamelen voor een oefening rond de formulering van indicatoren. Die zullen namelijk gebruikt worden om te beoordelen in welke mate het programma zijn resultaten en doelstellingen realiseert. Het is belangrijk dat iedereen weet hoe het werk (zijn werk) zal beoordeeld worden.
29/43
Deel III: Evaluatie en monitoring 1
Waar hebben we het over?
Monitoring en evaluatie gaat over meer dan over het schrijven van voortgangsrapporten voor DG-D. Het gaat erover dat je goed zicht krijgt op hoe een project wordt uitgevoerd, dat je kan inschatten wat de kans is dat het project kan uitgevoerd worden zoals gepland, dat je kan bijsturen waar nodig, dat je kan verduidelijken wat de resultaten zijn en dat je kan leren voor de toekomst. Monitoring en evaluatie hangen nauw samen maar hebben een andere focus. De basis voor monitoring en evaluatie is (in dit werkboek) het logisch kader of de formulering van je project: hierin staat de informatie die je nodig hebt. Bedoeling is dat je op basis van dit logisch kader komt tot afspraken over de manier waarop je de uitvoering en het behalen van resultaten (indicatoren) gaat opvolgen en beoordelen, de manier waarop je hierover gaat communiceren, de personen die hiervoor verantwoordelijk zijn, de planning die je hiervoor gaat volgen, de middelen die je hiervoor gaat inzetten, enz. Als je die vragen hebt beantwoordt, heb je een systeem voor monitoring en evaluatie ontwikkeld.
1.1
Monitoring
Monitoring gaat over het beheer van de uitvoering. Het logisch kader dat je formuleerde bevat verschillende elementen voor het beheer van je programma of project: activiteiten geven aan wat je moet doen en organiseren en welke middelen je moet inzetten, indicatoren en bronnen van verificatie geven aan wat je tijdens de uitvoering moet opvolgen of monitoren. Op basis hiervan kan je een operationeel plan maken waarin staat wie welke activiteiten uitvoert en hoe die worden opgevolgd. Monitoring maakt deel uit van dat plan: het plan geeft aan wanneer je informatie gaat verzamelen over indicatoren, veranderingen in veronderstellingen en gebruik van budget, op welke manier je dat gaat doen, wie dat moet doen en hoe je de informatie gaat consolideren en gebruiken. Monitoring laat je toe om het veranderingsproces dat jouw ngo voor ogen heeft goed op te volgen. Het garandeert een continue verzameling, analyse en uitwisseling van informatie en laat toe om te beslissen over eventuele bijsturingen met het oog op het garanderen van resultaten en kwaliteit van het veranderingsproces. Te onthouden over monitoring: Waarom: je doet aan monitoring om ervoor te zorgen dat je blijft werken in functie van geplande resultaten en verandering. Omdat de context snel kan veranderen, veranderingsprocessen complex zijn en jouw kennis van de realiteit (zelfs na een grondige analyse) altijd beperkt blijkt is monitoring noodzakelijk. De formulering van een logisch kader is in zekere zin een momentopname; je kan er dus niet van uitgaan dat je gedurende de drie jaar van je project niets hoeft te veranderen of te herdenken. Wat: bij monitoring kijk je vooral naar de uitvoering van activiteiten (kwaliteit van uitvoering, efficiënt gebruik van financiële en menselijke middelen) en de geplande tussentijdse resultaten. Daarnaast analyseer je veranderingen in context en evolutie van veronderstellingen. Hoe: je verzamelt gegevens over uitvoering en indicatoren op een systematische en betrouwbare manier door gebruik te maken van verschillende instrumenten en formats (enquêtes, verslaggeving, database, …), je vergelijkt uitvoering met planning en je schat de kansen in om resultaten en veranderingen te realiseren. Volgende vragen zijn daarbij van belang: zitten we op schema voor uitvoering van plan en gebruik van budget, geven de indicatoren aan dat we goed op weg zijn (of: wat zijn de indicaties dat we op de goede weg zijn?)
30/43
Wie: iemand moet verantwoordelijk gemaakt worden voor monitoring en het samen brengen van alle verzamelde gegevens. De monitoring als dusdanig gebeurt echter op verschillende plaatsen in de organisatie en ook bij partners. Vooral in de Zuidwerking ligt een groot deel van de monitoring en het verzamelen van gegevens bij de partners. Het is belangrijk dat iedereen die een taak heeft voor gegevensverzameling ook de juiste instrumenten krijgt aangereikt om dat te doen. Opvolging en besluitvorming: de organisatie moet op een bepaald moment de verzamelde gegevens beoordelen en beslissingen nemen. Meestal gebeurt dat op managementniveau. De gegevens geven namelijk aan of er bijsturingen nodig zijn. Dit impliceert veelal veranderingen aan activiteiten en budget maar soms ook op niveau van tussentijdse resultaten (en mogelijk doelstellingen). Bepaalde bijsturingen kunnen overigens niet gebeuren zonder overleg te plegen met de subsidiegever en voor bepaalde aanpassingen is toestemming nodig van diezelfde subsidiegever (zie verder). Wanneer: monitoring maakt deel uit van je operationeel plan, het is een continue activiteit. Beoordeling van de stand van zaken en beslissingen over bijsturingen gebeuren meestal in het kader van de voorbereiding van het operationeel plan van het komende jaar en de rapportage over het voorbije jaar (tussentijdse rapporten of voortgangsrapporten per trimester of halfjaarlijks). De factoren voor een succesvolle monitoring van projecten op basis van het logisch kader zijn de volgende: er zit een helder systeem achter dat bij voorkeur organisatiebreed is en niet per project of dienst, er zijn middelen voor monitoring (en gegevensverzameling), de monitoring vertrekt vanuit het logisch kader en verzamelt (dus) gegevens die relevant zijn, monitoring wordt gepland en bespreking van verzamelde informatie gebeurt op vastgestelde tijdstippen, er is een expliciete taaktoewijzing van monitoring, Nadenken over monitoring begint met de formulering van je project en meer bepaald het identificeren van de indicatoren. Op het moment dat je indicatoren identificeert moet je immers nadenken over de informatie die je nodig hebt om iets te kunnen zeggen over de indicator en over de manier waarop je gegevens gaat verzamelen.
Twee voorbeelden: Zuidwerking: een project voor waterinfrastructuur voor landbouw wil dat de landbouwproductie in een bepaald gebied toeneemt. Eén van de indicatoren is het aantal ha grond dat geïrrigeerd kan worden en dat bewerkt wordt door lokale boeren. Welke informatie heb je dan nodig: je moet weten hoeveel ha grond er nu wordt bewerkt, hoeveel ha er geïrrigeerd wordt en hoeveel daarvan bewerkt wordt. Je moet nadenken over waar je die gegevens gaat halen: heeft de boerenorganisatie die gegevens, moet je die opvragen bij elke boer afzonderlijk en hoe ga je dat dan doen? Noordwerking: een project wil dat Vlaamse gemeenten zich meer bewust zijn van het belang van klimaatneutraliteit op lokaal vlak. Eén van de indicatoren is het aantal Vlaamse gemeenten dat met het college een intentieverklaring ondertekent om actie te ondernemen. Welke informatie heb je dan nodig? Je moet weten hoeveel Vlaamse gemeenten informatie hebben gevraagd of gekregen over de campagne, hoeveel gemeenten de intentieverklaring overwegen, hoeveel gemeenten daadwerkelijk stappen zetten om tot een verklaring van het college te komen. Je moet ook nadenken over waar je die gegevens gaat halen: ga je alle gemeenten bellen, verzamel je informatie via de vereniging van gemeenten, ….?
31/43
In figuur 7 wordt verduidelijkt wat de link is tussen het logisch kader en monitoring: je kijkt bij monitoring (i) naar het gebruik van je middelen en de uitvoering van je activiteiten . Hiermee check je de efficiëntie of doelmatigheid van je project (‘zijn we aan het doen wat we hadden gezegd te zullen doen?). Je kijkt bij monitoring ook naar (ii) de tussentijdse resultaten en volgt de veronderstellingen op; hiermee check je de effectiviteit van het project of de mate waarin je activiteiten al eerste resultaten boeken. Figuur 7: Logisch kader en link met monitoring
1.2
Evaluatie
Terwijl monitoring gefocust is op opvolging, gaat evaluatie over beoordeling. Je beoordeelt de veranderingen die door het project werden gerealiseerd en de manier waarop je die veranderingen hebt gerealiseerd. Evaluatie is een kritische reflectie die een antwoord zoekt op volgende vragen: (i) hebben we de juiste dingen gedaan? (ii) Hebben we de dingen goed gedaan? (iii) Hebben we de geplande resultaten behaald en verandering gerealiseerd? En (iv) zullen die veranderingen blijven bestaan? Evaluatie beoordeelt met andere woorden de relevantie van je project, de efficiëntie ervan, de effectiviteit en de impact en duurzaamheid. Je kijkt naar alle niveaus van je project en formuleert een beoordeling. In figuur 8 wordt de link tussen het logische kader en evaluatie voorgesteld.
32/43
Figuur 8: Logisch kader en link met evaluatie
Bovenstaande begrippen van relevantie, efficiëntie, effectiviteit, impact en duurzaamheid worden ook wel eens aangeduid als DAC-criteria. Het zijn criteria die op een bepaald moment werden vastgelegd op Europees niveau (binnen de OESO) voor de beoordeling van ontwikkelingsprojecten. De meeste donoren en ngo’s werken met deze criteria. De veronderstelling is dat een analyse en beoordeling op basis van deze criteria een goed beeld geeft van het succes van het project of programma. Een korte toelichting bij elk van deze criteria staat in het glossarium (zie bijlage 1). Te onthouden over evaluatie: Waarom: evalueren doe je om je eigen project te beoordelen, processen van verandering beter te begrijpen, factoren van succes en faling te identificeren en er lessen uit te trekken voor de toekomst. Evalueren doe je natuurlijk ook om te verantwoorden ten opzichte van anderen wat het resultaat is van de inzet van middelen en de inspanningen van verschillende actoren. Er is opwaartse verantwoording ten aanzien van donoren en sponsors en benedenwaartse verantwoording ten opzichte van doelgroepen en diverse actoren. Indien je een donor hebt, is het ook mogelijk dat die donor opdracht geeft voor een evaluatie door een externe evaluator. In dat geval spreekt men van een externe evaluatie waarbij de referentietermen voor de evaluatie (de beschrijving van wat moet worden geëvalueerd en de output of het product van de evaluatie) worden bepaald door de donor. Dit staat tegenover een interne evaluatie waarbij de ngo zelf de referentietermen opstelt. In het beste geval is er overleg over die referentietermen tussen de overheid en jouw ngo. In het verleden gebeurde het wel vaker dat ngo’s enkel evalueerden als ‘het moest’ van de overheid, evaluatie werd dan een verplicht nummer. Dat is intussen sterk geëvalueerd en evaluatie wordt door de meeste ngo’s aangegrepen om te leren voor de toekomst. Wat: bij evaluatie kijk je vooral naar het niveau van resultaten en specifieke doelstellingen en beoordeel je het project in het algemeen. Je tracht ook na te gaan in welke mate het project bijdraagt tot de algemene doelstelling. Evaluatie blijft echter niet noodzakelijk beperkt tot het logisch kader in strikte zin: er kunnen ook andere vragen zijn die om een evaluatie vragen. Die vragen duiken vaak op tijdens de monitoring van het project: je stelt vast dat bepaalde dingen in de uitvoering moeilijk lopen en je wilt onderzoeken waarom, je stelt vast dat de samenwerking met de partner niet vlot gaat en je wilt het partnerschap evalueren, je stelt vast dat enkele hypothesen blijkbaar toch niet reëel zijn, je twijfelt of het project nog een vervolg moet krijgen enz. Het is dus best mogelijk dat je bij een de evaluatie niet enkel kijkt naar de vijf evaluatiecriteria maar dat je ook nog andere heel specifieke vragen hebt.
33/43
Hoe: een evaluatie kan op heel verschillende manieren worden uitgevoerd. Afhankelijk van de focus van de evaluatie en de evaluatievragen, zijn er diverse technieken denkbaar, worden er weinig of veel verschillende actoren betrokken en bevraagd, kijk je vooral naar kwalitatieve of kwantitatieve aspecten, …. Een belangrijk aspect in de evaluatie is het participatieve aspect ervan: tenzij je een audit uitvoert, is het verstandig om diverse actoren te betrekken in het bepalen van het onderwerp van de evaluatie, de aanpak van de evaluatie en de discussie en reflectie over conclusies en aanbevelingen. Dit draagt bij tot een beter begrip van de realiteit, versterkt het eigenaarschap van actoren over ‘hun’ project of veranderingsproces en draagt ertoe bij dat aanbevelingen realistisch zijn en gedragen worden door diverse actoren. De kans dat een evaluatie werkelijk het veranderingsproces ten goede kan beïnvloeden is dan groter. Wie: terwijl monitoring meestal intern wordt opgenomen, wordt evaluatie vaak uitbesteed aan een externe evaluator zelfs als de ngo zelf de referentietermen van de evaluatie bepaalt. Ngo’s kiezen daarvoor omdat ze een onafhankelijke evaluatie willen en een zo objectief mogelijk oordeel over het project. Zelfs indien een externe evaluator aan het werk wordt gezet, blijft er heel wat werk over voor de ngo: mee nadenken over de aanpak van de evaluatie, opvolgen van de kwaliteit van het evaluatieproces, mee interpreteren van conclusies en discussiëren over aanbevelingen. Afhankelijk van de grootte of complexiteit van de evaluatie zijn meer of minder mensen betrokken. Indien ngo’s de keuze moeten maken voor een externe evaluator of een evaluatie die ze zelf uitvoeren, geeft het budget meestal de doorslag. Indien de middelen beperkt zijn, kiezen ngo’s soms voor een tussenoplossing, namelijk een evaluatie die wordt uitgevoerd door de ngo zelf maar met een externe begeleider die mee nadenkt over aanpak, conclusies en aanbevelingen. Opvolging, besluitvorming en communicatie: een evaluatie is pas zinvol als er ook gevolg gegeven wordt aan de conclusies en de aanbevelingen. In het beste geval levert je evaluatie duidelijke aanbevelingen op. Die moet je dan operationaliseren: wat is dringend/minder dringend, wie moet wat opvolgen/aanpassen/veranderen, op welke manier en tegen wanneer? Het is opnieuw belangrijk dat het management hierbij betrokken is of (in het geval van een heel beperkte evaluatie) op de hoogte wordt gebracht van de uitkomst van de evaluatie. Je moet ook nadenken hoe je de evaluatie gaat communiceren: welke conclusies ga je op welke manier delen met anderen: publicatie van het rapport, artikel over de conclusies, samenvatting met aanbevelingen, conferentie die verder nadenkt over toekomstige strategieën, … Wanneer: de meest voorkomende types van evaluaties zijn tussentijdse en eindevaluaties: evalueren halfweg een programma (om de volgende fase beter te definiëren) of op het einde van een programma om beter zicht te krijgen op de werkelijke veranderingen. Hierbij moet gezegd dat bepaalde veranderingen wel meer tijd nodig hebben dan de duur van een project of een programma om zich werkelijk te manifesteren. Bij een eindevaluatie spreek je dus eerder over indicaties van verandering. Om werkelijk impact te kunnen beoordelen, is er meestal een evaluatie nodig die pas wordt uitgevoerd nadat het project een tijd geleden werd afgerond.
Enkele factoren die bijdragen tot een succesvolle evaluatie zijn: het bestaan van een organisatiebreed beleid om te evalueren, goede planning van evaluaties (liefst al bij de start van het project), afspraken vooraf over hoe de resultaten van de evaluatie gebruikt zullen worden, reflectie over de juiste aanpak (goede definiëring van de focus van de evaluatie, methodologie, technieken), duidelijkheid van de referentietermen en kwaliteit van de evaluator, beschikbaarheid van betrouwbare en valide informatie van de monitoring, goed evenwicht tussen verantwoording en leren, participatieve karakter van de evaluatie en ruimte voor dialoog en discussie.
34/43
Enkele specifieke problemen/uitdagingen bij evaluaties, zijn de volgende: Attributie: zijn de veranderingen toe te schrijven aan het project van de ngo? Triangulatie van informatie: wie zegt wat over hetzelfde onderwerp en wat kan daaruit dan geconcludeerd worden? Betrouwbaarheid van informatie: op welke manier is de informatie verzameld en bij wie? Validiteit van de verzamelde gegevens: worden de juiste gegevens verzameld? Impact: is het werkelijk mogelijk om veranderingen objectief vast te stellen?
Het verschil tussen monitoring en evaluatie vatten we hieronder nog even samen: Monitoring
Evaluatie
Uitgevoerd op continue basis
Uitgevoerd op een bepaald moment
Gericht op operationeel niveau: activiteiten en tussentijdse resultaten
Gericht op ganse project/programma en aspecten van beheer, kwaliteit, enz.
Gericht op beslissingen om project bij te sturen
Gericht op strategische beslissingen aangaande toekomstige) interventies en op leren
Meestal intern uitgevoerd
Vaak uitgevoerd door externe evaluatoren
1.3
Monitoring & Evaluatie bij Vlaamse ngo’s
Ngo’s besteden steeds meer aandacht aan monitoring en evaluatie. Het beleid hieromtrent is in volle ontwikkeling en ngo’s ontwikkelen geïntegreerde systemen waarin planning, monitoring en evaluatie en het trekken van lessen zoveel mogelijk op elkaar worden afgestemd. Er zijn echter nog steeds ngo’s die minder aandacht hebben voor monitoring en evaluatie en/of weinig ervaring met systemen en instrumenten om op een efficiënte manier aan informatieverzameling en beheer te doen. Deze ngo’s hebben vaak geen plan voor monitoring en evaluatie en dit bemoeilijkt een goede opvolging van het project. Vaak wordt ook te laat ontdekt dat bepaalde indicatoren te veel tijd en geld vragen om ze goed op te kunnen volgen of te weinig ter zake doen en dus geen informatie geven over de werkelijke verandering die jouw ngo voor ogen had. Het resultaat is dat (i) informatie over het project gefragmenteerd is en weinig systematisch, (ii) jaarrapportages beperkt blijven tot een beschrijving van activiteiten en output, (iii) bijsturingen van het project te laat en/of te weinig gebeuren en te weinig op basis van relevante informatie over het project en de context. Ngo-federatie heeft de laatste tijd hard gewerkt aan de capaciteit van ngo’s om te monitoren en te evalueren. Een recent initiatief is een handleiding voor het opstellen van goede vragenlijsten voor de Noordwerking (met aandacht voor de 6 kwaliteit van de vragen, technieken van bevraging, het afbakenen van de onderzoekspopulatie, enz.).
6
Terug te vinden op: www.ngo-federatie.be
35/43
1.4
Monitoring en budget
Monitoring heeft steeds gevolgen voor het budget. Op basis van de monitoring krijg je immers de kans om bij te sturen. Het gaat hier niet enkel om een inhoudelijke bijsturing. Je moet uiteraard ook financieel (kunnen) bijsturen. Monitoring hangt dus nauw samen met begrotingscontrole. Begrotingscontrole is eveneens een gezamenlijke verantwoordelijkheid en niet enkel het werk van de boekhouder in jouw ngo. Terwijl de planning bij de meeste ngo’s goed verloopt, blijkt de geregelde opvolging van het budget tijdens de looptijd van een project vaak veel minder evident. Een financiële monitoring zou minimaal twee maal per jaar moeten plaatsvinden: verzamelen van gegevens over uitgaven, besteding van budget, samenbrengen van informatie uit verschillende programma’s en consolideren. Niet zelden ‘vergeten’ programmamedewerkers tijdig relevante informatie te bezorgen aan de financieel verantwoordelijken en blijkt vaak pas op het einde dat er de budgetverschuivingen zijn gebeurd (die eigenlijk gemeld moesten worden) of dat het budget niet opraakt. Kleine aanpassingen kunnen gebeuren door de verantwoordelijke van het project, maar soms moeten bijsturingen of afwijkingen ten aanzien van de oorspronkelijke begroting opgepakt worden door een zogenaamde “begrotingscommissie” (bijv. de voorzitter van de Raad van Bestuur + directeur + financieel verantwoordelijke) of zelfs door een Algemene Vergadering, bijv. bij aanpassingen aan het logisch kader van het project of programma. Aanpassingen aan het budget gaan vaak gepaard met budgetverschuivingen of verschuivingen tussen posten van het budget dat ook werd aanvaard door DG-D als subsidiegever. Dit budget wordt opgenomen als bijlage bij het Ministerieel Besluit (MB) met toekenning van de subsidie aan jouw NGO. In de regelgeving worden hiervoor verschillende termen gebruikt: budgetverschuiving, maar ook kredietoverdrachten, begrotingsoverdrachten, budgettaire aanpassingen of wijzigingen. Er gelden een aantal algemene voorwaarden: Het bedrag van de subsidie opgenomen in het MB met toekenning van de subsidie kan slechts gewijzigd worden door een ander MB; Het initieel goedgekeurde budget blijft steeds de referentie in de modellen en formats voor financiële verslaggeving. Enkel bij verschuivingen die goedgekeurd zijn door de minister wordt het initiële budget aangepast. Budgetverschuivingen mag je niet zomaar uitvoeren, maar moet je melden of aanvragen. De overheid bepaalt immers dat een subsidie moet aangewend worden voor de doeleinden waarvoor ze verleend werd. DG-D maakt een onderscheid tussen essentiële en niet-essentiële wijzigingen en wijzigingen die beneden een bepaalde drempel blijven (bijv. verschuivingen die gaan over minder dan 10% van het budget). Voorbeelden van essentiële wijzigingen zijn: het stopzetten van de samenwerking met een partner, verandering van locatie, stopzetten van de werking in een bepaalde regio,… Bij essentiële wijzigingen moet je DG-D informeren binnen de dertig dagen. De richtlijnen vermelden echter niet wanneer deze 30 dagen ingaan. Bij niet-essentiële wijzigingen volstaat het om een melding te maken in het narratief voortgangsrapport. Het gaat bijvoorbeeld om verschuivingen tussen de rubrieken van de operationele kosten (investeringen, werkingskosten en personeelskosten). Let wel, je kan enkel schuiven naar bestaande rubrieken. Als je bijv. de rubriek investeringen niet had voorzien in het initiële budget kan je geen budgetten verschuiven naar investeringen. Daarnaast zijn er nog regels over verschuivingen tussen resultaten en verschuivingen tussen landen. Er zijn ook enkele verschillen tussen programma- en projectngo’s (die kan je terug vinden op de website van ngo-federatie). Bepaalde budgetverschuivingen zijn quasi onmogelijk omdat ze een aanpassing vereisen van het MB met toekenning van de subsidie (wat haast nooit voorkomt). Het is belangrijk dat je dit als projectmedewerker beseft. Hieronder volgen enkele voorbeelden van verschuivingen in budget die eigenlijk niet kunnen: Verschuiving tussen Noord- en Zuidluik bij programma’s. De redenering is de volgende: wat je meer realiseert in het ene luik zal ten koste gaan van het andere, omdat je steeds binnen het
36/43
toegekende budget van het programma moet blijven. In de praktijk zal een verschuiving tussen Noord- en Zuidluik zelden aanvaard worden omdat ze als twee afzonderlijke entiteiten beschouwd worden. Verschuivingen tussen beheers- en operationele kosten. Een verschuiving van operationele- of beheerkosten naar zogenaamde structuurkosten is onmogelijk. De structuurkosten worden immers niet begroot, maar door DG-D toegekend en berekend op de directe kosten die effectief zijn gemaakt.
1.5
FAQ’s
Wat is verplicht door de Belgische overheid? DG-D stelt dat ngo’s bij de beschrijving van hun programma hun monitoring- en evaluatiesysteem moeten toelichten. Er bestaan hiervoor geen concrete richtlijnen. Hoever moet/kan je gaan? Hoewel evaluatie en monitoring belangrijk zijn, is het goed om de kostprijs van een monitoring en evaluatiesysteem (de instrumenten en afspraken) in de gaten te houden en de tijd die het vraagt om het systeem te ‘voeden’. Een systeem kan goed in elkaar zitten, maar teveel tijd vragen van teveel mensen waardoor het soms niet meer in overeenstemming is met de schaal van het project. Als je bijv. voor iedere indicator jaarlijks bevragingen moet doen bij diverse actoren en doelgroepen, maak je het jezelf wel erg moeilijk. Of; als de partner een extra kracht moet inhuren enkel en alleen om jouw behoeften aan informatie over indicatoren te vervullen, moet je je misschien afvragen of jouw manier van werken wel de beste is? Om zo efficiënt mogelijk te werken is het ook goed om meteen te beginnen met een systeem op organisatieniveau: het ontwikkelen van een systeem voor iedere dienst of project afzonderlijk is echt niet kostefficiënt. Zaak is een goed evenwicht te vinden. Hierbij is het vooral belangrijk rekening te houden met de capaciteit van de partners voor monitoring en evaluatie: hoeveel vraagt je systeem van partners? Daarbij moet je er rekening mee houden dat partners vaak diverse donoren hebben (of overheden) waar ze verantwoording aan moeten afleggen en dat elke donor zijn eigen systeem hanteert. Bij het ontwerpen van een systeem hou je daar dus best rekening mee en toon je best zoveel mogelijk respect voor de instrumenten en systemen die partners al hebben. Wat is mijn taak? Nieuwe medewerkers worden geconfronteerd met verschillende situaties; Je volgt een bestaand project op: je bent onmiddellijk verantwoordelijk voor de monitoring en je zal wellicht ook de evaluatie op je moeten nemen. Het is goed om na te kijken op welke manier je voorganger informatie heeft verzameld over de indicatoren en hoe dit werd verwerkt in tussentijdse rapporten. Dat geeft je mogelijk ook al informatie over de bruikbaarheid van de indicatoren in het logisch kader. Je begint met de formulering van een nieuw project: in dat geval moet je van meet af aan ook denken aan de manier waarop je de monitoring en evaluatie gaat oppakken. Het is dan goed om eerst goed zicht te krijgen op de manier waarop in jouw organisatie omgegaan wordt met evaluatie en monitoring. In dit werkboek gaan we vooral uit van de tweede situatie en werken we met het logisch kader. Dat logisch kader geeft immers vrij duidelijk aan wat voor informatie je moet opvolgen en wat je uiteindelijk moet evalueren. Het is duidelijk dat de kwaliteit van je logisch kader mee invloed heeft op een vlot(ter) verloop van evaluatie en monitoring. We hebben het hier en in de oefeningen verder niet over het ontwerpen van een organisatiebreed systeem voor monitoring en evaluatie maar blijven op projectniveau.
37/43
2
Hoe begin je eraan: stappen en methodieken
2.1
Monitoring 1) Check welk systeem in jouw organisatie al bestaat. 2) In principe begin je met nadenken over monitoring op het moment dat je je indicatoren hebt bepaald (en zelfs nog voor de baseline studie). Vaak wordt hier veel te weinig tijd voor uitgetrokken. 3) Je neemt je lijst van indicatoren en je bekijkt per indicator welke informatie je nodig hebt en denkt na over de methoden van gegevensverzameling en de bronnen van verificatie (zie kolom 3). 4) Je lijst alle methoden op om te beoordelen hoeveel tijd en geld je nodig zal hebben om al die gegevens te verzamelen. Je verifieert wat haalbaar is, gezien de tijd en de middelen die beschikbaar zijn. Indien nodig moet je de indicatoren aanpassen. Je kan ook nagaan of er overlappingen zijn en of je via één techniek of methode verschillende gegevens kan verzamelen. 5) Je tracht voor iedere indicator/methode te bepalen wie verantwoordelijk is voor gegevensverzameling: de partner, andere actoren, jijzelf,…. Beoordeel of deze actoren de capaciteit hebben voor deze gegevensverzameling: hebben zij ervaring, mensen en middelen, in welke mate sluit het werk aan bij hun taken en manier van werken,…. Ga na welke ruimte er is om actoren te ondersteunen in gegevensverzameling (en welk budget je daar dus tegenover moet zetten). 6) Je neemt een beslissing over de frequentie van gegevensverzameling: maandelijks, trimestrieel, halfjaarlijks,… Ook hier check je weer het geheel: wat betekent dit voor je concrete tijdsbesteding doorheen het jaar, wat is haalbaar? 7) Je bekijkt op welke manier je al die verzamelde gegevens gaat consolideren: als je bijv. halfjaarlijks enquêtes organiseert, wanneer ga je die gegevens dan samenbrengen en consolideren en onder welke vorm. 8) Je beoordeelt wie de verzamelde informatie nodig heeft om zijn/haar rol in het project te kunnen spelen: wie moet wat weten waarover en wanneer? Dit zal gedeeltelijk samen hangen met het planningsproces binnen jouw organisatie. 9) Voer een baseline studie uit om de startwaarde van de indicator te bepalen. Soms heb je echt een studie nodig; soms is de startwaarde voor een bepaalde indicator gewoon 0 omdat je met het project iets nieuws introduceert. Op basis van de startwaarde, tracht je vervolgens een projectie te maken van de waarde van de indicatoren voor ieder jaar van het project. 10) Breng alles samen in een monitoringplan en bekijk dit met de financieel verantwoordelijke om na te gaan wat je nog moet toevoegen om een financiële monitoring mogelijk te maken.
2.2
Evaluatie 1) Check de ervaring met evaluaties in jouw organisatie. 2) Bepaal van meet af aan welke zaken je in het project wenst te evalueren. Meestal gaat het om een uitspraak over de 5 evaluatiecriteria: relevantie, efficiëntie, effectiviteit, duurzaamheid en impact. Impact meting is echter uitzonderlijk want vraag veel tijd en middelen. Je kan echter ook met specifieke vragen zitten. 3) Denk na over wanneer je een evaluatie plant: meest gebruikelijk zijn tussentijdse evaluaties en eindevaluaties. Je kan bijv. ook beslissen om ieder jaar een bepaald onderdeel van je project te evalueren, dat hangt af van het uitvoeringsritme van je project 4) Denk na over wie die evaluatie moet/kan uitvoeren: intern of extern en welk budget hiervoor
38/43
vrijgemaakt kan worden. 5) Denk na over wat volgens jou de beste manier is om die evaluatie uit te voeren: kan het middels één workshop, heb je interviews nodig,… 6) Plan de evaluaties en stel hiervoor een plan op met budget.
3
Aan de slag
In het ‘werkboek PCM: oefeningen en leidraden’ reiken we enkele afzonderlijke documenten en instrumenten aan die je zelf kan gebruiken en die veelvoorkomend zijn (vaak gebruikt in de sector of gevraagd door de donoren). De volgende oefeningen en leidraden worden aangeboden: Leidraad 3: voorbereiden en opzetten van de startsituatie (baseline). Leidraad 4: zelfevaluatie met partners (op basis van de vijf evaluatiecriteria). Leidraad 5: opstellen van referentietermen voor een evaluatie en opvolgen van de kwaliteit van evaluatierapporten. Oefening 7: van het logisch kader naar het monitoren van indicatoren.
4
Samenwerking
Zoals we hierboven hebben aangegeven (en zoals zeker ook geldt voor de formulering van je project) is het essentieel om over monitoring en evaluatie na te denken met anderen binnen je organisatie en met de partners en actoren van het project. Het is ondenkbaar dat jouw ngo of jijzelf zelf informatie kan verzamelen over alle indicatoren. Je bent afhankelijk van informatie van derden en de manier waarop ze informatie willen/kunnen afleveren. Het is daarom ook goed om te kijken welke systemen of instrumenten partners en andere actoren al gebruiken; mogelijk zijn die instrumenten (mits enkele kleinere) aanpassingen bruikbaar voor de monitoring en evaluatie van jouw project.
39/43
40/43
Bijlagen Bijlage 1: Glossarium Definities: Beoordelingscriteria Coherentie
Doelmatigheid (of efficiëntie)
Doeltreffendheid (of effectiviteit)
Duurzaamheid
Methodologie
Relevantie
De mate van onderlinge samenhang van de diverse door de ngo nagestreefde doelstellingen. Deze samenhang is gebaseerd op expliciet geformuleerde keuzes en prioriteiten. Doelmatigheid meet de outputs – kwantitatief en kwalitatief – in relatie tot de inputs. Het is een economisch begrip en betekent dat ontwikkelingsacties zo weinig mogelijk middelen gebruiken om de beoogde resultaten te bereiken. Dit vereist doorgaans het onderling afwegen van alternatieve manieren om dezelfde output te genereren, om te zien dat het proces op de meest efficiënte manier werd op de sporen gezet. De mate waarin de doelen van de ontwikkelingsinterventie zijn bereikt, of zullen worden bereikt, rekening houdend met de relatieve belangrijkheid ervan. Opmerking: wordt ook gebruikt als een globale maatstaf (of beoordeling) van de verdienste of waarde van een activiteit, m.a.w. de mate waarin een interventie haar belangrijkste doelstellingen heeft bereikt, of zal bereiken, op een efficiënte en duurzame manier en met een positieve impact op de institutionele ontwikkeling. De mate waarin de voordelen van de ontwikkelingsactie worden verdergezet na afloop van de interventie. Mogelijkheid om voordelen te halen op lange termijn. Toestand waardoor de netto-voordelen kans maken om aan de risico’s te weerstaan. benadering voor het analyseren, plannen, beheren en evalueren van programma's en projecten, waarbij de betrokkenheid van de belanghebbenden (stakeholders), de opeenvolging van beslissingsprocedures en beheersactiviteiten volgens welbepaalde processen worden vastgelegd. De mate waarin de doelstellingen van een ontwikkelingsinterventie overeen komen met de behoeften van de begunstigden en het land, de globale prioriteiten en het beleid van de partners en de donoren. Opmerking: achteraf gezien wordt de vraag van relevantie vaak een vraag over de geschiktheid van de doelstellingen of het ontwerp van de interventie, rekening houdend met veranderde omstandigheden. De vraag is dan in welke mate de interventiestrategie aangepast is aan de veranderingen in de context.
Definities: Algemeen Activiteit
Baseline studie
Genomen acties of uitgevoerd werk om specifieke doelstellingen te bereiken. Daarbij worden middelen zoals fondsen, technische assistentie en andere soorten hulpbronnen aangewend. Een analyse die de situatie beschrijft voor de ontwikkelingsinterventie, en volgens dewelke men verbeteringen kan beoordelen of vergelijkingen kan maken.
41/43
Betrouwbaarheid
Complementariteit
Effect (outcome) Geldigheid / Validiteit Impact
Indicator
Logisch kader
Middelen PCM
Ontwikkelingsdoel
Ontwikkelingsinterventie Outcome Mapping
Resultaat
Resultaatgericht beheer Resultaten (globale betekenis)
42/43
Consistentie of betrouwbaarheid van data- en evaluatiebeoordelingen, met verwijzing naar de kwaliteit van de instrumenten, procedures en analyses om evaluatiedata te verzamelen en te interpreteren. Opmerking: evaluatie-informatie is betrouwbaar wanneer herhaalde observaties met gelijkaardige instrumenten onder gelijkaardige omstandigheden dezelfde resultaten produceren. Complementariteit betekent “aanvullend werken”, het valoriseren van ieders specificiteit in het streven naar onderlinge afstemming, zodat een evenwichtige realisatie van alle doelen mogelijk wordt. Bedoelde of onbedoelde verandering, direct of indirect het gevolg van een interventie. De mate waarin de strategieën en instrumenten voor gegevensverzameling meten wat ze moeten meten. Positieve en negatieve, primaire en secundaire effecten op lange termijn die geproduceerd zijn door een ontwikkelingsinterventie, direct of indirect, bedoeld of onbedoeld. Kwantitatieve of kwalitatieve factor of variabele die een simpele en betrouwbare manier biedt om de resultaten te meten, om de interventiegerelateerde veranderingen weer te geven, of om de prestatie van een ontwikkelingsactor te helpen beoordelen. Beheersinstrument om het ontwerp van interventies te verbeteren, meestal op projectniveau. Het omvat de identificatie van strategische elementen (middelen, resultaten, verwezenlijkingen, impact) en hun causale relaties, indicatoren en de veronderstellingen van risico's die het succes en het falen kunnen beïnvloeden. Het vergemakkelijkt zo de planning, uitvoering en evaluatie van een ontwikkelingsinterventie. De financiële, menselijke en materiële middelen die gebruikt worden voor de ontwikkelingsinterventie. Methodologie die de verschillende fases in de procesmatige ontwikkeling van een programma/project definieert, met veel aandacht voor de dialoog tussen de betrokken partijen, de beheersactiviteiten en de beslissingsprocedures Verwachte impact die bijdraagt tot de fysieke, financiële, institutionele, sociale, milieu- of andere voordelen voor een maatschappij, gemeenschap of groep personen via een of meerdere ontwikkelingsinterventies. Een instrument dat door een partner wordt gebruikt (donoren of niet-donoren) voor het bevorderen van ontwikkeling. Opmerking: voorbeelden zijn beleidsadvies, projecten, programma's. Een participatieve methode voor planning, monitoring en evaluatie van programma’s en projecten, waarbij de actoren centraal staan en de focus ligt op gedragsverandering bij ontwikkelingsactoren en op sociaal en organisationeel leren. De producten, uitrustingen of diensten die resulteren uit een ontwikkelingsinterventie. De term kan ook gebruikt worden voor veranderingen die resulteren uit de interventie en die relevant zijn voor de het realiseren van een effect. Een managementstrategie gericht op de prestatie en verwezenlijking van resultaten, effecten en impact. De (bedoelde of onbedoelde, positieve en/of negatieve) resultaten, effecten of impact van een ontwikkelingsinterventie.
Resultatenketen
Synergie Theory of Change
Veronderstellingen
Opeenvolging van oorzaak-gevolg relaties die van een ontwikkelingsactie tot het bereiken van de doelstellingen leiden. De resultatenketen begint met het beschikbaar stellen van de middelen, wordt voortgezet door de activiteiten en hun producten, de realisatie van resultaten, van effecten of outcomes en hun impact. Een situatie waarin het effect van een samenwerking groter is dan elk van de samenwerkende partijen afzonderlijk zou kunnen bereiken. Een benadering voor de design en evaluatie van programma’s/projecten, die helpt om te sturen in complexe sociale veranderingsprocessen. Een ToC expliciteert onder meer welke lange termijn verandering wordt beoogd, wat precies moet veranderen en waarom, wat de context is en wie nog meer actief is op dat vlak, en hoe en waarom de strategie, activiteiten, outputs van het programma/project zullen leiden tot outcomes die bijdragen aan lange termijn verandering. Veronderstellingen (ook wel hypothesen) over factoren of risico's die de voortgang of het succes van een ontwikkelingsinterventie kunnen beïnvloeden.
43/43
Project Cycle Management Werkboek: oefeningen en leidraden
ACE Europe in samenwerking met ngo-federatie vzw | december 2012
Overzicht van oefeningen en leidraden Uitgewerkte voorbeelden ....................................................................................................... 5 Zuidwerking ........................................................................................................................... 5 Noordwerking ........................................................................................................................ 7 Deel I: Analyse .....................................................................................................................11 Oefening 1: Probleemboom/behoefteanalyse .......................................................................11 Oefening 2: Strategiebepaling ..............................................................................................22 Oefening 3: Stakeholderanalyse / analyse van actoren ........................................................34 leidraad 1: Contextanalyse ...................................................................................................49 Deel II: Formulering ..............................................................................................................54 Oefening 4: Participatiematrix...............................................................................................54 Oefening 5: Veronderstellingen en risico’s ............................................................................66 Leidraad 2: Systematische en kritische lezing van een logisch kader ...................................78 Oefening 6: Opmaak en monitoring van een projectbudget ..................................................82 Leidraad 3: Fictieve voorbeelden – goede en minder goede indicatoren .............................101 Deel III: Monitoring en evaluatie .........................................................................................110 Leidraad 4: Beschrijven van de startsituatie (baseline) .......................................................110 Leidraad 5: Zelfevaluatie met partners................................................................................116 Leidraad 6: Referentietermen voor een evaluatie ...............................................................122 Oefening 7: Van het logisch kader naar het monitoren van indicatoren...............................128
Uitgewerkte voorbeelden Om de toelichting zo concreet mogelijk te houden werkten we in verschillende oefeningen met twee concrete voorbeelden uit de Noord- en Zuidwerking. Het gaat concreet om: Project in het Zuiden rond voedselzekerheid en ondervoeding van kinderen, uitgewerkt als gezondheidsproject. Project in het Noorden rond het versterken van maatschappelijk draagvlak voor de NoordZuidproblematiek, uitgewerkt als project voor de versterking van betrokkenheid van schoolgaande jongeren bij de Noord-Zuidproblematiek. We geven hieronder het overzicht (logisch kader) van deze voorbeelden.
Zuidwerking Interventielogica Algemene doelstelling Specifieke doelstelling Resultaten
Activiteiten
Verminderde groei en ontwikkeling bij kinderen is teruggedrongen in de regio (ruraal gebied) van XX in land XX op een periode van 3 jaar Kinderen in de regio zijn beter gevoed en minder ziek Resultaat 1: de gezondheidscentra in de regio XX bieden aangepaste en betaalbare diensten aan Resultaat 2: huishoudens in de regio XX sparen en zijn in staat om te betalen voor gezondheidszorg Activiteiten voor resultaat 1: 1. Vormingsprogramma voor gezondheidswerkers in regio XX (2 personen/centrum, 50 centra) – programma van de lokale overheid dat niet werd begroot: viermaandelijkse trainingen (georganiseerd in 4 deelregio’s) door telkens 1 trainer gedurende 1 jaar. 2. Capaciteitsversterking van centra op vlak van managen, plannen, monitoren en toegankelijk maken van gezondheidsdiensten (meer bepaald rond ondervoeding): twee lokale gezondheids-ngo’s voeren programma uit van capaciteitsversterking voor 50 centra: coaching, vorming, uitwisseling, intervisie (gedurende 3 jaar voor supervisors van gezondheidswerkers, 1/centrum) 3. Uitvoeren van dienst rond identificatie en opvolging van chronische ondervoeding door consultaties in centra en huisbezoeken (inclusief sensibilisatie rond gezondheid) 4. Uitrusten van lokale ngo’s met werkingsmiddelen 5. Ondersteunen van overleg tussen regionale overheid en gezondheidscentra met het oog op een betere opvolging van het verlenen van gezondheidsdiensten in de regio. 6. Ondersteunen van overleg tussen gezondheidsactoren en actoren die actief zijn rond productie, water en sanitair Activiteiten voor resultaat 2: 1. Capaciteitsversterking van huishoudens rond sparen: twee lokale ngo’s gespecialiseerd in werken met boeren en huishoudens
5/141
sensibiliseren vrouwen en mannen rond sparen en ondersteunen de vorming en werking van lokale spaargroepen 2. Versterken van relaties tussen lokale spaargroepen en lokale banken en kredietinstellingen 3. Uitrusten van lokale ngo’s 4. Ondersteunen van inkomstgenerende activiteiten met vrouwengroepen
Indicatoren Specifieke doelstelling
Kinderen in de regio zijn beter gevoed en minder ziek
indicator
Resultaten
Resultaat 1: de gezondheidscentra in de regio XX bieden aangepaste en betaalbare diensten aan
Indicator
Het aantal kinderen M/V (vooral onder de vijf jaar) dat lijdt aan chronische ondervoeding De evolutie in voorkomen van bepaalde ziekten bij kinderen (M/V) van jonger dan 5 jaar
Evolutie van het aantal consultaties voor kinderen (M/V) onder de vijf jaar in ieder gezondheidscentrum dat betrokken is in het project Evolutie van de capaciteit van de gezondheidscentra om gepaste diensten te plannen en te beheren Resultaat 2: huishoudens in de regio XX sparen en zijn in staat om te betalen voor gezondheidszorg
Indicator
Het aantal vrouwen met kinderen onder de vijf jaar dat deel uitmaakt van een erkende spaargroep die functioneert en geld op de bank zet.
Veronderstellingen en risico’s Algemene doelstelling
Specifieke doelstelling
Resultaten
Verminderde groei en ontwikkeling bij kinderen is teruggedrongen in de regio (ruraal gebied) van XX in land XX op een periode van 3 jaar Kinderen in de regio zijn beter gevoed en minder ziek
Resultaat 1: de gezondheidscentra in de regio XX bieden aangepaste en betaalbare diensten aan
Resultaat 2: huishoudens in de regio XX sparen en zijn in staat om te betalen voor gezondheidszorg
6/141
Veronderstelling: andere ziekten (niet gerelateerd aan ondervoeding) krijgen voldoende aandacht in de gezondheidscentra Veronderstelling: de centrale overheid behoudt de aandacht voor de aanpak van ondervoeding via screening en opvolging in haar beleid(s-teksten) de internationale ngo XX gespecialiseerd in water blijft actief in de regio en verbetert de toegang tot water voor de huishoudens er is voldoende productie lokaal van voedsel met waardevolle voedingsbestanddelen (landbouwngo in de regio heeft dit als
specifiek aandachtspunt) er is lokaal voldoende kennis over het goed bereiden van voedsel met waardevolle voedingsbestanddelen binnen bepaalde vrouwengroepen (door vorig project) de banken hebben aangepaste programma’s voor kleine spaargroepen
Noordwerking Interventielogica Algemene doelstelling Specifieke doelstelling
Resultaten
Activiteiten
Druk op de overheid vanuit jongeren om meer aandacht te besteden aan de Noord-Zuid problematiek is versterkt Betrokkenheid van schoolgaande jongeren tussen 12 en 18 jaar bij de Noord-Zuidproblematiek is toegenomen (in de regio’s waar de ngo actief is) Resultaat 1: jongeren in XX scholen verbinden de Noord-Zuidproblematiek met hun eigen leven en zien waar ze zelf kunnen bijdragen aan een meer solidaire wereld Resultaat 2: opleiding van leerkrachten in XX hogescholen (één of meerdere) besteedt specifieke aandacht aan de Noord-Zuidproblematiek en de gepaste didactiek naar jongeren toe Resultaat 3: de pedagogische ondersteuning van XX (één of meerdere) scholengroepen besteedt specifieke aandacht aan de NoordZuidproblematiek en de gepaste didactiek naar jongeren toe Activiteiten voor resultaat 1: 1. Ontwikkelen van specifiek onderwijs- en actiemateriaal in samenwerking met hogescholen, pedagogische begeleidingsdiensten en Vlaamse scholierenkoepel 2. Productie van het materiaal dat in scholen kan gebruikt worden 3. Opzetten van concrete samenwerking met ngo X en haar scholenwerking om het materiaal te gebruiken: meer bepaald overleg en opzetten van ‘gezamenlijke organisatie van 5 vormingen voor leerkrachtenteams’ 4. Interactie met Vlaamse scholierenkoepel om leerlingenraden te mobiliseren Activiteiten voor resultaat 2: 1. Verduidelijken van pedagogische uitdagingen in overleg met opleidingsverantwoordelijken in XX hogescholen 2. Mee uitwerken van modules/materiaal voor lerarenopleiding 3. Uittesten van modules en bijsturing Activiteiten voor resultaat 3 1. Verduidelijken van pedagogische uitdagingen in overleg met
7/141
pedagogische begeleiders (aantal te identificeren) van XX scholengroepen (of in de scholengroep van de partner-ngo en haar scholenwerking) 2. Versterken van capaciteit van pedagogische begeleiders om leerkrachten te coachen op de integratie van de NoordZuidproblematiek in de lessen 3. Uittesten van modules en bijsturing
Indicatoren Specifieke doelstelling
Betrokkenheid van schoolgaande jongeren tussen 12 en 18 jaar bij de Noord-Zuidproblematiek is toegenomen (in de regio waar de ngo actief is)
indicator
Evolutie van het vrijwilligerswerk van jongeren bij ngo’s en andere organisaties die zich (in meer of mindere mate) inzetten voor de NoordZuidproblematiek of hun deelname aan activiteiten
Evolutie van het aantal concrete initiatieven rond het Zuiden dat op lokaal vlak wordt uitgewerkt door jongeren
Resultaten
Resultaat 1: jongeren in XX scholen verbinden de Noord-Zuidproblematiek met hun eigen leven en zien waar ze zelf kunnen bijdragen aan een meer solidaire wereld
indicator
Het aantal jongeren (M/V) dat kennis maakte met het didactisch materiaal, dat stelt dat zij één (of meerdere) van de handelingsperspectieven die werden voorgesteld concreet overweegt (zijnde: vrijwilliger worden bij een ngo, lid worden van de schoolwerkgroep rond Noord-Zuid, Fair Trade producten aankopen) Het aantal jongeren (M/V) dat actief wordt binnen de school op het vlak van acties rond de Noord-Zuidproblematiek Resultaat 2: opleiding van leerkrachten in XX hogescholen besteedt specifieke aandacht aan de Noord-Zuidproblematiek en de gepaste didactiek naar jongeren toe
indicator
Aantal keren dat specifieke modules worden aangeboden in de hogeschool Evolutie in het aanbod methodieken die (ook) inzetten op verbondenheid (en minder eenzijdig gericht zijn op kennis)
Resultaat 3: de pedagogische ondersteuning van XX scholengroepen besteedt specifieke aandacht aan de Noord-Zuidproblematiek en de gepaste didactiek naar jongeren toe
indicator
De pedagogische ondersteuning past haar checklist voor screening van onderwijskwaliteit aan en de begeleiders hanteren deze lijst in hun coaching van leerkrachtenteams
Veronderstellingen en risico’s Algemene doelstelling Specifieke doelstelling
8/141
Druk op de overheid vanuit jongeren om meer aandacht te besteden aan de Noord-Zuid problematiek is versterkt Betrokkenheid van schoolgaande jongeren tussen 12 en 18 jaar bij de Noord-Zuidproblematiek is toegenomen
Veronderstelling: De interesse bij enkele jeugdhuizen en jeugdbewegingen om te werken
Resultaten
in de regio waar de ngo actief is
rond het Zuiden en de Noord-Zuid problematiek is aanwezig (er is een kritische massa) Er is ruimte bij de gemeenten om initiatieven van jongeren (financieel en/of anderzijds) te ondersteunen Imago van de sector Noord-Zuid blijft eerder positief en aantrekkelijk
Resultaat 1: jongeren in XX scholen verbinden de Noord-Zuidproblematiek met hun eigen leven en zien waar ze zelf kunnen bijdragen aan een meer solidaire wereld Resultaat 2: opleiding van leerkrachten in XX hogescholen besteedt specifieke aandacht aan de NoordZuidproblematiek en de gepaste didactiek naar jongeren toe Resultaat 3: de pedagogische ondersteuning van XX scholengroepen besteedt specifieke aandacht aan de Noord-Zuidproblematiek en de gepaste didactiek naar jongeren toe
Veronderstelling: De scholen in het netwerk van de partner-ngo bieden voldoende ruimte aan leerkrachten om met leerlingen klas- en graad overschrijdende activiteiten en acties op te zetten binnen de school
9/141
10/141
Deel I: Analyse OEFENING 1: PROBLEEMBOOM/BEHOEFTEANALYSE Als je start met een nieuw project of programma, is het handig om de problemen goed in kaart te brengen. Deze oefening is de basis voor het bepalen van je strategie of aanpak en het analyseren van stakeholders en actoren. Hierover vind je ook oefeningen terug die horen bij het werkboek. We werken deze oefening concreet uit aan de hand van twee fictieve voorbeelden (één voor de Noordwerking en één voor de Zuidwerking). We gebruiken deze voorbeelden ook in de oefeningen rond strategiebepaling en stakeholderanalyse. Het gaat om volgende programma’s/projecten: Project in het Zuiden: voedselzekerheid en ondervoeding van kinderen in 1 provincie in één bepaald land. Project in het Noorden: versterken van maatschappelijke betrokkenheid bij de noord-zuid problematiek. De oefening is als volgt uitgewerkt: 1. Inleiding 2. Toelichting bij aanpak 3. De stappen (met uitgewerkte voorbeelden, instrumenten en toelichting) 4. Wat doe je met de informatie (met werkblad) 5. Hoe ga je verder?
1
Inleiding
Wanneer je tracht te achterhalen wat de problemen zijn waarop je als ngo wilt werken, is het een goed idee om een probleemboom te maken. Via een probleemboom kan je nagaan of je de gemeenschap of context, waar je mogelijk al bekend mee bent, goed begrijpt. De probleemboom kan je helpen om: de problemen waarmee mensen in een bepaalde context en gemeenschap geconfronteerd worden in kaart te brengen; een inzicht te verkrijgen in de verbanden tussen deze problemen; de oorzaken (‘wortels’) en gevolgen van problemen (takken en bladeren) beter te begrijpen; Een basisprobleem (de ‘stam’) te identificeren. Je kan wellicht niet alle oorzaken aanpakken in je programma, maar op deze manier breng je ze wel in kaart en kan je ook inschatten welke impact ze kunnen hebben op je programma of project.
2
Hoe pak ik dit aan?
Je kan een probleemboom maken voor je ganse organisatie (Noord + Zuid) of een afzonderlijke probleemboom voor Noord en voor Zuid. In deze oefening hebben we gewerkt met afzonderlijke probleembomen. Er zijn verschillende startsituaties mogelijk: (i) je moet als programmabeheerder nog een strategie opstellen voor de Noordwerking (dan werk je heel breed), (ii) je hebt al een afbakening gemaakt voor een project met een partner (dan vertrek je al vanuit een bepaald kader, maar het kan geen kwaad om dat opnieuw even breder te trekken), (iii) je vindt de probleemanalyse van je huidige
11/141
programma onduidelijk en je wilt daarom een stap terug zetten. Deze oefening vertrekt vooral vanuit de tweede situatie. Je doet deze oefening best samen met de mensen die mee een rol zullen spelen in de uitvoering van het programma (eigen team, partners, externe uitvoerders) en die wellicht al eerder betrokken waren. Tracht mensen te betrekken die weten waar ze over spreken en die voorgaande projecten kennen. Betrek zeker de mensen die de problemen ondervinden bij je probleemanalyse (de mensen bij ‘wie het pijn doet’). Zij voelen zich dan ook meer betrokken bij de eventuele oplossingen die worden aangereikt. Je kan de oefening doen onder de vorm van een workshop van twee halve dagen. Eén volledige dag kan ook maar is zeer intensief. Het is ook mogelijk dat je tijd te kort komt; dat hangt een beetje af van de deelnemers en jullie ervaring met dit soort workshops. Is er geen tijd of kans voor een workshop en moet je deze oefening eventueel alleen doen (is niet ideaal!) of met slechts enkele mensen omdat partners moeilijk te bereiken zijn; denk er dan aan dat je de uitkomst checkt met anderen, bijv. toetsen van conclusies door middel van interviews en gesprekken. Je kan deze oefening doen zonder externe begeleiding; dan is het wel goed dat je afspreekt wie de discussie leidt, wie in de gaten houdt dat iedereen aan bod komt en wie ervoor zorgt dat het idee van de oefening gerespecteerd wordt.
Enkele punten om te onthouden met betrekking tot de probleemboom: a) Houd het functioneel: er is geen perfecte probleemboom. Bedoeling is om een beter begrip van de problemen te krijgen en de relatie tussen oorzaken en gevolgen. Voer dus niet al te veel discussie over precieze formuleringen. b) Baseer je op feiten: om tot een goede probleemboom te komen, moet je over feiten beschikken – betrouwbare en actuele informatie over de gemeenschap/de regio/de sector waarbinnen zal gewerkt worden. Tracht die informatie op voorhand te vergaren. Toegang tot informatie, zeker in het Zuiden (bijv. statistische gegevens) is vaak beperkt; gebruik interviews met andere organisaties en overheden die in dezelfde regio werken om dat te verhelpen. c) Problemen zijn geen afwezige oplossingen: je wil een goede kijk op problemen krijgen, niet onmiddellijk op concrete noden of behoeften van mensen en organisaties. Dat komt later als je kijkt naar eventuele oplossingen of mogelijke antwoorden op problemen. Mensen geven vaak afwezige oplossingen aan als probleem die vaak gekoppeld zijn aan directe en concrete behoeftes. Typische antwoorden zijn dan bijv.: ‘we hebben geen computers’, ‘we hebben geen auto’s’, ‘we hebben geen goed didactisch materiaal’. d) Houd rekening met culturele gevoeligheden: mensen en groepen kunnen problemen hebben met de terminologie en de associatie van ‘wortels’ met problemen (soms cultureel bepaald) of het praten in termen van problemen in het algemeen. Mensen denken soms liever na over hun toekomst vanuit dromen of aspiraties. Het denken vanuit problemen past binnen een ‘technische benadering’ van ontwikkeling in de zin van: ‘we zullen dat probleem even oplossen’ (wat voor bepaalde technisch georiënteerde projecten soms wel een aanpak is die kan werken) . Er is dan vaak minder aandacht voor wat nodig is om lokale ontwikkelingsprocessen te faciliteren en te ondersteunen. Je kan een sessie over probleemboom daarom eventueel combineren met sessies die toelaten te dromen over een gewenste situatie.
12/141
3
Stappen
Stap 1 Brainstorm in groep en verzamel ongeveer 10 problemen die je ervaren hebt / gehoord hebt / waar je over gelezen hebt. Schrijf elk probleem neer op een afzonderlijke kaart. Let op volgende aspecten: Het probleem mag geen oplossing suggereren: mensen formuleren snel afwezige oplossingen of concrete noden en behoeften, tracht dus tot echte problemen te komen. Een tip: zinnen die beginnen met ‘er is geen …’, ‘het ontbreekt aan ….’, wijzen meestal niet op problemen maar op afwezige oplossingen. Het is de bedoeling om een bestaande negatieve situatie te beschrijven en niet een onbestaande gewenste situatie. Het risico is anders dat je het blikveld op de problematiek vernauwt. Maak elk probleem zo specifiek mogelijk: hoe specifieker de probleembeschrijving, hoe gemakkelijker het wordt om de oorzaken en gevolgen, en uiteindelijk ook de mogelijke oplossingen, te benoemen. Druk geen oordelen of interpretaties uit. Doe niet Afwezige oplossing: ‘Er zijn geen auto’s voor ons personeel’ Afwezige oplossing: ‘er zijn geen computers in de school’ Vaag: ‘Geen infrastructuur’ Interpretatie: ‘Leerkrachten begrijpen niet hoe ze het zuiden in hun les kunnen integreren’ Interpretatie: de overheid is bang om een fiscale maatregel zoals de TOBIN-taks in te voeren
Doe wel Personeel van de overheid (dienst landbouw) dat boeren advies moet geven, komt nooit op het terrein Scholieren zijn niet voorbereid op de vereisten van de huidige arbeidsmarkt De actuele infrastructuur voor drinkbaar water kan slechts 3/9 dorpen bedienen De meerderheid van de leerkrachten neemt zelf geen initiatief om het Zuiden in de lessen te integreren De overheid stelt de agendering van een beslissing over financiële maatregelen voor onbepaalde tijd uit
Voorbeeld van een overzicht van problemen met betrekking tot de voorbeelden: Overzicht problemen
Voorbeeld Zuidwerking: Voedselzekerheid en ondervoeding van kinderen: 10 problemen
Voorbeeld Noordwerking: Versterken van maatschappelijke betrokkenheid bij de noord-zuid problematiek
1
Er is weinig cash inkomen in de huishoudens
2
landbouwproductie neemt ieder jaar af
3
% moeders en kinderen onder de 5 jaar met chronische dysenterie is erg hoog
4
Huishoudens consumeren vervuild
Aanbod educatie rond de NoordZuidproblematiek (ontwikkelingseducatie) is sterk gericht op kennis De meerderheid van de leerkrachten neemt zelf geen initiatief om het Zuiden in de lessen te integreren Activiteiten rond de Noord-Zuidproblematiek zijn op zich staande eenmalige activiteiten op school Jongeren verbinden de Noord-
13/141
water 5
Ziekte wordt niet behandeld
6
Hoog % van kinderen onder de 5 jaar lijdt aan chronische ondervoeding Erosie van vruchtbare bodem
7
8 9
10
Beschikbaar voedsel heeft weinig voedingswaarde Huishoudens in 3/9 dorpen hebben geen toegang tot faciliteiten voor drinkbaar water en sanitair Er is gedurende 4 maanden/jaar weinig voedsel beschikbaar
Zuidproblematiek niet met hun eigen concrete leven Er is weinig ruimte binnen de schoolomgeving voor een geïntegreerde aanpak van ontwikkelingseducatie De Noord-Zuidproblematiek is geen beleidsthema in het Vlaamse bewegingswerk Beleidsmakers ervaren weinig druk vanuit de maatschappij om meer werk te maken van ontwikkelingssamenwerking De maatschappelijke betrokkenheid bij de Noord-Zuidproblematiek is zwak Aandacht voor het Zuiden is ‘rampgevoelig’ maar weinig structureel of vanuit gevoel van onrechtvaardigheid Het Vlaamse bewegingswerk ziet geen link tussen de eigen doelstellingen en het aanbod ontwikkelingseducatie
Stap 2 Kies één probleem als uitgangspunt of basisprobleem en schrijf het op een andere kleurkaart. Het is misschien niet hét centrale probleem, maar het is een startpunt voor de discussie en het biedt de kans om de lijst van problemen wat te ordenen als oorzaak en gevolg van één bepaald probleem. De uitkomst van de discussie kan zijn dat een ander probleem meer centraal komt te staan. Om het basisprobleem te bepalen, kan je op verschillende manieren te werk gaan: Luisteren naar het gewicht dat betrokkenen hechten aan één bepaald probleem kan helpen om een basisprobleem te kiezen. Het basisprobleem wordt vaak gezien als het probleem dat kan worden aangepakt door de ngo, met andere woorden: bij formulering van het project/programma wordt het probleem voorgesteld als een specifieke doelstelling, iets dat de ngo wil veranderen/verbeteren binnen de tijd van het programma of het strategisch kader (zie het werkboek, deel over formulering). In het geval van het voorbeeld voor de Zuidwerking is het basisprobleem probleem nr. 6, nl. het feit dat een hoog percentage van kinderen onder de 5 jaar aan chronische ondervoeding leidt. De ngo wilt vooral dit probleem aanpakken en wilt het percentage van chronisch ondervoede kinderen gevoelig terugdringen. Bij het voorbeeld voor de Noordwerking is het basisprobleem, probleem nr. 8, nl. het feit dat de maatschappelijke betrokkenheid bij de Noord-Zuidproblematiek zwak is. De ngo wil vooral dit probleem aanpakken en wilt de maatschappelijke betrokkenheid versterken. Opmerking: het is ook mogelijk dat je onmiddellijk van start gaat met één enkel probleem (dat bijv. al eerder met de partners werd geïdentificeerd). Je maakt dan geen oplijsting, maar je gebruikt dit probleem als basisprobleem en gaat van daaruit oorzaken en gevolgen formuleren. Check dan eerst de formulering van dit probleem: het is geen afwezige oplossing, het is concreet, het is geen interpretatie.
14/141
Stap 3 Schik de andere (9) probleemkaarten (op een bord, muur of tafel) in oorzaak -en gevolgrelaties rond het “basisprobleem” dat functioneert als een stam. Dat kan er dan bijvoorbeeld uitzien als het diagram op de volgende pagina. Boven het basisprobleem vind je de gevolgen terug van dat probleem (takken en bladeren); onder het basisprobleem vind je directe oorzaken terug en daaronder dieper liggende oorzaken (of wortels). Voeg alle kaarten toe die volgens jullie belangrijk zijn en houd de kaarten die minder relevant zijn of herhalen wat al gezegd is voorlopig aan de kant. Wellicht kom je uit bij andere problemen die nog niet op een kaartje stonden. Voeg die dan eventueel toe. Dat is ook bij de uitgewerkte voorbeelden gebeurd. Als er teveel problemen komen, tracht die dan eventueel te bundelen. Opmerking: indien je niet gewerkt hebt met een brainstorming: denk dan logisch na vanuit het basisprobleem en stel je volgende vragen: (i) Was is het gevolg van dit probleem op korte termijn en op lange termijn? (ii) Wat is de directe oorzaak (één of meerdere) van het probleem? (iii) Wat zijn de dieper liggende oorzaken van dit probleem? Stap 4 Check de oorzaak-gevolg logica en tracht met de groep pijltjes te trekken tussen oorzaken en gevolg. Oorzaak-gevolg redeneringen blijken vaak het moeilijkste onderdeel van de oefening: het trekken van pijlen roept vaak veel vragen op over hoe bepaalde zaken leiden tot bepaalde gevolgen. Sta niet teveel stil bij het feit of je boom een mooie boom is of eerder een rommelige struik. Sommige oorzaken hebben meerdere gevolgen, een bepaald gevolg is soms terug te brengen tot meerdere oorzaken. Stap 5 Bekijk de probleemboom met de groep nog eens grondig. Alles wat zich onder het basisprobleem bevindt zijn oorzaken, alles wat zich boven het basisprobleem bevindt zijn effecten. Is iedereen het min of meer eens met dit geheel? Je zou kunnen oordelen dat het voorbeeld van de Noordwerking (zoals hieronder uitgewerkt) te weinig complex is: er zijn nog veel meer oorzaken die verklaren waarom de maatschappelijke betrokkenheid bij de Noord-Zuidproblematiek zo beperkt is, bijv. weinig of eenzijdige aandacht voor de problematiek in de media. Probeer bijkomende problemen die niet in het initiële lijstje zaten alsnog een plaats te geven. Noteer enkele bedenkingen bij oorzaak-gevolg redeneringen (die uit stap 4 naar voor zijn gekomen): in deze redenering zit namelijk vaak de informatie die je nodig hebt om de projectformulering goed te onderbouwen of om aannames expliciet te maken (‘a leidt tot b want …’). Het kan ook duidelijk maken waar je nog goede informatie of achtergrond voor mist. Voorbeeld Zuid (zie uitgewerkte voorbeeld op volgende pagina): als je zegt dat er een relatie is
tussen een aangetaste bodem en verminderde productie kan het handig zijn om in enkele zinnen uit te leggen hoe het ene volgens jou precies leidt tot het andere. Voorbeeld Noord: als je zegt dat ontwikkelingseducatie gericht op kennis verklaart waarom jongeren de Noord-Zuid problematiek niet verbinden met hun eigen leven, moet je wellicht uitleggen hoe mensen volgens jou leren en tot inzicht komen. Zorg ervoor dat duidelijk is, wie de problemen ondervindt en maak dit indien mogelijk zoveel mogelijk genderspecifiek. Stap 6 Zorg ervoor dat alle deelnemers deze probleemboom werkbaar vinden. Zijn er mensen niet akkoord, spreek dan af dat je hun mening en motivering noteert en meeneemt in het proces. Dat kan achteraf handig zijn bijv. op het moment dat er een evaluatie is of je stelt vast dat bepaalde oorzaak-gevolg redeneringen niet kloppen, kan je terugkomen op andere meningen en nakijken wat er gezegd is
15/141
geweest. Stap 7 Het is goed om na de workshop door 1 persoon een definitief overzicht en samenvatting te laten maken dat je nadien opnieuw aan de deelnemers van de workshop voorlegt, zodat zij dat kunnen valideren. Je kan dit ook toetsen aan mensen die niet hebben deelgenomen aan de workshop. Je zorgt op die manier voor een goede documentatie waarin redeneringen over oorzaak en gevolg beknopt staan weergegeven en waarin afwijkende meningen beschreven staan (zie werkblad verder in dit document). Dit materiaal neem je mee in verdere analyses en in de formulering van het project.
Hieronder volgen de uitgewerkte voorbeelden:
Uitgewerkt voorbeeld probleemboom Zuid
16/141
Uitgewerkt voorbeeld probleemboom Noord
4
Wat doe je met de informatie uit de probleemboom?
Het resultaat van de oefening is meer dan een probleemboom: er is een gedeeld begrip over de diverse aspecten die rond het centrale probleem hangen, de complexiteit is (vereenvoudigd) in kaart gebracht, er is nagedacht over hoe dingen samenhangen of elkaar beïnvloeden en je hebt duidelijk gemaakt wie met welk probleem te maken krijgt. De probleemboom levert materiaal om verder te werken: Je identificeert ‘gaten’ in je redenering en analyse: je stelt vast dat je hier en daar informatie te kort komt en je kan meer gericht bijkomende informatie verzamelen (door documentstudie of interviews of …); Het geheel aan problemen is duidelijker; nu kan je verder nadenken over de problemen die je als ngo dan heel concreet gaat aanpakken in je project/programma. Je kan dus doelstellingen en resultaten gaan bepalen; Doelstellingen bepalen: als je de probleemboom ‘omdraait’, kan je spreken van een ‘doelstellingenboom’. Het komt er eenvoudigweg op neer dat je alles omdraait (zie voorbeelden hieronder). De doelstellingenboom kan een handig vertrekpunt zijn om het met betrokkenen te hebben over hun toekomstvisie (klopt die met onze ‘dromen’?) en verwachtingen en prioriteiten
17/141
(wat moet prioritair worden aangepakt?). Het kernprobleem wordt je specifieke doelstelling, de oorzaken worden resultaten. Dit wil nog niet zeggen dat je al deze resultaten zelf gaat realiseren! Je moet nog keuzes maken: aangezien mensen en middelen beperkt zijn, moet je keuzes maken en prioriteiten stellen (zie oefening strategiebepaling). Er is nog een andere reden om niet alles te willen aanpakken en oplossen: er namelijk nog andere spelers in het veld die bepaalde problemen kunnen aanpakken (zie verder oefening: ‘stakeholderanalyse’). Voor een aantal problemen, ga je dus als ngo geen verantwoordelijkheid opnemen. Je moet uiteindelijk de haalbaarheid van je doelstelling checken: ben je als ngo in staat om deze specifieke doelstelling te realiseren, is dat realistisch, hoeveel invloed kan je uitoefenen? In het geval van het voorbeeld van de Zuidwerking lijkt het realistisch als het interventiegebied voldoende is afgebakend. In het geval van het voorbeeld voor de Noordwerking lijkt dat alvast minder het geval: versterken van maatschappelijke betrokkenheid is nogal een opdracht voor één enkele ngo. De conclusie kan hier zijn dat het geformuleerde kernprobleem misschien niet het juiste is en dat het kernprobleem voor deze ngo misschien eerder is dat jongeren er niet in slagen om de Noord-Zuidproblematiek te verbinden met hun eigen leven.
Hieronder volgen uitgewerkte voorbeelden: resultaat van de oefening stap 1-5.
Voorbeeld doelstellingboom Zuid
18/141
Voorbeeld doelstellingenboom Noord
19/141
Werkblad: samenvatting oefening probleemboom Auteur: Datum (of data wanneer je meerdere sessies hebt gedaan): Deelnemers: 1. Overzicht problemen
Diagram probleemboom: invoegen Opmerkingen bij oorzaak-gevolg redenering: Opmerkingen bij het aanvaarden van deze probleemboom: 2. Overzicht doelstellingen
Diagram doelstellingenboom: invoegen Opmerkingen over haalbaarheid van doelstelling (specifieke doelstelling en resultaten): Vaststelling van specifieke doelstelling (kernprobleem geformuleerd als doelstelling):
Vaststelling van resultaten:
3. To Do
Aangeven welke informatie nog ontbreekt/moet aangevuld worden (wie gaat dat doen en op welke manier?)
4. Documenten
Vermeld welke documenten je geconsulteerd hebt
20/141
5
Hoe ga je verder? je zoekt bijkomende informatie op (indien nodig); je gebruikt je doelstellingenboom als basis voor een discussie over verwachtingen en prioriteiten; indien je met de deelnemers een droomsessie hebt gedaan over hoe zij de toekomst zien, kan de uitkomst daarvan vergelijken met deze doelstellingenboom en bespreken hoe ver/dicht beide van elkaar liggen. je denkt na over strategie en stakeholders/actoren (zie andere oefeningen).
21/141
OEFENING 2: STRATEGIEBEPALING Op basis van een goede analyse van problemen, kan je een keuze maken voor de juiste aanpak of strategie die je moet volgen. We hebben het hier niet over de grote strategie voor jouw organisatie maar wel over de strategie voor een bepaald project/programma. Uiteraard zal de strategie van jouw project zo goed als mogelijk moeten kaderen binnen het strategisch kader van jouw ngo. We werken deze oefening concreet uit aan de hand van twee fictieve voorbeelden, één voor de Noordwerking en één voor de Zuidwerking. We gebruiken deze voorbeelden ook in andere oefeningen 'probleemboom' en ‘stakeholderanalyse/analyse van actoren’ Het gaat om de volgende projecten: Project in het Zuiden: voedselzekerheid en ondervoeding van kinderen. Project in het Noorden: versterken van maatschappelijke betrokkenheid bij de NoordZuidproblematiek.
De oefening is als volgt uitgewerkt: 1. Inleiding 2. Toelichting bij aanpak 3. De stappen (met uitgewerkte voorbeelden, instrumenten en toelichting) 4. Wat doe je met de informatie (met werkblad) 5. Hoe ga je verder?
1
Inleiding
Ontwikkelingsproblemen zijn complex en het is als organisatie vaak niet mogelijk om alle problemen zelf aan te pakken: de financiële en menselijke middelen zijn beperkt, je hebt maar expertise op enkele domeinen. Een van de belangrijkste vaardigheden is bijgevolg de vaardigheid om keuzes te maken en prioriteiten te stellen. Je doet dit op basis van je probleemanalyse (zie oefening probleemboom) en eventueel op basis van andere en bijkomende analyses, bijv. analyse van welke instellingen en groepen mensen allemaal betrokken zijn in het probleem (zie oefening analyse van stakeholders). Afhankelijk van de tijd die je hebt kan je een stuk analyse ook doen na de strategiebepaling (om de strategie verder te onderbouwen). Het analyseren van een mogelijke strategie laat je toe om: duidelijk te maken wat je wel en niet gaat aanpakken; prioriteiten te stellen en de beschikbare middelen zo goed mogelijk in te zetten; te verduidelijken hoe je verandering ziet gebeuren en op welke veronderstellingen je dit baseert. Je kan een duidelijk verschil zien in de manier waarop ngo’s omgaan met deze keuzes. Bijvoorbeeld in de Zuidwerking: sommige ngo’s die heel wat technische bagage hebben (bijv. op het vlak van gezondheid of drinkbaar water) kiezen voor een gespecialiseerde aanpak waar ze zich zoveel mogelijk richten op één specifiek domein: bijv. water of gezondheid. Andere ngo’s kiezen voor een combinatie van strategieën waarbij interventies in diverse domeinen (zoals water en gezondheid en eventueel landbouw combineren). Ze staan een zogenaamd geïntegreerde aanpak voor. ngo's die zich specialiseren kiezen er wel meer en meer voor om samen te werken met andere (gespecialiseerde) organisaties en trachten op die manier bij te dragen tot een geïntegreerde aanpak.
22/141
2
Hoe pak ik dit aan? Je doet deze oefening best samen met de mensen die mee een rol zullen spelen in de uitvoering van het programma (eigen team, partners, externe uitvoerders) en die wellicht al eerder betrokken waren. Tracht mensen te betrekken die weten waar ze over spreken en die voorgaande projecten kennen. Je kan de oefening doen onder de vorm van een workshop van een halve dag. Mogelijk is dat te ambitieus en moet je een ganse dag uittrekken; dat is afhankelijk van de ervaring die deelnemers hebben met dit soort oefening. Kleinere ngo’s (met een beperkt aantal personeelsleden) vinden het mogelijk moeilijk om verschillende oefeningen en analyses te maken die veel tijd vergen. Een minimum aan analyse is echter belangrijk: je kan eventueel in deze (en in andere oefeningen) stappen overslaan. Is er geen tijd of kans voor een workshop, dan kan je deze oefening ook alleen doen (is niet ideaal!) of met slechts enkele mensen; denk er dan wel aan dat je de uitkomst checkt met anderen, bijv. toetsen van conclusies door middel van interviews en gesprekken. Je kan deze oefening doen zonder externe begeleiding; dan is het wel goed dat je afspreekt wie de discussie leidt, wie in de gaten houdt dat iedereen aan bod komt en wie ervoor zorgt dat het idee van de oefening gerespecteerd wordt. Het voordeel van een externe facilitator is dat die vaak makkelijker en beter aan tijdsmanagement kan doen en dat die ervoor kan zorgen dat iedereen aan bod komt en gehoord wordt.
Enkele punten om te onthouden met betrekking tot strategiebepaling: a) Denk ‘out of the box’: de vaststelling en keuze van een bepaalde strategie wordt vaak beïnvloed door de manier waarop de ngo nu al werkt. Gebruik deze oefening om verder te kijken dan de gebruikelijke aanpak b) Kies je methode: we werken in deze oefening verder op de oefening met de probleemboom. Er zijn echter nog andere methoden denkbaar om na te denken over strategie. In ieder geval heb je een goede mapping nodig van problemen die je wilt aanpakken en oplossingen die je denkbaar vindt. Vervolgens zou je ook kunnen werken met een SWOT-analyse die de sterke en zwakke punten van interventiestrategieën van voorbije projecten ontleedt. c) Onderbouw en verhelder je keuzes: noteer goed de onderliggende redeneringen die aan de basis liggen van keuzes die je maakt en maak die redeneringen expliciet. Expliciteer ook de waarden van je organisatie. d) Combineer informatie uit andere analyses: in principe heb je ook nog analyses rond actoren en stakeholders en een contextanalyse. Gebruik die informatie ook.
23/141
3
Stappen
Deze oefening werkt verder met de uitkomst van het materiaal dat je verkreeg na de oefening met de probleemboom. Je hebt in ieder geval een goede omschrijving nodig van aanwezige problemen waar je op wilt inspelen en van oplossingen die je ziet. Stap 1 Identificeer clusters in de doelstellingenboom/de doelstellingen die je voor ogen hebt. Zoek groepen doelstellingen die enige samenhang vertonen, zet ze samen en benoem ze (of geef ze een naam). Bekijk de clusters en bekijk oorzaak en gevolg: als A gebeurt, zal B dan inderdaad het gevolg zijn? In het beantwoorden van dit soort vragen, wordt duidelijk op welke aannames of je steunt, bijv. 'als er infrastructuur is voor drinkbaar water, zullen gezinnen ook enkel zuiver water gebruiken om te drinken want dan worden ze niet ziek' (zie cluster 1 in het voorbeeld van de Zuidwerking). Je gaat er hierbij van uit dat drinkbaar water automatisch beschikbaar is voor iedereen en dat mensen een link leggen tussen proper water en gezond blijven. Noteer deze aannames (voor verandering) en maak ze expliciet In deze fase hoef je de aannames nog niet in detail te bespreken ('klopt deze aanname wel?'). Je kan dit opnieuw opnemen als je een strategie gekozen hebt. Hieronder volgt de uitwerking voor de twee voorbeelden: Zuidwerking en Noordwerking.
Doelstellingboom Zuid: clusters
24/141
In het voorbeeld van de Zuidwerking, kunnen we makkelijk 5 clusters onderscheiden: a) b) c) d) e)
( toegang tot) drinkbaar water en sanitair (toegang tot) gezondheidszorg (aanwezigheid van) infrastructuur voor productie productie en beschikbaarheid van voedsel sparen door gezinnen
Doelstellingboom Noord: clusters
In het voorbeeld van de Noordwerking, kunnen we duidelijk drie clusters onderscheiden: a) Leerkrachten en leerlingen b) Bewegingswerk c) Aanbod ontwikkelingseducatie
Stap 2 Koppel de clusters aan potentiële interventiestrategieën en analyseer de relevantie, haalbaarheid, risico's/hefbomen en duurzaamheid. Elke cluster kan vertaald worden in een interventiestrategie. In het voorbeeld van de Zuidwerking komt cluster 3 'infrastructuur voor productie' overeen met een strategie om te werken op het 'aanbod' aan infrastructuur en de kwaliteit daarvan. In het voorbeeld van de Noordwerking komt de cluster ‘leerkrachten en leerlingen’ overeen met een scholenwerking.
25/141
Doe een analyse per cluster/mogelijke interventiestrategie. De criteria die je kunnen helpen bij de analyse zijn de volgende: relevantie, haalbaarheid, risico’s of verwachte effecten (risico’s/hefbomen) en duurzaamheid. Het zijn in deze fase de voornaamste criteria. In de tabel die volgt hebben we vragen toegevoegd die kunnen dienen als richtvragen bij het analyseren van de voorgestelde criteria. Tracht een akkoord te krijgen over deze criteria: is het duidelijk voor iedereen? Tijdens een workshop kan je eventueel ook andere criteria toepassen/toevoegen. Bijv. organisaties die werken met subsidies van de Vlaamse overheid (VAIS) moeten vaak ook rekening houden met het criterium ‘innovatie’: waar denken we te kunnen innoveren? Dit criterium kan je helpen om out of the box te denken en frisse ideeën te lanceren. Probeer telkens een soort conclusie te formuleren. De discussie is belangrijk: het is aan te raden om de argumenten van verschillende mensen goed te noteren en om ervoor te zorgen dat meningen onderbouwd zijn of worden. Het kan helpen om een score te verbinden aan de criteria van haalbaarheid, relevantie en risico's/hefbomen. Als je geen workshop organiseert: zet dan je ideeën op papier en toets ze aan de mening van anderen. Analyse van strategische opties Criteria Richtvragen Relevantie Wat is het meest dringend en moet voorrang krijgen? Wat is voor onze doelgroep het meest relevant en waarom? Wat sluit best aan bij oplossingen en strategieën die de doelgroep zelf (in het verleden) heeft ontwikkeld? Wat sluit goed aan bij bestaande programma's van de overheid/de overheden of overheidsdiensten? Welke andere organisaties houden zich al met oplossingen bezig? Kunnen we daar nog iets wezenlijk/belangrijk/relevant aan toevoegen? Conclusie over relevantie/strategie:
Haalbaarheid
Wat kunnen en weten wij? Waar hebben we helemaal niets te bieden? Hoeveel financiële middelen zijn er nodig en kunnen die gemobiliseerd worden? Hoeveel tijd is er nodig om verandering te kunnen zien? Met wie kunnen/moeten we samenwerken (zie ook oefening stakeholderanalyse)
Conclusie over haalbaarheid:
Risico's/hefbomen
wat is het risico als het probleem niet wordt aangepakt? welke interventie kan een hefboom betekenen voor de aanpak van andere problemen? Of waar zal het effect het grootste zijn?
Conclusie over risico’s/hefboom:
Duurzaamheid
26/141
wat is de kans dat nationale programma’s of instellingen deze strategie en de verantwoordelijkheid ervoor opnemen/echt integreren in hun eigen werking?
wat is de kans dat er op termijn (financiële) middelen gevonden worden om deze strategie verder toe te passen/uit te werken? In welke mate is de strategie aangepast aan de regio/cultuur/technologische mogelijkheden, … (en in welke mate is dat belangrijk?)
Conclusie over duurzaamheid:
De discussie kan eventueel ondersteund worden door te werken met een matrix en scores zoals hieronder wordt toegelicht.
Analyse van strategieën: criteria
Stap 3 Kiezen van één of meerdere interventiestrategieën. Na de analyse kan je een keuze maken, geïnspireerd door de discussie over eventuele scores (zie hierboven). Bij het kiezen voor een bepaalde interventiestrategie stel je het programma en de focus ervan verder scherp. Verantwoord de gemaakte keuze op papier en tracht deze in één bondige paragraaf te motiveren. Preciseer in je motivatie hoe het project zich positioneert ten opzicht van alternatieve strategieën die vaak ook noodzakelijk zijn om het basisprobleem aan te pakken. Hieronder volgen voorbeelden van de uitwerkingen van keuzes.
27/141
Voorbeeld keuze strategie Zuid
In het voorbeeld van de Zuidwerking, kiest de ngo voor 2 interventiestrategieën: (i) het verbeteren van de gezondheid van moeders en jonge kinderen door het verbeteren van het aanbod aan aangepaste en betaalbare gezondheidsdiensten en (ii) het verbeteren van de beschikbare financiële middelen van huishoudens door het sparen aan te moedigen. De keuze is vooral ingegeven door de specialisatie van de ngo, nl. werken rond gezondheid met lokale gezondheidscentra en hun capaciteit om goede gezondheidsdiensten te leveren. De ngo heeft geen ervaring met waterinfrastructuur, noch met landbouw. De keuze is ook relevant gezien de context, want uit andere analyses bleek dat er geen andere ngo’s actief zijn rond gezondheid in het betreffende gebied die de lokale overheid (met haar erg krap budget) ondersteunen. Er is wel een programma van de overheid dat personeel van gezondheidscentra wil trainen om problemen van ondervoeding te identificeren en aan te pakken, dat is een goed startpunt. De ngo kan bijvoorbeeld de financiering van dit vormingsprogramma op zich nemen en ervoor zorgen dat nieuwe kennis wordt omgezet in competenties. De ngo beseft echter ook dat gezinnen vaak geen geld hebben om naar gezondheidscentra te gaan op het moment dat dit nodig is; vandaar een tweede strategie: ontwikkelen van spaarprojecten met huishoudens. Hoe relevant is deze keuze als je kijkt naar de omvang van het probleem? De ngo beseft wel dat het basisprobleem, nl. het hoge percentage kinderen dat lijdt aan chronische ondervoeding, onvoldoende wordt aangepakt op deze manier: drie clusters van problemen/oplossingen worden niet aangepakt. De ngo kan dan beslissen om het basisprobleem te wijzigen en te stellen dat ze enkel werkt op het probleem van chronische dysenterie; de focus van het project wordt dan wel erg vernauwd en je kan je vragen stellen bij de relevantie van dit soort project. De ngo kan echter ook kijken op welke manier het project kan ingeschreven worden in bestaande strategieën en kijken hoe er dan kan samengewerkt worden met andere organisaties. Zie ook oefening rond stakeholderanalyse/analyse van actoren. Alle
28/141
problemen/oplossingen waarvoor de ngo geen verantwoordelijkheid voor kan of wilt opnemen, moeten later opnieuw bekeken worden bij de formulering van het project (en meer bepaald bij het identificeren van veronderstellingen in het logisch kader).
Voorbeeld keuze strategie Noord
In het voorbeeld van de Noordwerking, kiest de ngo om vooral in te zetten op de ontwikkeling van een gevarieerd aanbod voor ontwikkelingseducatie. De organisatie heeft veel ervaring met de ontwikkeling van kwalitatief hoogstaand materiaal en hulpmiddelen. Die expertise wil men valoriseren, maar ook verder verbeteren in functie van een aanbod dat niet enkel kennisoverdracht nastreeft, maar ook reflectie en inzicht. De organisatie heeft wel ervaring in het werken met leerkrachten, maar heeft nog nooit rechtstreeks gewerkt met leerlingen en heeft geen eigen beweging of achterban. Er zijn wel contacten met schoolgroepen en pedagogische begeleidingsdiensten en opleidingsinstituten. De ngo kiest dus niet voor een scholenwerking maar wel voor uitwisseling en samenwerking met instellingen die opleiding en ondersteuning van leerkrachten organiseren. Omdat leerkrachten een centrale rol spelen ten aanzien van leerlingen, ziet de ngo een sterke hefboom in het werken met lerarenopleidingen. Er zijn overigens al heel veel ngo’s die met hun eigen producten naar scholen toegaan en scholen mobiliseren. Deze ngo ziet hier niet echt een meerwaarde voor zichzelf. De organisatie beseft dat ze met haar keuze een grote afstand creëert tussen haar interventie en de uiteindelijke doelstelling van maatschappelijke betrokkenheid. Als de ngo relevant wil zijn zal ze dus moeten kunnen aantonen hoe haar interventie door kan werken op jongeren en/of het Vlaamse bewegingswerk. Toch heeft de ngo beslist om haar specifieke doelstelling aan te passen: het versterken van maatschappelijke betrokkenheid is namelijk een te vage doelstelling. De ngo beslist om
29/141
eerder te focussen op jongeren en wil dat de maatschappelijke betrokkenheid van schoolgaande jongeren tussen 12 en 18 jaar in een bepaald scholennetwerk versterkt wordt. Bij het overlopen van alle elementen, beseft de ngo dat de probleemboom helemaal niets verteld over media, die toch een sterke invloed hebben op jongeren en die het imago van de sector sterk kunnen beïnvloeden. De ngo beslist dat het teveel gevraagd is om dit mee te nemen in de strategie zelf. Dit is een punt dat in de uitwerking van het project (als logisch kader) wel zal terug komen.
Stap 4: Verder analyseren van de gekozen strategie Eens je een strategie gekozen hebt, kan je deze verder analyseren. In deze stap is het nodig om (terug) te kijken naar de aannames. Een analyse daarvan zal helpen om, vanuit de gekozen focus voor interventie, te kijken wat nodig is om de strategie te laten werken (welke middelen moeten ingezet worden?). De strategie wordt verfijnd en hiermee wordt de basis gelegd voor de formulering van het project (zie het stuk over formulering in het werkboek).
Voorbeelden Zuidwerking: Bijv. in het project van de Zuidwerking: de ngo gaat ervan uit dat als gezinnen sparen, ze dat geld ook gebruiken voor gezondheid. Het is nuttig om deze aanname te onderzoeken: dit veronderstelt een analyse van de manier waarop huishoudens met geld omgaan en wat daarin de rol is van de man en de vrouw en eventueel de kinderen (wie brengt het geld binnen, wie beslist over uitgaven, hoe doet een gezin aan budgetbeheer?). Uit deze analyse kan blijken dat de aanname enkel klopt als vrouwen meer controle hebben over het inkomen, want in dit geval (dit land/deze cultuur) zijn zij verantwoordelijk voor de gezondheid. Hieruit besluit de ngo dat sparen als strategie enkel zinvol is als ze met vrouwen samenwerkt rond heel kleinschalige activiteiten die een inkomen kunnen opleveren voor de vrouwen zelf: bijv. kweken van cavia's, het verwerken van rode pepers tot piment, ... (zogenaamde inkomst genererende activiteiten). Dit is geen doel op zich maar een middel om ervoor te zorgen dat families geld opzij leren te zetten zodat kinderen op tijd de juiste zorgen kunnen krijgen. Een tweede aanname: als gezondheidswerkers een training krijgen rond ondervoeding, zullen ze ook de gepaste diensten aanbieden. Ook dit verdient verder onderzoek: wat is er nodig om opgedane kennis te laten toepassen? Uit deze analyse kan blijken dat de lokale gezondheidscentra geen zicht hebben op hoe ze vanuit vorming concrete diensten kunnen aanbieden: wat te doen, wie moet dat doen, hoe moet dat gepland worden, welke logistieke middelen zijn noodzakelijk, enz.. Hieruit besluit de ngo dat de strategie enkel zinvol is als ze ook kan inzetten op het management van gezondheidscentra. Dit is opnieuw geen doel op zich, maar een middel. Voorbeelden Noordwerking: Bijv. in het project van de Noordwerking is er de aanname dat wanneer de leerkrachtenopleiding meer aandacht besteedt aan de Noord-Zuidproblematiek, leerkrachten dat ook automatisch mee zullen nemen in hun lessen. Die aanname moet je in vraag durven stellen: wat zorgt ervoor dat leerkrachten na hun opleiding blijvend oog hebben voor de Noord-Zuidproblematiek? Mogelijk kan het antwoord zijn dat er voldoende aandacht moet besteed worden aan de attitude van leerkrachten: het is dan belangrijk dat de leerkrachtenopleiding en ook pedagogische ondersteuning door de scholengroepen hier voldoende aandacht aan besteden. Een tweede aanname is dat jongeren die een link kunnen leggen tussen hun eigen leven en de NoordZuidproblematiek, zich ook meer betrokken zullen tonen wanneer hun steun wordt gevraagd voor acties of projecten in het Zuiden en eventueel zelf initiatieven zullen tonen. Ook deze aanname verdient de nodige aandacht: is dat zo? Zijn er onderzoeken die dit suggereren en aantonen? Deze vragen hebben alles te maken met de moeilijke causale link tussen kennis-betrokkenheid/attitudegedragsverandering…) en verdienen enige discussie. Uit onderzoek blijkt dat jongeren niet enkel in de les maar ook in de school(omgeving) en in jeugdhuizen en het verenigingsleven gesensibiliseerd
30/141
moeten worden. Het is dan belangrijk om te onderzoeken in welke mate de scholen en het bewegingswerk mee een hefboom kunnen zijn betekenen om de doelstellingen van het project te halen.
4
Wat doe je met de informatie uit deze oefening?
Deze oefening dwingt je om bewust te kiezen voor een bepaalde aanpak en die ook te verantwoorden. Ze maakt duidelijk welke andere en alternatieve strategieën er zijn en wat hun belang is om het basisprobleem aan te pakken. Op die manier kan je de meerwaarde en specifieke aanpak van je eigen project beter omschrijven ten aanzien van subsidiegevers. Als je bovendien kan aantonen hoe jouw project andere strategieën ondersteunt/versterkt, bijv. door samenwerking met andere ngo's of met overheden, dan versterk je ook de relevantie van het project. Nadenken en discussiëren over potentiële strategieën verduidelijkt de vaak impliciete visie die je hebt op verandering en de manier waarop je die kan realiseren. Vaak zijn er immers een heleboel aannames aanwezig bij ngo's die onuitgesproken blijven en daarom niet getoetst worden aan de realiteit. Een verduidelijking van hoe je als ngo “verandering” ziet gebeuren, aangevuld met het expliciteren en aftoetsen van bepaalde aannames, helpt om de 'theory of change' van je ngo te formuleren en te verstevigen. Een heldere ‘theory of change’ helpt wanneer in de toekomst (strategische) beslissingen genomen moeten worden. Het verduidelijkt voor de doelgroep, andere actoren,… waar jouw ngo voor staat en het biedt een goede leidraad voor uitvoering. In het voorbeeld van de Zuidwerking kan de 'theory of change' samengevat worden als volgt: als vrouwen meer controle hebben over hun eigen inkomsten, is de kans groter dat kinderen tijdig de toegang hebben tot de aangepaste gezondheidsdiensten en dat het % ondervoede kinderen teruggedrongen wordt. De ‘theory of change’ berust met andere woorden op een onderzoek van aannames. De ngo drukt verder uit dat het versterken van vrouwen voor de organisatie erg belangrijk is. Indien keuzes gemaakt moeten worden over bijsturing (bijv. omdat resultaten niet behaald worden) kan de ‘theory of change’ helpen om aanpassingen te toetsen aan de mate waarin ze vrouwen versterken dan wel verzwakken. Doordat de veronderstelling expliciet is, is een systematische opvolging mogelijk. Het is echter ook mogelijk dat men de onderliggende aannames opnieuw moet onderzoeken, wat vervolgens aanleiding kan geven voor een wijziging in de ‘theory of change’ en de interventiestrategie. In het voorbeeld van de Noordwerking kan de ‘theory of change’ samengevat worden als volgt: als we vernieuwende vormen van educatie en sensibilisering ten aanzien van de NoordZuidproblematiek kunnen integreren in de lerarenopleiding en in de ondersteuning van leerkrachten, is er meer kans dat Noord-Zuidproblematiek werkelijk geïntegreerd wordt in het onderwijs en dat jongeren zich meer verbonden voelen met deze problematiek. Die verbondenheid is essentieel om jongeren werkelijk aan te zetten tot actie. Deze ngo focust dus op het bevorderen van verbondenheid en zal ook haar aanbod van educatie daarop instellen, om te beginnen door het precies omschrijven wat bedoeld wordt met verbondenheid, bijv. beseffen dat een bepaalde manier van leven in het Noorden niet zonder effecten is op het leven in het Zuiden, inzicht krijgen in de manier waarop jongeren ook in het Zuiden op zoek zijn naar een manier om hun leven zelf in handen te nemen, begrijpen dat bepaalde acties en daden, ook van jongeren het verschil kunnen maken. Bij eventuele nieuwe initiatieven of beslissingen zal het aspect van verbondenheid een belangrijke toetssteen worden. Doorheen de analyse verzamel je heel wat materiaal voor de concrete formulering van je project: zie het deel in het werkboek over formulering.
31/141
Werkblad: samenvatting strategiebepaling Auteur: Datum (of data wanneer je meerdere sessie hebt gedaan): Deelnemers: 1) (eventueel) wat zijn de belangrijkste punten die je meeneemt uit andere analyses
2) Overzicht potentiële interventiestrategieën
3) Onderbouwing keuze interventiestrategie: (eventueel analyse per cluster en scores toevoegen als documentatie)
relevantie: haalbaarheid: duurzaamheid: risico’s/hefboom:
4) Opmerkingen over de clusters/interventiestrategieën:
relatie
tussen
interventiestrategie
en
andere
5) (Eventueel) lijst van aannames en toelichting:
6) To Do
Aangeven welke informatie nog ontbreekt/moet aangevuld worden (wie gaat dat doen en op welke manier?)
7) Documenten
Vermeld welke documenten je geconsulteerd hebt
32/141
5
Hoe ga je verder? Mocht je dat nog niet gedaan hebben: toets de analyse aan de analyse van de stakeholders (zie oefening analyse van stakeholders/actoren). Je start met de formulering van je project: het basisprobleem ga je formuleren als een specifieke doelstelling, de oorzaken van het probleem worden concrete resultaten in je project. De keuze van interventiestrategie levert je informatie voor de formulering van resultaten, activiteiten en veronderstellingen, kortom de invulling van je logisch kader. In een ander document vind je de uitwerking terug van het fictieve voorbeeld met indicatoren, veronderstellingen en met activiteiten voor ieder resultaat. Gebruik de discussie over aannames om de veronderstellingen in het logisch kader in te vullen (zie oefening veronderstellingen en risicoanalyse).
33/141
OEFENING 3: STAKEHOLDERANALYSE / ANALYSE VAN ACTOREN1 Met de analyse voor de meeste geschikte interventiestrategie om een bepaald probleem aan te pakken met jouw ngo, doe je best ook een analyse van stakeholders en actoren. Deze analyse vertrekt van de doelstellingen/gewenste verandering. Het gaat niet om een gewone mapping; in principe heb je dat al gedaan in je contextanalyse. Deze oefening gaat vooral rond de formulering van je project. De oefening is als volgt uitgewerkt: 1. Inleiding 2. Toelichting bij aanpak 3. De stappen (met uitgewerkte voorbeelden, instrumenten en toelichting) 4. Wat doe je met de informatie (met werkblad) 5. Hoe ga je verder? Je kan deze oefening op zich uitvoeren, of na de probleemboom en strategiebepaling. Deze oefening werd concreet uitgewerkt met concrete voorbeelden uit de Noord- en de Zuidwerking (die we ook in andere oefeningen gebruikten). Het logisch kader van deze fictieve projecten maakt deel uit van het materiaal. Het gaat concreet om: Project in het Noorden: versterken van maatschappelijk draagvlak voor de NoordZuidproblematiek, (verder) uitgewerkt als project voor versterking van betrokkenheid van schoolgaande jongeren bij de Noord-Zuidproblematiek. Project in het Zuiden: voedselzekerheid en ondervoeding van kinderen, (verder) uitgewerkt als gezondheidsproject
1
Inleiding
Ngo’s werken niet in een vacuüm maar in een omgeving waar veel andere organisaties en instellingen hun opdracht of programma uitvoeren, zowel lokale overheden en niet-gouvernementele organisaties als donors (Multilaterale en bilaterale organisaties, ook wel Financieel Technische Partners genoemd) en andere ngo’s. We noemen hen verder ‘actoren’: het gaat daarbij om groepen mensen/structuren die op één of andere manier een belang hebben bij het probleem/project (vandaar de naam stakeholders) en om groepen die een impact hebben op het verloop van je interventiestrategie, dit wil zeggen mee bepalen of je doelstellingen van het project haalt. Ook de partners van jouw ngo zijn in dit opzicht stakeholders. In principe beschik je al over een overzicht van deze actoren als je een goede contextanalyse hebt gemaakt. Is de doelgroep ook een actor? Dat is zeker het geval als je ‘actoren’ definieert zoals hierboven. Meer en meer bekijken ngo’s hun doelgroep en zelfs de eindbegunstigden als actieve spelers die ook een stuk verantwoordelijkheid kunnen/moeten opnemen in het veranderingsproces. Dit betekent dat de doelgroep niet meer louter (passief) aan de ontvangende zijde zit maar effectief mee betrokken partij
1
Deze oefening is sterk geïnspireerd op het model dat RAPID (Research and Policy in Development), dienst van ODI (Overseas Development Institute) maakte. Het model ‘the Alignment, Interest and Influence Matrix’ helpt om de belangrijkste actoren en stakeholders te identificeren en hoe hiermee om te gaan in je strategie. Het model integreert ook enkele inzichten van outcome mapping. Zie: http://www.odi.org.uk/work/programmes/rapid/default.asp .
34/141
is. In dit geval spreken we niet langer over doelgroepenbenadering maar actorenbenadering en zelfs multi-actorenbenadering. Deze analyse laat je toe om Te identificeren welke actoren betrokken zijn in de problematiek en het veranderingsproces dat je als ngo voor ogen hebt; Te beoordelen welke belangen deze actoren hebben bij jouw project, hoe hun relatie is met andere actoren en in te schatten welke invloed ze kunnen uitoefenen; Te beoordelen in welke mate de formulering van het project deze actoren moet meenemen; In te schatten welke bijdrage deze actoren zouden kunnen leveren in het project en op welke manier je dan best men hen kan samenwerken. Opmerking: je kijkt bij deze analyse in de eerste plaats naar externe actoren (buiten jouw organisatie). Eventueel kan je deze analyse ook gebruiken om betrokkenheid van interne diensten en afdelingen in kaart te brengen (mocht daar behoefte aan bestaan of mochten daar vragen rond zijn).
2
Hoe pak ik dit aan? Je doet deze oefening best samen met het eigen team, want deze analyse kan soms te gevoelig zijn om samen met (bestaande/toekomstige) actoren uit te voeren. Afhankelijk van de relaties die je met de partner hebt, kan je hier ook de partner bij betrekken. Tracht mensen te betrekken die weten waar ze over spreken en die voorgaande projecten kennen. Je kan de oefening doen onder de vorm van een workshop van een halve dag. Je kan deze oefening doen zonder externe begeleiding; in dat geval is het wel nuttig dat je afspreekt wie de discussie leidt, wie in de gaten houdt dat iedereen aan bod komt en wie ervoor zorgt dat het idee van de oefening gerespecteerd wordt. Is er geen tijd of mogelijkheid om een dergelijke workshop te organiseren, dan kan je deze oefening ook alleen doen (is niet ideaal!); denk er dan wel aan dat je de uitkomst checkt met anderen, bijv. toetsen van conclusies door middel van interviews en gesprekken. Verzamel zeker op voorhand wat informatie over de verschillende actoren die je al kent of die volgens jou een rol spelen in de problematiek en/of de oplossing ervan.
35/141
Enkele punten om te onthouden met betrekking tot stakeholderanalyse/analyse van actoren: a) Houd rekening met gevoeligheden rond analyse van invloed en macht: de stakeholderanalyse peilt naar belangen en invloed/macht. Het is dus niet onmiddellijk aangewezen om deze analyse initieel met alle actoren te maken in een participatieve setting. b) Check percepties en baseer je op feiten: als je deze analyse met een kleine groep maakt, is ze misschien niet helemaal objectief. Het is daarom goed om aanvullende interviews te doen bij de verschillende stakeholders om te polsen wat hun positie is. Verzamel objectieve gegevens over het gedrag van de actoren, hun discours, attitude, inhoud van communicatie, … c) Heb altijd oog voor andere spelers op het veld: denk niet dat je de enige NGO bent die intervenieert en voer je andere analyses niet uit alsof je alleen bent. Je moet deze analyse van actoren eigenlijk al starten op het moment van de analyse van de problemen (identificatie van actoren) en eventueel verder verfijnen op het moment dat je de strategie hebt bepaald. d) Partners zijn ook ‘gewoon’ actoren. Indien je al vaste partners hebt (in het Zuiden of in het Noorden) mag je hen zeker niet uit het oog verliezen in deze analyse als één van de stakeholders. Het kan soms ook verhelderend zijn om de partners mee in het lijstje te zetten. Je deelt wellicht enkele waarden en visies met deze partners, maar je wil je er ook van verzekeren dat je met de juiste partners werkt.
3
Stappen
Stap 1: Lijst de actoren op. Vertrek vanuit de doelstellingen (als je een doelstellingenboom gemaakt hebt) of vanuit de verandering die je wenst te realiseren. Indien je al een keuze hebt gemaakt voor een interventiestrategie, hanteer die dan als leidraad. Heb je meerdere doelstellingen of strategische opties, doe de oefening dan afzonderlijk voor iedere doelstelling/optie. lijst alle mogelijke actoren die volgens jou een rol kunnen spelen in verandering. Indien je een contextanalyse maakte, kan je deze lijst als vertrekpunt nemen. Indien je een probleemboom/doelstellingenboom maakte heb je daar allicht ook gesproken over diverse actoren. Je kan daarbij volgende vragen stellen: wie is belangrijk/nodig om verandering te realiseren? Denk zo breed mogelijk: (i) het kan gaan om allerhande types actoren: departementen van overheidsdiensten, universiteiten, andere ngo’s, studiebureaus, zelforganisaties van boeren/vrouwen, scholen, ziekenhuizen en gezondheidscentra, vakbonden, kredietinstellingen, netwerken,… (ii) het gaat niet enkel om actoren die je al op het oog hebt met bepaalde activiteiten: bijv. als je festivals voor jongeren organiseert, benoem de actor dan niet als ‘festivalpubliek’ maar als jongeren. Het gevaar is namelijk dat je actoren benoemt in functie van bestaande activiteiten. Maak geen onderscheid tussen partners, doelgroep en eindbegunstigden. Benoem de actoren zo precies mogelijk dus niet gewoon ‘overheid’ maar bijv. ‘het gemeentebestuur van’. Sta niet te lang stil bij de vraag of de lijst volledig is of niet; er kan later nog aangevuld worden.
36/141
Stap 2: Orden de lijst met actoren Een ordening helpt om te checken of je wel aan alle types actoren hebt gedacht. Afhankelijk van je interventiestrategie heb je namelijk verschillende types actoren nodig. Zeker als je nog niet zo vertrouwd bent met de diverse actoren is dit handig (je start bijv. in een nieuwe regio te werken of het programma is helemaal nieuw voor jou). Om de actoren te ordenen kan je ze eventueel indelen volgens type. Kies een bepaalde manier van indeling die het best aansluit bij jullie manier van werken of het soort projecten dat jullie uitvoeren (zie voorbeeld in schema hieronder als inspiratie). Je kan bijv. volgende onderverdeling gebruiken (of je beperken tot één parameter): overheid/niet gouvernementeel (ngo- en privésector) / Community based organisation / privépersoon, technische organisatie/dienstverlenende organisatie of ledenorganisatie, niveau van interventie (lokaal/subnationaal, nationaal, supranationaal en internationaal). De meerwaarde van een dergelijke onderverdeling is dat je (i) snel kan zien welk type actoren vooral een rol speelt (dat kan essentieel zijn in de uitwerking van activiteiten: samenwerking met de overheid ziet er helemaal anders uit dan samenwerking met een ngo), (ii) of er een bepaald type ontbreekt (en je dus mogelijk een bepaalde groep actoren systematisch over het hoofd ziet)?, (iii) op welk niveau de actoren zich situeren (is het cruciale niveau eerder een subnationaal of een lokaal niveau)? Bediscussieer deze indeling: aan wat voor type actoren heb je vooral gedacht, waar zitten eventuele lacunes, waar liggen de accenten (eerder overheid of eerder civiele maatschappij), zijn er vooral actoren op subnationaal vlak of vooral op lokaal vlak? Analyseer vervolgens de mate waarin deze actoren op dezelfde lijn zitten als jouw ngo/project (zie stap 3) en het belang dat ze hechten aan de oplossing van het probleem of de oplossing zelf (stap 4). Stap 3: stel jezelf de vraag in welke mate deze actoren op dezelfde lijn zitten als jouw ngo/project (‘alignment’): mm deze vraag te beantwoorden, kan je kijken naar het gedrag van deze actoren, hun discours, attitude, manier van werken en de inhoud van hun communicatie. De informatie hiervoor haal je uit de ervaring van jouw ngo met eerdere projecten (hoe goed ken je intussen de verschillende actoren?), uit aanvullende interviews met de actoren zelf of uit studies die werden uitgevoerd (door andere organisaties). Stel de volgende vragen: denken de actoren op dezelfde manier, denken zij hetzelfde over de gewenste verandering, zouden ze akkoord gaan met de benadering die jouw ngo voorstaat? Hebben ze dezelfde aannames? Willen ze die dingen doen, waarvan jouw ngo denkt dat ze nodig zijn? Tracht bewijzen aan te halen voor je mening over een bepaalde actor en eventueel verklaringen (waarom zitten bepaalde actoren niet op dezelfde lijn?). Stel je bijv. expliciet de vraag of er ook actoren zijn die schade kunnen ondervinden van de manier waarop jouw ngo het probleem wilt oplossen? Analyseer de antwoorden op bovenstaande vragen en kom tot een besluit: zijn er ‘supporters’ voor jullie benadering? Stap 4: stel jezelf de vraag in welke mate de actoren belang hechten aan de oplossing van het probleem? (‘interest’). Ook voor het antwoord op deze vraag, haal je de informatie uit ervaring van jouw ngo met eerdere project, aanvullende interviews en eventueel studies.
37/141
Stel de volgende vragen: is deze actor bezig met het probleem/de oplossing? Welke actoren stoppen hier tijd en middelen in? Nemen deze actoren al initiatieven om ervoor te zorgen dat er dingen veranderen (voor of tegen de aanpak die jouw ngo voorstaat)? Spreken de actoren zich publiekelijk uit, nemen ze deel aan fora/overlegplatforms? Tracht bewijzen aan te halen voor je mening over een bepaalde actor. Analyseer de antwoorden op bovenstaande vragen en kom tot een besluit : wie er al actief is op het speelveld?
Stap 5: breng deze informatie samen Je kan hiervoor eventueel onderstaand schema en werkblad gebruiken. Schema overzicht actoren actor
Overheid/nietgouvern/community based/privé
Dienstverlenend/ leden
Lokale organisatie//nationale organisatie/supranationale organisatie/internationale organisatie
Supporters (in welke mate)
Actief (in welke mate)
Actor 1 Actor 2 …. Samenvattend:
Actoren: wat voor soort actoren zijn aanwezig? Zijn het vooral lokale groepen? Is de overheid vertegenwoordigd? Wat mis je? Actoren die op dezelfde lijn zitten: zie je supporters? Actoren die al initiatieven nemen: hoeveel zijn er dat? Wie zijn dat? Hoe actief zijn ze? Hoeveel supporters zijn er actief?
Je kan de actoren ook voorstellen op een kwadrant; eventueel kan je symbolen gebruiken voor het type actor: stel actoren van de overheid, ngo, belangengroep voor met een verschillend symbool. Hieronder geven we een voorbeeld van een dergelijk kwadrant en lichten we de posities toe volgens de assen: (i) actor is een supporter en zit op dezelfde lijn en (ii) actor is actief en heeft belangen.
38/141
Opmerkingen: indien je het moeilijk vindt om met een groep een bepaalde actor te positioneren, kan je de actor eventueel opdelen in afzonderlijke diensten of departementen. Indien je een bepaalde actor niet kan positioneren omdat je er (nog) geen informatie over hebt, plaats die actor dan voorlopig buiten de matrix en neem het punt later terug op als je het project formuleert. Stap 6: kom tot een conclusie over de betekenis van dit overzicht voor het project en de manier waarop jouw ngo en/of het project moet interageren met deze actoren. We stellen dat hieronder opnieuw voor in een kwadrant.
Stap 7: analyseer de mate van invloed Het is mogelijk dat je intussen te veel relevante actoren hebt opgesomd. Het is daarom belangrijk om te prioriteiten te stellen en keuzes te maken. Dat kan je doen op basis van een analyse van (i) wie de meeste invloed kan hebben op het project (zie rode cirkels op het kwadrant dat hieronder staat afgebeeld) en (ii) wie je ziet als directe/onmiddellijke partners (zie groene cirkels). Je kan ook beslissen om de analyse van invloed eerst uit te voeren vooraleer je stap 5 en 6 doet: het risico is dan echter dat je enkel verder doordenkt op actoren met veel invloed en je interactie met een diversiteit aan actoren bij voorbaat beperkt en dat kan je strategie verarmen: bijv. werken met ‘supporters’ die weinig invloed hebben, maar heel actief zijn, kan belangrijk zijn om te ‘tonen’ wat mensen al concreet doen aan het probleem en te werken op basis van praktijkmateriaal (‘evidencebased’ werken). Onderbouw je beslissing: waarom denk je dat een bepaalde actor veel invloed kan uitoefenen? Waarop baseer je dat? Probeer tot een eerste conclusie te komen over je interactie met actoren: ga je focussen op die actoren die het meest invloedrijk zijn en/of de actoren die het dichtst bij jou staan? Dat is een strategische keuze: in welke actoren moet je het meest investeren voor het beste resultaat, wat kan je NGO op dit moment aan, … ? Opmerking: de matrix ondersteunt de discussie maar vervangt de beslissing niet!
39/141
Stap 8: bedenk eventueel welke evolutie je de actoren graag zou zien maken en wat je moet doen om deze actoren te laten evolueren in een bepaalde richting? In sommige gevallen kan dit zelfs leiden tot het ontwikkelen van een traject voor capaciteitsversterking voor één of meerdere actoren mocht je daar in je project het nut van inzien. Het is zeker interessant om na te gaan welke evolutie nodig is bij je partner en met die partner ook na te denken over de manier waarop je dat kunt doen. We werken enkele van deze stappen hieronder uit voor de fictieve voorbeelden
Voorbeeld Zuidwerking: In het fictieve voorbeeld rond voedselonzekerheid en ondervoeding van kinderen werden gekozen voor twee strategische opties: (i) het verbeteren van de gezondheid van moeders en jonge kinderen door het verbeteren van het aanbod aan aangepaste en betaalbare gezondheidsdiensten en (ii) het verbeteren van de beschikbare financiële middelen van huishoudens door het sparen aan te moedigen. De ngo koos er niet voor om te werken op problematiek van toegang tot zuiver water omdat hiervoor actie wordt ondernomen door een andere, gespecialiseerde ngo. De ngo neemt ook niet onmiddellijk actie op het domein van voedselproductie. Concreet wil de ngo spaargroepen ondersteunen, met vrouwen inkomstgenerende activiteiten opzetten, een vormingsprogramma van gezondheidsmedewerkers financieren en bijdragen tot een grotere capaciteit van de gezondheidscentra om dienstverlening in het centrum en in de regio te managen.
40/141
Schema overzicht actoren actor
Overheid/nietgouvern/commu nity based/privé Community based
Dienstverlenend / leden
Lokaal tot internationaal
Supporter (in welke mate) (van hoog naar laag)
Ledengroepen
Lokaal
Vrouwengroepen in dorpen
Community based
Ledengroepen
Lokaal
Moeders met jonge kinderen
Privé
Niet relevant
Niet relevant
eerder laag (weinig linken met aanpakken van ondervoeding) Eerder hoog (vooral voor inkomstgenererende activiteiten), bepaalde vrouwen (‘leaders’) kregen in vorig project vorming rond voeding Eerder laag: leggen geen link tussen voeding en gezondheid
Lokale gezondheidscentra – management en personeel
Overheid
Dienstverlenend
Lokaal
Lokale gezondheidsngo’s
nietgouvernementeel
Dienstverlenend
Lokaal
Ministerie van gezondheid op regionaal vlak: inspecteurs
Overheid
dienstverlenend
subnationaal
Ministerie van gezondheid op nationaal vlak
Overheid
Niet relevant (beleidsmakers)
Nationaal
Internationale NGO/collega’s die rond water werken
Nietgouvernementeel
dienstverlenend
internationaal
Bestaande spaargroepen
Eerder laag: willen wel vorming maar weinig bereidheid voor capaciteitsversterking of voor een project dat de tarieven voor gezondheidsdiensten wilt beïnvloeden Hoog: project is voor hen bron van inkomsten
Eerder laag: willen wel vorming maar weinig bereidheid voor capaciteitsversterking of voor een project dat de tarieven voor gezondheidsdiensten wilt beïnvloeden. Hoog: zelfde doelstellingen staan vermeld in strategische documenten, overheid zocht nog financiering voor programma Eerder hoog: NGO ziet het belang om te specifiek aandacht te geven aan gezondheidsrisico’s van moeders met jonge kinderen.
Actief (in welke mate) (van lage tot hoge activiteit) Laag: weinig spaargroepen zijn nog actief Eerder laag: er is wat activiteit maar geen sterke inkomstgenererende activiteiten Eerder laag: zijn moeilijk te mobiliseren voor sensibilisatie en sensibilisatie vraagt een voortdurende inspanning van buitenaf Eerder laag: er is niet echt sprake van dienstverlening, diensten rond ondervoeding zijn quasi onbestaande
Eerder laag: ngo’s zijn moeilijk te mobiliseren voor overleg en samenwerking tenzij in het kader van een programma, voelen zich niet mee verantwoordelijk voor verandering Laag: Inspecteurs maken van aanpak van ondervoeding geen prioriteit
Eerder hoog: er is frequent contact mogelijk met overheidsdiensten, dienstenstaan open voor overleg Eerder laag: NGO heeft actueel geen financiering om lopende activiteiten verder te zetten. De verwachting is wel dat dit betert.
… Samenvattend -Actoren: wat voor soort actoren zijn aanwezig? Zijn het vooral lokale groepen? Is de overheid vertegenwoordigd? Wat mis je? Er is een goede mix van actoren. Het valt toch wel op dat er geen enkele actor tussen zit die bezig is met productie en landbouw. Misschien moet daar nog eens naar gekeken worden. -Actoren die op dezelfde lijn zitten: zie je supporters? Supporters zitten vooral bij de hogere overheid en de lokale partner; de andere actoren op lokaal vlak zitten eerder niet op dezelfde lijn. Gelukkig is jouw NGO gekend bij de actoren en is er voldoende vertrouwen om met deze actoren te denken over nieuwe strategieën. Enkel bij de lokale centra en regionale gezondheidsdienst zal je sensibilisatie wellicht moeten koppelen met wat beïnvloeding en lobby.
41/141
-Actoren die al initiatieven nemen: hoeveel zijn er dat? Wie zijn dat? Hoe actief zijn ze? De graad van activiteit is eerder laag, tenzij bij de centrale overheid maar die staat ver van de praktijk. Vooral de lage activiteit van de regionale overheidsdienst baart een beetje zorgen. Jouw NGO heeft niet zoveel ervaring in het samen werken met de lokale overheid en zal dus op zoek moeten gaan naar manieren om met hen te werken, hen te mobiliseren.
In het voorbeeld van de Zuidwerking ziet het kwadrant er uit zoals hieronder wordt afgebeeld. Hieruit blijkt duidelijk dat de ngo op zoek moet gaan naar meer actieve actoren of de juiste aanpak zal moeten vinden om bepaalde actoren enerzijds te activeren en te mobiliseren en te sensibiliseren. Uit het kwadrant blijkt ook dat de lokale partner (gezondheidsngo) geactiveerd moet worden indien dit mogelijk is. De partner is belangrijk om op regionaal vlak een dynamiek tot stand te brengen. Indien blijkt dat de lokale partner te weinig verschil kan maken, moet de ngo mogelijk op zoek gaan naar een andere en meer actieve partner (bijv. andere internationale ngo of een specifiek overheidsprogramma) die regionale gezondheidsdiensten kan mobiliseren. Met de centrale overheid kan goed worden samengewerkt maar in de praktijk blijkt dat die samenwerking weinig kan veranderen aan het feit dat regionale inspecteurs moeilijk te mobiliseren zijn.
Uit een analyse van invloed (zie hieronder), blijkt vervolgens met welke actoren de ngo echt rekening moet houden bij het concreet uitwerken van het project: de lokale partner, de centrale overheid, de regionale overheidsdiensten en de lokale gezondheidscentra. Deze actoren moeten centraal staan. Met twee van die vier actoren kan de ngo direct samenwerken: via partner- en financieringsovereenkomsten kan rechtstreeks worden gewerkt met de lokale partner en met de lokale gezondheidscentra. De lokale partner zal wel actiever moeten worden en meer betrokken op het project, de lokale gezondheidscentra moeten nog sterk gesensibiliseerd worden en geactiveerd. Dit betekent dat de ngo bijzondere aandacht zal moeten besteden aan de versterking van de capaciteit van die beide actoren om hun rol en taak beter te vervullen. Dit kan bijvoorbeeld betekenen dat de lokale partner meer verantwoordelijkheid opneemt voor het overleg met de regionale inspectie en beter in staat is om conclusies van dat overleg op een effectieve manier te communiceren met de centrale overheid. Met de twee andere actoren: regionale inspecteurs en centrale overheid zijn er geen directe relaties of samenwerkingen. Hier moet de ngo andere manieren vinden om te interageren. Bedoeling is hier vooral om de centrale overheid te behouden als een actieve supporter met invloed en om de negatieve invloed van regionale inspecteurs (in eerste instantie) in te dijken. Eventueel kan in een later stadium gedacht worden aan een meer directe samenwerking met regionale inspecteurs.
42/141
Voorbeeld Noordwerking: In het fictieve voorbeeld voor de Noordwerking werd gekozen voor de volgende strategische opties (zie oefening strategiebepaling): de ontwikkeling van een gevarieerd aanbod voor ontwikkelingseducatie. De ngo kiest niet voor een scholenwerking maar wel voor uitwisseling en samenwerking met instellingen die opleiding en ondersteuning van leerkrachten organiseren en zal met hen samenwerken rond modules voor opleiding van nieuwe leerkrachten en het ontwikkelen van educatief materiaal. De ngo zal ook pedagogische begeleidingsdiensten aanspreken. De ngo besliste om te focussen op jongeren en wil dat de maatschappelijke betrokkenheid van schoolgaande jongeren tussen 12 en 18 jaar in een bepaald scholennetwerk versterkt wordt. Om scholen te kunnen bereiken moet gekeken worden naar ngo’s met een scholenwerking. Om jongeren buiten school te bereiken moet gekeken worden naar jeugdwerk en jeugdbewegingen. Na de brainstorming komt de ngo tot het volgende lijstje actoren dat van belang is:
43/141
Schema overzicht actoren actor
Overheid/nietgouvern/civiele maatschappij/pri vé privé
Dienstverlenen d/ leden
Lokaal tot internationaal
Supporter (in welke mate) (van hoog naar laag)
Actief (in welke mate) (van lage tot hoge activiteit)
Niet relevant
Niet relevant
Eerder laag (maar variabel afhankelijk van het type opleiding)
privé
Dienstverlenend
Lokaal/ regionaal
Eerder laag: bepaalde kennis is aanwezig maar betrokkenheid nog niet zo sterk Eerder hoog
privé
Niet relevant
Niet relevant
Eerder laag: geen uitgesproken vakgebied
Eerder laag
privé
Niet relevant
Niet relevant
Eerder laag: weinig tijd (met uitzonderingen)
Middelbare scholen (eventueel opsplitsen naar opleidingen)
Vrij onderwijs/overhei d
Dienstverlenend
lokaal
Pedagogische begeleidingsdiensten (eventueel opsplitsen en per dienst werken)
Vrij onderwijs/overhei d
Dienstverlenend
regionaal
NGO’s met scholenwerking
Nietgouvernementeel
Dienstverlenend
Jeugdwerk/jeugdbeweg ingen
Civiele maatschappij
leden
Lokaal en regionaal/ nationaal Lokaal en regionaal
Eerder laag: veel aandacht naar het vakgebied (met uitzonderingen) Eerder hoog: veel scholen vinden het belangrijk en het sluit aan bij eindtermen wereldburgerschap Eerder hoog: zien belangrijke rol van leerkracht en diens attitude in het ondersteunen van een leerproces bij jongeren Hoog Eerder hoog doch zeer variabel
Producenten van educatief materiaal (niet commercieel) … Samenvattend
nietgouvernementeel
Niet relevant
Eerder laag: kiezen voor wisselende thema’s of geen uitgebouwde themawerking Eerder laag: het is een kleine niche maar er kunnen uitzonderingen zijn
Scholieren tussen 12 en 18 jaar (eventueel opsplitsen tussen types opleidingen) Hogescholen met opleiding voor leerkrachten (eventueel opsplitsen en per opleiding de analyse doen) Leerkrachten in opleiding (eventueel opsplitsen per richting en niveau, bachelor of master) Nieuwe leerkrachten in hun eerste job
Niet relevant
Eerder hoog
Eerder laag
Eerder hoog: zij het nogal adhoc en gericht op acties Eerder laag: accenten liggen elders, tools om te coachen ontbreken, weing aandacht in ondersteuningsaanbod Hoog
-Actoren: wat voor soort actoren zijn aanwezig? Zijn het vooral lokale groepen? Is de overheid vertegenwoordigd? Wat mis je? Er is een mix van actoren actief. Binnen de actoren zijn er nog veel onderverdelingen te maken: er bestaan verschillende scholengroepen, verschillende ngo’s met scholenwerking die zich wellicht op een verschillende manier positioneren). De actoren zijn wel heel divers en op verschillende niveaus. -Actoren die op dezelfde lijn zitten: zie je supporters? Er is een behoorlijk aantal supporters, vooral bij de actoren die voor deze interventiestrategie nogal essentieel zijn: hogescholen en pedagogische begeleidingsdiensten. Bij de doelgroep zelf (leerkrachten) en bij de leerlingen is de startsituatie moeilijker, hier is het zaak om binnen deze groepen ‘trekkers’ te identificeren die een hefboom kunnen zijn voor de mobilisatie van een ganse groep. -Actoren die al initiatieven nemen: hoeveel zijn er dat? Wie zijn dat? Hoe actief zijn ze? Het contrast tussen het aantal actoren dat supporter is en het aantal dat ook actief is, is opvallend. Het is duidelijk dat er slechts weinig actoren erg actief zijn: ngo’s met een scholenwerking en ook scholen. In de meeste scholen worden initiatieven genomen rond Noord-Zuid. Uit het verleden blijkt wel dat het hier vaak gaat om eenmalige acties en minder om integratie van Noord-Zuidproblematiek in lessen.
Dit voorbeeld uitgewerkt als een kwadrant ziet er uit zoals hieronder afgebeeld. Hieruit blijkt onmiddellijk de uitdaging voor de ngo: heel wat actoren zullen geactiveerd en gemobiliseerd moeten worden indien dit project zijn doelstellingen wilt realiseren; dit zal veel inzet vragen van de ngo. Het
44/141
aanspreken van leerkrachten blijkt uit deze kwadrant ook ambitieus: zoals hierboven al aangegeven zal er wellicht gewerkt moeten worden met trekkers: kleinere groepen die geselecteerd worden op hun potentieel om hun collega’s mee te trekken (zowel als student en als beginnende leerkracht). Dat is vooral belangrijk voor de leerkrachten omdat dit toch de eerste doelgroep is voor het project en de ngo best zijn energie hierin stopt. Dat sluit ook meer direct aan op de aandacht voor opleiding en pedagogische ondersteuning. Scholieren en middelbare scholen kunnen best bereikt worden via een ngo met actieve scholenwerking
Uit een analyse van invloed (zie hieronder), blijkt dat de ngo eerder geen directe impact heeft (of directe samenwerking kan hebben) met die actoren die het meest invloed kunnen uitoefenen op het bereiken van de resultaten): met name jeugdwerk, pedagogische begeleidingsdiensten en scholen. Scholen kunnen eventueel nog bereikt worden via een ngo met actieve scholenwerking met wie de ngo tot een partnerovereenkomst zou kunnen komen. Interactie met jeugdwerk en pedagogische begeleidingsdiensten lijkt moeilijker. De vraag rijst of de geformuleerde resultaten op het vlak van de pedagogische begeleidingsdiensten wel realistisch zijn? Misschien moet de ngo dit resultaat maar laten vallen en zich enkel focussen op een partner-ngo en de hogescholen? Een reden te meer nog om sterk in te zetten op het ondersteunen van trekkersgroepen bij leerkrachten (in opleiding en beginnende leerkrachten). De relatie met pedagogische begeleidingsdiensten kan wel uitgebouwd worden om na te gaan wat eventueel mogelijk is op korte en middellange termijn.
45/141
4
Wat doe je met de informatie uit deze oefening? De analyse geeft een indicatie van welke actoren belangen delen met de ngo (dat kunnen belangrijke partners worden) en welke actief zijn (en niet noodzakelijke op dezelfde golflengte zitten). Het is mogelijk dat je vaststelt dat er essentiële actoren ontbreken. Je kan dan zelf denken aan het oprichten van bepaalde groepen.
Let wel: ngo’s zijn steeds voorzichtiger met het creëren van nieuwe structuren of organisaties omdat ze vrezen dat die niet altijd duurzaam zijn. Een beslissing is eigenlijk afhankelijk van de visie die je hebt als ngo op sociale verandering: als volgens die visie verandering enkel gerealiseerd kan worden door mensen die samenwerken in groep, dan zal je ook bij de actoren op zoek gaan naar dit soort groepen. Ngo’s trachten daarom vaak bestaande groepen (bijv. verbonden aan een kerk of aan een studentenbeweging) om te vormen tot nieuwe groepen/groepen met nieuwe doelstellingen. Het denkwerk laat je toe om te beslissen op welke manier je in het project met de verschillende actoren wilt werken. Het is mogelijk dat je met enkele actoren niet direct werkt, maar dat je hen voornamelijk monitort en afwacht hoe hun houding gaat evolueren.
46/141
Werkblad: samenvatting stakeholder analyse Auteur: Datum: Deelnemers: 1. Overzicht van actoren:
Eventueel invoegen van kwadrant Is er behoefte om bepaalde groepen/actoren (om) te vormen? (zijn er lacunes?)
2. Welke actoren zijn het meest invloedrijk en hoe kunnen we eventueel met hen interageren als NGO (of in het project)
En: waar situeert de partner zich?
3. Welke actoren zijn het makkelijkst te betrekken in ons project en/of hebben we een directe relatie mee?
En: waar situeert de partner zich?
4. Welke actoren willen we zeker een evolutie zien doormaken?
Meer bepaald: de partner
5. Welke zaken moeten we zeker meenemen in de formulering van ons project? (op niveau van activiteiten, resultaten, veronderstellingen?)
6. To Do:
Waarover hebben we nog te weinig informatie?
7. Documenten
Vermeld welke documenten/mensen je geconsulteerd hebt
47/141
5
Hoe ga je verder? Toets de informatie door gesprekken met actoren en door bestaande studies en documenten te raadplegen. Verzamel eventueel bijkomend bewijsmateriaal. Gebruik de eerste analyse om in dialoog te gaan met je partner (die al dan niet betrokken was in deze oefening). Gebruik de analyse om in de formulering een participatiematrix te maken (zie oefening participatiematrix in het deel over formulering).
48/141
LEIDRAAD 1: CONTEXTANALYSE In de fase van analyse en voor of tijdens je analyse van problemen en stakeholders, is het belangrijk om ook te kijken naar context. 1. 2. 3. 4.
1
Inleiding: wat is een contextanalyse? Stappen Wat staat er in een contextanalyse? Meer doen
Inleiding: wat is een contextanalyse?
Een contextanalyse informeert je over de omgeving waarbinnen je moet werken. Ze levert informatie die je kan gebruiken in andere analyses (probleemanalyse, strategiebepaling, stakeholderanalyse, zie deel analyse in werkboek) en ze biedt argumenten die je kan gebruiken om keuzes te maken. Het is belangrijk om de complexiteit mee te nemen van de omgeving waarbinnen je werkt: heel veel verschillende factoren hebben namelijk een invloed op je project.
2
Stappen
Stap 1 Afbakening: je kan heel ver gaan in het analyseren van een context. Tracht af te bakenen op basis van het onderwerp van je programma/project en de regio waar je het project uitvoert. Zorg er wel voor dat je rond een minimum aantal domeinen informatie verzamelt:
economische aspecten (creatie van welvaart/inkomen, financieringsstromen naar overheids- en andere actoren), politieke aspecten (beleid), beleidsuitvoering (programma’s), institutionele aspecten (welke instellingen en hun rol), sociale aspecten (informatie over verschillende groepen, de manier waarop ze georganiseerd zijn, herverdeling van rijkdom, uitsluitingsmechanismen).
Stap 2 Verzamel informatie/documentatie: in de eigen organisatie maar zeker ook daarbuiten. Denk aan websites van gespecialiseerde organisaties, evaluaties van programma’s van andere organisaties, beleidsanalyses van overheden, onderzoek van universiteiten, statistisch materiaal van partners of overheden, …). Stap 3 Zorg dat je informatie hebt uit verschillende bronnen die je kan vergelijken. Stap 4 Identificeer lacunes in de informatie en bekijk wat je daar aan kan doen: contact nemen met organisaties die in zelfde regio of sector werken, interviews, veldmissie, … Stap 5 Schrijf de analyse uit (in functie van het lezerspubliek en je project).
49/141
3
Wat staat er in een contextanalyse?
Dit is een voorbeeld van een inhoudstafel voor een contextanalyse waarin de belangrijkste elementen zijn opgenomen. Iedere sector is uiteraard specifiek: dit bepaalt ook welke elementen er in de contextanalyse moeten zitten.
Voorbeeld Zuidwerking: Dit voorbeeld gaat over een project waar het ondersteunen van beroepsonderwijs voor jongvolwassenen (mannen en vrouwen) in een Zuid-Amerikaans land centraal staat. Het voorbeeld is specifiek maar de hoofdpunten kunnen net zo goed voor andere domeinen gebruikt worden. 1. Facts & Figures a) b) c) d) e)
Toestand van het land (politiek, economisch, sociaal, ontwikkelingsindex) Toegang tot beroepsonderwijs Aandeel beroepsonderwijs in het geheel van het aanbod Aantal jongeren in beroepsonderwijs Cijfers over uitval in opleiding
Aandachtspunten: zorg dat de cijfer gegevens gender-gevoelig zijn weergegeven. Bedoeling is dat je kan zien of de situatie verschillend is voor mannen of vrouwen. Indien dit het geval is, moet je daar ook in je project rekening mee houden. Zoek informatie via internationale organisaties en/of netwerken of studies/onderzoek. 2. Wettelijk kader a) b) c) d) e)
Welke wetten regelen het onderwijs? Welke wetten regelen de tewerkstelling, verloning, rechten en plichten van leerkrachten Welke wetten regelen de inrichting van het onderwijs (wie mag onderwijs aanbieden) Hoe staat het met het recht op onderwijs? Certificaten en diploma’s
3. Beleidsteksten: a) Bestaand beleid en beleid in voorbereiding, b) link met andere beleidsdomeinen, bijv. ontwikkeling van de private sector 4. Financiering (van het onderwijs) 5. Programma’s op nationaal vlak: a) Accenten b) modaliteiten van uitvoering (inclusief financiering) c) eventuele lessons learned 6. Organisatie van de overheid en andere aanbieders van erkende opleidingen: wie zijn ze, wat moeten ze doen, eventueel: wat doen ze (goed) en welke zijn de uitdagingen? a) b) c) d) e) f)
Ministerie Agentschappen Inspectiediensten Lokale overheden Andere actoren die onderwijs organiseren Verschillen tussen provincies? Stad en platteland?
7. Niet-gouvernementele actoren die de sector mee ondersteunen en opleidingen organiseren (nieterkend): wie zijn ze, wat doen ze, wat doen ze goed en welke zijn hun uitdagingen?
50/141
a) b) c) d)
Actoren op nationaal vlak Regionaal Internationaal (ngo’s, Multilateraal, bilateraal) Overlegmechanismen met de overheid
8. Instellingen voor beroepsonderwijs: a) b) c) d) e) f)
Infrastructuur Aanbod: welke opleidingen? Personeel (gender specifiek): hoeveel en welke kwalificaties? Financiële situatie: inkomsten(bronnen) waaronder schoolfeest, uitgaven, investeringen Management: besluitvorming, samenwerking met ouders/leerlingen, samenwerking met andere organisaties Leerlingen: aantal, welke doelgroepen
9. Toegang tot (onderwijs-)diensten a) Waar is het aanbod gesitueerd? b) Wie kan gebruik maken van de diensten en onder welke voorwaarden? c) Specifieke hindernissen voor jongvolwassenen (mannen en vrouwen, sociale klasse, etnische groep) 10. Kwaliteit van (onderwijs-)diensten a) b) c) d)
Tendensen in pedagogische aanpak Beschikbaar pedagogisch materiaal Opleiding en ondersteuning van leerkrachten Relaties tussen onderwijsinstellingen en private sector voor tewerkstelling
11. Goede praktijkvoorbeelden 12. Bibliografie/geconsulteerde documenten
Voorbeeld Noordwerking2: Dit voorbeeld gaat over een project dat is gericht op de lobby en advocacy voor de integratie van kinderrechten in ontwikkelingssamenwerking binnen België en de EU. In een lobbyproject is het cruciaal om naast aandacht voor de ‘gemakkelijk verifieerbare feiten’ (facts and figures, wettelijk kader, huidige bestedingen, actoren in het landschap) ook grondig aandacht te hebben voor de machtsverhoudingen die er in de context bestaan. Deze hebben immers een invloed op het lobbytraject dat mogelijk is (zie ook verder onder ‘meer doen’). 1. Facts & Figures a) Stand van zaken wereldwijd inzake het respect voor kinderrechten - algemeen en eventueel voor de landen die pertinent zijn (zie bijv. concluding recommendations van de landenrapporten van het Comité van de Rechten van het Kind in Genève). b) Stand van zaken ten aanzien van soorten rechten (bescherming, provisie en participatie) c) Stand van zaken ten aanzien van rechten in specifieke domeinen (onderwijs, gezondheid, inspraak en vrije meningsuiting, burgerlijke rechten, bescherming tegen uitbuiting en geweld enz.)
2
Dit voorbeeld werd kritisch bekeken en bijgestuurd door Hans De Greve van Plan België (met dank). De verwijzing naar de powercube komt van Anuschka Mahieu van Geneeskunde voor de 3de wereld.
51/141
2. Wettelijk kader en beleid a) Welke afspraken zijn er rond kinderrechten? (Belgisch, Europees, mondiaal) b) Bestaand beleid en beleid in voorbereiding in België, andere EU lidstaten en in Europa c) Welke landen hebben kinderrechten geïntegreerd in hun beleid ontwikkelingssamenwerking? Op welke manier? Zijn er verschillende manieren om dit aan te pakken (projectmatig, programmatorisch, transversaal, een combinatie van voorgaande). Welke zijn de meeste gehoorde argumenten pro en contra? d) Wat zijn daarvan de lessons learnt, good and bad practices? 3. Politieke middelen a) Welke landen zetten politieke middelen in om aandacht te vragen voor kinderrechten (dialoog met andere donoren en partners) b) Wat zijn daarvan de lessons learnt en good and bad practices? 4. Projecten en programma’s a) Welke middelen gaan naar projecten voor kinderrechten (Belgisch, Europees, mondiaal) b) Zijn er projecten/programma’s die niet specifiek of expliciet over kinderrechten gaan maar waarbinnen wel gewerkt wordt of kan worden aan kinderrechten (mainstreaming). c) Op welke wijze komen kinderrechten aan bod in de indicatieve samenwerkingsprogramma’s / landenakkoorden van België/Europa met haar partners en tijdens de dialoog die hier aan voorafging? d) Op welke manier komen kinderrechten aan bod in het internationaal discours omtrent ontwikkelingssamenwerking / op internationale conferenties en bijeenkomsten (MDG, Aid Effectiveness conferenties, enz.) 5. Actoren in België die actief zijn rond kinderrechten in ontwikkelingssamenwerking: wie en welk initiatief? a) b) c) d) e) f)
Overheid: welke diensten en mensen ngo’s de 4 pijler netwerken Overlegplatforms Politici (parlementsleden die zich bijvoorbeeld met het thema bezighouden of hier vatbaar voor zouden kunnen zijn)
6. Actoren in Europa die actief zijn rond kinderrechten in OS: wie en welk initiatief? a) b) c) d) e)
Overheid Ngo’s netwerken Overlegplatforms Politici
7. Organisaties en hun medewerkers in het Zuiden (supranationale organisaties, regionale, lokale, netwerken) die informatie kunnen aanleveren om te pleiten voor meer integratie van kinderrechten in OS a) Azië b) Afrika c) Latijns-Amerika 8. Lobby-acties die reeds werden ondernomen en hun resultaten a) Belgisch niveau b) Europees niveau
52/141
c) Goede praktijkvoorbeelden andere Europese landen 9. Media d) Welke media berichten over het thema in België? e) Welke media berichten over het thema binnen Europa? 10. Welke opinion leaders, beleidsmakers, bekende mensen of bekende politici kunnen een rol spelen? 11. Eerste analyse van machtsverhoudingen en relaties (met het oog op lobby strategie): op basis van verzamelde gegevens kan je een eerste analyse doen van machtsverhoudingen en relaties. Hiervoor bestaan verschillende instrumenten. Bij het werkboek zit een oefening rond de analyse van stakeholders/actoren die eventueel bruikbaar is. Een ander instrument is dat van de 3 powercube, die je kan raadplegen op: www.powercube.net. Dit instrument geeft tips voor de organisatie van een workshop, geeft aan hoe je machtsrelaties kan visualiseren en analyseren en hoe je daarmee kan omgaan. 12. Bibliografie/geconsulteerde documenten.
4
Meer doen
Afhankelijk van het soort project, kan het interessant zijn om nog andere elementen te verwerken in de contextanalyse. Bijv. indien je werkt in een sterk politieke en geïnstitutionaliseerde omgeving, kan het interessant zijn om een politieke analyse te doen, ook wel ‘political economy analysis’ genoemd. Organisaties van de bilaterale samenwerking passen dat soort analyses vaker toe omdat zij actief zijn op het beleidsniveau en willen inschatten wat de krachten van verandering in een bepaalde context kunnen zijn. Zeker wanneer donoren overstappen op ‘budget support’ (het ondersteunen van de ontwikkeling van een bepaalde sector in een land door bij te dragen tot het budget van het land in kwestie eerder dan projecten te financieren) is het belangrijk om de beleidskracht en de ‘good governance’ van het land te analyseren. De analyse gaat dieper en peilt naar machtsverhoudingen, capaciteit van de staat, de mate waarin de staat verantwoording aflegt en reële noden aanpakt. Meer informatie hierover: http://www.gsdrc.org/go/topic-guides/political-economy-analysis . Dit is de website van de Governance and Social Development Resource Centre, een initiatief van de Britse Ontwikkelingssamenwerking, met de universiteiten van Sussex en Manchester.
3
Instrument werd ontwikkeld door het Participation, Power and Social Change team van het Institute of Development Studies (universiteit van Sussex).
53/141
Deel II: Formulering OEFENING 4: PARTICIPATIEMATRIX Deze oefening kan je helpen om te bedenken hoe je diverse actoren in je project gaat betrekken. Je hebt de stakeholders en actoren in kaart gebracht en geanalyseerd hoe ze zich positioneren ten aanzien van de strategie van jouw project. Je hebt hier in de formulering rekening mee gehouden. Nu heb je dus een project dat klaar is om uitgevoerd te worden. Op dit moment is het goed om te verduidelijken en te concretiseren wie wat gaat doen in het project. Hiermee bereid je eigenlijk al de uitvoering van het project voor. Terwijl de analyse van stakeholders/actoren het ‘design’ van je project beïnvloedt, situeert de participatiematrix zich op een operationeel en functioneel niveau. Veel ngo's hebben al een sterk uitgewerkt partnerbeleid en een duidelijke visie op participatie van actoren, zeker op het vlak van de Zuidwerking. Deze oefening biedt een concrete houvast. De oefening is als volgt uitgewerkt: 1. Inleiding 2. Toelichting bij de aanpak 3. De stappen (met instrumenten en toelichting) 4. Wat doe je met de informatie (werkblad) 5. Hoe ga je verder? Deze oefening werd concreet uitgewerkt met concrete voorbeelden uit de Noord- en de Zuidwerking (die we ook in andere oefeningen gebruikten). Het logisch kader van deze fictieve projecten maakt deel uit van het materiaal. Het gaat concreet om: Project in het Zuiden: het thema van voedselzekerheid en ondervoeding van kinderen, (verder) uitgewerkt als gezondheidsproject Project in het Noorden: het thema van het versterken van maatschappelijk draagvlak voor de Noord-Zuidproblematiek, (verder) uitgewerkt als project voor versterking van betrokkenheid van schoolgaande jongeren bij de Noord-Zuidproblematiek.
1
Inleiding
Een participatiematrix maakt duidelijk wie betrokken wordt in het proces, wanneer en op welke manier. Doorheen de verschillende analyses is intussen wel duidelijk geworden welke actoren allemaal van belang zijn voor je project. Het komt er nu op aan te kijken wie welke rol kan spelen in de uitvoering van het project en/of betrokken moet zijn. De partner(s) van de ngo en de eindbegunstigden van het project nemen een specifieke plaats in. Je kan verschillende niveaus van betrokkenheid inbouwen in elk project: Informeren: je houdt actoren op de hoogte van wat er gebeurt in het project en van de resultaten. Dit is in feite onderdeel van de communicatiestrategie (mocht je die afzonderlijk ontwikkelen). Je richt je daarbij op diverse actoren. Consulteren: je vraagt de mening van actoren over de manier waarop je bepaalde dingen in het project wilt aanpakken of over problemen die je ziet opduiken, je wilt de perceptie en waardering kennen van actoren ten aanzien van jouw project,... In principe heb je tijdens de fase van analyse al heel wat actoren geconsulteerd. De vraag is nu hoe je dat tijdens het project denkt verder te zetten?
54/141
Terugkoppelen en verantwoording afleggen: je gebruikt de informatie die je verzamelt bij de opvolging van het project om conclusies over de voortgang van het project te delen met andere actoren. Rol en verantwoordelijkheid in het project: om eigenaarschap te creëren voor de doelstellingen en resultaten van het project is het belangrijk om goed na te denken over rollen en verantwoordelijkheden van verschillende actoren in het project. In principe heb je in je logisch kader al rekening gehouden met die actoren waarmee je direct samenwerkt en die je ondersteunt (partner en andere doelgroepen). Je partner en eventueel andere doelgroepen zullen in het project wellicht concrete rollen en taken krijgen die niet zo duidelijk in het logisch kader staan. Daarnaast zijn er nog andere actoren die een rol kunnen en moeten spelen in de uitvoering van het project. Het kan bijvoorbeeld gaan om actoren die belangrijk zijn voor je project en die verplicht zijn om bepaalde diensten te leveren (bijv. overheidsdiensten die diensten moeten leveren op het vlak van onderwijs, gezondheid, landbouw, enz.) of andere NGO’s met wie je afspraken hebt om bepaalde diensten te leveren (bijv. het verspreiden van educatieve pakketten in de scholen van hun netwerk).
2
Hoe pak ik dit aan? Gebruik het logisch kader dat je formuleerde als uitgangspunt en leg er de analyse van actoren naast. Werk zelf een eerste voorstel uit. Check dat eerste voorstel binnen je eigen organisatie en vervolgens met de actoren zelf, bijv. door middel van workshops, met behulp van je partner, interviews, werkvergaderingen, … Indien de rol die je wilt geven aan je partner en andere actoren heel wat verschillende taken inhoudt zal je die taken wellicht moeten preciseren, onderhandelen en vastleggen in een contract of overeenkomst. Bij de partner past die overeenkomst meestal in een ruimer partnerschapsakkoord. Ook met de eindbegunstigden heb je eventueel overleg nodig om te verduidelijken wat je mogelijk van hen verwacht. Enkele punten om te onthouden met betrekking tot de participatiematrix: a) Baseer je op een analyse van actoren: het is goed om te vertrekken vanuit een analyse van actoren vooraleer je bepaalt wie wat moet/kan doen in het project. Een dergelijke analyse geeft je een volledig beeld. b) Participatie is een strategie: bedoeling is dat je de resultaten van het project verduurzaamt. Daarom tracht je zoveel mogelijk actoren en mensen te betrekken in de uitvoering van het project c) Capaciteit om te participeren: als je wilt dat actoren een actieve rol spelen en betrokken zijn, is het goed om na te gaan in welke mate ze beschikken over de capaciteit om een rol te spelen. We hebben het hier niet zozeer over een grondige capaciteitsanalyse maar wel over aandacht voor het ontbreken/aanwezig zijn van bepaalde competenties die participatie hinderen of helpen. Deze aandacht kan er wel toe leiden dat je beslist dat een bepaalde actor extra ondersteund moeten worden middels een meer intensief traject voor capaciteitsopbouw. Op dat moment stel je het ‘design’ van je logisch kader in vraag en bekijk je of het project niet meer moet doen voor een bepaalde actor/doelgroep. De NGOFederatie werkt actueel (november 2012) rond het thema van capaciteitsversterking bij partners. Dat moet uitmonden in concreet werkmateriaal.
55/141
3
Stappen
Stap 1: vertrek van het lijstje van actoren die werden opgesomd in het kader van de analyse van actoren. Je partner neemt duidelijk een belangrijke plaats in dit lijstje in.
Stap 2: Bepaal hoe deze actoren betrokken kunnen worden Gebruik informatie uit je analyses (context, analyse van actoren). Vermeld bij elke actor op welke manier hij/zij kan participeren in het project: informeren, consulteren, terugkoppelen, rol/verantwoordelijkheid geven. De partner plaats je onmiddellijk in de categorie van rol/verantwoordelijkheid geven. Bedenk goed waar je de eindbegunstigden ziet terugkomen. Vermeld bij elk onderdeel hoe je de participatie concreet ziet: wanneer betrekken, waarover en op welke manier (welk mechanisme/instrument). Vermeld eventuele obstakels voor participatie. Je kan hiervoor onderstaand schema gebruiken.
Naam van de actor
Informeren
Consulteren (vragen om expertise, mening, ervaring, waardering)
Terugkoppelen / verantwoording afleggen
Actor XX
Over
Over
Over
Op welke manier
Op welke manier
Op welke manier
Wanneer
Wanneer
Wanneer
Eventuele obstakels en oplossingen
Eventuele obstakels en oplossingen
Eventuele obstakels en oplossingen
Over
Over
Over
Op welke manier
Op welke manier
Op welke manier
Wanneer
Wanneer
Wanneer
Eventuele obstakels en oplossingen
Eventuele obstakels en oplossingen
Eventuele obstakels en oplossingen
Verantwoordelijkheid/rol in het project (op basis van eigen opdracht, contract, samenwerkingsovereenk omst) Welke verantwoordelijkheid Op basis van wat?
Actor XX
Welke verantwoordelijkheid Op basis van wat?
Enz.
56/141
Voorbeeld Zuidwerking We werken in dit voorbeeld verder met de analyse van actoren (zie oefening: stakeholderanalyse/analyse van actoren waar dit voorbeeld werd uitgewerkt). In de uitwerking van die oefening werden alle relevante actoren opgelijst. We vermelden er enkele in het onderstaande schema. De lokale gezondheidsngo die een rol speelt in het project is een partner van de ngo voor diverse onderdelen in het project waaronder het ondersteunen van spaargroepen en het organiseren van vormingen rond screenen van ondervoeding en behandelen van ziekten gerelateerd aan ondervoeding en capaciteitsversterking van lokale gezondheidscentra. Naam van de actor
informeren
Consulteren (vragen om expertise, mening, ervaring, waardering)
Terugkoppelen/verantwoording afleggen
Lokale gezondheidsngo = partner
Informeren: alle aspecten van het project
Over: de strategie voor het werken met spaargroepen, de vormingen voor gezondheidswerkers en het ondersteunen van de managementcapaciteit van de lokale centra
Over: resultaten en gebruik van middelen
Op welke manier: door een korte stand van zaken tijdens partnervergaderingen Wanneer: maandelijks Eventuele obstakels en oplossingen: geen
Op welke manier: partnervergaderingen (in het Zuiden) via lokale vertegenwoordiger. Wanneer: trimestrieel Eventuele obstakels en oplossingen: eigenaarschap versterken door ondersteunen van capaciteit (afzonderlijk traject)
Vrouwengroepen in dorpen
Over: diensten die middels het project worden aangeboden: consultaties in het gezondheidscentrum, ondersteunen van spaargroepen en inkomstgenerende activiteiten
Over: noden en problemen om duurzame inkomstengenererende activiteiten op te zetten. Op welke manier: op basis van een concreet aanbod van ondersteuning,
Op welke manier: tijdens specifieke evaluatievergaderingen (eventueel met iemand van het Noord kantoor erbij) Wanneer: halfjaarlijks Eventuele obstakels en oplossingen: capaciteit voor reflectie en analyse ondersteunen door een goede methodologie voor gezamenlijke evaluatiesessies (zie ook oefening zelfevaluatie met partner in dit werkboek) Over: resultaten van het project
Verantwoordelijkheid/rol in het project (op basis van eigen opdracht, contract, samenwerkingsovereenkomst) Welke verantwoordelijkheid: ondersteunen van spaargroepen (en bereiken van vrouwengroepen voor inkomstgenererende activiteiten) organiseren van vormingsprogramma en uitvoeren van vormingen ondersteunen van managementcapaciteit van gezondheidscentra Op basis van wat? Een overeenkomst
Welke verantwoordelijkheid: geen Op basis van wat? niet relevant
Op welke manier: verzamelen van verhalen over vrouwengroepen die een
57/141
Op welke manier: door gespreken met 'leaders' van deze groepen tijdens bezoeken aan dorpen Wanneer: telkens dorpen worden bezocht (frequentie nog te bepalen)
via de spaargroepen
succeservaring hadden
Wanneer: telkens dorpen/spaargroepen worden bezocht
Wanneer: een keer per jaar
Eventuele obstakels en oplossingen: vrouwengroepen mobiliseren via de spaargroepen
Eventuele obstakels en oplossingen: vrouwen/leaders zijn moeilijk individueel te mobiliseren: via dorpsoverste alle leaders samen brengen voor een korte informatiesessie
Eventuele obstakels en oplossingen: mobilisatie; koppelen aan de start van ondersteuning van inkomstengenerende activiteiten en jaarlijkse zelfevaluatie met de vrouwengroepen (individueel of in groep) die verbonden zijn aan de spaargroepen
Enz.
Voorbeeld Noordwerking We werken in dit voorbeeld verder met de analyse van actoren (zie oefening: stakeholderanalyse/analyse van actoren waar dit voorbeeld werd uitgewerkt). In de uitwerking van die oefening werden alle relevante actoren opgelijst. We vermelden er enkele in het onderstaande schema. Er zijn twee partners, nl. een educatieve ngo met een scholenwerking en een Hogeschool, waarmee een samenwerkingsovereenkomst wordt ondertekend. We vermelden enkele actoren in het onderstaande schema bij wijze van voorbeeld. Naam van de actor
informeren
Leerkrachten in opleiding
Over: de nieuwe opleidingsmodules Op welke manier: via de Hogeschool en het aanbod aan keuzevakken en eventueel een ludieke wervende voorstelling
58/141
Consulteren (vragen om expertise, mening, ervaring, waardering) Over: de beste manier waarop zij verder kunnen ondersteund worden (tijdens stages of in een eerste job) om de theorie zo goed mogelijk toe te passen Op welke manier: via een
Terugkoppelen/verantwoording afleggen Over: succesverhalen Op welke manier: via facebook Wanneer: jaarlijks; gekoppeld aan de activiteit bij de start van het jaar
Verantwoordelijkheid/rol in het project (op basis van eigen opdracht, contract, samenwerkingsovereenkomst) Welke verantwoordelijkheid: geen (tenzij gewerkt wordt met een groep trekkers - te bekijken) Op basis van wat?
Wanneer: bij de start van het jaar
Hogeschool
Eventuele obstakels en oplossingen: studenten hebben al veel verschillende activiteiten; met wervende activiteit trachten aan te sluiten bij bestaande en populaire activiteit Over: alle onderdelen van het project Op welke manier: tijdens overleg over ontwikkelen en verbeteren van modules (partneroverleg) Wanneer: variabele frequentie, frequentie ligt hoger bij het ontwikkelen van de modules
groep (bijv. via facebook) met geïnteresseerden Wanneer: trimestrieel contact via facebook en e-mail
Eventuele obstakels en oplossingen: zie bij 'informeren'
Eventuele obstakels en oplossingen: contact koppelen aan concreet aanbod van vorming of educatief materiaal Over: strategie om jonge leerkrachten te ondersteunen, ontwikkelen van educatief materiaal voor leerkrachten
Over: resultaten van het ondersteunen van jonge leerkrachten en resultaten van andere projectonderdelen.
Op welke manier: zie bij 'informeren'
Op welke manier: via partneroverleg
Wanneer: zie bij 'informeren'
Wanneer: jaarlijks
Eventuele obstakels en oplossingen: geen
Eventuele obstakels en oplossingen: geen
Eventuele obstakels en oplossingen: geen Enz.
59/141
Welke verantwoordelijkheid: -ontwikkelen van modules voor opleiding -actieve participatie in ontwikkelen van educatief materiaal Op basis van wat? partnerovereenkomst
Stap 3: werk het luik verantwoordelijkheid verder uit door taken te preciseren Het luik verantwoordelijkheid kan je verder detailleren door concrete taken te preciseren. Welke taken hangen samen met welke verantwoordelijkheid? Kijk hiervoor zeker naar de activiteiten die je formuleerde in je logisch kader. Preciseer ook wie verantwoordelijk is (persoon/functie of dienst) voor de uitvoering van deze taken? Eventueel kan je ook verduidelijken wat de verwachte output is? Een groot deel van dit luik wordt wellicht ingenomen door de partner(s) van jouw ngo. In een multi-actorenbenadering zijn er echter meerdere actoren die een actieve rol zullen (moeten) spelen. Verdeling en toewijzing van taken moet je uiteraard nog doorspreken met partners en actoren en onderhandelen.
Stap 4: beoordeel/verifieer of de capaciteit aanwezig is om de rol te spelen en taken te vervullen Bedenk welke capaciteit aanwezig moet zijn om de verschillende rollen te vervullen. Ga vervolgens na voor elke actor wat de capaciteit is om de rol op te nemen. Baseer je daarvoor op ervaring met deze actor of op informatie die je verzamelde tijdens de analyse van actoren: heeft deze actor de mensen en de middelen, is de vereiste kennis of competentie aanwezig, beschikt de organisatie over een mechanisme/plan om taken te verdelen en op te volgen, … Het is duidelijk dat je voor de analyse van je partner(s) voldoende tijd uittrekt. Het is ook zinvol om met je partners een stap verder te gaan en je niet enkel te beperken tot capaciteit in functie van het project (functionele/operationele capaciteit). Dit wilt zeggen dat je kijkt naar de capaciteit van je partner in de ruime zin: wat is de capaciteit van de partner om haar eigen visie en doelstellingen te realiseren? Veel ngo's doen deze oefening al in het kader van hun partnerwerking waarbij capaciteitsversterking een doel op zich is. Een dergelijke capaciteitsanalyse vraagt echter een andere en specifieke aanpak die buiten het kader van deze oefening valt. Beoordeel deze capaciteit en bekijk eventueel wat volgens jou sterk en zwak is. Ga hierover in gesprek met de betreffende actor en ga na wat er nodig is om de capaciteit te versterken: wat moet prioritair versterkt worden, op welke manier kan dat best gebeuren en welke middelen moeten daarvoor ingezet worden. Op basis hiervan kan je enkele maatregelen voorstellen voor de versterking van de capaciteit, niet in het algemeen maar specifiek gericht op de taken en rollen binnen het project. Vat dit samen en gebruik hiervoor eventueel onderstaand schema:
Naam van de actor
Naam: Verantwoordelijkheid:
Precieze taken die samen hangen met de verantwoordelijkheid in het project Taak X Taak Y
Verantwoordelijke (functie en dienst)
Welke capaciteit is nodig om rol te spelen?
Beoordeling van capaciteit en eventuele actie
Denk aan mensen, middelen, expertise, competentie, ….
Zwak Sterk
Taak Z Conclusie voor de uitvoering van de rol: Nodige actie: Naam:
Taak X Taak Y
60/141
Denk aan mensen, middelen, expertise,
Zwak
Verantwoordelijkheid:
Taak Z
competentie, ….
Sterk Conclusie voor de uitvoering van de rol: Nodige actie:
Enz.
61/141
Voorbeeld Zuidwerking In het geval van de samenwerking met de lokale ngo, gespecialiseerd in gezondheid is het duidelijk dat taken verder gepreciseerd moeten worden. Het gaat in dit fictieve voorbeeld om twee lokale ngo's die een rol spelen in het project, elk in een ander gebied (met andere kenmerken). De uitwerking van hun taken zal er wellicht verschillend uitzien alsook hun capaciteit. We werken hieronder het voorbeeld uit voor één lokale ngo. Naam van de actor
Naam: Gezondheidsngo X
Verantwoordelijkheid Vorming van gezondheidswerkers, ondersteunen van spaargroepen, versterken van managementcapaciteit
Precieze taken die samen hangen met de verantwoordelijkheid in het project Taak 1: opvolgen van spaargroepen en promoten van inkomstgenererende activiteiten
Verantwoordelijke (functie en dienst)
Welke capaciteit is nodig om rol te spelen?
Beoordeling van capaciteit en eventuele actie
Verantwoordelijke 'community building'
Specifieke expertise rond sparen, capaciteit om op het terrein te gaan (mobiliteit), capaciteit om te plannen
Zwak: alle personeelsleden hebben nood aan bijscholing in hun vakgebied, er is te weinig expertise rond sparen, de ngo voelt zich niet sterk betrokken bij het gezondheidsbeleid in de regio en denkt vooral in operationele termen. De mobiliteit is zwak: te weinig beschikbare fietsen en moto's
Taak 2: ondersteunen van managementcapaciteit van gezondheidscentra
Directeur
Taak 3: organiseren en geven van vormingsprogramma
Verantwoordelijke vorming
Groep van coaches/adviseurs met expertise in management, capaciteit om op het terrein te gaan (mobiliteit), capaciteit om te plannen
Groep van trainers van goede kwaliteit met expertise in ondervoeding, capaciteit om op het terrein te gaan (mobiliteit), capaciteit om te plannen
Sterk: sterke mobilisatiecapaciteit (gekend in de regio), planningscapaciteit is gegarandeerd Conclusie voor de uitvoering van de rol: bijscholing moet georganiseerd worden en versterking van expertise rond sparen en inkomstengenererende activiteiten. Nodige actie: contacten leggen met organisatie die bijscholing en vorming kan bieden, sensibilisatie rond gezondheidsbeleid/overtuigen om hier meer belang aan te hechten, aankopen van motoren (inschrijven in budget)
Naam: Gezondheidsngo X
Verantwoordelijkheid:
62/141
Als dusdanig verder uit te werken voor de andere ngo
Voorbeeld Noordwerking In het geval van de samenwerking met de Hogeschool, is het duidelijk dat taken verder gepreciseerd moeten worden. Het gaat in dit fictieve voorbeeld één Hogeschool. We gaan niet verder in op de partnerwerking met de educatieve ngo. Naam van de actor
Naam: Hogeschool X
Verantwoordelijkheid: uitwerken van opleidingsmodules en educatief materiaal
Naam: educatieve NGO X
Precieze taken die samen hangen met de verantwoordelijkheid in het project Taak 1: uitwerken van modules om gevoeligheid van leerkrachten rond Noord-Zuid te versterken en specifieke competenties te ontwikkelen die bijdragen tot sociaal leren bij leerlingen en versterken van verbondenheid met Noord-Zuidproblematiek Taak 2: uitwerken van educatief materiaal dat bijdraagt tot sociaal leren bij leerlingen en versterken van verbondenheid met Noord-Zuidproblematiek Verder uit te werken op dezelfde manier
Verantwoordelijke (functie en dienst)
Welke capaciteit is nodig om rol te spelen?
Beoordeling van capaciteit en eventuele actie
Hoofd van de dienst curriculum
Tijd en groep van minimaal 5 docenten uit diverse disciplines (te bepalen) om samen een module uit te werken van minimaal XX studiepunten -capaciteit om module te plannen en docent om module te geven
Zwak: inzicht in Noord-Zuidproblematiek, beschikbaarheid van een kritische massa docenten
Enkele geïnteresseerde docenten
Tijd van minimaal 5 docenten uit diverse disciplines (te bepalen) om geregeld feedback te geven op ontwikkeling van educatief materiaal
Sterk: veel expertise op methodisch vlak
Conclusie voor de uitvoering van de rol: kan rol uitvoeren mits nodige ondersteuning vanuit directie (creëren van tijd en ruimte) en versterken van kennis over actuele trends in Noord-Zuidproblematiek, mondiale uitdagingen en ervaringen in ontwikkelingssamenwerking
Nodige actie: bijscholing in Noord-Zuidproblematiek plannen (tijdens specifieke sessies van overleg), directiebeslissing om hierin te investeren en mandaat te geven aan docenten.
Verantwoordelijkheid:
63/141
4
Wat doe je met de informatie uit deze oefening? Je hebt nu een duidelijk overzicht van hoe je verschillende actoren laat participeren in de uitvoering en opvolging van het project. Zet dat op papier en deel dat met de verschillende actoren waar relevant. Je hebt nu een basis om in gesprek te gaan met die actoren die een specifieke rol vervullen in de uitvoering van het project en een basis om taken te preciseren. Je hebt informatie om de communicatie van je project te overdenken. Je ontdekt eventuele knelpunten voor de uitvoering van het project, bijv. in de capaciteit van bepaalde actoren om taken op zich te nemen (taken die je hen hebt gegeven in het project of taken die ze van overheidswege moeten vervullen).
Werkblad: samenvatting van het denken rond veronderstellingen en risico’s Auteur: Datum: Deelnemers: 1) Conclusies over informeren:
welke actoren, eventuele obstakels en oplossingen Gevolgen voor activiteiten/budget Gevolgen voor communicatiestrategie
2) Conclusies over consulteren:
welke actoren, eventuele obstakels en oplossingen Gevolgen voor activiteiten/budget
3) Conclusies over terugkoppelen/verantwoording afleggen:
welke actoren, eventuele obstakels en oplossingen Gevolgen voor activiteiten/budget
4) Conclusies over rollen en verantwoordelijkheden: welke actoren, op basis van wat?
Per actor: conclusie over sterk en zwak en eventuele maatregelen Gevolgen voor activiteiten/budget Gevolgen voor interventielogica (nood aan ruimer traject voor capaciteitsversterking?) Overleg met actoren over verantwoordelijkheden en taken: conclusies
5) To Do: 6) Documenten
Vermeld welke documenten en mensen je geconsulteerd hebt.
64/141
5
Hoe ga je verder? Het is mogelijk dat deze oefening je ertoe brengt je activiteiten opnieuw te bekijken. Mogelijk wil je ook de interventielogica bijsturen. Je sluit akkoorden af voor de uitvoering van taken met diverse actoren. Gebruik eventueel de informatie om met je partner(s) een gesprek aan te gaan over capaciteit en capaciteitsversterking die verder gaan dan een functionele benadering (mocht dat soort gesprekken binnen jouw ngo nog niet gevoerd worden). Met deze oefening heb je immers nog geen grondige analyse uitgevoerd van de capaciteit van je partner(s) en eventueel andere actoren. Daar moet je, indien gewenst, andere instrumenten voor inzetten. Gebruik deze informatie bij het ontwerpen van je monitoringsysteem: in dit systeem moet je aangeven waar je informatie over indicatoren gaat verzamelen, bij wie en op welke manier.
65/141
OEFENING 5: VERONDERSTELLINGEN EN RISICO’S Het logisch kader bevat een kolom 'veronderstellingen', soms ook aangeduid als hypothesen en/of risico's. Deze oefening helpt je om bruikbare en relevante veronderstellingen te formuleren. Goede veronderstellingen geven je beter zicht op eventuele risico's voor de uitvoering van je project en de realisatie van de projectdoelstellingen. De oefening staat je ook toe om na te denken over risicobeheer en de eventuele maatregelen die nodig zijn. Deze oefening is het makkelijkst als je de interventielogica voor je project hebt uitgeschreven. Je kan deze oefening ook uitvoeren bij een bestaand logisch kader, bijv. omdat je vindt dat de geformuleerde veronderstellingen te weinig duidelijk zijn. De oefening is als volgt uitgewerkt: 1. Inleiding 2. Toelichting bij de aanpak 3. De stappen (met instrumenten en toelichting) 4. Wat doe je met de informatie (werkblad) 5. Hoe ga je verder? Deze oefening verwijst ook naar de fictieve projecten die we uitwerkten voor de Noord- en Zuidwerking en die je elders in het werkboek kan terugvinden (als 'Uitgewerkte fictieve voorbeelden in logisch kader'). Het gaat concreet om: Project in het Zuiden: het thema van voedselzekerheid en ondervoeding van kinderen dat (verder) werd uitgewerkt als gezondheidsproject. Project in het Noorden: Het thema van het versterken van het maatschappelijk draagvlak voor de Noord-Zuidproblematiek dat verder werd uitgewerkt als een project voor de versterking van betrokkenheid van schoolgaande jongeren bij de Noord-Zuidproblematiek.
1
Inleiding
Veronderstellingen - Veronderstellingen zijn het 'weeskind' van het logisch kader. De meeste ngo's spenderen hier vaak te weinig aandacht of tijd aan. Toch zijn ze in een project strategie essentieel. Veronderstellingen gaan over de voorwaarden die vervuld moeten zijn om de doelstellingen van het project te halen maar die buiten de directe controle liggen van het project/jouw ngo. Het kan ook gaan om voorwaarden waarvoor je als ngo geen verantwoordelijkheid wilt opnemen: bij de ontwikkeling van je interventiestrategie heb je namelijk een aantal keuzes gemaakt en prioriteiten gesteld waardoor je bepaalde aspecten van een problematiek niet hebt meegenomen. Hieronder vind je een voorbeeld van een veronderstelling in het logisch kader (voorbeeld van een landbouwproject). Je leest het schema als volgt 'als de boeren hun land goed bewerken (is een resultaat van het project) en er valt voldoende regen, dan is er meer productie (is een doelstelling van het project)'. Op deze manier kan je verder gaan: 'als er meer productie is (specifieke doelstelling) en de ondersteuning van boeren in marketing door een andere internationale ngo blijft verder bestaan, dan zal het inkomen van huishoudens vermeerderen en hun welvaar toenemen (algemene doelstelling van het project).
66/141
Wat zijn goede en relevante veronderstellingen? (i) Enkel de veronderstellingen die gaan over voorwaarden die vervuld moeten zijn om het project te doen slagen zijn relevant. Samen vormen de veronderstellingen een soort externe interventielogica. (ii) Het moet ook gaan om veronderstellingen die richting kunnen geven aan je interventiestrategie en die dus voldoende specifiek zijn en niet vanzelfsprekend. Bijv. als er een oorlog uitbreekt is het evident dat er geen project zal zijn. (iii) Het gaat om veronderstellingen over voorwaarden waarvan je denkt dat ze aanwezig zullen zijn: voorwaarden die wel zeker vervuld zullen zijn, moet je niet opnemen. Bijvoorbeeld: een belangrijke voorwaarde om te werken met een vakbond kan zijn dat het concept vakbonden erkend wordt in de arbeidswetgeving van een bepaald land. Als die arbeidswetgeving is gestemd en de concrete uitvoeringsbesluiten ondertekend worden voor je met je project start, moet je deze veronderstelling niet opnemen in je logisch kader. Je moet dit element wel aanhalen in je contextanalyse of beschrijving. (iv) Het is niet de bedoeling dat je in de kolom met veronderstellingen alles stopt waar je aan denkt en waar je nog geen plek aan kon geven (een soort 'vuilbak'). Dit is vaak het geval bij projecten waar geen goede contextanalyse is gebeurd en men weinig zicht heeft op de positie van diverse actoren (zie in dit werkboek ook de checklist rond contextanalyse). Twee voorbeelden van een gebrekkige contextanalyse: Voorbeeld Zuidwerking: een project waarbij dorpen toegang krijgen tot waterinfrastructuur gaat
uit van de veronderstelling dat overheidsdiensten de dorpen ondersteunen in de controle van de kwaliteit van het water. Dat is namelijk de taak van deze diensten. In de realiteit blijkt echter dat de overheidsdiensten zich in de dorpen nooit laten zien bijv. omdat ze niet de middelen hebben om op het terrein te gaan. Dit is iets dat je zou kunnen weten dankzij een goede contextanalyse en analyse van actoren. Je zou het dan ook niet invullen als een veronderstelling maar je zou er in de projectinterventie rekening mee houden, bijv. door een budget te voorzien voor verplaatsingen van deze diensten. Voorbeeld Noordwerking: een project waarbij je campagne voert voor klimaatneutraliteit en wilt dat gemeenten een intentieverklaring ondertekenen om de nodige maatregelen te nemen, gaat uit van de veronderstelling dat lokale adviesraden voor Noord-Zuidsamenwerking mee hiervoor zullen lobbyen. In de realiteit blijkt echter dat weinig adviesraden hun schouders onder deze campagne willen zetten omdat hun leden (bijv. lokale ngo's en 4de pijlerorganisaties) te weinig de link zien tussen hun interventies in het Zuiden en klimaatneutraliteit. Dit is iets wat je zou kunnen weten door een grondige analyse van actoren. Je zou het dan ook niet invullen als een veronderstelling, maar je zou er in de projectinterventie rekening mee moeten houden, bijv. door ook bij de adviesraden aan sensibilisatie te doen.
67/141
Risico's - Risico's hebben betrekking op de kans dat noodzakelijke condities niet vervuld worden. Alle veronderstellingen dragen een zekere mate van risico in zich, want je denkt wel dat de voorwaarden voor succes vervuld zullen zijn maar je bent nooit 100% zeker. Een project met 20 veronderstellingen is alleen al voor dat aantal een risicovol project. Bij elke veronderstelling moet je nagaan: (i) wat de kans is dat de voorwaarde vervuld wordt en (ii) wat het (negatief) effect zou zijn indien de voorwaarde niet vervuld wordt. Als blijkt dat er weinig kans is dat een bepaalde voorwaarde gerealiseerd wordt en als dit een bijzonder negatief effect zou hebben op je project, dan moet je het projectdesign en de interventielogica of strategie wellicht herzien. In andere gevallen, moet je risico's opvolgen en managen. Twee voorbeelden: Voorbeeld Zuidwerking: een project waarbij je een hogere landbouwproductie wilt realiseren. Je
gaat uit van de veronderstelling dat er voor een bepaalde datum minimaal xx cm regen is gevallen. De kans dat dit gebeurt is redelijk (gezien de voorbije jaren), maar als het niet gebeurt, zal de productie erg tegenvallen, zullen boeren gedemotiveerd raken en afhaken en krijgen huishoudens problemen om voldoende maaltijden op tafel te zetten. Er is dus een risico waar je op voorbereid moet zijn. Je kan nu al nadenken over eventuele oplossingen, bijv. introduceren van zaden die beter bestand zijn tegen droogte. Voorbeeld Noordwerking: een project waarbij je werkt met leerkrachten in bepaalde scholen rond het opzetten van acties met leerlingenraden. Je gaat uit van de veronderstelling dat de leerlingenraden in de scholen functioneel zijn (gezien de traditie in deze school en eerdere ervaringen van je ngo). Als nu blijkt dat in meerdere scholen de leerlingenraden nauwelijks nog functioneren (bijv. omdat een nieuwe directie hier niet in wil investeren of bijv. omdat veel van de leerkrachten die leerlingenraden ondersteunden veranderd zijn van school of met pensioen zijn), is het effect op jouw project wel erg negatief want dan hebben leerkrachten geen 'partner' meer in de school om actie te ondernemen. Er is dus een risico waarop je moet voorbereid zijn. Je kan nu al nadenken over eventuele oplossingen, bijv. werken met werkgroepen in plaats van met leerlingenraden.
2
Hoe aanpakken? Je kan deze oefening laten aansluiten bij het bepalen van je interventiestrategie en na de analyse van actoren (zie andere oefeningen in dit werkboek). Het is goed om deze oefening samen met anderen te doen want het is belangrijk dat je eventuele wijzigingen aan de projectlogica met anderen kan doorpraten. Vertrek van het het materiaal dat je eventueel al verzameld hebt: als je een goede contextanalyse hebt gedaan en de stap van keuze van interventiestrategie goed hebt gedocumenteerd, heb je al heel wat informatie om na te denken over de veronderstellingen van je project. Daarnaast is ook de analyse van actoren van groot belang: hier heb je namelijk de 'supporters' van jouw aanpak geïdentificeerd. Met de analyse voor de meeste geschikte interventiestrategie om een bepaald probleem met jouw ngo aan te pakken, heb je ook al enkele aannames van jouw ngo meer expliciet gemaakt.
68/141
Enkele punten om te onthouden met betrekking tot het bepalen van veronderstellingen en risico's: a) Veronderstellingen zijn een noodzakelijke aanvulling op de (interne) interventielogica van je project: de interventielogica van je project dekt nooit de hele realiteit in al z'n complexiteit. Er zijn externe factoren waar je rekening mee dient te houden want die zullen de effecten van je project beïnvloeden in verschillende mate. Die externe factoren geef je een plek in je logisch kader als externe factoren of veronderstellingen. b) Baseer je op feiten en/of een goede contextanalyse en analyse van actoren: een goede analyse helpt om de juiste veronderstellingen te identificeren. c) Kies de juiste veronderstellingen: veronderstellingen moeten richtinggevend zijn voor je interventiestrategie. d) Veronderstellingen zijn 'managementtools': een goede identificatie van veronderstellingen is essentieel om op een goede manier te kunnen monitoren en te evalueren: wanneer een bepaalde doelstelling niet wordt gehaald, ligt het vaak aan het feit dat men niet de juiste veronderstellingen heeft geïdentificeerd. De veronderstellingen en hun evolutie moet je ook goed opvolgen/monitoren.
3
Stappen
Stap 1: bekijk het materiaal dat er al ligt uit voorbije analyses (probleemboom/doelstellingenboom, bepalen van interventiestrategie, analyse van actoren) en vervolledig de lijst van veronderstellingen gebruik alle informatie die je vindt over aannames en veronderstellingen (en eventuele risico's) waarover werd gesproken/die werden geïdentificeerd; lijst deze informatie op als veronderstellingen en/of risico's. Het kan helpen om eerst te denken in termen van risico's en deze vervolgens te vertalen als veronderstellingen. Bijv. een risico waaraan je denkt is dat bepaalde actoren die diensten moeten leveren (bijv. trainingen geven over versterking van capaciteit) en met wie je een contract afsluit, onvoldoende kwaliteit zullen leveren. De veronderstelling is dan: 'de uitvoerders voor vorming beschikken over voldoende competentie om kwaliteitsvolle training te geven en hun contract uit te voeren'. denk breed: denk aan het functioneren van overheidsinstellingen, private dienstverleners, lokale ngo’s of bestaande Community Based Organisations, scholen, de politieke omgeving, sociale omgeving, culturele omgeving, milieu, veiligheid, ....
Stap 2: maak een selectie van veronderstellingen Een lange lijst veronderstellingen is niet werkbaar. Beperk je tot die veronderstellingen die relevant zijn voor het project! Volgende vragen kunnen je daarbij helpen: draagt deze veronderstelling bij tot een kritische reflectie over onze interventielogica? kunnen we deze veronderstelling preciezer formuleren of blijft het vaag? Gaat deze veronderstelling over voorwaarden waarvan we niet zeker zijn dat ze gerealiseerd zullen worden? Gaat het werkelijk om veronderstellingen die buiten de controle van het project liggen? Indien niet, moet je ze een plek geven in je interventielogica door activiteiten en resultaten opnieuw te formuleren of toe te voegen. om na te denken over veronderstellingen, kan je onderstaand schema gebruiken:
69/141
In de uitgewerkte fictieve voorbeelden, hebben we ook veronderstellingen toegevoegd. We overlopen de redenering voor enkele veronderstellingen
Voorbeeld Zuidwerking
In het voorbeeld van de Zuidwerking worden twee veronderstellingen geformuleerd op het niveau van de resultaten en één op het niveau van de specifieke doelstellingen. De veronderstellingen dragen bij tot een kritische reflectie over de interventielogica: ze kijken bijv. naar elementen van context rond de productie van voedsel; dit aspect stond ook al in de probleemboom: productie werd echter niet opgenomen door de ngo in de strategie omdat haar expertise in landbouw te beperkt was en omdat
70/141
andere ngo's in de regio actief zijn rond productie. De veronderstellingen zijn vrij precies en het gaat om belangrijke voorwaarden waarvan de ngo niet 100% zeker is dat ze gerealiseerd zullen worden. Bovendien liggen de gezondheidsprogramma's van de overheid en de landbouwproductie buiten het project en buiten de controlesfeer van de ngo.
Voorbeeld Noordwerking
In bovenstaand voorbeeld is er slechts één veronderstelling die geldt voor verschillende resultaten. Beide veronderstellingen dragen bij tot een kritische reflectie: het project richt zich niet onmiddellijk tot scholen of gemeenten maar beide kunnen wel een belangrijke rol spelen en een hefboom zijn voor het project. Het zijn ook actoren die buiten het project liggen en buiten de controle van de ngo; de ngo werkt niet direct samen met scholen. Er is wel een akkoord met een andere ngo die een scholenwerking heeft; de afspraak is dat educatief materiaal door deze ngo zal gebruikt worden binnen haar scholennetwerk.
Stap 3: analyseer de risico's: herneem die veronderstellingen waarvan je denkt dat ze waarschijnlijk wel werkelijkheid zullen worden. Analyseer de kans dat ze werkelijkheid zullen worden of beter: de kans op mislukking. Analyseer het (negatief) effect dat ze zullen hebben op het project. Stel je de vraag hoe belangrijk de veronderstellingen zijn voor de realisatie van de doelstellingen. Motiveer de conclusies of 'scores' die je toekent. Je kan voor deze analyse eventueel onderstaand schema gebruiken: De veronderstelling
De kans op mislukking is: (vul aan
In geval van mislukking is het effect :
met hoog (tussen 76 en 100%), substantieel (tussen 51 en 75%), matig (tussen 26 en 50%), beperkt (tussen 0 en 25%)
(vul aan met hoog (tussen 76 en 100%), substantieel (tussen 51 en 75%), matig (tussen 26 en 50%), beperkt (tussen 0 en 25%)
Veronderstelling 1 Veronderstelling 2
71/141
Enz.
Eventueel kan je dat nog uitzetten op een matrix, zoals hieronder wordt aangegeven:
Veronderstellingen die zich situeren in de rechter bovenhoek, worden ook wel 'fatale' veronderstellingen genoemd: die ondergraven eigenlijk volledig de kans op succes. Kom je uit op dergelijk fatale veronderstellingen, dan moet je opnieuw je interventielogica bekijken. Indien je geen oplossing vindt, is de conclusie eigenlijk dat jouw project (of deze interventiestrategie) geen kans op slagen heeft.
Voorbeeld Zuidwerking De veronderstelling
Andere ziekten bij kinderen krijgen voldoende aandacht in de gezondheidscentra De centrale overheid behoudt de aandacht voor ondervoeding en gerelateerde ziekten in haar beleid
De kans op mislukking is: (vul aan met
In geval van mislukking is het effect :
hoog (tussen 76 en 100%), substantieel (tussen 51 en 75%), matig (tussen 26 en 50%), beperkt (tussen 0 en 25%)
(vul aan met hoog (tussen 76 en 100%), substantieel (tussen 51 en 75%), matig (tussen 26 en 50%), beperkt (tussen 0 en 25%)
Matig: de gezondheidscentra hebben al een behoorlijk systeem van dienstverlening Beperkt: de aandacht voor ondervoeding wordt systematisch geïntegreerd in alle beleidsteksten over gezondheid voor moeders en jonge kinderen
hoog
Hoog
In dit voorbeeld lijkt de kans op mislukking beperkt, maar zijn de eventuele gevolgen wel erg negatief voor het project. In dit geval is het essentieel om voldoende aandacht te hebben voor de evolutie van de veronderstellingen, iets om 'in de gaten te houden'; heel concrete maatregelen zijn (nog) niet nodig.
72/141
Voorbeeld Noordwerking De veronderstelling
De school biedt voldoende ruimte aan leerkrachten om met leerlingen klas-en graadoverschrijdende activiteiten en acties op te zetten Er is ruimte bij de gemeenten om initiatieven van jongeren (financieel of anderzijds) te ondersteunen
De kans op mislukking is: (vul aan met
In geval van mislukking is het effect :
hoog (tussen 76 en 100%), substantieel (tussen 51 en 75%), matig (tussen 26 en 50%), beperkt (tussen 0 en 25%)
(vul aan met hoog (tussen 76 en 100%), substantieel (tussen 51 en 75%), matig (tussen 26 en 50%), beperkt (tussen 0 en 25%)
Beperkt: er wordt samengewerkt met een andere NGO die een heel actieve scholenwerking heeft met scholen die openstaan voor initiatieven
Matig: klas-en graad overschrijdende initiatieven bevorderen het sociaal leren en zorgen voor grotere leereffecten, maar activiteiten op klasniveau blijven mogelijk.
Substantieel: de gemeenten in de regio blijven de doelgroep van jongeren belangrijk vinden in hun noordzuidbeleid maar nemen niet makkelijk initiatieven om hen daadwerkelijk te steunen. Gezien de crisis zullen de budgets voor subsidie mogelijk wel afnemen.
Substantieel: een activerend lokaal beleid is belangrijk om de jongeren te mobiliseren ook buiten de schoolwereld: het is een noodzakelijke stap voor een actieve betrokkenheid in de maatschappij.
In dit voorbeeld zijn de risico's iets groter, bijv. op het vlak van de inbreng van gemeenten. Dit risico vraagt om iets meer aandacht (zie hieronder). Er zijn echter geen fatale risico's die het project onmogelijk maken.
Stap 4: denk na over een strategie om risico's te managen en te beheren Bepaal voor iedere veronderstelling/risico welke elementen je in de gaten moet houden. Veronderstellingen kan je best ieder jaar grondig opvolgen: zijn deze veronderstellingen nog valide? Zijn er andere veronderstellingen die je moet toevoegen? De veronderstelling/risico
Wat gaan we opvolgen/monitoren en op welke manier?
Wat doen we in geval van mislukking (eventuele oplossingen en alternatieven)
Veronderstelling 1 Veronderstelling 2 Enz...
Voorbeeld Zuidwerking: In het fictieve voorbeeld van de Zuidwerking, ziet dit er dan uit als volgt: De veronderstelling/risico
Wat gaan we opvolgen/monitoren en op welke manier?
Andere ziekten bij kinderen krijgen voldoende aandacht in de gezondheidscentra
Jaarlijkse cijfers over de dienstverlening in het algemeen opvragen bij de centra en de regionale inspecteurs Opvolgen van beleidsdiscussies via geregeld overleg met andere ngo's die in dezelfde sector actief zijn
De centrale overheid behoudt de aandacht voor ondervoeding en gerelateerde ziekten in haar beleid
Wat doen we in geval van mislukking (eventuele oplossingen en alternatieven) Voorlopig niet aan de orde, gezien beperkt risico
Voorlopig niet aan de orde, gezien beperkt risico
Enz...
73/141
Voorbeeld Noordwerking: In het fictieve voorbeeld van de Noordwerking, ziet dit er dan uit als volgt: De veronderstelling/risico
Wat gaan we opvolgen/monitoren en op welke manier?
De school biedt voldoende ruimte aan leerkrachten om met leerlingen klas-en graadoverschrijdende activiteiten en acties op te zetten Er is ruimte bij de gemeenten om initiatieven van jongeren (financieel of anderzijds) te ondersteunen
Aandacht voor het beleid van de scholen via overleg met de partnerngo
Enz...
74/141
Aandacht voor het beleid van gemeenten via de lokale werking van 11.11.11 en de gemeentelijke adviesraden en via koepels van jeugdhuizen
Wat doen we in geval van mislukking (eventuele oplossingen en alternatieven) Voorlopig niet aan de orde, gezien beperkt risico
Eventueel overwegen om samen met andere actoren naar gemeenten toe te stappen met een concreet aanbod voor jongeren voor de regio
VOORBEELD VAN OXFAM SOLIDARITEIT Hieronder vind je een voorbeeld terug van een tool voor opvolging van risico's van Oxfam Solidariteit. Hypothese
Risico
Mogelijk effect
Effect +++
SD
Probabiliteit +++
Beoordeling
Risicobeheer
R1 R2
Eerste kolom: Noteer enkel Specifieke Doelstelling en Resultaten Tweede kolom: Kopieer de hypothese uit het logisch kader van deel I Derde kolom: Het risico is een externe factor die kan voorvallen en de hypothese kan verzwakken. Het is het antwoord op de vraag: welke externe factoren kunnen ons beletten om de geformuleerde resultaten te bereiken. Vaak betreft het de negatieve formulering van de hypothese. Voor een hypothese zijn een of meerdere risico’s mogelijk. Vierde kolom: mogelijk effect Beschrijf hier de mogelijke effecten indien de risico’s zouden voorvallen Vijfde kolom: effect Noteer hier of de mogelijke gevolgen van het risico algemeen als eerder laag, middelmatig of hoog kunnen beschouwd worden door hier een, twee of drie plusjes (laag, middelmatig, hoog) te zetten. Zesde kolom: probabiliteit Noteer een, twee of drie plusjes om de mate waarin het risico zou kunnen voorvallen, te evalueren. Zevende kolom: de boordeling (kruising van 5de en 6de kolom): beoordeling EFFECT Hoog +++ Matig ++ Zwak + Probabiliteit
RISICOBEHEER
Zwak +
Matig ++
Hoog +++
acceptabel, vereist geen specifieke acties acceptabel maar vergt een specifieke monitoring van de risico’s monitoring en beheer van de risico’s vereist => in dit geval moeten de te ondernemen acties beschreven worden.
75/141
Achtste kolom: risicobeheer Indien in de zevende kolom een
staat, moeten hierin de acties beschreven worden die
ondernomen zullen worden om de risico’s te beheren.
Oxfam Solidariteit heeft ook richtlijnen ontworpen voor medewerkers om de analyse van veronderstellingen en risico’s goed te doen. Hierbij gaat ook veel aandacht naar capaciteit van partners en diverse actoren om taken en rollen op zich te nemen.
4
Wat doe je met de informatie uit deze oefening? Je hebt nu beter zicht op de beperkingen van je project en kansen dat je de doelstellingen kan realiseren. Je kan de kolom met veronderstellingen in het logisch kader invullen. Formuleer de veronderstellingen als voorwaarden die vervuld zijn. Je bent verplicht om na te denken over de formulering van je resultaten: is die voldoende duidelijk, moet ik andere resultaten formuleren, .... en over je activiteiten: zijn er activiteiten (en budget) die ik moet toevoegen? Je krijgt een logisch kader en een interventielogica die meer realistisch is en waarbij je risico's (die nu eenmaal inherent zijn aan het ontwikkelingswerk) niet uitsluit maar aanvaardt. Veranderingsprocessen zijn nu complex en risicovol. Je krijgt een extra managementtool in handen: de formulering van veronderstellingen en risico's staat je toe om beter te monitoren.
76/141
Werkblad: samenvatting van het denken rond veronderstellingen en risico’s Auteur: Datum: Deelnemers: 1. Geef het overzicht van veronderstellingen
2. Geef de belangrijkste elementen weer van de discussie over risico's
(de motivaties voor de eventuele scores)
3. Geef aan wat je eventueel al hebt aan elementen voor een risico-management strategie
4. Vermeld welke documenten en mensen je geconsulteerd hebt
5
Hoe ga je verder? Gebruik de informatie om een overzicht te maken van de risico's en de manier waarop je ze gaat opvolgen. Bekijk eventueel ook op dezelfde manier risico's op het vlak van uitvoering van het project en op het niveau van de activiteiten.
77/141
LEIDRAAD 2: SYSTEMATISCHE EN KRITISCHE LEZING VAN EEN LOGISCH KADER Na de formulering van je project, heb je een logisch kader. Je kan deze leidraad gebruiken om het logisch kader te lezen en de kwaliteit ervan te checken. 1. Inleiding 2. Overzicht van vragen in checklist 3. Checklist logisch kader
1
Inleiding
Als nieuwe medewerker, krijg je wellicht een logisch kader van je programma onder de neus geschoven. Dat logisch kader zou je snel duidelijk moeten maken waar het programma of project over gaat. Een systematische ‘lezing’ kan helpen om het logisch kader/project snel te doorgronden en er ook kritisch naar te kijken: wat is duidelijk en wat minder duidelijk, wat mis je, … De vragen of bedenkingen die je hebt bij een logisch kader kunnen je helpen om binnen je ngo gericht op zoek te gaan naar de informatie die je nodig hebt om je taak goed uit te kunnen oefenen. De hieronder staande vragen en het werkblad kunnen je hierbij helpen. De achtergrond over logische kaders vind je terug in het ‘Werkboek: achtergrond en toelichting’, deel over formulering.
2
Overzicht van vragen in checklist 1) 2) 3) 4) 5) 6) 7) 8) 9) 10) 11)
3
Welk probleem wil dit project aanpakken? Kan jij het probleem definiëren? Is het duidelijk wie te maken heeft met het probleem? Is de interventie en de resultatenketen logisch? Wijzen resultaten en specifieke doelstellingen echt op veranderingen? (resultaatsgerichtheid) Zijn de verwachte resultaten realistisch? Zijn de indicatoren goed gekozen: kunnen ze informatie geven over de realisatie van resultaten en doelstellingen? Bronnen van toetsing: gaat het echt om bronnen waar je informatie kan terug vinden over indicatoren? Gaan de veronderstellingen over elementen die buiten de invloedssfeer van het project liggen of waarvoor het project geen verantwoordelijkheid kan/wil dragen? Zijn er risico’s vermeld en maatregelen om die te managen? Taal: hoe helder is het taalgebruik? Met welke vragen blijf je zitten? En: wat moet er nu verder gebeuren volgens jou?
Checklist logisch kader
De vragen zijn ingedeeld per blok. We zien 6 blokken: problemen, interventielogica, indicatoren en opvolging, elementen die de uitvoering en de resultaten van het project ondersteunen (hypothesen of hefbomen) of in gevaar brengen (risico’s), taalgebruik en andere. We hernemen de vragen en voegen subvragen toe om de ‘lezing’ te ondersteunen.
78/141
I.
Problemen
1. Check of de probleemstelling duidelijk is: welk probleem wil dit project aanpakken? a. Kan jij het probleem definiëren en de oorzaken helder krijgen op basis van dit logisch kader? b. Tip: draai het logisch kader om naar een probleemboom: specifieke doelstelling is het basisprobleem, resultaten zijn oorzaken. c. Houdt dit volgens jou steek? 2. Check of duidelijk is voor dit een probleem is? a. Is het duidelijk voor wie dit probleem een probleem is (doelgroep en eindbegunstigden)? b. Kan je afleiden uit de formulering of men de doelgroep zelf beschouwt als een probleem of als een deel van de oplossing? c. Hoe gender-sensitief is de formulering? En hoe belangrijk is dat voor dit project?
Noteer antwoord en eventuele bemerkingen/vragen
II.
Interventielogica
3. Check de logica: a. Is de interventie en de resultatenketen logisch? b. Zullen de activiteiten leiden tot concrete resultaten en kunnen die resultaten bijdragen tot de realisatie van de specifieke doelstelling? c. Geloof jij erin? d. Zie je echt verschillende niveaus of zijn doelstellingen hetzelfde als resultaten die een beetje anders geformuleerd zijn? Z e. ijn er incoherenties: bijv. activiteiten die nooit kunnen leiden tot een bepaald resultaat, onevenwicht tussen resultaten? f. Zijn er elementen die volgens jou ontbreken: bijv. resultaten waar nauwelijks activiteiten voor gepland zijn?
Noteer antwoord en eventuele bemerkingen/vragen
4. Check of het logisch kader resultaatsgericht is: a. Wijzen resultaten en specifieke doelstellingen echt op veranderingen? b. Zijn resultaten echt gericht op processen van verandering bij de doelgroep en eindbegunstigden? c. Of zijn de resultaten eigenlijk eerder activiteiten en gaan ze over de input: dat wat je moet doen om resultaten te boeken?
Noteer antwoord en eventuele bemerkingen/vragen
5. Check de haalbaarheid: a. Zijn de verwachte resultaten realistisch? b. Kan de ngo voldoende invloed uitoefenen op de realisatie van deze resultaten (sphere of control and influence). c. Wat denk je? Geloof je erin?
Noteer antwoord en eventuele bemerkingen/vragen
79/141
III.
Indicatoren en opvolging
6. Check de keuze en formulering van indicatoren: a. Zijn de indicatoren goed gekozen: vertellen ze wat gemeten zal worden? b. Zijn de indicatoren voldoende SMART en gender-sensitief? c. Is het voldoende duidelijk hoe men de voortgang van het project jaarlijks inschat? d. Biedt dit logisch kader kans op een goede opvolging van voortgang ten aanzien van resultaten en doelstellingen? e. Zijn er teveel of te weinig indicatoren?
Noteer antwoord en eventuele bemerkingen/vragen
7. Check de bronnen van toetsing en verificatie: a. gaat het echt om bronnen waar je informatie kan terug vinden over indicatoren? b. Wat is de balans tussen eigen bronnen (van de ngo of de partner) en externe (meer onafhankelijke) bronnen? c. In welke mate moet de ngo specifieke instrumenten ontwikkelen om gegevens te kunnen verzamelen? d. Lijkt jou dat haalbaar/doenbaar?
Noteer antwoord en eventuele bemerkingen/vragen
IV.
Elementen die projectuitvoering en resultaten (kunnen) beïnvloeden
8. Check de veronderstellingen: a. Gaan de veronderstellingen over elementen die buiten de invloedssfeer van het project liggen of waarvoor het project geen verantwoordelijkheid neemt? b. Voegen de veronderstellingen waarde toe aan het logisch kader en de interventielogica of gaat het eerder over algemene veronderstellingen als ‘klimaatsverandering’ of ‘uitbreken van een conflict’? Afwezigheid van oorlog is natuurlijk een belangrijk conditie voor het kunnen uitvoeren van een project, maar als het niets toevoegt aan de interventielogica, laat je het beter weg (je kan het wel opnemen in de contextanalyse).
Noteer antwoord en eventuele bemerkingen/vragen
9. Zijn er risico’s vermeld en maatregelen om die te managen?
Noteer antwoord en eventuele bemerkingen/vragen
V.
Taal
10. Check het taalgebruik: a. Is het taalgebruik helder en precies? b. Wordt er veel vaag of wollig taalgebruik toegepast? c. Wordt er vaak hetzelfde gezegd met andere woorden?
80/141
Noteer antwoord en eventuele bemerkingen/vragen
VI.
Andere
11. Met welke vragen blijf je zitten? En: welke stappen moeten volgens jou ondernomen worden om (i) het project beter te begrijpen, (ii) eventueel op termijn bij te sturen.
Noteer antwoord
81/141
OEFENING 6: OPMAAK EN MONITORING VAN EEN PROJECTBUDGET Je hebt een project geformuleerd met doelstellingen en resultaten in een logisch kader. Vervolgens moet je nog activiteiten bedenken en een budget opstellen. Deze oefening helpt je om rekening te 4 houden met de voorschriften van DG-D. De oefening is als volgt uitgewerkt: 1. Inleiding 2. Toelichting bij de aanpak 3. Stappen 3.1 Voorbeeld project – Noord 3.2 Voorbeeld project – Zuid 4. Samenwerking: hoe rekening mee houden in het Zuiden 5. Hoe ga je verder? Monitoring! Deze oefening werd concreet uitgewerkt met concrete voorbeelden uit de Noord- en de Zuidwerking die we ook in andere oefeningen gebruikten. Het logisch kader van deze fictieve projecten maakt deel uit van het materiaal in dit werkboek; je vindt er voor deze fictieve projecten de doelstellingen, resultaten, activiteiten, veronderstellingen en indicatoren terug. Het gaat concreet om: Project in het Zuiden: voedselzekerheid en ondervoeding van kinderen, (verder) uitgewerkt als gezondheidsproject Project in het Noorden: versterken van maatschappelijk draagvlak voor de NoordZuidproblematiek, (verder) uitgewerkt als project voor versterking van betrokkenheid van schoolgaande jongeren bij de Noord-Zuidproblematiek. We werken in deze oefening met enkele activiteiten van deze fictieve projecten om één en ander te concretiseren.
1
Inleiding: ngo-begroting en DG-D
De opmaak van een budget van een project komt nadat het logisch kader werd opgemaakt en op hetzelfde moment als de operationele planning. Om te komen tot het logisch kader, heb je reeds stil gestaan bij de vragen:
Wat zijn de doelstellingen/resultaten van het project? Wat zijn de activiteiten die nodig zijn om te komen tot deze doelstelling? Is het resultaat realistisch?
Om te komen tot het projectbudget moet je een stapje verder gaan en antwoorden vinden voor:
4
Wat zijn de middelen die nodig zijn om deze activiteiten uit te voeren? Wat kosten deze middelen? Wie zal deze middelen financieren?
Deze oefening kon uitgewerkt worden dankzij de inbreng van An Vanhulle van de NGO-federatie.
82/141
Verzamel al de informatie die nodig is om op deze vragen te antwoorden. Als je hierbij partners betrekt zal dit niet enkel leiden tot een beter budget, maar zal het ook het eigenaarschap van het project bij de partner vergroten! Als je project door DG-D gefinancierd wordt, dan ben je verplicht voor de begroting een vast schema te gebruiken waarin de kosten onderverdeeld worden per land, per partner en regiokantoor, per specifieke doelstelling, per resultaat, per kostensoort (operationele-, beheers- en structuurkosten), per rubriek (investeringen, werking en personeelskosten). We werken hieronder verder met deze schema’s. Bovendien moet je rekening houden met beperkingen bij budgetverschuivingen en niet subsidieerbare uitgaven. We proberen deze informatie te verwerken in de voorbeelden hieronder, maar het volledig overzicht van de regelgeving vind je op: www.ngo-federatie.be > subsidies en regelgeving. We geven hierbij nog kort toelichting bij kostensoorten en rubrieken: Kostensoort Operationele kosten
Wat is dit? Definitie Dit zijn kosten die inherent, noodzakelijk en onmisbaar zijn om één of meerdere resultaten van het project of programma te verwezenlijken. Deze kosten verdwijnen bij stopzetting of beëindiging van het project of programma. Alle kosten die onder deze categorie vallen kunnen aan 1 of meer resultaten van een specifiek project of programma, toegewezen worden.
Deze kosten worden nog onderverdeeld in personeelskosten, werkingskosten en investeringskosten. Wat je waar zet, spreek je best af intern in de organisatie met de financieel verantwoordelijke Beheerskosten
Dit zijn isoleerbare kosten met betrekking tot de omkadering, de coördinatie, de evaluatie, de opvolging, de monitoring, de controle,...gemaakt bij de uitvoering van het project of programma. Al deze kosten zijn direct en eenduidig toewijsbaar aan het project of programma en bijgevolg verdwijnen deze kosten bij stopzetting of beëindiging van het project of programma.
Waar kan het bijv. over gaan? In de voorbeelden hierna gaat het over: loon educatief medewerker, transportkosten, productiekosten van materiaal… Bij Noordwerking moet je goed kunnen verantwoorden dat telefoonkosten en geen structuurkosten zijn, maar effectief uitsluitend nodig zijn voor de uitvoering van het programma of project. Bij Zuidwerking zijn alle kosten die gemaakt worden door de partner in het Zuiden aanvaard als operationele kosten, ook al zijn die volgens de definitie operationeleen beheerskosten. Evaluatiekosten, alle kosten van en voor coördinatiebureaus in het Zuiden, kosten die specifiek door de donor opgelegd worden in het kader van haar subsidie,…
Deze kosten worden nog onderverdeeld in personeelskosten, werkingskosten en investeringskosten. Wat je waar zet, spreek je best af intern in de organisatie met de
83/141
financieel verantwoordelijke Structuurkosten
Dit zijn kosten met betrekking tot het realiseren van de sociale doelstelling van de ngo en die, hoewel beïnvloed door de voorbereiding en de uitvoering van het project of programma, niet isoleerbaar zijn van, noch rechtstreeks aan te rekenen zijn aan het project of programma. De structuurkosten worden omschreven als de kosten die het de ngo mogelijk maken om haar beheersstructuur te handhaven en er de dagelijkse werking van te verzekeren en die samenhangen met de activiteiten van ontwikkelingssamenwerking.
Het onderscheid tussen personeels-, werkings- en investeringskosten is hier niet van tel.
2
Voorbereidingskosten voor het project of programma zoals haalbaarheidsstudie, zoeken partners, het opstellen van het subsidiedossier; Lonen of honoraria voor directie, administratieve en financiële diensten, onderhoudsploeg; Huur, onderhoud verwarming, gas, elektriciteit en water van bureaus voor de zetel; Telefoon, fax, internet, briefwisseling; Bureelbenodigdheden, papierwaren, informaticamateriaal en bureaumeubelen; Verplichte algemene verzekering; Kosten voor sociaal secretariaat, aanwerving en vorming personeel; Kosten ter voorbereiding van gemengde bilaterale commissies van de Belgische overheid en de technische opvolgingscommissies ervan, kosten verbonden aan overlegvergaderingen georganiseerd door de overheid, de vakbonden, de federaties; Kosten van de audit van de ngo.
Hoe pak ik dit aan?
Organiseer je Het proces om te komen tot een goed onderbouwd budget kan je best met partners, projectbeheerders en financieel personeel samen ondernemen. Het kan zeker niet alleen aan de boekhouder overgelaten worden! Bepaal hoe en wie informatie zal verzamelen om te komen tot het volledige kostenplaatje van je project.
Maak een timing Er zijn verschillende stappen om te komen tot een budget. Een aantal gaan aan het financieel gedeelte vooraf zoals het plannen van de activiteiten met partners en andere leden van de staf. Je moet kosten inschatten, offertes opvragen, overleggen met donoren wat ze financieren of opzoeken in de regelgevingen wat aanvaardbaar is voor bepaalde donoren,… En al deze informatie van de deelbudgetten moet samenkomen in een masterbudget.
84/141
Het is dus zeer zinvol om een tijdsschema op te maken wanneer welke stap georganiseerd is zodat je zeker op tijd begint! Maak aantekeningen Aangezien jouw budget door veel mensen bekeken en gebruikt zal worden (voor verschillende doeleinden) moet het gelezen kunnen worden zonder veel extra uitleg: DGD, RvB van jouw NGO, partners, projectverantwoordelijken – vaak meerdere gedurende de duur van het project door personeelswissels – financieel verantwoordelijken, diensthoofden… zijn allemaal op een bepaald moment geïnteresseerd in het budget. Maak daarom duidelijke berekeningen en zorg dat nota’s met uitleg beschikbaar zijn over de berekeningen die je gebruikt. Link deze informatie aan het budget zodat ze niet verloren gaat.
Schatten van kosten Het is belangrijk om de berekeningen van de geschatte kosten te verantwoorden. Het budget van vorig jaar kan hiervoor een belangrijke bron van informatie zijn, maar het kan je ook een stuk misleiden. Voor elk van de middelen moet je berekenen wat ze voor het project zullen kosten. Bij een aantal kosten (vooral investeringen) kan het zijn dat deze ook gebruikt worden voor andere activiteiten. Is dit het geval, dan wijs je een % van de totale kost toe aan de betreffende activiteit.
Gebruik consistente omschrijvingen Basis is hiervoor het rekeningstelsel dat binnen jouw ngo gebruikt wordt. Als je systematisch dezelfde benamingen gebruikt dan kan vanuit de boekhouding op een eenvoudige manier een budgetopvolging gebeuren en is het ook makkelijker om alle deelbegrotingen samen te brengen tot één groot master budget. Bekijk dit samen met de financieel verantwoordelijke.
Pas op met onvoorziene kosten Je kan geen lijn toevoegen met “onvoorziene kosten”. Deze worden door de meeste donoren (bijv. DGD) niet gesubsidieerd, maar dit is ook geen goede praktijk om een budget op te stellen. Een budget gaat over geplande activiteiten, het onvoorziene heb je niet gepland en daar kan je ook geen kosten voor ramen. Als je vreest dat een bepaalde activiteit risico’s inhoudt – die de ngo ook wenst te nemen – dan kan je daar wel voorzieningen voor aanleggen, maar geen kosten voor begroten. Je kan wel bij bepaalde kostensoorten een % toevoegen als een kleine buffer. Omschrijf dit ook bij de budgetlijn. Pas hiermee op, want als iedereen dit toepast krijg je een “opgeblazen” budget dat je nooit zal kunnen realiseren en verantwoorden.
Vergeten kosten Vergeet de zogenaamde ‘vergeten kosten’ niet. inschatten van een project zoals:
Vaak worden bepaalde kosten vergeten bij het
Bepaalde personeelskosten (selectie, vorming, extra legale voordelen…); Opstartkosten; Structuur of beheerskosten (huur, verzekering, …); Onderhoudskosten (wagens, kopiemachines, computers, ..); Auditkosten…
85/141
Vaak zijn dit ook kosten die door donoren (DG-D) niet of slechts beperkt gefinancierd worden. Toch neem je ze best op in je budget, want anders zijn er straks geen centen om ze te financieren. Houd rekening met de DG-D regelgeving De DG-D regelgeving schrijft voor hoe je de kosten moet voorstellen (in een schema), wat kan gefinancierd worden en in welke mate en welke voorwaarden er zijn (bijv. partnerovereenkomsten). We overlopen de voornaamste voorschriften en verwijzen telkens door naar meer informatie op de website van ngo-federatie via een link. Het schema waarbinnen je de kosten moet voorstellen. De beperkte financiering door DG-D voor beheerskosten en structuurkosten. De kosten die DG-D niet wil financieren = 44 niet subsidieerbare uitgaven (acronym NSU) die allemaal genummerd zijn zoals NSU18 zoals tweedehandsmateriaal, NSU25 kosten van consultants > 500 €, NSU26 kosten van >5500 € waar geen offertes voor zijn aangevraagd,… Verplichting om partnerovereenkomsten (Zuiden) en samenwerkingsovereenkomsten (Noorden) op te maken. Verplichte kosten voor ngo-coöperanten.
Nog even herinneren dat je kosten moet indelen per luik (Noord en Zuid), per land, per partner en regiokantoor, per specifieke doelstelling, per resultaat, per kostensoort (operationele-, beheers- en structuurkosten), per rubriek (investeringen, werking en personeelskosten). Per land + per partner
Specifieke doelstelling 1 Resultaat 1
Resultaat 2
Resultaat x
Operationele kosten investeringen werkingskosten personeelskosten
Beheerskosten investeringen werkingskosten personeelskosten
Dus naast de kosten die je invult per luik in bovenstaand schema heb je nog structuurkosten die globaal worden toegewezen aan het project of programma. Daarnaast moet je rekening houden dat bepaalde kosten aan voorwaarden onderworpen zijn: Niet subsidieerbare uitgaven Personeelskosten Noord – maximale subsidieerbare loonkost Coöperanten – verplichte kosten Elke kost moet om aanvaardbaar te zijn, ook:
86/141
Opgenomen zijn in een goedgekeurde begroting; Gestaafd worden door een verantwoordingsstuk; Identificeerbaar en controleerbaar zijn; Gemaakt worden tijdens de duur van het project of programma; Opgenomen zijn in de boekhouding van ngo of van de partner; Niet te laste zijn van één of meerdere andere donoren.
3
Stappen
3.1
Voorbeeld project - Zuid
We gaan ervan uit dat je afspraken hebt gemaakt met alle betrokken actoren voor het resultaat waarvoor je het budget wil opmaken en dat je deze in een timing hebt opgenomen.
Stap 1: samen met de partners heb je de doelstelling, resultaat en activiteiten bepaald voor het logisch kader. Hieronder vind je de doelstellingen, resultaten en activiteiten terug die we uitwerkten in het fictieve voorbeeld. We kozen één activiteit uit om de richtlijnen van DG-D te verduidelijken. De betrokken partners zijn in dit geval het lokale kantoor van jouw ngo en eventueel de lokale ngo’s die een rol zullen spelen. Uit dit overleg kan mogelijk blijken dat je duidelijker moet zijn over het aantal lokale spaargroepen dat je gaat laten begeleiden door de lokale ngo’s: gaat het bijvoorbeeld om 120 lokale groepen (met gemiddeld 50 deelnemers) in een klein gebied of om 50 groepen met gemiddeld 100 deelnemers in een heel groot gebied. Deze vraag hebben we verder niet opgenomen in de uitwerking van de oefening.
Algemene doelstelling: verminderde groei en ontwikkeling bij kinderen is teruggedrongen in de regio 5
(ruraal gebied) van XX in land XX op een periode van het project/programma .
Specifieke doelstelling: het % kinderen onder de vijf jaar dat lijdt aan chronische ondervoeding is teruggedrongen
Resultaat: huishoudens in de regio XX sparen en zijn in staat om te betalen voor gezondheidszorg Activiteit: Capaciteitsversterking van huishoudens rond sparen: twee lokale ngo’s gespecialiseerd in werken met boeren en huishoudens sensibiliseren vrouwen en mannen rond sparen en ondersteunen de vorming en werking van lokale spaargroepen.
Stap 2: je zit samen met de betrokkenen om te kijken welke middelen nodig zijn om deze activiteit te realiseren. Middelen: het gaat om middelen voor de werking van de 2 lokale ngo’s en om middelen voor opvolging voor jullie lokale kantoor (zie laatste puntje):
5
Verplaatsingsonkosten voor bijeenkomsten met doelgroep; Schrijf en papier materiaal/educatief materiaal voor sensibilisering en vorming; Lonen 4 animatoren ngo’s; 2 motorfietsen; Kosten voor benzine (verplaatsingen naar doelgroepen en contacten met lokale banken); 1 laptop en programma voor gegevensverwerking; Stuk coördinatorkost bij elke lokale ngo die de begeleiding zal doen (2 ngo’s): loon en 10% werkingskost;
Dat is 3 jaar voor een programma en maximaal 2 jaar voor een project (volgens het subsidiekader van DG-D)
87/141
Telefoonkaarten voor animatoren; Opvolging door eigen ngo-kantoor: 5% tijd van 1 FTE ter plaatse. Stap 3: je schat, berekent en beschrijft wat deze middelen kosten Hieronder maken we een schatting van de middelen die hierboven werden opgelijst. We staan ook stil bij welk soort kosten het zijn. Verplaatsingsonkosten voor bijeenkomsten met doelgroep: in het vorige project heb je in totaal 1.500 € besteed aan verplaatsingskosten. Er was 2.000 € begroot, maar uiteindelijk lag de deelname lager dan verwacht. Dit keer heb je echter extra animatoren voorzien om de doelgroep te motiveren voor deelname en verwacht je een verdubbeling van de deelname, dus ligt de kost hoger 3.000 €. Je houdt ook rekening met een stijging van de benzineprijzen van 10%. Operationele kosten Werkingskosten Opmerkingen: geen
Omschrijving Verplaatsingsonkosten
Budget 3.000 €
Schrijf en papier materiaal/educatief materiaal voor sensibilisering en vorming: vorig project heb je 10.000 € besteed. Aangezien gekozen was voor duurzaam educatief materiaal (aandeel 7.000 € van de 10.000 €, informatie die je teruggevonden hebt in de nota’s van het vorig project) – kan het gros van dit materiaal opnieuw gebruikt worden. Je maakt wel enkele handleidingen over een nieuw thema rond sparen wat ongeveer 1.000 € zal kosten. Het papier en schrijfmateriaal zal in aandeel stijgen want je verwacht dubbel zoveel deelnemers: 3.000 € x 2. Operationele kosten Omschrijving Budget Werkingskosten Educatief materiaal 7.000 € Opmerkingen: hou rekening met door DGD niet subsidieerbare kosten: NSU26 ivm offertes! Lonen 4 animatoren ngo’s: loonkost van elke animator, lokaal personeel, rekening houdende met verwachte loonstijgingen, vervoer woon-werk, verzekeringen… Operationele kosten
Omschrijving Budget 4 animatoren 41.372 € Opmerkingen: hou rekening met door DGD maximaal gesubsidieerde lonen Personeelskosten
Kosten voor benzine: 4 animatoren x 10 verplaatsingen per week aan 2 € per traject x 40 weken. Operationele kosten Werkingskosten
Omschrijving Benzine
Opmerkingen: geen 2 motorfietsen: uit offertes 7.500 € x 2.
88/141
Budget 3.200 €
Operationele kosten Omschrijving Budget Investeringen 2 motorfietsen 15.000 € Opmerkingen: Hou rekening met door DG-D niet subsidieerbare kosten: NSU18 in verband met tweedehandsmateriaal, NSU26 in verband met offertes. Hou rekening met verplichting door DG-D om investeringen over te dragen aan de partner op het einde van het project. Dit moet opgenomen worden in de partnerovereenkomst Investering in het begin van het project/programma 1 laptop en programma voor gegevensverwerking; uit offertes 1000 € laptop + 300 € programma. Operationele kosten Investeringen
Omschrijving 1 laptop en programma gegevensverwerking Opmerkingen: investering in het begin van het project/programma
Budget 1.300 €
Stuk coördinatorkost bij lokale ngo: loon en 10% werkingskost. Deze omschrijving is moeilijk in cijfers uit te drukken. 10% van alle werkingskosten die de lokale ngo heeft? Wanneer? Voor aanvang project, tijdens? Ook voor de verantwoording kom je hier in de problemen. Voor DG-D moet je verantwoordingsstukken kunnen voorleggen. 10% werkingskosten van de lokale partner is mogelijks moeilijk te verantwoorden. Je spreekt beter een forfait af met de partner waarvoor hij verantwoordingstukken zal afleveren of je spreekt af welke kosten je zal dragen (audit, boekhouding, telefoonkosten, onderhoud,…). De afspraak in dit voorbeeld komt neer op een budget van 2.000 € personeelskosten en 2.000 € werkingsmiddelen. Operationele kosten Omschrijving Budget Werkingskosten Coördinatie forfait partner 2.000 € Personeelskosten Coördinatie forfait partner 2.000 € Opmerkingen: Hou rekening met het feit dat DG-D deze kosten gemaakt door de lokale partner beschouwd als operationele kosten. Diezelfde kosten gemaakt door het regiokantoor zijn beheerskosten Telefoonkaarten voor animatoren; in het verleden 750 € x 2 want dubbel zoveel deelname door verhoogde inzet animatoren Operationele kosten Omschrijving Budget Werkingskosten Telefoonkosten 1.500 € Opmerkingen: hou rekening met door DG-D niet subsidieerbare kosten: NSU35 in verband met telefoonkaarten. Opvolging door regiokantoor: 5% tijd van 1 FTE ter plaatse: 5% kost ngo-coöperant van 32.617 euro. Beheerskosten
Omschrijving Budget Coördinatie regiokantoor 1.630 € Opmerkingen: Hou rekening met door DG-D opgestelde barema’s voor NGO-coöperanten Personeelskosten
89/141
Stap 4: zorg voor coherente omschrijvingen Vraag naar het rekeningstelsel dat gebruikt wordt binnen je organisatie op aan de financieel verantwoordelijke. Dit geeft je duidelijk zicht op de gebruikte omschrijvingen voor diverse kosten. Dit laat je toe om consistent te blijven over verschillende projecten heen.
Voorbeeld: Post 615110 boekhoudplan: verplaatsingskosten buitenland Omschreven als: vervoerskosten voor alle reizen die hun vertrek- en/of eindpunt buiten België hebben, zowel met openbaar vervoer als met eigen wagen, voor personeel en externen. Dit betekent dat “verplaatsingsonkosten voor bijeenkomsten met doelgroep” en “kosten voor benzine (verplaatsing naar doelgroepen en contacten met lokale banken)” samengebracht moeten worden onder de budgetpost: verplaatsingskosten buitenland
Stap 5: neem de kosten op in het DG-D-voorstellingsschema. Het is belangrijk om hier het onderscheid te maken tussen projecten en programma’s.
Voorbeeld Projecten Voor projecten heb je in het voorstellingsschema van een Zuidproject bij punt 2.4. Logisch kader ook een schema voor de beschrijving van de middelen. Voor de operationele kosten moeten per activiteit de middelen omschrijven worden. Voor beheerskosten moet je de middelen onderverdelen in investeringen, werking en personeelskosten. Bij projecten moet hier reeds een waarde gegeven worden aan de middelen.
Ingevuld voor ons resultaatvoorbeeld als project, ziet het schema er zo uit: Resultaten
Middelen
Operationele kosten Resultaat 1: huishoudens in de regio XX sparen en zijn in staat om te betalen voor gezondheidszorg Activiteit 1: 2 motorfietsen Capaciteitsversterking 1 laptop en programma voor gegevensverwerking
90/141
Kosten
€ 69.372
van huishoudens rond sparen: twee lokale NGO’s gespecialiseerd in werken met boeren en huishoudens sensibiliseren vrouwen en mannen rond sparen en ondersteunen de vorming en werking van lokale spaargroepen
Verplaatsingsonkosten doelgroep
voor
bijeenkomsten
met
Schrijf en papier materiaal/educatief materiaal voor sensibilisering en vorming Lonen 4 animatoren lokale ngo’s Kosten voor benzine (verplaatsingen naar doelgroepen en contacten met lokale banken) Stuk coördinatorkost bij lokale ngo 1 en 2: werkingskost Stuk coördinatorkost bij lokale ngo 1 en 2: loon Telefoonkaarten voor animatoren
Beheerskosten Investeringen Werkingsmiddelen Personeel
Opvolging door eigen ngo-kantoor: 5% van1 VTE
€ 1.630
De subsidie die je ontvangt voor beheerskosten wordt berekend op het totaal van de directe kosten (= beheerskosten + operationele kosten samen) van het project of programma. In theorie varieert dit tussen 5% en 10% en dit voor het geheel van het project of programma (dus niet per activiteit!). In ons voorbeeld hier hebben we de totale directe kosten van 69.372 € + 1.630 € = 71.002 €. Dus de beheerskosten zijn ruim onder de 5%. Als je na een eerste berekening vaststelt dat je beheerskosten hoger liggen dan 10 % kan je dit best met de financieel verantwoordelijke bespreken.
Voorbeeld Programma’s Beheerskosten Voor programma’s heb je in het voorstellingsschema bij punt 1.2.5. Budget beheerskosten (Tabel 2) eerst het schema waar het budget van alle beheerskosten van het hele programma in samengebracht worden, gevolgd door een schema met de beknopte beschrijving van dit budget.
Operationele kosten In het Zuidluik volgt onder elke specifieke doelstelling bij punt 3.1.2. Logisch kader gevolg door de beschrijving van de middelen voor de activiteiten van de beschreven doelstelling. Hier wordt enkel een omschrijving gevraagd, geen kostprijs.
91/141
De kosten worden opgenomen in tabel 4 onder punt 3.1.3 Budget operationele kosten. Hier worden alle kosten van alle resultaten binnen dezelfde specifieke doelstelling samengebracht, uitgesplist per jaar. Onder totaal zie je dat er 1 lijn is voorzien per resultaat.
Kalender van de verwezenlijkingen Voor programma’s moet ook een kalender van de verwezenlijkingen voor het geheel van het programma gegeven worden en dit per semester. Dit is belangrijk als bijv. bij het begin van het programma investeringen gepland zijn. Hierdoor krijgt de ngo in het eerste semester meer middelen om aan de behoefte te voldoen. Deze tabel is niet enkel belangrijk voor DG-D om te weten hoeveel per semester aan de ngo moet uitbetaald worden, maar kan ook de basis zijn voor een liquiditeitsbudget van je project! Een liquiditeitsbegroting is het overzicht per maand van de inkomsten en uitgaven. Dit geeft je een zicht hoeveel geld je beschikbaar hebt binnen deze periode voor de geplande aankopen. In ons voorbeeld gaat het om de motorfietsen 15.000 €, laptop 1.000 € en software 500 € die in het begin aangekocht worden. Als je die kosten uitzet over de tijd van het project (3 jaar) voor dit resultaat, dan krijg je het volgende: Operationele kosten per semester: 69.372 € -16500 € investeringen / 6 = 8.812 € Beheerskosten per semester: 271,5 € Semester 1
Semester 2
Semester 3
Semester 4
Semester 5
Semester 6
25.583,6 € (= 8.812 + 16500 + 271,6)
9.083,6 € (= 8.812 + 271,6 €)
9.083,6 €
9.083,6 €
9.083,6 €
9.083,6 €
92/141
3.2
Voorbeeld project - Noord
We gaan ervan uit dat je afspraken hebt gemaakt met alle betrokken actoren voor het resultaat waarvoor je het budget wil opmaken en dat je deze in een timing hebt opgenomen.
Stap 1: samen met de partners heb je de doelstelling, resultaat en activiteiten bepaald voor het logisch kader Hieronder vind je de doelstellingen, resultaten en activiteiten terug die we uitwerkten in het fictieve voorbeeld. We kozen één activiteit uit om de richtlijnen van DG-D te verduidelijken.
Algemene doelstelling: druk op de overheid vanuit jongeren om meer aandacht te besteden aan de Noord-Zuid problematiek is versterkt.
Specifieke doelstelling: Betrokkenheid van schoolgaande jongeren tussen 12 en 18 jaar bij de NoordZuidproblematiek is toegenomen.
Resultaat: jongeren in XX scholen verbinden de Noord-Zuidproblematiek met hun eigen leven en zien waar ze zelf kunnen bijdragen aan een meer solidaire wereld.
Activiteit: opzetten van concrete samenwerking met ngo X en haar scholenwerking , meer bepaald overleg en uitwisseling tussen beide ngo’s, organiseren van 5 vormingen (per provincie) voor leerkrachtenteams’ (voorbereiden van aanpak en modules, geven van de vorming).
Stap 2: je zit samen met de betrokkenen om te kijken welke middelen nodig zijn om deze activiteit te realiseren Middelen: het gaat over de middelen voor de activiteit, waarvoor de kosten gedeeltelijk gedragen worden door jouw ngo en gedeeltelijk door ngo X waar je een samenwerking mee aangaat.
40% van een VTE voor de eigen ngo; Transportonkosten (overleg); Telefoonkosten; Verzendingskosten; Voor vormingen voor leerkrachtenteams in iedere regio (5 vormingen per provincie): eigen ngo neemt kosten zaalhuur, koffie, broodjes, documentatiemap voor eigen rekening en een deel personeelskost voor de voorbereiding van de modules (zit in de 20% van hierboven). ngo X bereidt mee de aanpak en de modules voor en geeft zelf de vorming (40% van een VTE is voor deze activiteit hun inzet, op hun budget). Om te weten hoe je deze verdeling met een andere ngo opneemt in je budget, kijk verder onder punt 5.
Stap 3: je schat, berekent en beschrijft wat deze middelen kosten Hieronder maken we een schatting van de middelen die hierboven werden opgelijst. We staan ook stil bij welk soort kosten het zijn. We beginnen met de personeelskosten: 40% van een VTE voor de eigen ngo: welke taken zal deze VTE uitvoeren? Je moet concreter worden om je budget te bepalen want het geven van vorming valt onder operationele kosten, maar coördinatietijd zijn beheerskosten. In dit geval gaat het deels om coördinatietijd en deels om operationele kost (nl. het uitwerken van de modules). De coördinatietijd gaat om de tijd die je nodig hebt om met de samenwerkende ngo de vormingen en het overleg te coördineren. Je kiest voor een opdeling. In dit geval wordt gekozen voor 10% beheerskost + 30% operationele kost.
93/141
6
Hier nemen we dus 1 x 10% en 1 x 30 % van een loonkost van 43.000 € en dit voor de duur van het project, eenmaal als beheerskost en eenmaal als operationele kost. De kost voor het aanbieden van de vorming ( 40% van een VTE) ligt bij ngo X en neem niet op in je eigen budget (zie verder onder het punt 5). Het resultaat is dan als volgt: Operationele kosten Omschrijving Budget Personeelskosten Educatief medewerker 12.900 € Beheerskosten Personeelskosten Educatief medewerker 4.300 € Opmerkingen: rekening houden met maximaal subsidieerbare lonen door DG-D
Transport onkosten: 5 vormingen x 5 x 2 medewerkers en voorbereidende vergaderingen komt op een geschatte kost van 750 euro. Operationele kosten werkingskosten Opmerkingen: geen
Omschrijving Transportkosten (wagen, trein…)
Budget 750 €
Telefoonkosten: geschatte kost op basis van informatie uit het vorig project 50 euro. Operationele kosten Omschrijving Budget Werkingskosten Telefoonkosten 50 € Opmerkingen: Hou rekening met door DG-D niet subsidieerbare kosten: NSU35 in verband met telefoonkaarten; Hou rekening met het feit dat telefoonkosten door DG-D beschouwd worden als structuurkosten en dus enkel kunnen afgerekend worden als operationele kosten als duidelijk is welke gemaakte telefoonkosten voor de uitwerking van het project zijn gemaakt.
Voor vormingen voor leerkrachtenteams in iedere provincie (5 vormingen): zaalhuur, koffie, broodjes, documentatiemap is voor de rekening van jouw ngo. We kunnen zalen huren voor een gemiddelde prijs van 190 € per zaal, voor broodjes en koffie komt het aan 3 € per deelnemer: 25 vormingen x 12 deelnemers x 3 € = 900 €. Operationele kosten Werkingskosten
Omschrijving Zaalverhuur Broodjes Opmerkingen: Hou rekening met door DG-D niet subsidieerbare kosten:
6
Budget 4750 € 900 € NSU 27: zorg voor
Ter informatie: bij het berekenen van de loonkost moet je rekening houden met verwachte indexering, anciënniteitsverhoging, vervoer woon-werk, verzekeringen… De financieel verantwoordelijke kan je de nodige bedragen bezorgen.
94/141
deelnemerslijsten anders worden deze kosten verworpen
Stap 4: je zorgt voor coherente omschrijvingen Vraag naar het rekeningstelsel dat gebruikt wordt binnen je organisatie op aan de financieel verantwoordelijke. Dit geeft je duidelijk zicht op de gebruikte omschrijvingen voor diverse kosten. Dit laat je toe om consistent te blijven over verschillende projecten heen.
Voorbeeld: Post 613390 boekhoudplan: huur lokalen Omschreven als: huur van lokalen of vergaderzalen voor een specifieke activiteit, met bijhorende verbruikskosten Dit betekent dat “zaalverhuur” en “broodjes” samengebracht moeten worden onder de budgetpost:
huur lokalen.
Stap 5: neem de kosten op in het DG-D-voorstellingsschema. Het is belangrijk om hier het onderscheid te maken tussen projecten en programma’s.
Voorbeeld projecten: Voor projecten heb je in het voorstellingsschema van een Noordproject bij punt 2.4. Logisch kader ook een schema voor de beschrijving van de middelen. Voor de operationele kosten moet je per activiteit de middelen omschrijven. Voor beheerskosten moet je de middelen onderverdelen in investeringen, werking en personeelskosten.
95/141
Ingevuld voor ons resultaatvoorbeeld als project, ziet het schema er zo uit: Resultaten
Middelen
Kosten
Resultaat 1: jongeren in xx scholen verbinden de Noord-Zuidproblematiek met hun eigen leven en zien waar ze zelf kunnen bijdragen aan een meer solidaire wereld Activiteit 1: Opzetten van concrete samenwerking met ngo X en haar scholenwerking om samen leerkrachtenvorming op te zetten
30% VTE (voorbereiding modules)
€ 24.350
telefoonkosten transportkosten zaalverhuur en broodjes
Beheerskosten Investeringen Werkingsmiddelen Personeel
10% van VTE (coördinatie)
€ 4.300
De subsidie die je ontvangt voor beheerskosten wordt berekend op het totaal van de directe kosten (= beheerskosten + operationele kosten samen) van het project of programma. In theorie varieert dit tussen 5% en 10% en dit voor het geheel van het project of programma (dus niet per activiteit!). In ons voorbeeld hier hebben we de totale directe kosten van 24.350 € + 4.300 € = 28.650 €. De beheerskost ligt hier op 15 %! Als voor de andere activiteiten de verhouding beheerskosten/operationele kosten lager ligt, dan kan deze 15 % eventueel gesubsidieerd worden zoniet zal andere financiering moeten gezocht worden voor deze kosten. Als je ziet je beheerskosten hebt die hoger liggen dan 10 % kan je dit best met de financieel verantwoordelijke bespreken.
Voorbeeld programma’s Beheerskosten: Voor programma’s heb je in het voorstellingsschema bij punt 1.2.5. Budget beheerskosten (Tabel 2) eerst het schema waar het budget van alle beheerskosten van het hele programma in samengebracht worden, gevolgd door een schema met de beknopte beschrijving van dit budget.
Operationele kosten: In het Noordluik volgt onder elke specifieke doelstelling bij punt 2.1.2. Logisch kader gevolg door de beschrijving van de middelen voor de activiteiten van de beschreven doelstelling. Hier wordt enkel een omschrijving gevraagd, geen kostprijs. De kosten worden opgenomen in tabel 3 onder punt 2.1.3 Budget operationele kosten. Hier worden alle kosten van alle resultaten binnen dezelfde specifieke doelstelling samengebracht, uitgesplitst per jaar. Onder totaal zie je dat er 1 lijn is voorzien per resultaat.
96/141
Kalender van de verwezenlijkingen Voor programma’s moet ook een kalender van de verwezenlijkingen voor het geheel van het programma gegeven worden en dit per semester. Dit is belangrijk als vb bij het begin van het programma investeringen gepland zijn. Hierdoor krijgt de ngo in het eerste semester meer middelen om aan de behoefte te voldoen. Deze tabel is niet enkel belangrijk voor DG-D om te weten hoeveel per semester aan de ngo moet uitbetaald worden, maar kan ook de basis zijn voor een liquiditeitsbudget van je project! Een liquiditeitsbegroting is het overzicht per maand van de inkomsten en uitgaven. Dit geeft je een zicht op hoeveel geld je beschikbaar hebt binnen deze periode voor de geplande aankopen.
4
Samenwerken: hoe rekening mee houden in budget?
Ngo’s worden door DG-D gestimuleerd om samen werken. Een project of programma wordt beoordeeld op partnerschap/synergie/complementariteit. Hoe meer je samenwerkt hoe beter je score! In de praktijk blijkt dat deze samenwerkingen vaak moeilijk gemaakt worden door administratieve belemmeringen. Vandaar dat we hieronder even willen ingaan op de soorten samenwerking en hun implicaties voor het budget en de budgetopmaak. Het gaat om partnerschappen of structurele samenwerking, samenwerking voor een activiteit en onderaanneming / uitbesteding / consultancy.
Partners in het Zuiden Met partners in het Zuiden sluiten je een partnerovereenkomst af. Voor de projectaanvraag blijf je wel als ngo volledig verantwoordelijk voor de uitvoering door de partners. Het budget dat je opmaakt, monitort en afrekent wordt opgenomen in het geheel van het
97/141
project, samen met het budget van je eigen werking. Voor de donor is er dus geen verschil en wordt jouw ngo aangesproken op het resultaat.
Samenwerking in het Noorden
Structurele samenwerking Je kan samen een project indienen met een organisatie volgens Art. 3 van het KB dat stelt dat ngo's en organisaties kunnen zich verenigen om (een deel van) een programma/project uit te voeren. De aanvragende ngo, die ook het budget heeft gemaakt en die de subsidie ontvangt, is verantwoordelijk voor de aanwending en verantwoording. Facturen tussen deze organisaties zullen niet aanvaard worden als verantwoording! Samenwerking is niet hetzelfde als onderaanneming of consultancy, je kan dus niet zomaar een bureau aanspreken om een taak uit te voeren waar je zelf geen tijd voor had. 7 Je kan dit wel doen voor specifieke ondersteunende taken zoals bijv. evaluatie.
Samenwerking voor een activiteit Je kan ervoor kiezen om met een andere organisatie een onderdeel van het project uit te werken, bijv. samen een vorming uit te werken, samen een evenement op touw zetten, enz. Dit is bijvoorbeeld het geval in het voorbeeld dat we hierboven uitwerkten en waar een partner-ngo enkele vormingen op zich neemt. Let in dit geval op voor het gevaar van dubbele financiering. Zo meldt de regelgeving bij niet subsidieerbare uitgave 22 dat facturen van ander vzw’s voor goederen en diensten die reeds door een donor gesubsidieerd zijn, niet aanvaard worden. Het is daarom nodig dat je aanvraag en budget transparant zijn. Dit betekent dat – best voor de aanvraag – je een gedetailleerd budget bespreekt met je de organisatie waar je mee samenwerkt en dit ook verduidelijkt aan de dossierbeheerder bij DG-D. Er zijn geen omschreven richtlijnen bij DG-D die bepalen wat een “transparant dossier” is. Dit kan dus verschillende vormen aannemen: 1 ngo neemt alle kosten voor zich en factureert een deel door aan de andere ngo. De kosten worden verdeeld en elke ngo draagt een vooraf afgesproken deel van de kosten: deze keuze werd gemaakt in het geval van het voorbeeld dat we hierboven uitwerkten: de personeelskosten voor het geven van de vorming worden volledig gedragen door de ngo waarmee wordt samengewerkt, alle andere kosten door de eigen ngo. Leveranciers worden gevraagd om de kosten naar beide ngo’s (of vzw’s) te factureren en dus 2 facturen te maken met een bepaald bedrag er op.
7
Als je hiervan gebruik maakt moet je rekening houden met honoraria die 500 euro/dag niet overschrijden en moet je meerdere offertes kunnen voorleggen vanaf een opdracht van meer dan 5.500 euro.
98/141
5
Hoe ga je verder? Monitoring!
Bij het uitwerken van een budget, nemen ngo’s meestal nog uitgebreid de tijd om alle kosten op een rijtje te zetten. Dat is begrijpelijk en belangrijk want vaak hangt het al of niet krijgen van een subsidie af van de kwaliteit van dit budget. Het monitoren van het budget krijgt echter vaak veel minder aandacht en wordt ‘vergeten’. Dit kan grote gevolgen hebben: als je je budget niet hebt besteed zoals gepland, kan de overheid je vragen om het geld terug te storten. Neem daarom dus maandelijks of zeker per trimester de tijd om systematisch enkele vragen te overlopen: Zijn de uitgaven in lijn met het budget en de kalender? Vooraf hebben jullie misschien intern een marge (+/- 10%) afgesproken waarbinnen het project moet uitgevoerd worden. Is dat niet het geval, neem dan zelf zeker initiatief om met diensthoofd/financieel verantwoordelijke te overleggen als je afwijkingen vaststelt. (+/- 10%) Is de opbrengst in lijn met het budget en de kalender? (zowel van subsidies als van eigen middelen) Als er belangrijke afwijkingen zijn, wat is dan de oorzaak? Welke acties kan je ondernemen als er afwijkingen zijn? Verwacht je bijsturing binnen de termijn van het project of moet je de financiële dienst verwittigen zodat kan gekeken worden hoe de verschillen best kunnen opgevangen worden? Zijn er kosten of opbrengsten die niet zijn opgenomen in je monitoring overzicht waar je rekening moet mee houden? Als je voor de monitoring van je project kan steunen op de informatie uit de boekhouding van je organisatie (wat aanbevolen wordt!!) dan moet je rekening houden met bijv. te ontvangen facturen van leveranciers. Als een goederen of diensten reeds zijn aangekocht, maar nog niet betaald of gefactureerd, dan verschijnen deze niet in de boekhouding. Stel je vast dat er kosten worden gemaakt die niet werden begroot? Of verwacht je dat voor het verder verloop van het project dergelijke kosten zullen gemaakt worden? Bespreek dit me je diensthoofd of financieel verantwoordelijke! Wat is op basis van de verzamelde informatie het verwachte resultaat op het einde van het project. Zijn deze resultaten bevredigend? Of moet je stappen ondernemen om bij te sturen?
DGD-regelgeving Vergeet bij het monitoren ook zeker niet te kijken of er geen Niet Subsidieerbare Uitgaven tussen de kosten zijn geslopen en hou rekening met beperkingen voor budgetverschuivingen. Voor bepaalde budgetverschuivingen heb je een aanpassing van het ministerieel besluit nodig, voor andere een goedkeuring van DG-D en andere verschuivingen moet je enkel melden. Budgetverschuivingen Een subsidie moet aangewend worden voor de doeleinden waarvoor ze werd verleend. Bepaalde verschuivingen mag je niet uitvoeren zonder aanvraag of toestemming. Projecten
Programma’s
Aanpassing van het Ministerieel Besluit voor verschuivingen tussen: Beheer- en operationele kosten.
Beheer- en operationele kosten; Noord- en Zuidluik.
99/141
Goedkeuring door DG-D administratie voor verschuivingen > 20% bij operationele kosten tussen investeringen, werking- en personeelskosten; > € 2.500 bij operationele kosten; > 20% investeringen bij beheerskosten; > € 2.500 bij beheerskosten rubriek investering. Deze verschuivingen kunnen bovendien enkel tussen bestaande (reeds voorziene) rubrieken.
> 10 % tussen specifieke doelstellingen; > 20 % bij operationele kosten tussen investeringen, werking- en personeelskosten; > 20% investeringen bij beheerskosten. Deze verschuivingen kunnen bovendien enkel tussen bestaande (reeds voorziene) rubrieken.
Essentiële wijzigingen
Essentiële wijzigingen.
Bij combinatie van verschillende verschuivingen mogen de maxima niet overschreden worden. Melden bij de DG-D administratie
Meer lezen en weten? MaNGO: http://www.maNGO.org.uk/Tags/Details/16 Intrac: http://www.intrac.org/resources.php?action=resource&id=350 (= aankooplink voor handig boekje: NGO Management & Policy Series No. 10 Financial Management for Development – Accounting and Finance for the Non-Specialist in Development Organisations).
100/141
LEIDRAAD 3: FICTIEVE VOORBEELDEN – GOEDE EN MINDER GOEDE INDICATOREN Tijdens de formulering is het belangrijk om goede indicatoren te formuleren. Om de toelichting zo concreet mogelijk te houden werken we met twee concrete voorbeelden uit de Noord- en Zuidwerking. We werken verder met de voorbeelden die ook in andere oefeningen werden gebruikt. Het gaat concreet om: Project in het Zuiden: voedselzekerheid en ondervoeding van kinderen, uitgewerkt als gezondheidsproject Project in het Noorden: versterken van maatschappelijk draagvlak voor de NoordZuidproblematiek, uitgewerkt als project voor de versterking van betrokkenheid van schoolgaande jongeren bij de Noord-Zuidproblematiek. Maar we gebruiken ook andere voorbeelden. De leidraad ziet er als volgt uit: 1. Inleiding: wat zijn goede indicatoren? 2. Zuidwerking: enkele voorbeelden 3. Noordwerking: enkele voorbeelden
1
Inleiding: wat zijn goede indicatoren?
Een indicator toont iets aan. In een logisch kader, formuleer je een indicator die kan aantonen dat het resultaat van je project werd behaald en je doelstelling gerealiseerd. De indicator zegt wat je gaat meten (niet wat je gaat realiseren). In wat volgt belichten we verschillende aspecten van indicatoren. Makkelijk/moeilijk – Resultaten of veranderingen aantonen blijkt niet altijd zo vanzelfsprekend; het hangt vaak af van het soort resultaten dat je wilt behalen. Hieronder staat een voorbeeld van een project dat gericht is op het realiseren van infrastructuur en een voorbeeld van een vakbondswerking.
Makkelijker
Moeilijker
Resultaat: er is een weg aangelegd die in gebruik genomen kan worden
Specifieke doelstelling: de weg draagt bij tot de ontsluiting van een geïsoleerd landbouwgebied
Aantonen: de weg ligt er, is 4 m breed en 12 km lang, je kan er foto’s van nemen
Aantonen: het % leden van de lokale boerenorganisatie dat wekelijks naar de markt kan met de oogst (in vergelijking met vroeger)
Makkelijker
Moeilijker
Resultaat: de vakbondsmedewerkers hebben meer kennis van de nationale wetgeving en rechtspraak
Resultaat: de capaciteit van de vakbond om de belangen van haar leden te verdedigen is versterkt
Aantonen: het aantal vakbondsmedewerkers dat de vormingen volgde dat slaagde in een test en certificaat behaalde
Aantonen: de score van de vakbond ten aanzien van een analyse van haar capaciteit op verschillende domeinen
101/141
Weinig/veel indicatoren - Omdat je verschillende resultaten en specifieke doelstellingen hebt, heb je ook verschillende indicatoren nodig: voor elk resultaat en voor elke doelstelling minstens één. Afhankelijk van het soort resultaat, zal je meerdere indicatoren nodig hebben om aan te kunnen tonen dat het resultaat werd behaald. Drie indicatoren is een goed compromis om op een conclusieve manier iets te zeggen over het behalen van het resultaat en het blijft beheersbaar. Indien je indicatoren formuleert via een participatieve workshop is de kans groot dat je eindigt met een lange lijst van indicatoren: iedereen vindt namelijk andere accenten belangrijk. Bovendien beseft iedereen dat de indicatoren zullen dienen om de prestaties en resultaten te beoordelen. Een discussie over indicatoren is dan vaak ook een bijzondere uitdaging; vaak wordt het pas doorheen die discussie duidelijk wat de eigenlijke benadering is in het project en wat diverse stakeholders belangrijk vinden. Niet zelden betekent dit dat je resultaten opnieuw gaat formuleren om de coherentie van het logisch kader te behouden. Let wel: iedere indicator moet je afzonderlijk kunnen opvolgen. Dit wil zeggen dat je moet weten waar je informatie kunt halen over de indicatoren, op welke manier je die informatie kan verzamelen, hoe je de informatie gaat verwerken, enz. Dit pleit ervoor om het aantal indicatoren beperkt te houden en dus een keuze te maken. Het gaat ten slotte om een ‘indicatie’, geen 100% sluitend bewijs voor een resultaat.
Kwalitatief-kwantitatief – Er zijn verschillende types van indicatoren denkbaar. Het duidelijkste onderscheid is dat tussen een kwalitatieve en een kwantitatieve indicator. Kwantitatieve indicatoren gaan over aantallen en cijfers en kan je makkelijker opvolgen en meten. Er is ook weinig discussie over. Dat ligt anders met kwalitatieve indicatoren die verwijzen naar sterkere capaciteit of verandering in gedrag, perceptie of nieuwe inzichten en veranderingen in beleid. Daar is het vaak een beetje zoeken naar een gepaste indicator om aan te tonen dat gedrag of capaciteit inderdaad is veranderd.
Resultaat
Kwantitatieve indicator
Jongeren in twintig scholen zien waar ze zelf kunnen bijdragen aan een meer solidaire wereld
Het aantal jongeren dat kennis maakte met het didactisch materiaal dat stelt dat zij één (of meerdere) van de handelingsperspectieven die werden voorgesteld concreet overweegt (zijnde: vrijwilliger worden bij een NGO, lid worden van de schoolwerkgroep rond Noord-Zuid, Fair Trade producten aankopen)
Let wel: zelfs een kwalitatieve indicator moet op één of andere manier meetbaar zijn: zie hieronder het voorbeeld van de vakbondswerking waarbij de indicator een toename van capaciteit is. Het is belangrijk om aan te geven dat je die indicator kan kwantificeren op één of andere manier.
Resultaat
Kwalitatieve indicator
Resultaat: de capaciteit van de vakbond om de belangen van haar leden te verdedigen is versterkt
De score van de vakbond ten aanzien van een analyse van haar capaciteit op verschillende domeinen … … gebaseerd op een analysetool met indicatoren die in overleg met de vakbond werd ontworpen en die toelaat om verandering te meten en te scoren
102/141
Een tweede voorbeeld van een kwalitatieve indicator (Zuidwerking):
Resultaat
Kwalitatieve indicator
Resultaat: de landbouwproductie door verbeterde toegang tot water is op duurzame wijze versterkt
De mate waarin er een strategie met diverse concrete maatregelen werd ontwikkeld ten aanzien van ‘water voor landbouwproductie’… … te meten aan de hand van de aanwezigheid van teksten, de status van de tekst (beslissing) en het feit of er uitvoeringsmaatregelen zijn afgesproken en gecommuniceerd
Smart? – De theorie van het logisch kader bepaalt dat een indicator SMART moet zijn. De indicator moet zodanig geformuleerd zijn dat hij Specifiek is, Meetbaar, Aanvaardbaar, Realistisch (en haalbaar) en Tijdsgebonden of kortweg SMART.
Specifiek
De indicator heeft rechtstreeks betrekking op een bepaalde doelstelling (of resultaat) en hij meet wat hij verondersteld wordt te meten (validiteit)
Meetbaar
Het meten en de interpretatie ervan moeten gelijk blijven wanneer het meten door verschillende personen wordt gedaan (betrouwbaarheid)
Aanvaardbaar
Alle betrokken partijen moeten de indicator aanvaarden
Realistisch en haalbaar
Het natrekken van een bepaalde toestand moet overeenkomen met de mogelijkheden van de betrokkenen, moet binnen een bepaalde tijdspanne te achterhalen zijn,….
Tijdsgebonden
De indicator moet ook de tijdsspanne weergeven waarbinnen iets moet gerealiseerd of bereikt worden.
SMART-indicatoren vertellen echter niet altijd het hele verhaal. In feite zou je aan het lijstje nog ‘gender-sensitief’ moeten toevoegen. Aandacht voor gender is een transversaal aandachtspunt voor DG-D als subsidiegever: je kan aandacht voor verschillende effecten tussen mannen en vrouwen integreren in je project door specifieke activiteiten te plannen voor vrouwen/mannen of specifieke resultaten te formuleren. En je kan die aandacht ook in je project inschrijven door je indicatoren gender-sensitief te maken en ervoor te zorgen dat je in de verzameling van informatie over vooruitgang steeds informatie verzamelt over en bij mannen én vrouwen (genderspecifieke dataverzameling).
Haalbaarheid – Je indicatoren geven aan wat je gaat meten. Om te kunnen meten moet je informatie verzamelen en aangeven hoe je dat gaat doen: welke instrumenten ga je gebruiken, wat is de frequentie van dataverzameling, enz. Afhankelijk van de indicator die je selecteert, zal je andere soorten informatie moeten verzamelen. Dit is een oefening die deel uitmaakt van het ontwerp van je systeem om te monitoren (zie hiervoor ook een voorbeeldoefening die bij het werkboek hoort, deel Monitoring en Evaluatie). Uit die oefening kan blijken dat je andere indicatoren moet kiezen: als al je indicatoren veronderstellen dat je zelf enquêtes moet opstellen (of dat je partners dat moeten doen); dan kan de opvolging van je project wel eens bijzonder moeilijk en duur worden. Soms staat dit werk niet langer in verhouding tot de kost van het project. Het is belangrijk om een goede balans te vinden tussen informatie die al bestaat (of die door andere actoren wordt verzameld) en informatie die je zelf moet verzamelen. Veel hangt af van de kwaliteit van bestaande bronnen: zijn ze onafhankelijk, zijn ze betrouwbaar en volledig? Wie in het Zuiden op zoek gaat naar goede cijfers en statistieken die door
103/141
overheidsdiensten verzameld (moeten) worden, is niet zelden ontmoedigd door de onvolledigheid van bestaande databanken.
Waarden van indicatoren – Je moet in het Logisch kader de waarden bepalen van de indicatoren. DGD vraagt een startwaarde (of referentiewaarde) en vraagt een projectie van die waarden voor ieder jaar dat het project loopt. Om de referentiewaarde te kunnen bepalen, moet je een baseline studie of nulmeting uitvoeren (meer informatie daarover vind je in de checklist over het opstellen van een baseline, die bij dit werkboek hoort). Projecties van indicatoren kan je op verschillende manieren aanpakken, bijv. je hanteert dezelfde indicator maar je varieert de doelgroep of het gebied, je beschrijft jaarlijkse vooruitgang bij één concrete doelgroep, je vermeldt een jaarlijkse stijging die vervolgens consolideert, … Meer hierover vind je terug in de oefening over ‘van indicatoren naar een systeem voor monitoring’.
Kiezen – Uit bovenstaande heb je wellicht al afgeleid dat je keuzes moet maken en dat het belangrijk is om de juiste indicatoren te kiezen. Je kan daarvoor verschillende criteria hanteren: Krijg je de indicator voldoende SMART? Is een nulmeting mogelijk? Kan je de referentiewaarde bepalen? Wie heeft er concreet wat aan deze informatie? Is het voor jou belangrijk om deze indicator op te volgen, is het voor de partner belangrijk of voor de doelgroep? Kan je op een kost-efficiënte manier betrouwbare en valide informatie verzamelen?
104/141
2
Zuidwerking: enkele voorbeelden
Interventielogica projectvoorbeeld Zuid Algemene doelstelling Specifieke doelstelling Resultaten
Verminderde groei en ontwikkeling bij kinderen is teruggedrongen in de regio (ruraal gebied) van XX in land XX op een periode van 3 jaar Kinderen in de regio zijn beter gevoed en minder ziek
Resultaat 1: de gezondheidscentra in de regio XX bieden aangepaste en betaalbare diensten aan Resultaat 2: huishoudens in de regio XX sparen en zijn in staat om te betalen voor gezondheidszorg
Welke indicatoren? Resultaat 1: de gezondheidscentra in de regio XX bieden aangepaste en betaalbare diensten aan Goed Minder goed Evolutie van het aantal consultaties voor Er zijn meer consultaties in de centra voor kinderen (M/V) onder de vijf jaar in ieder kinderen (M/V) gezondheidscentrum dat betrokken is in het project Toelichting: de ‘goede’ indicator is preciezer en vermeldt expliciet de eindbegunstigden van het project waardoor een opvolging voor die groep gegarandeerd is. Je geeft aan dat je informatie gaat verzamelen per centrum dat betrokken is. Eventueel kan je die informatie ook vergelijken met informatie van centra die niet betrokken zijn (een soort controlegroep). Je kan per centrum het aantal consultaties bepalen (bijv. telling per maand) en een stijging projecteren per jaar: een kleine stijging voor de eerste twee jaren (omdat je de centra nog moet versterken en sensibiliseren) en een grotere stijging voor de jaren die volgen (met eventueel een consolidatie op een bepaald niveau in het laatste jaar). Je kan de statistieken gebruiken die het centrum zelf bijhoudt: indien die statistieken niet betrouwbaar zijn, kan je het centrum helpen om zijn registratiesysteem te verbeteren. Indien dit onmogelijk blijkt, zal je zelf informatie moeten verzamelen en kan je bijv. werken met steekproeven en controlegroepen. Het is ook belangrijk om het verschil te maken tussen jongentjes en meisjes: in bepaalde culturen heersen er andere opvatting over welk voedsel goed is voor jongens en welk voedsel meer gepast is voor jongens; dat kan een gevolg hebben voor de resultaten. Daarom is het van belang om de indicator genderspecifiek te maken. Resultaat 2: huishoudens in de regio XX sparen en zijn in staat om te betalen voor gezondheidszorg Goed Minder goed Het aantal vrouwen met kinderen onder de vijf Huishoudens geven aan een deel van het jaar dat deel uitmaakt van een erkende budget te gebruiken voor doktersconsultaties spaargroep die functioneert en geld op de bank zet. Toelichting: de ‘minder goede’ indicator geeft informatie over intenties die moeilijk te controleren zijn. Huishoudens die worden gevraagd of ze geld opzij houden voor doktersbezoek voor hun kinderen geven sociaal wenselijke antwoorden. Het is ook goed mogelijk dat andere interviewers andere antwoorden zouden krijgen (betrouwbaarheid is dus niet gegarandeerd). De ‘goede’ indicator geeft meteen aan wie controle heeft over het budget voor gezondheid en gaat verandering meten bij die groep. Spaargroepen en hun leden zijn meestal geregistreerd wat een opvolging mogelijk maakt van de leden en het gespaarde geld.
105/141
Andere types van projecten We geven hieronder nog voorbeelden van andere types van projecten: beleidsbeïnvloeding rond mijnbouw, waterinfrastructuur voor landbouw en toegang tot basisonderwijs.
Beleidsbeïnvloeding Resultaat: de overheid van land xx is gevoelig voor standpunten rond veiligheid van mijnwerkers Goed Minder goed De mate waarin officiële communicatie van het Frequentie en kwaliteit van Ministerie van Arbeid met zowel werkgevers consultatievergaderingen en contacten met de als werknemers verwijst naar de problematiek overheid van veiligheid van mijnwerkers.
Toelichting: de ‘minder goede’ indicator zegt iets over de inspanningen die geleverd worden en over activiteiten maar is niet onmiddellijk een indicatie van toegenomen gevoeligheid van de overheid (is dus niet specifiek voor dit resultaat). ‘Kwaliteit’ is ook een moeilijk te meten begrip en moet nog verder geoperationaliseerd worden. De ‘goede’ indicator dwingt je om de communicatie van één bepaald ministerie goed op te volgen, te screenen en te gebruiken in verdere acties. Je kan dit verder kwantificeren door het aantal meldingen te tellen en te checken over welke aspecten precies gecommuniceerd wordt. Toegang tot overheidscommunicatie (zelfs officiële) kan wel een probleem zijn, dus de haalbaarheid van deze indicator moet nog wel gecheckt worden.
Waterinfrastructuur voor landbouw Resultaat: de landbouwproductie in gemeenten met een infrastructuurproject is versterkt Goed Minder goed Het aantal hectare grond dat geïrrigeerd kan De infrastructuurwerken zijn gerealiseerd en worden én bewerkt wordt door lokale boeren functioneren (M/V) rondom de nieuwe waterinfrastructuur Toelichting: de ‘minder goede’ indicator zegt iets over de voorwaarden voor de landbouwproductie maar niets over de landbouwproductie (indicator is niet specifiek). Het is goed mogelijk dat infrastructuur gerealiseerd wordt maar dat dit weinig of geen effect heeft op het in gebruik nemen van gronden gericht op productie. Op basis van de ‘goede’ indicator kan je effectief meten wat het effect is (verschil voor en na de inrichting van de infrastructuur) voor de landbouw. Je kan gaan kijken hoeveel meer hectare land geïrrigeerd kan worden en hoeveel meer bewerkt kan worden en je kan die evolutie volgen: stijging na ingebruikname van de infrastructuur en consolidatie van een aantal hectare in de jaren nadien. De indicator is ook gender sensitief zodat je kan nagaan wie vooral toegang heeft tot grond die is vrijgekomen voor exploitatie. Informatie van je halen bij de huishoudens/boeren (die eventueel georganiseerd zijn in groep) of bij de overheidsdiensten die op lokaal vlak de productie opvolgen.
Toegang tot en kwaliteit van basisonderwijs Resultaat: kinderen uit gezinnen met een laag inkomen hebben toegang tot basisonderwijs Goed Minder goed Het aantal kinderen (M/V) van gezinnen met Het aantal kinderen dat ieder jaar ingeschreven een laag inkomen dat gedurende de ganse wordt duur van de opleiding/de scholing en gedurende elk trimester deelneemt aan de lessen Toelichting: de ‘minder goede’ indicator geeft wel aan dat kinderen zich inschrijven maar preciseert de doelgroep niet en kijkt enkel naar de start van het schooljaar, terwijl het belangrijker is om te checken in welke mate kinderen op school aanwezig zijn en blijven. De ‘goede’ indicator
106/141
laat je toe om groepen kinderen te volgen (vanaf jaar van inschrijving tot beëindiging van schoolopleiding). Informatie kan je halen uit het registratiesysteem van de school. Dat systeem zegt mogelijk te weinig over jouw doelgroep. Dit betekent dat je dan zelf enquêtes moet organiseren bij (een deel van) je doelgroep over het schoolpad van de kinderen die je als eindbegunstigde beschouwd.
3
Noordwerking: enkele voorbeelden
Interventielogica projectvoorbeeld Noord Algemene doelstelling Specifieke doelstelling Resultaten
Druk op de overheid vanuit jongeren om meer aandacht te besteden aan de Noord-Zuid problematiek is versterkt Betrokkenheid van schoolgaande jongeren tussen 12 en 18 jaar bij de Noord-Zuidproblematiek is toegenomen
Resultaat 1: jongeren in XX scholen verbinden de NoordZuidproblematiek met hun eigen leven en zien waar ze zelf kunnen bijdragen aan een meer solidaire wereld Resultaat 2: opleiding van leerkrachten in XX hogescholen besteedt specifieke aandacht aan de Noord-Zuidproblematiek en de gepaste didactiek naar jongeren toe Resultaat 3: de pedagogische ondersteuning van XX scholengroepen besteedt specifieke aandacht aan de NoordZuidproblematiek en de gepaste didactiek naar jongeren toe
Welke indicatoren? Resultaat 1: jongeren in XX scholen verbinden de Noord-Zuidproblematiek met hun eigen leven en zien waar ze zelf kunnen bijdragen aan een meer solidaire wereld Goed Minder goed Het aantal jongeren (M/V) dat kennis maakte 50% van de jongeren (M/V) die betrokken met het didactisch materiaal, dat stelt dat zij werden in het project tijdens hun laatste jaar van één (of meerdere) van de het middelbaar onderwijs, nemen na hun studies handelingsperspectieven die werden een concreet engagement op in de Noordvoorgesteld concreet overweegt (zijnde: Zuidsector vrijwilliger worden bij een ngo, lid worden van de schoolwerkgroep rond Noord-Zuid, Fair Trade producten aankopen) Toelichting: de ‘minder goede’ indicator is vooral minder goed omdat het opvolgen van jongeren nadat ze de school hebben verlaten voor de ngo teveel inspanningen zou vragen. De indicator is niet realistisch. In de indicator moet je overigens nog geen streefcijfer geven, dat doe je met de start en projectiewaarden. De ‘goede’ indicator is meetbaar via een enquête onder alle jongeren (of een steekproef). De projectie van je indicator over de jaren heen kan telkens hetzelfde percentage zijn: je verwacht ieder jaar eenzelfde percentage bij een andere groep leerlingen, bijv. 35%. Het bepalen van dat percentage gebeurt best op basis van je ervaring: veranderen van attitude is niet zo makkelijk maar je wilt mogelijk ook wel een beetje ambitieus zijn. Veel hangt hier af van de veronderstellingen die je formuleert in je logisch kader. Als je bijv. werkt in scholen die al heel veel doen rond de Noord-Zuidproblematiek en je hypothese is dat die scholen hun
107/141
inspanningen volhouden, dan kan je wellicht rekenen op een beter resultaat. Resultaat 3: de pedagogische ondersteuning van XX scholengroepen besteedt specifieke aandacht aan de Noord-Zuidproblematiek en de gepaste didactiek naar jongeren toe Goed Minder goed De pedagogische ondersteuning past haar De helft van de pedagogische begeleiders volgt checklist voor screening van onderwijskwaliteit een vorming over de Noord-Zuidproblematiek aan en de begeleiders hanteren deze lijst in hun coaching van leerkrachtenteams Toelichting: de ‘minder goede’ indicator is niet specifiek voor het resultaat. De ‘goede’ indicator is wel specifiek. Met de pedagogische begeleidingsdiensten moet wel bekeken worden of deze indicator voor hen aanvaardbaar is. Met deze indicator stel je immers wel wat eisen aan de partner in je project. Informatie over deze indicator haar je bij je partner. Eventueel kan je ook een steekproef doen bij de scholen om te kijken wat hun kijk is op/waardering is van de (nieuwe) ondersteuning.
Andere types van projecten We geven hieronder nog voorbeelden van andere types van projecten: campagnes rond klimaat en bewegingswerk.
Campagne voor klimaatneutraliteit Resultaat: Gemeenten in Vlaanderen tonen zich bewust van het belang van klimaatneutraliteit op lokaal vlak Goed Minder goed Het aantal Vlaamse gemeenten dat met het De campagne bereikt 75% van de Vlaamse college een intentieverklaring ondertekent ten gemeenten aanzien van lokale inspanningen om klimaatneutraliteit te realiseren op lokaal vlak Toelichting: de ‘minder goede’ indicator is niet specifiek en zegt eerder iets over de inspanningen van je ngo en niet over het resultaat. De ‘goede’ indicator is specifiek, meetbaar, aanvaardbaar (bewustzijn van een stad kan je in eerste instantie best via een intentieverklaring meten), haalbaar (het gaat om gemeenten die een ‘intentie’ uitdrukken) en tijdsgebonden. Informatie haal je bij de gemeenten zelf.
Sensibilisatie van lokale afdelingen (bewegingswerk) Resultaat: lokale afdelingen van de beweging zijn effectief solidair met vergelijkbare bewegingen in het Zuiden Goed Minder goed De mate waarin lokale betrokken afdelingen Het aantal lokale afdelingen (in de doelgroep) evolueren in hun kennis over de problematiek dat een solidariteitshandvest ondertekent van het Zuiden, het bijstellen van hun stereotypen en het uitwisselen met een vergelijkbare beweging in het Zuiden. Toelichting: de ‘minder’ goede indicator is minder goed omdat het ondertekenen van een solidariteitshandvest te weinig specifiek is om te kunnen meten dat lokale afdelingen effectief solidair zijn. De ‘goede’ indicator is erg kwalitatief; dit betekent dat je zelf een meetinstrument moet ontwikkelen dat ‘kennis’, ‘bijstellen van stereotypen’ en ‘uitwisselingen’ concreet vertaalt en dat je toelaat gericht informatie te verzamelen en vooruitgang te scoren, bijv. middels enquêtes en/of evaluatievergaderingen met lokale afdelingen. Die scores kan je dan gebruiken in de projectie van je indicatoren; bijv. in jaar 1 is er een evolutie merkbaar op het vlak van kennis, in
108/141
jaar 2 op het vlak van stereotypen; of je stelt dat er ieder jaar een vooruitgang is op het vlak van kennis, stereotypen en partnerschap; of je tracht ieder jaar een andere groep te bereiken waarbij je een evolutie wenst vast te stellen. Dit meetinstrument vraagt wel wat inspanningen: in het geval van bewegingswerk is dit wel te verantwoorden; het maakt deel uit van het werk.
109/141
Deel III: Monitoring en evaluatie LEIDRAAD 4: BESCHRIJVEN VAN DE STARTSITUATIE (BASELINE)8 Na de formulering van het project en het uitwerken van een logisch kader met indicatoren moet je stilstaan bij de vraag op welke basis je een uitspraak kan doen over evolutie. Ergens moet je een vergelijking kunnen maken met een startpunt of een situatie die vooraf gaat aan een interventie. Probleemanalyses geven vaak niet de juiste informatie over die startsituatie of zijn onvoldoende gedetailleerd. Dit betekent dat je een extra inspanning moet doen om gegevens te verzamelen over de startsituatie en dat je die situatie moet beschrijven: dit is dan je baseline. Je kan deze leidraad zowel in de Noord- als in de Zuidwerking toepassen. Om één en ander te concretiseren hebben we gewerkt met de fictieve voorbeelden die uitgewerkt staan in een afzonderlijk document. Het gaat concreet om: Project in het Zuiden: voedselzekerheid en ondervoeding van kinderen, (verder) uitgewerkt als gezondheidsproject Project in het Noorden: versterken van maatschappelijk draagvlak voor de NoordZuidproblematiek, (verder) uitgewerkt als project voor versterking van betrokkenheid van schoolgaande jongeren bij de Noord-Zuidproblematiek. Deze leidraad helpt je op weg om een baseline studie te maken en toont ook hoe je de link legt met het monitoringsysteem voor je project. Je leest deze leidraad dan ook best samen met de oefening ‘van een logisch kader en indicatoren naar monitoring’. 1. Inleiding: wat is een baseline? 2. Waarom een baseline 3. Enkele richtlijnen 4. Voorbereiden van een baseline
1
Inleiding: wat is een baseline?
Een baseline beschrijft op een gedetailleerde manier de situatie vlak voor de start van het project. Het logisch kader en de indicatoren van dat logisch kader vormen de leidraad voor deze beschrijving: de indicatoren geven aan welke informatie je moet meenemen in de beschrijving. Indien de informatie bestaat, betrouwbaar is en toegankelijk, is het beschrijven van de startsituatie meestal niet al te moeilijk. Bijv. indien je een vervolgproject hebt dat sterk lijkt op het voorgaande project, dan kan je de meest recente informatie over de indicatoren van dat project gebruiken om de startsituatie te beschrijven van het nieuwe project. Je hebt dan geen grondige studie nodig. Start je echter met iets nieuws (nieuwe activiteiten, nieuwe regio, nieuwe doelgroep) dan moet je allicht meer tijd stoppen in het verzamelen van informatie. In sommige gevallen moet je dan echt tijd uittrekken voor een studie. Dit kan ook betekenen dat jouw ngo of de partners zelf het terrein op moeten om informatie te verzamelen.
8
Deze tekst is sterk gebaseerd op het monitoring en evaluatiehandboek van IFAD (http://www.ifad.org/evaluation/oe/process/guide/index.htm ) en het handboek van Bakewell, O. (2009) Sharpening the development process. A practical guide to monitoring and evaluation.
110/141
2
Waarom een baseline?
Je hebt informatie nodig om een vergelijking te kunnen maken en om de waarden van je indicatoren te projecteren. Om een vergelijking te maken zijn er verschillende opties: Een vergelijking voor en na: dit laat je toe om veranderingen te meten in het gebied/de regio waar je actief bent. Je gebruikt de indicatoren om de startsituatie te beschrijven maar je moet allicht ook meer gedetailleerde informatie verzamelen over enkele contextfactoren die een invloed zullen uitoefenen. Een vergelijking met en zonder project: je beschrijft de situatie in een gebied waar je niet zal interveniëren en vergelijkt dit dan in de loop van het project met de evoluties in jouw interventieregio. Dit kan het makkelijker maken om veranderingen toe te schrijven aan jouw project. Het is echter niet makkelijk om vergelijkbare regio’s te vinden die een goede vergelijking mogelijk maken. Een vergelijking tussen groepen in dezelfde regio die gelijkend zijn maar waarvan één of meerdere groepen niet betrokken wordt in het project. Bijvoorbeeld scholieren in scholen waar je niet actief bent en scholieren in scholen waar je wel actief bent. Probleem is echter dat je gegevens gaat verzamelen bij een groep die niet betrokken is in je aanbod maar wel tijd moet vrijmaken voor jouw gegevensverzameling. Ook hier is het moeilijk om vergelijkbare groepen te vinden. Meestal kiezen ngo’s voor de optie voor en na. Uit ervaringen van evaluatoren blijkt echter dat baselines hoe dan ook vaak niet de informatie leveren die een vergelijking mogelijk maakt: er wordt te weinig informatie verzameld over de indicatoren, er wordt te veel informatie verzameld die niet bruikbaar is, er worden gegevens verzameld over groepen die niet relevant zijn voor het project. Tijdsdruk is één verklaring voor slecht uitgevoerde baselines: je rondt één project af en moet al met het volgende beginnen. Andere verklaringen zijn: de indicatoren zijn niet goed geformuleerd of ze zijn niet goed gekozen: in het eerste geval weet je niet welke informatie je nu eigenlijk moet verzamelen, in het tweede geval vraagt gegevensverzameling te veel tijd en middelen. Zie hiervoor ook in het werkboek de ‘leidraad voor het formuleren van indicatoren’. Soms is het beschrijven van de startsituatie alvorens het project begint ook niet mogelijk of verstandig: bijv. als je start met het versterken van de capaciteit van bepaalde groepen en je wilt dat doen op een participatieve manier; dan wil je misschien eerst met die groepen bepalen welke indicatoren voor hen een aanwijzing zijn van een grotere capaciteit. Om deze redenen werden er alternatieven voor een baseline ontwikkeld, bijv. De baseline komt overeen met de eerste meting van de indicatoren. Dit betekent dat je pas na enkele maanden een projectie kan maken van de waarden van de indicatoren. Een evoluerende baseline : dit wordt toegepast in projecten die telkens nieuwe groepen of regio’s bereiken. Bijv. in de eerste 6 maanden richt je 6 spaargroepen op in één dorp en in de volgende 6 maanden doe je hetzelfde in een ander dorp, enz. Je verzamelt telkens gegevens over de startsituatie op het moment dat je start met nieuwe initiatieven en groepen (en dus niet enkel bij de start van het project). Dit maakt het vaak moeilijk om de waarden van de indicatoren van bij het begin te bepalen voor het geheel van het project omdat je telkens met anderen groepen in andere regio’s werkt. Je maakt geen baseline maar gebruikt bestaande informatie, eventueel van vergelijkbare projecten om een inschatting te maken van de startsituatie en de evoluties die haalbaar zijn (projectie van waarde van indicatoren). Vooral infrastructuurprojecten maken nogal eens gebruik van dit alternatief, zeker als er minder aandacht wordt geschonken aan participatie van de doelgroep en vooral technische aspecten voorop staan.
111/141
3
Enkele richtlijnen Verzamel enkel de informatie die je gaat gebruiken: een akkoord over globale, specifieke doelstelling, resultaten en indicatoren is dus essentieel. Indien je een studie nodig hebt: plan die dan zoals je een andere studie zou plannen (zie hieronder bij uitgewerkt voorbeeld): (i) ga na welke informatie er bestaat, waar die te vinden is, of die toegankelijk is en van goede kwaliteit, (ii) indien je nog informatie moet verzamelen of aanvullen en actualiseren, bepaal dan op welke manier je dat gaat doen (methode), (iii) schat in welke middelen je nodig hebt, (iv) bepaal wie verantwoordelijk is voor gegevensverzameling (analyse en gebruik) en (v) link dit met het monitoring- en evaluatiesysteem van je project: bepaal met andere woorden wanneer je de verzamelde informatie opnieuw gaat bekijken/actualiseren in de loop van het project. Hou het realistisch: een baseline zal nooit perfect zijn maar in het beste geval ‘goed genoeg’. Beter een beperkte baseline met informatie die gebruikt wordt dan een baseline die nooit opnieuw ter hand wordt genomen tijdens de uitvoering van het project. Wees creatief met methodes: de methodes voor gegevensverzameling zijn dezelfde als de methodes die je gebruikt in je monitoring- en evaluatiesysteem (zie verder in het werkboek). Zorg ervoor dat je methodes gebruikt die je ook nadien nog kan inzetten (en die dus haalbaar zijn). Heb voldoende aandacht voor het verzamelen van gendergevoelige gegevens: tracht dus zoveel als mogelijk en genderspecifiek te zijn in je dataverzameling.
4
Voorbereiden van een baseline: welke vragen stel je?
Vooraleer je een baseline start, is het goed om enkele vragen te stellen. Je kan die best koppelen aan de indicatoren van je logisch kader: zij bepalen grotendeels welke informatie je nodig hebt (informatienoden). We stellen voor dat je de vragen systematisch overloopt en de antwoorden even systematisch bijhoudt door te werken met een schema. Hieronder werken we twee voorbeelden uit: eentje voor de Zuidwerking en eentje voor de Noordwerking. We werken verder met de fictieve voorbeelden die ook in andere oefeningen aan bod komen.
112/141
Voorbeeld Zuidwerking Zie hiervoor het document met de uitwerking van het fictieve project rond voedselzekerheid dat ervoor wilt zorgen dat kinderen in de regio van interventie beter gevoed zijn en minder ziek. Checklist voor verzamelen van baseline gegevens
Indicatoren van het logisch kader
9
Het aantal kinderen (onder de 5 jaar) dat lijdt aan chronische ondervoeding
Evolutie van het aantal consultaties voor kinderen (M/V) onder de vijf jaar in ieder gezondheidscentrum
Het aantal vrouwen met kinderen onder de vijf jaar dat deel uitmaakt van een erkende spaargroep die functioneert en geld op de bank zet
Bestaat er al informatie? En is dit de informatie die we nodig hebben?
Ja: beschrijf XXX
Ja: beschrijf XXX
Ja, beschrijf XXX
Waar zit die informatie? (bronnen)
Gezondheidscentra
gezondheidscentra
Bij bestaande spaargroepen Bij banken
Is die informatie toegankelijk ?
Ja, registratiesysteem per gezondheidscentrum
Ja, registratiesysteem
Op basis van registratieschriftjes bij de voorzitters van de spaargroepen (afzonderlijk) dus minder toegankelijk informatie bij banken niet toegankelijk
Is die informatie betrouwbaar en van goede kwaliteit?
Chronische ondervoeding niet altijd als dusdanig herkend in alle centra
Slechts in 1/5 centra
Niet alle spaargroepen houden alle informatie nauwkeurig bij
Is die informatie volledig?
Neen: er zitten gaten in de registratie
Neen, er zitten gaten in de registratie
Er zitten gaten in de informatie, het is niet duidelijk welke vrouwen jonge kinderen hebben We hebben ook informatie nodig over de context en de bevolkingssituatie
Moeten we zelf nog bijkomende informatie verzamelen?
Ja
Ja
ja
9
Enz.
We hebben slechts enkele indicatoren uitgekozen voor dit voorbeeld.
113/141
Hoe gaan we dat doen?
Niet doen: kost te veel middelen. De registratie na de eerste vorming van gezondheidswerkers gebruiken als baseline
Niet doen: kost te veel middelen. De registratie na de eerste vorming van gezondheidswerkers gebruiken als baseline
Bij bestaande spaargroepen informatie verzamelen op een systematische manier via animatoren van partner-ngo’s
Welke methode?
/
/
Een quick-scan met een 10-tal vragen over sterkte van de groep, evolutie van sparen en knelpunten (steekproef)
Wie is verantwoordelijk?
projecthouder
Middelen?
Middelen voor een quick-scan bij een steekproef van spaargroepen
Wanneer bekijken we de gegevens opnieuw? (zie monitoringsysteem)
3 maanden na vorming aan gezondheidswerkers, registratielijsten bekijken van de voorbije drie maanden 6-maandelijks nakijken van registratielijsten voor specifieke maanden (rekening houden met perioden dat er weinig voedsel is)
Telkens 3 maanden na vorming aan gezondheidswerkers, registratielijsten bekijken van de voorbije drie maanden 6-maandelijks nakijken van registratielijsten voor specifieke maanden (rekening houden met perioden dat er weinig voedsel is)
Tussentijds en op het einde van het project
Bij het uitvoeren van de baseline studie, krijg je een idee over de startsituatie: bijv. het is duidelijk dat vrouwen met jonge kinderen 25% vertegenwoordigen van de leden in de (bestaande) spaargroepen. Dit moet je wellicht vergelijken met informatie over de bevolkingssituatie in de betreffende regio: is 25% veel of weinig als je dit vergelijkt met het totaal aantal moeders met jonge kinderen. Stel dat het aandeel van deze moeders in de totale bevolking groter is (bijv. 35%), dan kan je concluderen dat je project dit percentage kan/moet doen toenemen in bestaande (en in nieuwe) groepen. Deze start- of referentiewaarde helpt je dus om na te denken over de projectie van de indicator: je kan de startwaarde dan op 25% zetten en de eindwaarde op 35%.
Voorbeeld Noordwerking Zie hiervoor het document met de uitwerking van het fictieve project. Het gaat om een project dat de betrokkenheid van schoolgaande jongeren bij de Noord-Zuidproblematiek wilt stimuleren.
114/141
Checklist voor verzamelen van baseline gegevens
Indicatoren van het logisch kader
Evolutie vrijwilligerswerk van jongeren bij andere ngo’s die actief zijn in de regio Bestaat er al Ja informatie? En is dit de informatie die je nodig hebt
10
Aantal jongeren dat overweegt om één of meerdere handelingsperspectieven toe te passen
Aantal keren dat specifieke modules rond Noord-Zuid worden aangeboden in de Hogescholen
De partner-ngo die Neen want module moet nog verantwoordelijk is voor de ontwikkeld worden. scholenwerking heeft 5 jaar Referentiewaarde is 0 geleden een survey gedaan bij alle jongeren van de hoogste graad in 5 scholen
Waar zit die informatie? (bronnen)
Bij de ngo’s (registratie De partner-ngo van vrijwilligers)
/
Is die informatie toegankelijk ?
Ja, via vraag aan ngo’s Enquêtes zijn verzameld maar nooit verwerkt, dus moeilijk toegankelijk
/
Is die informatie betrouwbaar en van goede kwaliteit?
ja
Onduidelijkheid over steekproef
/
Is die informatie volledig?
Ja (gaat meerdere jaren terug)
Neen
/
Moeten we zelf nog bijkomende informatie verzamelen?
neen
ja
Neen
Hoe gaan we dat doen?
Niet van toepassing
Verzamelen van percepties Vragen aan hogescholen over Noord-Zuid en eens module klaar is handelingsperspectief bij jongeren in de scholen waar de educatieve pakketten verspreid zullen worden
Welke methode?
Niet van toepassing
Enquête op basis van steekproef
Wie is verantwoordelijk?
projecthouder
Middelen?
Externe ondersteuning voor (mee) opstellen van vragenlijsten en analyseren
Wanneer bekijken we Tussentijds en op het de gegevens opnieuw? einde van het project (zie (Zie monitoringsysteem) monitoringschema)
10
Enz.
Op basis van een eenvoudig gesprek eens module klaar is
Onmiddellijk na de activiteit Tussentijds en op het einde en 6 maanden nadien van het project
We hebben slechts enkele indicatoren uitgekozen voor dit voorbeeld.
115/141
LEIDRAAD 5: ZELFEVALUATIE MET PARTNERS Tijdens de uitvoering van je project, is het goed om af en toe stil te staan bij de resultaten ervan met de partner in het project. Deze leidraad toont hoe je op een eenvoudige manier en met relatief weinig tijd (1 dag) met je partner enkele zaken kan doorspreken op een systematische manier en in een één op één relatie. Het gaat hier dus om een leidraad die je kan gebruiken tijdens een werkbezoek aan de partner. Dit vervangt geenszins de partnerconferenties of bijeenkomsten die steeds meer ngo’s (vooral ngo’s met een Zuidwerking) organiseren met het oog op de strategische planning en/of planning van nieuwe programma’s. Je kan deze leidraad zowel in de Noord- als in de Zuidwerking toepassen. De boodschap is eigenlijk dat je niet hoeft te wachten op een (externe) evaluatie om te evalueren. Heel wat organisaties kennen intussen het principe van de zelfevaluatie op basis van het EFQM-model dat toelaat dat een organisatie kritisch kijkt naar haar interne werkprocessen. Deze leidraad stelt een minder intensieve methode die vooral kijkt naar de samenwerking met je partner en de resultaten van je project. Voorwaarde is wel dat je enigszins kan terugvallen op informatie uit het systeem van opvolging (monitoring) van indicatoren. 1. Inleiding: wat is een zelfevaluatie? 2. Materiaal 3. Agenda van de zelfevaluatie 4. Verslag
1
Inleiding: wat is een zelfevaluatie?
Evalueren wil zeggen dat je een oordeel vormt over wat voorbij is en in kaart brengt wat goed en minder goed is gegaan en daar verklarende factoren voor zoekt. Het vraagt een kritische, systematisch aanpak en analyse. Bedoeling is om beter zicht te krijgen op de bijdrage van je ngo en je partner(s) op veranderingen en veranderingsprocessen en om de volgende interventies beter te plannen en aan te pakken. Je baseert je hiervoor op informatie die je verkrijgt door monitoring van projectactiviteiten, resultaten en veronderstellingen (indien je een dergelijk monitoringsysteem hebt). Die informatie combineer je met enkele vragen. Zelfevaluatie betekent dat je zelf die vragen bepaalt, in dit geval samen met de partner: samen beslissen jullie waar de evaluatie over zal gaan. Hierbij is het wel goed om rekening te houden met enkele standaardvragen. Deze vragen gaan over de typische evaluatiecriteria en over de samenwerking tussen de partners (procedures, taakverdeling en communicatie, kwaliteit, …). De voornaamste evaluatiecriteria zijn: relevantie, efficiëntie, effectiviteit en duurzaamheid (zie glossarium en werkboek: toelichting). Standaardvragen zijn: Hebben we de juiste dingen gedaan (relevantie)? Doen we de dingen op de goede manier (efficiëntie)? Behalen we concrete resultaten (effectiviteit)? Zullen die resultaten blijven bestaan als het project eindigt (duurzaamheid)? De volgende uitgangspunten zijn belangrijk: 1) Het moet duidelijk zijn voor iedereen dat de workshop van 1 dag een evaluatieworkshop is; 2) De workshop wordt georganiseerd door jouw ngo én de partner; 3) De doelstelling, focus en werkwijze moeten voor iedereen duidelijk zijn. Je kan eventueel de checklist ‘Referentietermen voor een evaluatie’ uit het werkboek erbij nemen om één en ander te verduidelijken; 4) De terminologie die je wilt gebruiken moet begrijpbaar zijn (of moet je begrijpelijk maken); 5) In principe nemen zowel leidinggevenden als medewerkers (van de betrokken diensten) deel. Eventueel kunnen ook leden van de raad van bestuur (van je eigen ngo en van de partner)
116/141
deelnemen. In principe voorzie je geen middelen voor externe begeleiding. Een bredere deelname (ook van de kant van jouw ngo) is belangrijk om ervoor te zorgen dat eventuele afspraken voor een vervolg- en verbetertraject effectief worden opgenomen. Het is wel belangrijk om voor beide partijen een facilitator te benoemen. 6) Het aanvoelen van deelnemers speelt een belangrijke rol. In die zin is een zelfevaluatie subjectief. Dit neemt niet weg dat je moet proberen om de oefening zoveel mogelijk te objectiveren door percepties of standpunten te onderbouwen met ‘bewijsmateriaal’: informatie die je tijdens de monitoring hebt verzameld of ander materiaal (bijv. van externe bronnen) dat standpunten kan onderbouwen. Een zelfevaluatie kan op elk moment, maar het is nuttig om het project waarover de evaluatie gaat wat tijd te geven. Bij projecten die lopen over drie jaar, organiseer je best na minimaal anderhalf jaar een workshop voor zelfevaluatie. Dit kan je makkelijk plannen met de partner, bijv. door de workshop op te nemen in de samenwerkingsovereenkomst.
2
Materiaal
Je hebt flip-charts nodig (minimaal 10), tape om flips op te hangen, markers (1 voor elke deelnemer), post-its of kartonnen kaartjes (minimaal 10 per deelnemer en minimaal 2 verschillende kleuren), materiaal van de monitoring (indien aanwezig), samenwerkingsakkoord met de partner (indien bestaand).
3
Agenda van de zelfevaluatie
De dag is opgedeeld in blokken die toelaten dat je op een systematische manier kijkt naar verschillende aspecten. Het gaat hier om suggesties: je consulteert best met je partner welke punten die eventueel op de agenda wilt zetten en welke methodiek de partner voorstelt. Je kan eventueel voorstellen dat ieder enkele onderwerpen voor zich neemt en een methode voorstellen. Dit leg je dan samen om tot een gedeelde agenda te komen. Op deze manier bouwen jullie samen aan de capaciteit om te evalueren en kunnen jullie methoden uitwisselen. Dit zijn de blokken: 1) de tijdslijn 2) veranderingen in positionering van actoren en betekenis voor het project 3) de resultaten van het project 4) de analyse van de samenwerking en uitvoering 5) conclusies De voorgestelde tijd is de volgende 9u00-10u00
1. de tijdslijn
10u-11u00
2. veranderingen in positionering van actoren en betekenis voor het project
11u00-13u00
3. de resultaten van het project
lunch 14u00-16u00
4. de analyse van de samenwerking en uitvoering
16u00-17u00
5. conclusies
afronding
117/141
Je kan zelf de tijd bepalen die nodig is, op basis van je ervaring met de partner en op basis van het gewicht dat je aan de verschillende blokken hecht.
Blok 1 : de tijdslijn Dit is een manier om met een groep terug te kijken naar de voorbije periode (start minimaal 2 tot 5 jaar voor de start van het eigenlijke project). Het is goed om hiervoor niet enkel naar het project te kijken maar ook naar gebeurtenissen die van belang waren voor beide organisaties (in hun eigen context). Dit helpt om het project wat te situeren en te begrijpen welke factoren (interne en externe) een invloed uitoefenen op het project. De bedoeling van deze tijdslijn is drieërlei : (i) bepalen welke mijlpalen er waren in het verloop van de samenwerking en (ii) inzicht krijgen in de perceptie van de verschillende deelnemers en het gewicht dat ze aan een bepaalde gebeurtenis hechten, (iii) iedereen op dezelfde golflengte krijgen: vaak zijn er in projecten nogal wat veranderingen bij de medewerkers waardoor niet altijd iedereen op de hoogte is van de voorgeschiedenis. Deze oefening helpt om iedereen te laten starten met dezelfde informatie. Voorbeelden van mijlpalen kunnen zijn: de organisatie verwierf grond of kon een belangrijke subsidie binnenhalen, er was een groot personeelsverloop of de eerste trekker van het project is overleden, er was een conflict in de regio, …).
Hoe pak je deze oefening aan? - Je tekent een horizontale tijdslijn waarop je data en mijlpalen kan uitzetten (bovenaan voor de partner en onderaan voor jouw ngo of omgekeerd). Je geeft aan iedereen een kaartje of post-it en vraagt om per kaart een datum en mijlpaal te noteren (1 mijlpaal en datum per kaartje), vraag naar minimaal drie mijlpalen per persoon. De facilitator haalt de kaartjes op en hangt ze op de tijdslijn. Op bepaalde data heb je mogelijk meerdere kaartjes, dit geeft aan dat er voor verschillende deelnemers eenzelfde mijlpaal is. De facilitator overloopt alle mijlpalen en vraagt, indien nodig, verduidelijking en eventueel naar het effect op het project.
Blok 2: verandering in positionering van actoren Hiervoor verwijzen we naar de oefening in het werkboek ‘analyse van stakeholders’. Indien deze analyse werd gemaakt bij het begin van de oefening, is het goed om deze terug te nemen en met de deelnemers te kijken naar de positionering van de verschillende actoren: zijn er wijzigingen in posities en wat betekent dit voor het project? Indien je deze oefening nog niet deed, is het handig om ze voor een eerste keer te doen. Je kan dit wel niet even tussendoor doen en hebt hier voldoende tijd voor nodig. Indien je deze oefening van nul moet beginnen, kan je eventueel beslissen om de oefening rond de tijdslijn te schrappen.
Hoe pak je deze oefening aan? - Zie werkboek, oefening analyse stakeholders/actoren.
Blok 3: de resultaten van het project Kern van deze workshop is het project en de resultaten van het project. Bedoeling is dat iedereen zich hierover kan uitspreken. Je hanteert de standaardvragen rond relevantie, efficiëntie, effectiviteit en duurzaamheid.
Hoe pak je deze oefening aan? - Je hangt 4 flips omhoog, benoemt ze en geeft er toelichting bij. Je introduceert de begrippen, eventueel door voorbeelden te geven. Trap niet in de valkuil om begrippen exact of ‘zoals het hoort’ te omschrijven. Het belangrijkste is dat jullie samen akkoord zijn over de
118/141
invulling van een begrip en dat jullie oog hebben voor diverse aspecten. Zorg dat je hierover een consensus hebt. Flip Flip 1
Titel relevantie
Flip 2
efficiëntie
Flip 3
Effectiviteit
Flip 4
duurzaamheid
Toelichting Beantwoordt dit project aan de algemene problemen in de context en de behoeften van de doelgroep, sluit het aan bij of is het complementair met de plannen van de overheid, andere ngo’s, … Voeren we het project uit zoals gepland, voert iedereen zijn taken uit, zijn we in staat een goede opvolging te verzekeren, gebruiken we het budget zoals gepland, zetten we de middelen op de best mogelijke manier in, … Halen we de geplande resultaten, zijn er niet-verwachte positieve resultaten, is er een verbetering/verandering merkbaar, wat is de kans dat we de doelstellingen van het project zullen halen? Hoeveel kans is er dat de resultaten zullen blijven bestaan? Is er zicht op financiële middelen in de toekomst om bepaalde kosten te dekken, kunnen budgetten eventueel vrijgemaakt worden, nemen de organisaties van de doelgroepen verantwoordelijkheid op?
Elke flip verdeel je in vier stukken om een antwoord te krijgen op de vier volgende vragen: 1. 2. 3. 4.
We scoren goed Onze score is maar zozo Onze score is niet goed Eventuele knelpunten
Voor de scores kan je eventueel met een symbool werken: duim omhoog = goede score; duim omlaag = slechte score en duim die naar links of rechts wijst = zozo. Je nodigt iedereen uit om rond te lopen met een marker en aantekeningen te maken op de vier flips (met trefwoorden). Bedoeling is dat iedereen door elkaar loopt en noteert wat hij/zij kwijt wilt op de flips. Concreet: iedereen zet een kruisje bij de score die overeenstem met de eigen mening en reikt hiervoor (indien mogelijk) ‘evidence’ voor aan, bewijsmateriaal. Dat bewijsmateriaal komt in principe uit de informatie van de monitoring. Bijv. één persoon duidt aan dat het project goed scoort op het vlak van relevantie want uit enquêtes bij de doelgroep blijkt dat het project nog steeds beantwoordt aan één van hun meest dringende behoeften. Vervolgens bespreek je de informatie op de flips: je kan onmiddellijk zien waar goed en minder goed wordt gescoord en waar veel of weinig bewijsmateriaal aangebracht wordt. Als je voor het eerst deze oefening doet met de partner, is het mogelijk dat de partner enkel positieve scores aangeeft: pas als duidelijk is dat deze evaluatie niet dient om af te straffen maar om te leren en pas als beide partners hiervan overtuigd zijn, zullen de scores eventueel veranderen. Het is belangrijk om hier geen punt van te maken: discussie over het bewijsmateriaal kan helpen om de scores te nuanceren en een meer realistisch beeld te krijgen; en daar is het uiteindelijk om te doen. Het is goed om deze oefening af te ronden met een identificatie en verdere verduidelijking van eventuele knelpunten: wat de score ook is, welke knelpunten zien we?
Blok 4: evaluatie van samenwerking en uitvoering Het is belangrijk om afzonderlijk aandacht te hebben voor de samenwerking. Die samenwerking wordt vaak niet expliciet vermeld in het logisch kader waardoor er soms minder aandacht voor is tenzij er problemen zijn. Het is echter niet goed om te wachten tot er problemen zijn alvorens de samenwerking te evalueren.
Hoe pak je dit stuk aan? – Je werkt opnieuw met flips en hangt 3 flips omhoog.
119/141
Flip Flip 1 Flip 2 Flip 3
Titel Communicatie tussen partners Uitvoering van taken voor het project Monitoring van indicatoren
Toelichting Je spreekt samen af waar je naar gaat kijken Je spreekt samen af waar je naar gaat kijken Je spreekt samen af waar je naar gaat kijken
Elke flip verdeel je in twee om een antwoord te krijgen op de volgende vragen: 1. Wat loopt goed? 2. Wat loopt minder goed? Je nodigt iedereen uit om rond te lopen met een marker en aantekeningen te maken (met trefwoorden) op de 3 flips. Bedoeling is dat iedereen door elkaar loopt en noteert wat hij/zij kwijt wilt op de flips Vervolgens bespreek je de informatie op de flips: je kan onmiddellijk zien waar het zwaartepunt ligt, of er veel zaken goed lopen of eerder niet. Als je voor het eerst deze oefening doet met de partner, is het mogelijk dat de partner enkel positieve zaken aangeeft. Je kan dat eventueel vermijden door de deelnemers te laten werken met kaartjes over zaken die goed werken en zaken die minder goed werken (kies bijv. gele kaartjes voor zaken die goed werken en rood voor wat niet goed werkt). De facilitator haalt ze dan zelf op en plakt ze op de betreffende flip chart. Het is goed om bij de bespreking te wijzen op de samenwerkingsovereenkomst (als die er is) en te checken wat de waardering is voor de eventuele ondersteuning die de partner krijgt voor de uitvoering van de taken voor het project.
Blok 5: Conclusies Het einde van een workshop krijgt vaak weinig tijd. Formuleren van conclusies is niet hetzelfde als het afronden van de workshop, vandaar dat dit een afzonderlijk blok is dat voldoende aandacht en tijd moet krijgen.
Hoe pak je dit stuk aan? - Bedoeling is een aantal vragen te beantwoorden. Afhankelijk van het aantal deelnemers, doe je dit in afzonderlijke groepen of plenair: 1. Voor de resultaten die behaald zijn/niet gehaald zijn, welke zijn volgens de deelnemers de verklarende factoren? 2. Welke knelpunten kunnen door het project worden aangepakt: wat moeten we beter doen of anders en wie of wat kan daarbij helpen? 3. Zijn er knelpunten die buiten de controle van het project liggen (zie risico’s): wat kan het project doen om de gevolgen te minimaliseren of te beheren? 4. Zijn alle project activiteiten en verwachte resultaten nog steeds even relevant: moeten we stoppen met bepaalde activiteiten of activiteiten en resultaten aanpassen? 5. Zijn de doelstellingen nog steeds relevant? 6. Zitten we met vragen die we op dit moment niet kunnen beantwoorden: hoe gaan we dat dan verder opnemen? 7. Wat zijn concrete acties die moeten gebeuren en wie is daarvoor verantwoordelijk?
120/141
4
Verslag
Reflectie over dit soort vragen leidt tot enkele concrete afspraken met de partner (of een bijsturing van de samenwerkingsovereenkomst) over de verdere uitvoering van het project en de samenwerking. Deze afspraken moeten genoteerd worden in een kort verslag en vervolgens gedeeld worden om te checken of beide partners de zaken op dezelfde manier hebben begrepen. Volgende punten moeten zeker aan bod komen in het verslag: Factoren die grote invloed hebben uitgeoefend op het project (maak een onderscheid tussen interne en externe factoren). Deze informatie haal je uit het blok over de tijdslijn. Evolutie in positionering van actoren: beschrijf stand van zaken en evolutie. Deze informatie haal je uit het blok over de analyse van actoren. Wat zijn de conclusies voor relevantie, effectiviteit, efficiëntie en duurzaamheid: gebruik hiervoor eventueel een gemiddelde score en kijk vooral naar het bewijs dat wordt aangedragen. Deze informatie haal je uit het blok over resultaten. Sterk en zwakke punten in samenwerking: beschrijf kort de punten en geef aan wat dit betekent voor het samenwerkingsakkoord. Deze informatie haal je uit het blok over de samenwerking. Conclusies: geef de antwoorden op de vragen en hecht een planning voor concrete acties aan het verslag. Deze informatie haal je uit de discussie tijdens het laatste blok.
121/141
LEIDRAAD 6: REFERENTIETERMEN VOOR EEN EVALUATIE In deze checklist vind je tips voor het opstellen van referentietermen voor een evaluatie en voor het beoordelen van een evaluatierapport.11 De leidraad ziet er als volgt uit: 1. 2. 3. 4.
1
Inleiding: wat zijn referentietermen? Stappen Wat staat er in de referentietermen? Opvolgen van de kwaliteit van de evaluatie
Inleiding: wat zijn referentietermen?
Als je een evaluatie moet laten uitvoeren van je project, moet/wil je daarvoor soms een consultant/expert/bureau aantrekken. De subsidiërende overheid eist meestal dat je hiervoor een opdracht uitschrijft en dat je verschillende offertes verzamelt. Om dat goed aan te pakken, heb je eigenlijk referentietermen nodig (in het Engels: Terms of Reference; in het Frans: Termes de Références). Een nota met referentietermen definieert hoe een bepaalde opdracht, zoals een evaluatie, moet uitgevoerd worden. Deze referentietermen kan je zowel voor een externe als voor een interne evaluatie opstellen. In dit voorbeeld kijken we vooral naar een externe evaluatie. Goede referentietermen zijn een eerste en cruciale stap in het realiseren van een evaluatie van goede kwaliteit. Als opdrachtgever voor een evaluatie moet je goed weten waarom je een evaluatie ‘bestelt’, wat je specifieke vragen zijn en je verwachtingen ten aanzien van de uitvoering van de evaluatie. Uiteraard zijn er verschillende vormen van referentietermen. Dat wordt bepaald door de aard van jouw organisatie, eerdere ervaringen en het soort evaluatie dat je nodig hebt (tussentijdse evaluatie of eindevaluatie). Met dat soort verschillen hebben we verder geen rekening gehouden.
2
Stappen 1) Baken het onderwerp van de evaluatie af in overleg met collega’s en met partners. Geef partners de kans om de referentietermen te beïnvloeden. Zorg dat je hierover een akkoord hebt. Indien jouw organisatie een evaluatiebeleid heeft, is de kans groot dat je al bij de formulering van het programma hebt bepaald welke evaluaties nodig zijn. Ook in dat geval is het goed om het onderwerp van de evaluatie te preciseren: er is immers al wat tijd over gegaan en jullie vragen zijn mogelijk inmiddels veranderd. 2) Bekijk intern (en bij partners) wie de evaluatie mee kan ondersteunen en begeleiden (werkgroep). 3) Onderzoek het nut en de kans om externen te betrekken in een stuurgroep. 4) Check welke middelen ter beschikking zijn voor de evaluatie.
11
Deze leidraad is gebaseerd op de ervaringen van ACE Europe met evaluaties en referentietermen van diverse opdrachtgevers en ervaring met het beoordelen van evaluatierapporten van andere organisaties (in het kader van deskstudies). Voor de informatie over referentiermen werd ook inspiratie geleverd door een handleiding die de Independent Evaluation Group (IEG) schreef voor de Wereldbank: Roberts, D; Khattri, N. and Wessal, A. (2011) Writing Terms of reference fora n evaluation: a how-to guide.
122/141
5) Argumenteer of en waarom een extern bureau noodzakelijk is en denk na over de samenstelling van een evaluatieteam (voor een evaluatie over een specifiek domein kan één consultant volstaan, tenzij je onder tijdsdruk staat). 6) Maak een lijst van consultants/bureaus die in aanmerking komen (vraag wat rond naar ervaringen van andere mensen). 7) Vraag voorbeelden op van referentietermen en check interne procedures voor toewijzing van opdrachten 8) Schrijf de referentietermen uit. 9) Laat een eerste voorzet nalezen door collega’s. 10) Verzamel informatie over het project die nuttig is voor bureaus/consultants die een offerte voorbereiden. 11) Stuur de referentietermen uit.
3
Wat staat er in de referentietermen?
In de referentietermen moet minimum informatie staan over volgende onderwerpen: 1. Basisinformatie over je project 2. Bedoeling: waarom en voor wie wordt een evaluatie gevraagd? Wat is de bedoeling/finaliteit? 3. Onderwerp: waarover gaat deze evaluatie? 4. Wie wordt betrokken in deze evaluatie? 5. Planning: welk tijdspad heb je voor ogen en totale duurtijd? 6. Organisatie van middelen: welke middelen zijn beschikbaar voor deze evaluatie? 7. Wat voor voorstel/offerte verwacht je en hoe moet die ingediend worden? Hieronder beschrijven we wat meer in detail de verschillende paragrafen die aan bod kunnen komen. Wat cursief staat, lijkt ons echt essentieel. Probeer referentietermen te beperken tot ongeveer 5 pagina’s (maximaal 10). 1. Basisinformatie over het project Projecttitel Achtergrond en samenvatting van het project (eventueel met logisch kader) Samenvatting van eerdere evaluaties (eventueel) Lopende activiteiten 2. Bedoeling en achtergrond Waarom en voor wie wordt deze evaluatie uitgevoerd: is het enkel voor intern gebruik (met partners) of dient de evaluatie ook de verantwoording aan de subsidiegever? Past deze evaluatie binnen een planningscyclus of zit je gewoon met een aantal specifieke vragen? Wie gaat de informatie van deze evaluatie gebruiken? Wat is de achtergrond en de aanleiding voor deze evaluatie: wat is de geschiedenis en stand van zaken van het project en welke eerdere evaluaties werden al uitgevoerd? Eventueel informatie over de context waarbinnen het project wordt uitgevoerd. Waarom moet de evaluatie nu worden uitgevoerd? Geef de basisinformatie over het project (wie, wat, waar, budget, stand
van zaken). Finaliteit: wat moet de evaluatie opleveren: wil je vooral weten of je project de verwachte resultaten heeft behaald? Wil je ook leren uit goede praktijken of over wat werkt en niet werkt? Wil je een beslissing kunnen nemen over verlenging van een programma of stop zetten van een partnerschap, ….?
123/141
3. Onderwerp
Waarover moet deze evaluatie concreet gaan: baken af wat geëvalueerd moet worden in tijd (welke periode), landen/regio’s, onderdeel van programma’s of ganse programma’, bepaalde actoren of één bepaalde doelgroep. Zijn er eventueel specifieke evaluatievragen of wil je gewoon een beoordeling volgens de criteria relevantie, efficiëntie, effectiviteit, impact en duurzaamheid? (maak duidelijk hoe jij deze termen invult). Vermijd een lange waslijst van vragen waar je mee zit. Geef eventueel ook aan wat niet de bedoeling is. 4. Wie moet betrokken worden?
Wie moet betrokken worden in de evaluatie: welke personen/instellingen/structuren moeten zeker betrokken worden. Maak een lijst van respondenten die bevraagd moeten worden. 5. Planning Het tijdsverloop van de evaluatie (met mijlpalen) en de totale duur: wat is de start- en einddatum, welke fasen zie jij in de evaluatie en wat moet er op het eind van elke fase liggen (zie ook verwachte output). Hoe en met wie moet elke fase afgerond worden? 6. (Organisatie) van middelen Middelen die ter beschikking zijn voor de uitvoering van de evaluatie: wat is het budget voor deze evaluatie (of vermeld een minimum en maximum budget dat je voor ogen hebt), welke mensen kunnen de evaluatie mee ondersteunen en begeleiden, staan de partners ter beschikking om mee informatie te verzamelen, afspraken te regelen, respondenten te mobiliseren, … Hoe wordt de evaluatie gemanaged binnen de organisatie: is er een werkgroep of een stuurgroep? Wat zijn de taken die je ziet voor de evaluator en welke taken neem je eventueel zelf op? Welke documenten staan ter beschikking van het bureau/de consultant: geef de bibliografie van beschikbare documenten en geef aan welke informatie al verzameld werd door het project. 7. Output
Wat voor output wordt concreet verwacht? Verwacht je een rapport (hoeveel bladzijden), heb je een idee van wat in dat rapport moet staan, verwacht je andere vormen van rapportage (artikel, powerpoint presentatie,…). Voor wie is die output bestemd: wie moet het rapport lezen of gebruiken? In welke taal moet het rapport geschreven worden? Hoe zal je de output/de rapporten beoordelen en hoeveel tijd heb je daarvoor nodig? Hoeveel tijd is er voorzien om rapporten bij te schaven? 8. Vereiste competenties Aan welke vereisten moet het bureau/de consultant voldoen : wil je een team of niet, moet er een consultant bij betrokken zijn uit het land waar de evaluatie moet uitgevoerd worden, welke competenties en ervaringen moeten in het evaluatieteam aanwezig zijn? Heb je referenties nodig of voorbeelden van eerder uitgevoerde evaluaties? Heb je bepaalde eisen ten aanzien van de evaluatieaanpak en/of methodiek: moet de evaluatie participatief zijn en wat betekent dat dan voor jullie? Wil je dat de evaluator bepaalde technieken toepast? Zijn er bepaalde principes/waarden die belangrijk zijn voor jullie (bijv. anonimiteit van gegevensverwerking)? Moet de evaluatie leerprocessen bevorderen en zo ja, bij wie? Wil je dat de evaluatoren workshops organiseren met de betrokkenen om conclusies en aanbevelingen door te spreken? De meeste referentietermen laten dit luik open en over aan de indiener. 9. Indiening: format en procedures Wat voor offerte verwacht je? Het is interessant om te weten hoe de indiener de referentietermen begrijpt: vraag daarom naar opmerkingen en bedenkingen bij de
124/141
referentietermen, naar eventuele risico’s die de indiener ziet voor een kwaliteitsvolle evaluatie en naar pistes om hiermee om te gaan. Soms wordt aan bureaus/consultants ook gevraagd om de vragen in de referentietermen te vertalen naar concrete evaluatievragen en indicatoren Een offerte moet zeker informatie geven over de benadering en methodieken/technieken die gebruikt zullen worden om gegevens te verzamelen en om ze te analyseren, de concrete evaluatieactiviteiten die gepland worden en het tijdsschema, met bijbehorend budget én de manier waarop verschillende consultants de taken verdelen. Hoe moet de offerte ingediend worden? Moet het voorstel beantwoorden aan een bepaalde structuur? De referentietermen kunnen eventueel al het format voorstellen waarin het budget voor de evaluatie moet opgesteld worden. Zijn er vereisten voor de lengte van het voorstel? Wat is de deadline voor het indienen? Hoe mag het voorstel ingediend worden? Denk eventueel aan een procedure die toelaat dat potentiële indieners voor een bepaalde datum vragen kunnen stellen ter verduidelijking. Selectieproces: hoe ga je de voorstellen beoordelen en hoeveel tijd denk je daarvoor nodig te hebben?
4
Opvolgen van de kwaliteit van de evaluatie
Goede referentietermen zetten de evaluatie op weg en verduidelijken de verwachtingen. Op basis van de offerte van het bureau/de consultant die je selecteerde kan je dat nog verder verduidelijken. Je kan de consultant vragen om zijn methodologische aanpak verder te preciseren voor de evaluatie start. Uiteraard stopt het werk voor de opdrachtgever niet, eens de evaluatie start. Het is belangrijk om de evaluatie goed op te volgen. Dat kan op verschillende manieren, bijv. door het goed beoordelen van de rapporten die worden afgeleverd en daarover in discussie te gaan met het bureau of de consultant die de evaluatie uitvoert. Hieronder geven we daarom nog een instrument dat je kan gebruiken (als inspiratie) om de kwaliteit van de evaluatie en -rapporten op te volgen en bij te sturen. Het instrument screent enkele essentiële voorwaarden voor een goede evaluatie en kijkt naar de betrouwbaarheid van verzamelde gegevens en analyses, validiteit (slaan de bevindingen op de evaluatievragen waar je als opdrachtgever mee zat) en bruikbaarheid. Elementen uit onderstaande lijst kan je eventueel al verwerken in het format van het evaluatierapport en doorspreken met de evaluator. Screening kwaliteit evaluatierapporten Betrouwbaarheid
Zijn de vaststellingen en conclusies van de evaluatie betrouwbaar ? Subvragen De vaststellingen en conclusies zijn ook gebaseerd op kwantitatieve gegevens Opmerkingen :
Ja
Neen
De evaluatoren hebben de kwaliteit van de beschikbare gegevens van het monitoringsysteem van het project beoordeeld en er rekening mee gehouden in hun evaluatie ?
Opmerkingen De evaluatiemethodiek en technieken voor de verzameling van gegevens werd duidelijk beschreven en onderbouwd en eventuele afwijkingen (en hun
125/141
gevolgen) werden vermeld. Opmerkingen : De criteria voor selectie van respondenten en eventuele steekproeven zijn duidelijk, onderbouwd en garanderen een zekere representativiteit. Opmerkingen : Problemen bij de uitvoering van de evaluatie (en hun gevolgen voor de vaststellingen en conclusies) werden aangegeven en beschreven.
Opmerkingen De gegevens die werden verzameld bij verschillende respondenten werden voldoende geverifieerd en getrianguleerd (aan elkaar afgetoetst). Opmerkingen : De evaluatoren maken voldoende gebruik van externe informatiebronnen (dus niet enkel gegevens van het project) ? Opmerkingen : Validiteit
Hebben de evaluatoren onderzocht/beoordeeld wat moest onderzocht worden ? Subvragen Het rapport geeft een duidelijk antwoord op de vragen die moesten beantwoord worden. Opmerkingen :
Ja
Neen
Ja
Neen
Het is duidelijk waarop de evaluatoren hun vaststellingen en conclusies baseren (waar hebben ze naar gekeken om te komen tot hun vaststelling). Opmerkingen :
De vaststellingen en conclusies zijn niet gratuit maar telkens onderbouwd met representatieve voorbeelden of kwantitatieve gegevens. Opmerkingen : De vaststellingen en conclusies zijn zoveel mogelijk genderspecifiek Opmerkingen : Bruikbaarheid
Zijn de resultaten bruikbaar en kunnen de aanbevelingen toegepast worden? subvragen Alle essentiële informatie staat in het rapport ? Het rapport beantwoordt aan de afspraken die werden gemaakt. Opmerkingen : De conclusies en de beoordelingen van de evaluatoren zijn duidelijk : er worden duidelijk uitspraken gedaan. Opmerkingen : De evaluatoren hebben verklarende factoren geïdentificeerd voor de diverse
126/141
vaststellingen/het bereiken van verwachte resultaten. Opmerkingen : De evaluatoren hebben goede praktijkvoorbeelden geïdentificeerd en beschreven. Opmerkingen : De evaluatoren hebben sterke en zwakke elementen geïdentificeerd in het projectdesign en/of de uitvoering. Opmerkingen : De aanbevelingen zijn in overeenstemming met de conclusies (er is een duidelijke link tussen conclusie en aanbeveling). Opmerkingen : De aanbevelingen zijn voldoende precies (er wordt aangegeven wat prioritair en dringend is, voor wie de aanbevelingen bestemd zijn, wie welke actie moet ondernemen en wanneer). Opmerkingen : Het rapport maakt duidelijk in welke mate conclusies en aanbevelingen werden doorgesproken met partners/actoren/doelgroep.
Opmerkingen Is er informatie die ontbreekt? Opmerkingen: Conclusies Over betrouwbaarheid: Over validiteit: Over bruikbaarheid: Eventueel andere opmerkingen: Vragen en discussiepunten voor de evaluatoren
127/141
OEFENING 7: VAN HET LOGISCH KADER NAAR HET MONITOREN VAN INDICATOREN Monitoring en evaluatie horen samen: zij maken deel uit van een geïntegreerd systeem waar gegevensverzameling samen gaat met reflectie en communicatie. Een dergelijk geïntegreerd systeem maakt het mogelijk om te leren uit de praktijk en om op een strategische manier te kijken naar de interventies van jouw ngo. Toch gaan we in deze oefening de functies van monitoring en evaluatie scheiden en het accent te leggen op slechts één onderdeel van monitoring, nl. hoe zorg je ervoor dat je indicatoren op een goede manier kan opvolgen of: hoe zet je de stap van het formuleren van indicatoren naar monitoring? We blijven met deze oefening op projectniveau. Uiteraard moet je eerst kijken wat er binnen jouw organisatie al bestaat rond monitoring en evaluatie: als er al een systeem is, volg je uiteraard de richtlijnen die al bestaan. De oefening is als volgt uitgewerkt: 1. Inleiding 2. Toelichting bij de aanpak 3. De stappen (met instrumenten en toelichting) 4. Wat doe je met de informatie (werkblad) 5. Hoe ga je verder Deze oefening werd uitgewerkt met concrete voorbeelden uit de Noord- en de Zuidwerking (die we ook in andere oefeningen gebruikten). Het logisch kader van deze fictieve projecten maakt deel uit van het materiaal in dit werkboek. Het gaat concreet om: Project in het Zuiden: voedselzekerheid en ondervoeding van kinderen, (verder) uitgewerkt als gezondheidsproject; Project in het Noorden: versterken van maatschappelijk draagvlak voor de NoordZuidproblematiek, (verder) uitgewerkt als project voor versterking van betrokkenheid van schoolgaande jongeren bij de Noord-Zuidproblematiek.
1
Inleiding
Essentieel in het opzetten van een systeem voor monitoring en evaluatie is het goed bepalen van de informatienoden: welke informatie is er nodig om de uitvoering van het project in goede banen te leiden en om ervoor te zorgen dat je kan rapporteren over resultaten (verantwoording afleggen) en kan leren uit de praktijk. Een systeem dat oog heeft voor de (capaciteit en betrokkenheid van) partners en de actoren denkt ook na over ‘wie’ allemaal informatie nodig heeft om zijn taken/rollen goed te kunnen uitvoeren. In deze oefening kijken we vooral naar de informatienoden die worden bepaald door de indicatoren op het niveau van resultaten en specifieke doelstellingen. Om één indicator op te volgen heb je soms verschillende types informatie nodig. We willen op deze manier het principe uitleggen en één essentiële bouwsteen van een monitoring- en evaluatiesysteem toelichten. Echter, indicatoren geven dan wel een indicatie over het al dan niet behalen van een doelstelling of een resultaat maar verklaren 12 meestal niet waarom een resultaat behaald/niet behaald werd. Het mag dan ook duidelijk zijn dat de
12
Om die reden formuleren ngo’s bovenop hun indicatoren soms ‘performance questions’: de formulering van dit soort vragen wordt sterk bepaald door de werkwijze van de ngo en de visie van de ngo op maatschappelijke verandering. De ngo Trias werkt
128/141
informatienoden verder gaan dan de indicatoren van het logisch kader: bijv. om een uitspraak te kunnen doen over de relevantie van het project, moet je eigenlijk ook informatie verzamelen over de context, bijv. om de risico’s voor het project te beheren moet je informatie verzamelen over de veronderstellingen, je hebt informatie nodig om een uitspraak te doen over transversale thema’s zoals gender, HIV/AIDS en milieu en om duurzaamheid op te volgen en je hebt informatie nodig over de uitvoering volgens planning en budget (en over contract en personeelsbeheer, beheer van infrastructuur, financieel management). Na het vastleggen van de informatienoden, kan je verder bepalen hoe je informatie gaat verzamelen en gebruiken. Ervaring van (externe) evaluatoren en analyse van programmabeschrijvingen van ngo’s maken duidelijk dat de stap van het logisch kader naar een monitoring- en evaluatiesysteem voor veel organisaties moeilijk is. Het logisch kader zelf biedt ook weinig leidraad om informatienoden te bepalen en na te denken over monitoring en evaluatie: naast de kolom ‘indicatoren’ heb je enkel nog de kolom ‘bronnen van verificatie’. Dit helpt niet echt om een systeem uit te werken en het verklaart ook waarom vele systemen te weinig aansluiten bij het logisch kader (en gegevens meten en opvolgen die minder relevant zijn). Daarom willen we hier beginnen met een eerste stap en vertrekken vanuit de indicatoren.
2
Hoe pak je dit aan? Eens het project is geformuleerd en de indicatoren zijn bepaald, kan je starten met het ontwerpen van een monitoringsysteem. Je checkt eerst wat bestaat in je organisatie: in verschillende organisaties zijn er al algemene richtlijnen. Die hebben het echter vaak niet over het aspect ‘bepalen van informatienoden’ dat hier centraal staat. Het is mogelijk voor één persoon om een aanzet te geven voor het bepalen van informatienoden maar dit moet gecheckt worden met partners en andere actoren. Als je wilt dat zij betrokken zijn in het project is het immers belangrijk dat zij ook mee beslissen over het soort informatie dat verzameld wordt en de manier waarop. Organiseer daarom minstens één sessie van een halve dag met partners om de informatienoden en gegevensverzameling samen door te praten.
bijv. met ‘performance questions’. We gaan in deze oefening niet verder in op ‘performance questions’. Meer informatie hierover staat in de publicaties van IFAD en INTRAC: IFAD (http://www.ifad.org/evaluation/oe/process/guide/index.htm ) en het handboek van Bakewell, O. (2009) Sharpening the development process. A practical guide to monitoring and evaluation.
129/141
Enkele punten om te onthouden: a) Nadenken over monitoring van de indicatoren kan ertoe leiden dat je de indicatoren opnieuw aanpast, bijv. als blijkt dat het te moeilijk is om binnen een redelijke tijd en met beperkte middelen informatie te verzamelen. Bij het formuleren denk je namelijk vaak niet aan de praktische implicaties voor gegevensverzameling. b) ‘less is more’: informatie die niet gebruikt zal worden, moet je niet verzamelen. Dataverzameling mag ook niet in de weg staan van de uitvoering van het project; de inspanning en de kost moeten redelijk blijven. c) Bepaal informatienoden niet enkel in functie van indicatoren: het is belangrijk dat indicatoren worden opgevolgd maar het is ook belangrijk dat je informatie verzamelt die echt belangrijk is voor diverse actoren die betrokken zijn in het project.
3
Stappen
Stap 1: neem de indicatoren (waarover een akkoord is met diverse actoren) en bepaal welke informatie verzameld moet worden en waar je die informatie kan halen. Je bepaalt met andere woorden informatienoden en bronnen van informatie.
Stap 2: bepaal welke informatie je al moet verzamelen voor de start van het project (baseline informatie). Kijk hiervoor naar de leidraad voor het opzetten van een baseline (die je in dit werkboek terugvindt). We behandelen deze stap niet verder in deze oefening.
Stap 3: check of die informatie al ergens werd verzameld (secundaire informatie). In dit geval is de methode van gegevensverzameling eenvoudig: je vraagt de informatie op bij de betreffende bron. Indien niet, moet je zelf een methode bepalen om de informatie te verzamelen. Er is een grote variatie in methoden. De keuze is afhankelijk van diverse factoren: wil je participatieve methoden gebruiken, heb je veel tijd en geld, wil je vooral kwantitatieve informatie, welke techniek past best bij de doelgroep? Hierna volgt een overzicht (niet exhaustief) van technieken die je kan gebruiken om op een gestructureerde manier informatie te verzamelen. Het accent ligt op participatieve technieken of technieken die ruimte geven aan de respondent om zijn/haar perceptie in te brengen. Meer informatie vind je ook terug op de website van de NGO-Federatie (zie bijv. materiaal van FocusUp rond het opstellen van gestandaardiseerde vragenlijsten). Boodschap is dat je best verschillende 13 methoden combineert. Overzicht technieken gegevensverzameling
Waarom hiervoor kiezen?
Semi-gestructureerde interviews: interviews op
basis van een interviewleidraad met vragen, die de ruimte laat aan de geïnterviewde om zelf iets in
13
Verzamelen van appreciaties en percepties (kwalitatief materiaal) bij verschillende mensen
Opmerkingen
Vaardigheden als ‘interviewer’ zijn van belang is een heel flexibel instrument Belangrijk om informatie te checken met verschillende soorten geïnterviewden (‘triangulatie’ of
Wie een uitgebreider overzicht wilt van technieken (ook meer kwantitatieve) kan terecht in het handboek van IFAD (opcit).
130/141
te brengen.
Zelfevaluatieworkshop met partners/actoren/doelgroepen
(zie ook oefening in dit werkboek)
Tijdens werkbezoeken (bijv. bij het afronden van een bepaalde projectfase)
Observatie van activiteiten (op basis van een observatieleidraad die bepaalt waar je naar gaat kijken), bijv. verloop van vergaderingen, educatieve workshops, tentoonstellingen, … Verhalende methode (via video, foto reportage die een verhaal vertelt, het (laten) neerschrijven van verhalen, het laten bijhouden van een dagboek,. Een grondige en systematische methode hiervoor vind je terug bij de techniek van de Most 14 Significant Change Focusgroepgesprekken of discussie op basis van vooraf bepaalde onderwerpen
Analyse van groepsdynamieken (begrijpen hoe dingen verlopen en in zijn werk gaan) aanvullend op interviews en focusgroepgesprekken analyse van nieuwe technieken/methodes die worden uitgetest Verzamelen van appreciaties en percepties (kwalitatief materiaal) Vaststellen van niet verwachte resultaten begrijpen/in kaart brengen van mechanismen van verandering betrekken van doelgroep en ruimte geven aan hun verhaal verandering over de tijd zien
verzamelen van percepties en ideeën bij een (homogene) groep van maximaal 10 mensen die iets gemeen hebben in het project/de problematiek is een goed instrument om bepaalde pistes voor de toekomst af te toetsen en argumenten te verzamelen is een goed instrument om verklarende factoren te identificeren voor behaalde/niet behaalde resultaten
kruisen van informatie) je kan ook open interviews houden, maar dan is het soms moeilijk om de informatie te verwerken kan eventueel met meerdere personen tegelijk Als je een goed zicht wilt krijgen op het onderwerp zal je wellicht meerdere personen moeten interviewen op locatie (kost dus tijd en geld) Soms belangrijk om een externe ‘leider’ (facilitator) voor de gesprekken te hebben (mochten er bijv. spanningen zijn) je moet hier expliciet tijd voor uittrekken met verschillende mensen (moet dus gepland worden) duidelijke agenda en systematische aanpak zijn nodig vraagt veel tijd of je nu actief deelneemt of niet, je aanwezigheid heeft een impact op het verloop, zeker als men weet dat je komt ‘observeren’
Krijgt vooral meerwaarde als de verhalen uitgewisseld en besproken worden in groep kan een manier zijn om mensen te betrekken die je via geen enkele andere techniek goed kan bereiken verhalen blijven beter ‘hangen’ best combineren met andere technieken je kan de conclusies van verschillende focusgroepen (met telkens andere soorten groepen) naast elkaar zetten en vergelijken om te kijken of er bij de diverse soorten betrokkenen grote verschillen zijn. vereist wel wat inzicht in groepsdynamiek om de discussie goed te leiden en ervoor te zorgen dat niemand de gesprekken domineert
14
Meer informatie over Most Significant Change: Davies, R. and Dart, J (2005). The Most Significant Change (MSC) Technique. A guide to its use. (te vinden op het internet).
131/141
Gestandaardiseerde vragenlijsten
Verzamelen van anonieme informatie bij een grote groep mensen die je kan omzetten in kwantitatieve gegevens.
Diagrammen en schema’s
kan nuttig zijn om relaties in kaart te brengen, actoren te positioneren
Tekeningen/foto’s (en andere visuele instrumenten)
Input krijgen van mensen die zich mondeling of op schrift niet zo goed kunnen uitdrukken zicht krijgen op situaties ‘voor’ en ‘na’ (bijv. tekenen van in gebruik nemen van gronden voor specifieke gewassen)
Formulering van de vragen luistert nauw: enige expertise is vereist vereist capaciteit om kwantitatieve data te verwerken, te analyseren en te interpreteren je moet soms een steekproef bepalen (als de groep te groot is) de probleemboom en analyse van actoren zijn voorbeelden die je in dit werkboek terug vindt. vraagt enige inspanning van deelnemers om abstractie te maken van zaken Deze evaluatie biedt op zichzelf niet voldoende informatie en kan dus bij voorkeur gecombineerd worden met een andere soort evaluatie.
Stap 4: Check de haalbaarheid aan de hand van enkele criteria Kostprijs (inzet van mensen en financiële middelen): Betrokkenheid van actoren: wie zit te wachten op welke informatie? Check of de informatie effectief zal gebruikt worden. Hanteer het ‘less is more’ principle: stel jezelf de vraag: ‘wie heeft deze informatie nodig, wanneer en om er wat mee te doen? Stap 5: bepaal de modaliteiten van gegevensverzameling: Wat is de frequentie van gegevensverzameling? Wie verzamelt? Wie is verantwoordelijk en consolideert de informatie in een leesbare en consulteerbare vorm? Dit is een belangrijk element: vaak wordt informatie verzameld maar niet verwerkt: bijv. de NGO deelt vragenlijsten uit die peilen naar tevredenheid over een vorming, verzamelt ze maar doet er verder niets mee. Hierdoor is het niet mogelijk om een uitspraak te doen over de tevredenheid van de deelnemers aan de vorming. Het antwoord op deze vraag vermeld je in de kolom ‘bronnen van toetsing of verificatie’ in het logisch kader. Stap 6: kom tot een conclusie maak een overzicht van alle inspanningen die nodig zijn om te voldoen aan alle informatienoden en kom tot een conclusie over de haalbaarheid.
132/141
Voorbeeld Zuidwerking Hieronder presenteren we enkele indicatoren van het fictieve project rond de Zuidwerking. Vervolgens werken we voor 1 indicator enkele stappen zoals hierboven geschetst. Specifieke doelstelling
Kinderen in de regio zijn beter gevoed en minder ziek
indicator
Het aantal kinderen M/V (vooral onder de vijf jaar) dat lijdt aan chronische ondervoeding De evolutie in voorkomen van bepaalde ziekten bij kinderen (M/V) van jonger dan 5 jaar
Resultaten
Resultaat 1: de gezondheidscentra in de regio XX bieden aangepaste en betaalbare diensten aan
Indicator
Evolutie van het aantal consultaties voor kinderen (M/V) onder de vijf jaar in ieder gezondheidscentrum dat betrokken is in het project Evolutie van de capaciteit van de gezondheidscentra om gepaste diensten te plannen en te beheren Resultaat 2: huishoudens in de regio XX sparen en zijn in staat om te betalen voor gezondheidszorg
Indicator
Het aantal vrouwen met kinderen onder de vijf jaar dat deel uitmaakt van een erkende spaargroep die functioneert en geld op de bank zet.
133/141
We werken hieronder de volgende indicator verder uit:
Evolutie van de capaciteit van de gezondheidscentra om gepaste diensten te plannen en te beheren Monitoring tabel (project over 3 jaar) Indicatoren
Waarover informatie verzamelen?(informatienoden)
Waar halen? (bronnen)
Op welke manier? (methode)
Frequentie?
Wie verzamelt informatie?
Evolutie van de capaciteit van de gezondheidscentra om gepaste diensten te plannen en te beheren
Capaciteit in verschillende domeinen, met name beheer en planningscapaciteit
gezondheidscentra
jaarlijks
Partner-ngo
Evolutie van concrete diensten: welke diensten, hoeveel diensten, … gericht op opsporen en behandelen van ondervoeding
Gezondheidscentra Rapporten van inspectie (maar voorlopig niet volledig/betrouwbaar)
Begeleide analyse van capaciteit met ieder centrum individueel (met deelname van management, dokters en zorgverleners) volgens bepaalde methode screening van rapporten en registratiesystemen op basis van enkele standaardvragen
6 maandelijks (kiezen van perioden waarin er veel/minder voedsel is)
Partner-ngo
Partner-ngo vermeldt resultaten per centrum en voor alle gezondheidscentra samen
Partner-ngo (eventueel met de hulp van studenten/universiteit voor bevraging van huishoudens)
Partner-ngo vermeldt resultaten per centrum en voor alle gezondheidscentra samen
Mate waarin diensten tegemoet komen aan noden van doelgroep: -hoe worden diensten aangeboden, ter plaatse of ook op het terrein met welke frequentie? -hoeveel kosten de diensten? -wat is de (kwaliteit van de) relatie tussen de dienstverlener(s) en de doelgroep? -verschil tussen vrouwen die deel uitmaken van spaargroep en andere vrouwen
Gezondheidscentra en doelgroep (via deelnemers aan spaargroepen en groep die niet in spaargroep zit)
gesprekken met regionale inspectie over hun statistieken (opvolgen van evolutie in kwaliteit) Gezamenlijk evaluatiegesprek met zorgverleners van gezondheidscentrum (zie hierboven, 1 x jaar gekoppeld aan analyse capaciteit) Semi-gestructureerde groepsinterviews met spaargroepen Korte enquête bij X aantal huishoudens in
134/141
Wie gaat de informatie consolideren en analyseren en op welke manier? (bron van toetsing/verificatie) Partner-ngo maakt verslag per centrum en analyse van sterke punten en knelpunten voor alle gezondheidscentra samen. Analyse gebeurt samen met vertegenwoordiger van eigen NGO
Te bepalen
6-maandelijks
6-maandelijks
Partner-ngo maakt verslag per centrum en bespreekt dit met ieder centrum (gebruiken als input bij evaluatiegesprek) Partner-ngo maakt overzicht per dorp en voor geheel van de interventieregio
ieder dorp van de regio (steekproef nog te bepalen): over toegang tot gezondheidsdiensten (ondervoeding) en toegang tot spaargroepen
6 maandelijks (bij zelfde steekproef)
Enz.
135/141
Analyse gebeurt samen met vertegenwoordiger van eigen ngo met oog op strategie
Toelichting: De ngo heeft drie types van informatienoden bepaald. De meeste bronnen zijn duidelijk en gezien de opzet van het project zal het niet veel moeite vragen om te informatie hier te halen: het project werkt namelijk direct samen met de gezondheidscentra en met de spaargroepen. Wat de gezondheidscentra betreft: je mag ervan uitgaan dat er enige interesse is (gezien hun opdracht) in de informatie die wordt verzameld. Een uitzondering is het verzamelen van informatie via enquêtes op huishoudniveau: hiervoor moet een steekproef worden bepaald en moeten huishoudens die niet direct in het project betrokken zijn, bevraagd worden. De enquête is wel belangrijk om te checken in welke mate de strategie steek houdt, nl. helpt het om betere toegang te hebben tot gezondheidsdiensten als je deel uitmaakt van een spaargroep. Indien blijkt uit een eerste draft van het monitoringsysteem dat het geheel te zwaar wordt, zal deze vorm van gegevensverzameling wellicht als eerste sneuvelen. Er wordt wel wat expertise gevraagd van de partner-ngo voor verschillende types van gegevensverzameling. Het is belangrijk om met de partner te kijken wat hiervoor de capaciteit is. Eventueel moet gewerkt worden aan die capaciteit. Dit kan dan opgenomen worden in de samenwerkingsovereenkomst. Eventueel kan ook gekeken worden naar externe input of ondersteuning. De laatste kolom maakt duidelijk hoe de verzamelde informatie gebruikt zal worden: het is nuttig om verzamelde gegevens te gebruiken als input voor gesprekken met verschillende doelgroepen. Er wordt ook verwezen naar rapporten van de regionale gezondheidsinspectie maar die rapporten zijn voorlopig niet betrouwbaar of volledig. Deze ngo beslist voorlopig om zelf de informatie te verzamelen. Het kan echter nuttig zijn om de capaciteit van de inspectiediensten voor betere statistieken te ondersteunen: dit soort statistieken geeft namelijk informatie over de algemene evolutie van alle gezondheidscentra in een grotere regio. Die informatie kan helpen om te kijken of de centra waar de ngo actief mee samenwerkt het beter of slechter doen. Dit betekent echter dat de ngo de regionale inspectie moet ondersteunen en daarvoor zijn er voorlopig geen middelen. Het blijft wel iets om op te volgen en aan te kaarten bij andere donoren en bij de nationale overheid.
Voorbeeld Noordwerking Hieronder presenteren we enkele indicatoren van het fictieve project rond de Zuidwerking. Vervolgens werken we voor 1 indicator enkele stappen uit die hierboven werden geschetst. Specifieke doelstelling
Betrokkenheid van schoolgaande jongeren tussen 12 en 18 jaar bij de Noord-Zuidproblematiek is toegenomen (in de regio waar de ngo actief is)
indicator
Evolutie van het vrijwilligerswerk van jongeren bij ngo’s en andere organisaties die zich (in meer of mindere mate) inzetten voor de Noord-Zuidproblematiek of hun deelname aan activiteiten Evolutie van het aantal concrete initiatieven rond het Zuiden dat op lokaal vlak wordt uitgewerkt door jongeren
Resultaten
Resultaat 1: jongeren in XX scholen verbinden de NoordZuidproblematiek met hun eigen leven en zien waar ze zelf kunnen bijdragen aan een meer solidaire wereld
indicator
Het aantal jongeren (M/V) dat kennis maakte met het didactisch materiaal, dat stelt dat zij één (of meerdere) van de handelingsperspectieven die werden voorgesteld concreet
136/141
overweegt (zijnde: vrijwilliger worden bij een ngo, lid worden van de schoolwerkgroep rond Noord-Zuid, Fair Trade producten aankopen) Het aantal jongeren (M/V) dat actief wordt binnen de school op het vlak van acties rond de Noord-Zuidproblematiek Resultaat 2: opleiding van leerkrachten in XX hogescholen besteedt specifieke aandacht aan de Noord-Zuidproblematiek en de gepaste didactiek naar jongeren toe
indicator
Aantal keren dat specifieke modules worden aangeboden in de hogeschool Evolutie in het aanbod methodieken die (ook) inzetten op verbondenheid (en minder eenzijdig gericht zijn op kennis) Resultaat 3: de pedagogische ondersteuning van XX scholengroepen besteedt specifieke aandacht aan de NoordZuidproblematiek en de gepaste didactiek naar jongeren toe
indicator
De pedagogische ondersteuning past haar checklist voor screening van onderwijskwaliteit aan en de begeleiders hanteren deze lijst in hun coaching van leerkrachtenteams
We werken hieronder de volgende indicator verder uit:
Evolutie van het vrijwilligerswerk van jongeren bij ngo’s en andere organisaties die zich (in meer of mindere mate) inzetten voor de Noord-Zuidproblematiek of hun deelname aan activiteiten.
137/141
Monitoring tabel (project over 3 jaar)
Indicatoren
Waarover informatie verzamelen? (informatienoden)
Waar halen? (bronnen)
Op welke manier? (methode)
Frequentie?
Wie verzamelt informatie?
Wie gaat de informatie consolideren en analyseren en op welke manier? (bron van toetsing/verificatie)
Evolutie van het vrijwilligerswerk van jongeren bij ngo’s en andere organisaties die zich (in meer of mindere mate) inzetten voor de NoordZuidproblematiek of hun deelname aan activiteiten
Overzicht van ngo’s en andere organisaties die zich inzetten voor de Noord-Zuidproblematiek en werken met vrijwilligers
Provincie, dienst NoordZuidsamenwerkin g en 11.11.11 lokale werking
Vragen naar een adreslijst en bijkomende informatie
Bij de start van het project (éénmalig)
projecthouder
Projecthouder: vergelijken van informatie, typologie opstellen
Gegevens over evolutie van het aantal vrijwilligers (M/V en volgens leeftijd) bij deze organisatie
Bij de verschillende organisaties
Bij de start, tussentijds en op het einde
projecthouder
Projecthouder maakt een overzicht per type organisatie met evolutie van vrijwilligers
Gegevens over de manier waarop deze organisaties vrijwilligers aantrekken (welke strategie en communicatie) Gegevens over deelname van jongeren aan activiteiten
Bij de verschillende organisaties
Middels een gesprek of door de vraag per e-mail te stellen (bijv. met een format om gegevens in te vullen) Middels een gesprek
Bij de start
projecthouder
Projecthouder maakt nota over vrijwilligersstrategie
Bij de verschillende organisaties
Middels een gesprek of door de vraag per e-mail te stellen
Bij de start, tussentijds en op het einde
projecthouder
Gegevens over het type engagement dat jongeren aangaan (soort activiteit waarvoor ze zich willen inzetten, frequentie en gemiddelde duurtijd)
Bij de verschillende organisaties
Enquête bij de jongeren/vrijwilligers
Bij de start, tussentijds en op het einde
projecthouder
Projecthouder maakt een overzicht per type organisatie met deelname aan activiteiten Projecthouder maakt een overzicht per type organisatie met een overzicht van engagement door jongeren
Enz.
138/141
Toelichting: De ngo stelt vast dat ze voor één indicator wel 5 informatienoden kan identificeren. Het is de projecthouder zelf die instaat voor verzameling en consolidatie, echter: Alle informatie moet gehaald worden bij andere ngo’s en organisaties in de regio waarmee niet direct wordt samen gewerkt. Dit betekent dat de ngo erg afhankelijk is van 3-en voor informatie maar ook dat een grote inspanning wordt gevraagd van die organisaties. Het is twijfelachtig of zij zelf die informatie verzamelen en/of ze interesse hebben om dat in de toekomst te doen. De ngo voorziet een enquête bij de jongeren die vrijwilligerswerk doen, maar heeft de andere organisaties nodig om adresgegevens door te spelen. Indien deze organisaties geen echte partner zijn, lijkt het niet vanzelfsprekend om deze gegevens te krijgen. De ngo kan nu twee dingen doen: Eerst checken met de organisaties (eens er een overzicht is) welke informatie zij verzamelen en of zij een bepaalde nood voelen om in de toekomst specifieke informatie te verzamelen en/of Enkele informatienoden schrappen en de indicator aanpassen: bijv. enkel informatie opvragen over het aantal vrijwilligers en niet over deelname aan activiteiten (dit schrappen in de indicator) en ook niet over het type engagement. Het zou leuk zijn om informatie te krijgen over het type engagement maar de kans is klein dat de organisaties die de adresgegevens moeten leveren hier geen tijd in kunnen/willen stoppen. Een enquête vraagt ook specifieke expertise (opstellen van vragenlijst en analyse) en behoorlijk wat tijd. Bovendien is deze bijkomende informatie niet essentieel voor de opvolging van de indicator (eerder ‘nice to know’ dan ‘need to know’). Het is mogelijk dat de informatienoden evolueren met de tijd: afhankelijk van de relaties die worden ontwikkeld kan eventueel na verloop van tijd wel een ander soort informatie verzameld worden. Eventueel dient zich ook een opportuniteit aan om bijv. met de provincie een onderzoek te doen naar het engagement van jongeren voor de Noord-Zuidbeweging. Deze informatie kan dan helpen kritisch te reflecteren op de strategie van het project.
4
Wat doe je met de informatie uit deze oefening? Je hebt nu informatie over de mogelijkheden en knelpunten om informatie te verzamelen. Dit betekent mogelijk dat je indicatoren moet herzien. Hiervoor moet je opnieuw overleggen met partners en actoren. Je hebt meer duidelijkheid over wie welke taak op zich zal moeten nemen. Dit is informatie om mee te nemen in eventuele samenwerkingsakkoorden of contracten (zie ook de oefening rond de participatiematrix).
5
Hoe ga je verder? Je kan dezelfde oefening gebruiken om informatienoden te bepalen die te maken hebben met het opvolgen van de context, veronderstellingen en transversale thema’s. Check of je met deze informatie de standaard vragen voor evaluatie kan beantwoorden: relevantie, efficiëntie, effectiviteit en duurzaamheid. Indien niet: bepaal dan bijkomende informatienoden en vul je eerste aanzet voor het monitoring – en evaluatie systeem verder aan. Je legt de uitkomst van deze oefening naast het systeem dat in jouw organisatie bestaat voor monitoring en evaluatie op programmaniveau. Met deze oefening heb je immers een stuk van
139/141
een monitoringsysteem bepaald, nl. wat zijn de informatienoden en hoe gaan we informatie verzamelen en gebruiken. Andere basiselementen die nog moeten bepaald worden zijn de volgende: hoe gaat jouw ngo en de partner (en eventueel andere actoren) deze taak opnemen (wat zijn de organisatiemodaliteiten en heeft iedereen de nodige capaciteit), welke elementen moeten opgenomen worden in de taakomschrijving van personeel van jouw ngo en dat van de partner/andere actoren (en is er voldoende competentie om deze taken op te nemen?), welk budget heb je nodig en wat schrijf je neer om aan iedereen duidelijk te maken waar het over gaat (rapport dat het systeem beschrijft). Zaak is om vervolgens het systeem te laten werken als een geïntegreerd systeem dat toelaat om effectief de gegevens te verzamelen en te managen, gegevens te gebruiken om uitvoering en planning aan te passen (in overleg met diverse actoren) en te verbeteren en ze te gebruiken om te communiceren over resultaten en lessen.
140/141
141/141
