Panel van Advies. Derde Advies

Panel van Advies Derde Advies

December 2014

Inhoudsopgave Inhoudsopgave .......................................................................................................................2 Tabellen en figuren.................................................................................................................3 1. Inleiding..............................................................................................................................5 2. Gebruik van IOB rapporten .................................................................................................7 2.1 Bevindingen van het huidige onderzoek van Ad Prins Support in Research Management .......................... 7 2.1.1 Gebruikte onderzoeksmethode ......................................................................................................... 7 2.1.2 Gebruik IOB evaluaties door internetgebruikers................................................................................. 7 2.1.3 Gebruik IOB evaluaties door de wetenschap...................................................................................... 9 2.1.4 Gebruik IOB evaluaties door de Haagse politiek ............................................................................... 10 2.1.5 Gebruik IOB evaluaties door de schrijvende pers ............................................................................. 11 2.2 Vergelijking eerste rapport Ad Prins Support in Research Management (2011) en huidige rapport.......... 11 2.3 Conclusies en aanbevelingen gebruik evaluaties..................................................................................... 13

3. Real Time Evaluation ........................................................................................................16 3.1 Waarom dit thema?............................................................................................................................... 16 3.2 Hoe heeft het panel dit vraagstuk aangevat?.......................................................................................... 16 3.3 Bevindingen........................................................................................................................................... 17 3.3.1 RTE in humanitaire hulpverlening .................................................................................................... 17 3.3.2 RTE in de overige ontwikkelingssamenwerking ................................................................................ 19 3.4 Conclusies en aanbevelingen Real Time Evaluation ................................................................................ 19

4. Terugblik conclusies en aanbevelingen Eerste en Tweede Advies .....................................23 4.1 Bruikbaarheid van evaluaties ................................................................................................................. 23 4.2 Gebruik van evaluaties........................................................................................................................... 24 4.3 Evaluatieprogrammering ....................................................................................................................... 24 4.4 Theories of change en interventietheorieën in evaluaties....................................................................... 25

5. Slotbeschouwing ..............................................................................................................27 5.1 Bruikbaarheid en gebruik van evaluaties ................................................................................................ 27 5.2 Evaluatieprogrammering ....................................................................................................................... 28 5.3 Theories of change ................................................................................................................................ 28 5.4 Real Time Evaluation ............................................................................................................................. 28 5.5 Big Data................................................................................................................................................. 29 5.6 Discussie................................................................................................................................................ 29

Literatuurlijst........................................................................................................................30 Tweede Kamer ............................................................................................................................................ 30 Websites ..................................................................................................................................................... 30

Bijlage 1. Panel van Advies....................................................................................................31 Achtergronden van het Panel van Advies.................................................................................................. 31 Mandaat van het Panel van Advies........................................................................................................... 31 Taken Panel van Advies............................................................................................................................ 32 Samenstelling Panel van Advies................................................................................................................ 32

Bijlage 2. Onderzochte titels advies Prins Support in Research Management........................34

2

Tabellen en figuren Tabel 1: Werkzaamheden en behandelde onderwerpen Panel van Advies in Adviezen 1, 2 en 3.............................................................................................................................................6 Tabel 2: aantal gebruikers en hun gebruik, naar sector...........................................................8 Tabel 3: Wetenschappelijke verwijzingen in Google Scholar .................................................10 Tabel 4: Informatiestroom aan de TK en EK ..........................................................................11 Figuur 1: Verdeling van aantallen gebruikers over verschillende sectoren, 2011 versus heden .............................................................................................................................................12 Figuur 2: Verdeling van aantallen gebruikers in de sector Ontwikkelingsprocessen en – samenwerking, vergelijking rapport 2011 en huidige analyse ...............................................13

3

4

1. Inleiding Evaluaties hebben een tweeledige functie in de beleidscyclus. Zij dienen ter verantwoording over doelmatigheid en doeltreffendheid van het beleid en de beleidsuitvoering. Daarnaast geven zij inzicht in al dan niet bereikte resultaten en de factoren die daarvoor (mede) bepalend zijn geweest. Daarmee hebben evaluaties een leerfunctie en dragen ze bij tot de kennisinfrastructuur voor ontwikkelingssamenwerking. Verantwoorden en leren zijn complementair. Evaluaties dienen in beginsel beide functies te vervullen. Dit alles geldt ook voor evaluaties op het terrein van de ontwikkelingssamenwerking, als uitgevoerd door de Inspectie Ontwikkelingssamenwerking en Beleidsevaluatie (IOB). Om de leerfunctie van evaluaties te versterken heeft de toenmalige Minister voor Ontwikkelingssamenwerking de Tweede Kamer op 19 februari 2009 toegezegd een Panel van Advies (PvA) in het leven te roepen, bestaande uit externe deskundigen.1 Het Panel heeft tot taak door middel van advisering aan de bewindspersoon voor Ontwikkelingssamenwerking de bruikbaarheid en het gebruik van evaluatiestudies voor beleid en praktijk te bevorderen. Dit Panel werd ingesteld voor een periode van drie jaar, met een mogelijkheid van een eenmalige verlening. Aangezien het mandaat tot 31 december 2014 werd verlengd, zal het Panel binnenkort zijn werkzaamheden beëindigen. In bijlage 1 worden mandaat, samenstelling en werkwijze van het panel nader gespecificeerd. Het voorliggende rapport is het derde Advies van het Panel. Hierin wordt allereerst ingegaan op enkele nieuwe punten in aanvulling op de adviezen uit 2011 en 2013. Deze inleiding sluit af met een overzicht van de onderwerpen waaraan in het geheel van de adviezen van het Panel aandacht werd besteed. Op 4 juli 2011 heeft het Panel van Advies haar Eerste Advies aangeboden aan de Staatssecretaris. In september 2011 is het Advies door de staatssecretaris aangeboden aan de Tweede Kamer met een beleidsreactie. Vanwege het terugtreden van een van de eerste panelleden heeft het Panel van Advies sinds die tijd uit drie leden bestaan.2 Het Tweede Advies is gereed gekomen in januari 2013. Door middel van het plaatsen van het Advies op de website van de Inspectie Ontwikkelingssamenwerking en Beleidsevaluatie in juni 2013 is het Advies openbaar gemaakt.3 In onderstaand overzicht staan de werkzaamheden van het Panel van Advies en de door het Panel behandelde onderwerpen in de drie adviezen schematisch weergegeven.

1

Zie bijlage 1 voor achtergrond, mandaat en samenstelling van het Panel van Advies. Zie bijlage 1. 3 http://www.iob-evaluatie.nl/sites/iobevaluatie.nl/files/Tweede%20advies%20Panel%20van%20Advies%20Definitief%20jan%202013.pdf (laatst bekeken op 31 december 2014) 2

5

Tabel 1: ADVIES 1

2

3

Werkzaamheden en behandelde onderwerpen Panel van Advies in de Adviezen 1, 2 en 3 BRUIKBAARHEID GEBRUIK SPECIFIEKE ISSUES Toetsing recente IOB Onderzoek Ad Prins Gebruik IOB rapporten rapporten op intrinsieke Support in Research over ontwikkelingsbruikbaarheid (validiteit Management naar samenwerking in de en helderheid extern gebruik (IOB domeinen media, vraagstelling, rapporten 2007-2011). wetenschap en de betrouwbaarheid Nederlandse OS dataverzameling, organisaties inzichtelijkheid (onderzoek Ad Prins rapportage, etc.) door Support in Research alle panel leden. Management -Toetsing recente IOB -Gebruik IOB rapporten Programmering: rapporten op intrinsieke door Kamerleden - Interviews PvA met bruikbaarheid. (interviews PvA) IOB staf en Kamerleden -Bruikbaarheid voor de -Maatregelen ter - Onderzoek Helms naar Tweede Kamer stimulering gebruik programmering bij (interviews door PvA). (Nieuwsbrief) zusterorganisaties -Kwestie digitale Theories of Change toegang tot IOB site en (toepassing in IOB rapporten voor evaluaties), eigen externe (inclusief onderzoek PvA wetenschappelijke) gebruikers Tweede onderzoek Ad Real Time Evaluation en Prins Support in gebruik van Big Data, Research Management (onderzoek Beleidsnaar extern gebruik IOB onderzoek & Advies Ger rapporten (2011-2013) van Gils).

6

2. Gebruik van IOB rapporten In deze paragraaf bespreekt het Panel van Advies enkele factoren die van belang zijn bij het gebruik van evaluaties. Evaluaties kunnen op verschillende manieren worden gebruikt: als communicatiemiddel of als een manier om verantwoording over beleid af te leggen, bijvoorbeeld. Tevens kunnen instrumentele benutting van evaluaties en conceptuele benutting van evaluaties worden onderscheiden. Deze verschillende wijzen van gebruik, in relatie tot het type gebruiker, komen in dit hoofdstuk aan bod. Hiervoor werd geput uit het onderzoek naar het gebruik van IOB evaluaties uitgevoerd door Ad Prins Support in Research Management. 2.1 Bevindingen van het huidige onderzoek van Ad Prins Support in Research Management 2.1.1 Gebruikte onderzoeksmethode In opdracht van het Panel van Advies van de Inspectie Ontwikkelingssamenwerking en Beleidsevaluatie is een uitbreiding en update gemaakt van een eerdere rapportage uit 2011 over IOB rapporten en hun gebruikers in de periode 2007-2010. De huidige analyse richt zich op de publicaties van het IOB in de periode 2011-2013. De vraagstelling is: wie gebruiken de publicaties, in de domeinen media, politiek, wetenschap en in het algemeen. Daarvoor is gezocht in diverse databases, waaronder LexisNexis, de parlementaire databank Zoek.OfficieleBekendmakingen.nl, Google Scholar en met de zoekmachines Google en Yahoo. In Bijlage 2 staat de lijst van evaluaties die in dit onderzoek betrokken zijn. Het dient te worden aangetekend dat er een verschil is tussen intern en extern gebruik van evaluaties. Het Panel heeft geen onderzoek laten doen naar het interne gebruik van evaluaties. In 2010 hebben Frans Leeuw en Ger van Gils op verzoek van het Ministerie van Buitenlandse Zaken onderzoek gedaan naar het interne gebruik van evaluaties binnen het ministerie4. In dit advies gaat het Panel nadrukkelijk in op het gebruik van IOB rapporten buiten het ministerie (zie ook de slotbeschouwing van dit advies). 2.1.2 Gebruik IOB evaluaties door internetgebruikers De grootste groep onder de frequente gebruikers is werkzaam in de sector Ontwikkelingsprocessen en -samenwerking, gevolgd door gebruikers uit overheden en onderzoeksinstellingen. In de eerstgenoemde sector zijn het niet alleen de kennisplatforms maar ook de nationale en internationale NGO’s en de in de sector gespecialiseerde onderzoeksinstellingen die het IOB werk gebruiken. De rapporten blijken zeker niet exclusief gebruikt te worden door frequente gebruikers, de diversiteit van gebruik is aanzienlijk; andere categorieën gebruikers zijn bijvoorbeeld: onderzoekers, (buitenlandse) overheden, dienstverleners en (sociale) media. In het onderzoek werd een vergelijking gemaakt met het

4

Van Gils & Leeuw Leren van Evalueren: Onderzoek naar het gebruik van evaluatieonderzoek bij het Ministerie van Buitenlandse Zaken, 2010. Den Haag: Ministerie van Buitenlandse Zaken, p. 47. 7

gebruik van evaluaties van het Planbureau voor de Leefomgeving (PBL) en het NIVEL (Nederlands instituut voor onderzoek van de gezondheidszorg).

Tabel 2: Aantal gebruikers en hun gebruik, naar sector Sector Aantal gebruikers Uniek aantal Gemiddeld aantal verwijzingen per rapporten per rapport gebruiker Ontwikkelingsprocessen 65 245 3,8 en –samenwerking Onderzoek 25 142 5,7 Recht 13 88 6,8 Overheden* 13 75 5,8 Dienstverlening 12 75 6,3 Media 11 69 6,3 Buitenlandse 7 65 9,3 overheden** Sociale media 6 44 7,3 Overig 2 7 3,5 Totaal 154 810 5,3 * anders dan de Rijksoverheid, namelijk andere nationale overheidsinstellingen ** inclusief OECD De mate van specialistisch gebruik, in de zin dat gebruikers werkzaam zijn op het specifieke werkterrein van het IOB, is vergelijkbaar met dat van andere onderzoeksinstellingen zoals PBL en NIVEL. Daarnaast heeft het IOB, evenals PBL en NIVEL, een grote diversiteit van gebruikers uit andere sectoren. De aantallen gebruikers van IOB rapporten zijn kleiner dan van deze andere instituten, maar NIVEL en PBL zijn grotere instellingen met meer output. De ontwikkeling onder de aantallen gebruikers uit de verschillende sectoren laat een aantal duidelijke verschuivingen zien. Er is een sterke toename onder de internationale gebruikers van 50% naar 73,5% van alle gebruikers sinds de eerste studie van Prins over 2007-2010, met name die in de eigen sector. Het gebruik onder de Nederlandse overheidsorganisaties en (Nederlandstalige) publieksgerichte nieuwsmedia in de eigen sector neemt duidelijk af. Dit zou kunnen samenhangen met de afname van het publiek debat over en de publieke belangstelling voor de thematiek van ontwikkelingssamenwerking in het algemeen, maar dat laatste is in het onderzoek niet gemeten. Daarnaast is er sprake van een nieuwe groep van gebruikers in de sector Recht, en is er een toename van (internationale) kennisplatforms die gericht zijn op professionals in de sector. Onder de frequente gebruikers zijn vooral de Nederlandse medefinanciering organisaties (MFO’s) nu duidelijk zichtbaar.

8

2.1.3 Gebruik IOB evaluaties door de wetenschap Hoewel het aandeel van onderzoeksinstituten op het totale aantal gebruikers voor IOB groter is dan bij PBL en NIVEL is de zichtbaarheid van IOB-rapporten in wetenschappelijke literatuur zeer bescheiden te noemen, met uitzondering voor de evaluatie van Aiding the Peace. Met dezelfde zoektermen als bij het zoeken op internet zijn de IOB rapporten onderzocht op het voorkomen in wetenschappelijke literatuur, aan de hand van de zoekmachine Google Scholar. In vergelijking met de respons op het internet is de wetenschappelijke respons zeer bescheiden. Slechts vier rapporten worden in Scholar aangemerkt als geciteerd. Zoals hierboven beschreven wordt met name Aiding the Peace frequent aangehaald. De overige rapporten worden niet of zeer bescheiden geciteerd. Dit wordt onder meer veroorzaakt door Scholar zelf. Hoewel enkele rapporten zijn terug te vinden in de database van Scholar als onderdeel van een andere publicatie, worden ze niet als “geciteerd” aangemerkt. Dit heeft te maken met – niet door Google openbaar gemaakte – criteria voor wat als een citaat mag tellen: Voetnoten worden doorgaans niet als citatiebron gezien, eindnoten wel. Zo wordt de titel Facilitating Resourcefulness genoemd in een voetnoot van een artikel van een IOB onderzoeker maar wordt dit in Scholar niet benoemd als een citaat.5 Tien andere rapporten worden op deze manier wel genoemd maar niet geciteerd in de zin zoals Scholar dat aanmerkt. In tabel 8 worden de rapporten opgevoerd die meer dan een keer genoemd worden, met daarbij het aantal Scholar citaties. Naast de Google criteria voor citaties spelen wellicht andere factoren mee voor het verschil in noemen en citeren, waarover in het kader van dit onderzoek slechts speculatie mogelijk is. Het valt op dat de door Google aangegeven vindplaatsen niet de websites van IOB of de rijksoverheid zijn, maar – doorgaans -- die van de OECD of een externe opdrachtnemer. De OECD website wordt in Scholar wel geïndexeerd, wat er op wijst dat de site bij Scholar is aangemeld als relevante repository. Voor Aiding the Peace, het meest aangehaalde rapport, gebruikt Scholar ook andere vindplekken, die van SIDA, ALNAP en de bibliotheek van de Universiteit Wageningen. Dit duidt op een gebrekkige indexeren van de IOB website door Google Scholar. Dit is dan ook een van de aanbevelingen van het Panel van Advies aan de minister: zorg ervoor dat IOB publicaties kunnen worden meegenomen in de indexering van Google Scholar. Anderzijds worden IOB titels wellicht ook niet geciteerd in de wetenschappelijke literatuur omdat IOB auteurs bij hun wetenschappelijke publicaties relatief weinig direct verwijzen naar IOB rapporten, of wellicht weinig in de gelegenheid zijn tot zelfstandig publiceren in wetenschappelijke tijdschriften. Toch is het ontbreken van verwijzingen naar IOB rapporten opmerkelijk. Aan universiteiten verbonden uitvoerders melden hun rapporten wel op 5

Het gaat om het rapport "Evaluation of Dutch support to capacity development." Development in Practice 23.1 (2013) van P. de Lange. Overigens komt het rapport Facilitating Resourcefulness in het artikel van De Lange wel voor in de eindnoten, maar onder een wat andere titel.

9

medewerkerspagina’s, maar niet in de literatuurlijsten van hun overige output (zoals artikelen in wetenschappelijke tijdschriften en bundels) die wel door Scholar geïndexeerd worden. Tabel 3: Wetenschappelijke verwijzingen in Google Scholar Titels IOB rapporten Genoemd

Aiding the Peace Facilitating resourcefulness Improving food security Between high expectations and reality Unfinished business: Making the difference in basic education Mutual interests – mutual benefits Impact Evaluation of Improved Stove Use in Burkina Faso

Geciteerd

Geciteerd onder een andere titel

0 16 9 7 6

32 0 0 7 0

0 1 0 0 0

2 3

6 2

0 0

2.1.4 Gebruik IOB evaluaties door de Haagse politiek Een wat meer inhoudelijk inzicht in de wijze waarop in het parlement de IOB rapporten wordt besproken, is mogelijk door in de Handelingen van het parlement te zoeken. Veelal betreft het hier echter verwijzingen naar IOB rapporten in lijsten van ingekomen stukken. De in tabel 10 genoemde 42 onderwerpen in de Handelingen blijken dan vooral ook formaliteiten te bevatten zoals lijsten van ingekomen stukken. Niettemin wordt in de periode 2010-2013 het IOB in elk geval 21 keer expliciet genoemd, zowel door parlementsleden van verschillende signatuur als door bewindslieden. Zeven keer vindt dat plaats bij de beantwoording van Kamervragen. Daarbij wordt in een derde van het aantal gevallen direct verwezen naar gepubliceerde rapporten (waaronder de onderwijsevaluaties in Oeganda en Zambia), de Twinningfaciliteit Suriname, Facilitating Resourcefulness, Consulaire Dienstverlening. Ook wordt indirect verwezen naar nog te verschijnen rapporten (over het Medefinancierings Systeem, Capaciteitsontwikkeling). Daarnaast geven bewindspersonen verscheidene malen aan beleid te stoelen op IOB informatie. De Tweede Kamer treedt in enkele gevallen agenderend op. Zo wordt verzocht om een evaluatie van het Medefinancierings Systeem (MFS), het tropisch regenwoud (toezegging Minister Koenders, 18 november 2009) en de wapenexport (Motie Verhoeven D66, 30 juni 2011) en om een evaluatie van de twinningfaciliteit met Suriname. (Motie Ferrier, 22 september 2009). Daarnaast komt het IOB ook in meer algemene zin ter sprake, veelal in waarderende zin, onder meer bij het beantwoorden van Kamervragen. Ook bepleit de Tweede Kamer begrotingswijzigingen naar aanleiding van IOB rapporten. Dit is bijvoorbeeld het geval bij het rapport Achieving universal access to sexual and reproductive health and

10

rights uit 2013, met twee moties (Van Dijk, SP), Van Laar/Sjoerdsma (PvdA/D66). Tabel 4: Informatiestroom aan de TK en EK Type document Kamerstuk Bijlage Handelingen Niet-dossierstuk Kamervragen Staatcourant Totaal

Aantal 272 132 42 15 7 6 474

2.1.5 Gebruik IOB evaluaties door de schrijvende pers In vergelijking met de vorige rapportage is de berichtgeving in kranten daarmee ongeveer gelijk gebleven. In de periode 2007-2009 telden de dag- en weekbladen (zonder berichtgeving van het Algemeen Nederlands Persbureau) 30 artikelen, waarvan een derde in regionale bladen, en 18 in landelijke dagbladen. Dit komt overeen met de belangstelling in de huidige periode van 27 artikelen in landelijke en regionale bladen. De berichtgeving in de kranten volgen de actualiteit, zoals in het geval van de aardbevingen in Haïti en het verloop van de hulpverlening daarvan, of de hulp aan Zuid-Soedan, en sluit aan op de nieuwswaardigheid zoals die door journalisten wordt beoordeeld. Van de 27 artikelen zijn er zes die tot de uitgebreidere opiniërende stukken gerekend kunnen worden. Deze opiniërende stukken – in Trouw (19 jan 2010, 2 juli 2011 en 4 dec 2012), Nederlands Dagblad (6 mei 2011), Vrij Nederland (17 april 2010) en NRC (25 juli 2013), refereren allen aan evaluaties van IOB als betrouwbare bron, zodat ze te rekenen zijn tot waarderende uitingen over de IOB rapporten. 2.2 Vergelijking eerste rapport Ad Prins Support in Research Management (2011) en huidige rapport De productie van IOB is aanzienlijk toegenomen. Telde de respons analyse uit 2011 over de periode 2007- 2011 26 titels, in deze periode (2011-2013) zijn er 66 afzonderlijke titels. Ook het volume van het gebruik is aanzienlijk toegenomen, en wel voor rapporten afzonderlijk. Waren er in de vorige rapportage vier rapporten met meer dan 25 verschillende verwijzende websites, in de huidige analyse zijn dit er 15, waarvan 14 op het terrein van ontwikkelingssamenwerking. Een verklaring voor de toename omvat een veelheid van factoren. In de eerste plaats zijn er nieuwe onderwerpen, wat het gebruik positief beïnvloed kan hebben maar wat ook de vergelijkbaarheid beperkt. De aandacht die aan een publicatie wordt gegeven, onder meer tot uitdrukking komend in evaluatienieuwsbrieven, kan een rol spelen. Voorts is er duidelijk sprake van ontwikkelingen onder gebruikers, zoals een vergelijking met de vorige rapportage

11

laat zien. Hiervoor is de classificatie uit de vorige analyse op sommige punten aangepast aan de definities van de huidige. De gebruikers van IOB rapporten laten een aantal opvallende verschuivingen zien. Opvallend is de nu duidelijke aanwezigheid van de MFO’s onder de gebruikers, terwijl deze eerder volledig ontbraken. Maar er zijn ook andere verschuivingen.

Figuur 1: Verdeling van aantallen gebruikers over verschillende sectoren, 2011 versus heden

Uit Figuur 1 blijkt dat de verschuivingen voor een aantal sectoren een toename inhouden. Dit geldt in het bijzonder voor de groep van gebruikers in de Juridische sector die nieuw is ten opzichte van de vorige analyse. In de sector Recht verwijzen de organisaties naar titels die een relatie hebben met mensenrechten. De aandacht van gebruikers uit de sferen van Buitenlandse Overheden, Media, en Dienstverlening neemt ook toe.

12

Figuur 2: Verdeling van aantallen gebruikers in de sector Ontwikkelingsprocessen en ontwikkelingssamenwerking, vergelijking rapport 2011 en huidige analyse

Opvallend is de verminderde aandacht vanuit de Nederlandse overheidsorganisaties. Kon in de vorige periode nog gebruikers onder gemeenten worden gevonden, in de huidige periode ontbreken deze. Opmerkelijk is dat in de huidige periode de verwijzingen ontbreken uit websites van Nederlandse ambassades en een aantal op landen gerichte overheidswebsites, waarmee mogelijkerwijs ook de effecten van het kabinetsbeleid op dit vlak zichtbaar worden. 2.3 Conclusies en aanbevelingen gebruik evaluaties De rapporten van IOB hebben in de eerste plaats ten doel de overheid en het parlement te informeren. Uit de verzoeken om onderzoek te laten uitvoeren geven parlementsleden er blijk van IOB onderzoek van belang te vinden. Ook de resultaten worden op prijs gesteld. Werd in de vorige periode nog gediscussieerd over de rol en positie van het IOB, in deze periode blijken zowel bewindslieden als parlementsleden van verschillende signatuur positief te refereren aan de informatie die IOB verschaft. Ook hebben de rapporten ten doel geïnteresseerde derden te informeren. Er blijkt sprake te zijn van duidelijk identificeerbare groepen gebruikers, en het gebruik neemt toe. De rapporten informeren deze groepen niet exclusief maar bereiken brede groepen van gebruikers die in omvang enigszins wisselen al naar gelang het onderwerp. De vorige rapportage trok de conclusie dat er een groter potentieel van belangstelling mogelijk was voor IOB rapporten. Dit potentieel is in belangrijke mate gerealiseerd in een toename van het volume van gebruik, mogelijk mede doordat de uitgave van nieuwsbrieven door IOB tot grotere aandacht voor het IOB publicatietraject hebben geleid. Er is sprake van toenemende internationalisering en professionalisering onder de gebruikers, waarbij opvalt dat Nederlandse overheden en publieke media in de eigen sector juist 13

geringer in aantal worden. De bevinding in de vorige rapportage, dat MFO’s in de lijsten van gebruikers ontbraken -- of hun gebruik van IOB informatie weinig zichtbaar deelden op internet -- gaat daarbij niet meer op: zij tellen nu duidelijk mee onder de gebruikers. De belangstelling voor IOB rapporten is daarnaast ook divers en tevens internationaal georiënteerd, met veel kennisplatforms die gericht zijn op professionele gebruikers uit de sector naast gebruikers uit onderzoek en overheid. Opvallend is de vrijwel exclusieve buitenlandse aandacht voor een aantal rapporten zoals Aiding the Peace en de rapporten over drinkwater en sanitatie. Voor het eerstgenoemde rapport kwam dat aan het licht door de plotse politieke en maatschappelijke aandacht ervoor in het kader van berichten in de pers. Het kan hebben meegespeeld dat er alleen een Engelstalige nieuwsbrief beschikbaar was, wat overigens voor de andere internationaal veel aangehaalde rapporten niet het geval was. Voor deze andere rapporten valt relevantie te verwachten in sectoren waar Nederlandse zakelijke partners actief zijn, zoals in drinkwater voorzieningen. In het bestek van het onderzoek van Prins was het echter niet mogelijk de achtergronden hiervan nader te onderzoeken. Aandacht verdient voorts de bibliografische ontsluiting van IOB informatie. Ondanks de beschikking over een eigen website is de vindbaarheid van rapporten niet optimaal omdat doorverwijzingen naar de IOB site ontbreken op de sites van de rijksoverheid. Daarbij is de zoekfunctie op de eigen site primair gerangschikt naar eigen nummering. Deze wordt echter niet consequent gehanteerd en is vanwege internationale samenwerkingsverbanden ook altijd niet beschikbaar. Het is aan te bevelen om deze publicatielijsten vrij te kunnen doorzoeken, bijvoorbeeld door ze niet op IOB-nummer maar op datum te rangschikken. Ook geven de sites van de rijksoverheid onevenwichtige en incomplete overzichten met wisselende bewoordingen in de titels van de rapporten. IOB zou er naar ons oordeel goed aan doen een archief in te richten zoals de Organisatie voor Economische Samenwerking en Ontwikkeling (OESO) dat heeft gedaan. Andere voorbeelden ter navolging zijn bijvoorbeeld portals van onderzoeksynthetiserende en reviewende organisaties, zoals de Campbell Collaboration of de Evidence library van Eppi of 3ie6. Onze veronderstelling is dat zichtbaarheid in wetenschappelijke literatuur van belang is voor de (handhaving van de) kwaliteit van de onderzoeken7. De ontsluiting in het wetenschappelijke domein blijft echter beperkt. De IOB site wordt niet geïndexeerd door Google Scholar. Dit probleem vraagt om een oplossing. De gebrekkige zichtbaarheid van IOB rapporten in het wetenschappelijk domein komt echter vooral doordat in de wetenschappelijke publicaties van opdrachtnemers (en mogelijkerwijs ook van IOB medewerkers) 6

Eppi: Evidence for Policy and Practice Information and Co-ordinating Centre (een onderdeel van the Social Science Research Unit, University College London, Institute of Education) (http://eppi.ioe.ac.uk/cms/). 3ie staat voor International Initiative for Impact Evaluation (inzake OS) (http://www.3ieimpact.org/). 7 In de visitatie van het WODC, onderzoekscentrum van het Ministerie van Veiligheid en Justitie van begin 2014 (te vinden op de website van www.wodc.nl) is deze aanname expliciet verwoord, nader onderzocht en bevestigd (zie Visitatiecommissie WODC, Commissie Prins, Tilburg/Den Haag, 2014). 14

niet verwezen wordt naar hun onderzoeksinspanningen voor IOB. De zichtbaarheid zou verbeterd kunnen worden door de onderzoekers aan te sporen om bij vervolgpublicaties aan de IOB rapporten te laten refereren, wat tevens recht doet aan de herkomst van de gebruikte informatie. De suggestie uit de vorige rapportage, dat de academische respons op enigerlei wijze versterkt zou kunnen worden is dus nog geldig. Zoals eerder al opgemerkt beveelt het Panel tevens aan dat IOB bevordert dat haar rapporten in Google Scholar worden opgenomen.

15

3. Real Time Evaluation 3.1 Waarom dit thema? Het Panel van Advies heeft dit onderwerp opgepakt vanwege de huidige ontwikkelingen betreffende het gebruik van Real Time Evaluation (RTE) in ontwikkelingssamenwerking en (beleids)evaluaties. Samenhangend met dit thema, werd ook aandacht besteed aan het gebruik van ‘Big Data’. Ondanks het toenemend gebruik van RTE zijn er nog veel onduidelijkheden over de wijze en het nut van zulke evaluaties. 3.2 Hoe heeft het panel dit vraagstuk aangevat? Het Panel heeft aan het bureau Beleidsonderzoek & Advies (BOA) gevraagd een literatuurverkenning te verrichten naar het gebruik van RTE in de ontwikkelingssamenwerking. In dit onderzoek werd het gebruik van RTE binnen de ontwikkelingssamenwerking door verschillende landen, verschillende organisaties en onder verschillende omstandigheden verkend. Voor dit Advies werd Real Time Evaluation als volgt gedefinieerd: RTE is een vorm van evaluatie (onderzoek), met als primair doel de belanghebbenden (doorgaans de uitvoerder en beleidsverantwoordelijken) van een project of programma tijdens de looptijd van het project of programma van evaluatieve informatie te voorzien en hen daarbij nauw te betrekken. In het onderzoek werden de volgende vragen als richtlijn gebruikt: 1. Welke specifieke rol kan RTE vervullen en welke bijdragen kan RTE leveren aan evaluatie van beleid in de sector Ontwikkelingssamenwerking in het bijzonder? 2. Welke plek en welk belang kennen (een aantal) belangrijke organisaties in de wereld van OS toe aan RTE? 3. Voor welke doelen wordt RTE in de praktijk gebruikt en welke resultaten en effecten van gebruik van RTE worden gerapporteerd? Worden de uitkomsten van RTEs qua gebruik en verspreiding anders behandeld dan die van ex-post evaluaties, bijvoorbeeld als een soort tussentijds intern onderzoek alleen ten behoeve van de uitvoerende organisatie, of is RTE ook van belang voor doelen op langere termijn zoals eindevaluatie en het leren over effectiviteit van beleid? 4. Wat zijn bijzondere kenmerken en vereisten voor effectieve RTE volgens methodologische beschouwingen ter zake? Het gaat om de bijzondere eisen die de twee onderscheidende kenmerken van RTE, (gelijk)tijdigheid en nauwe betrokkenheid op besluitvorming, stellen aan de verschillende fasen en elementen van een evaluatie. 5. In hoeverre stemmen praktijkvoorbeelden overeen met de kenmerken en vereisten zoals beschreven in methodologische beschouwingen en beleidsdocumenten? 6. Worden in de literatuur nadelige effecten van het gebruik van RTE gerapporteerd, zo ja welke en hoe zijn deze volgens de literatuur te ondervangen? 7. Wordt er bij RTE een koppeling gemaakt met ‘quality at entry’ van projecten? 8. Is het mogelijk om op basis van dit onderzoek beleidsaanbevelingen te doen met

16

betrekking tot het interne gebruik van Real Time Evaluations? 3.3 Bevindingen Uit de verkenning blijkt dat vooral veel geschreven is over het gebruik van RTE binnen de humanitaire hulpverlening. Deze literatuur is niet zonder meer toe te passen op het gebruik van RTE binnen andere sectoren van de ontwikkelingssamenwerking. Vandaar dat is gekozen om deze twee onderscheiden werkgebieden hier apart te behandelen. Het zal blijken dat er over dit onderwerp vooral wat betreft humanitaire hulpverlening veel is geschreven, maar dat het gebruik van deze wijze van evalueren in de ontwikkelingssamenwerking in het algemeen (en daarmee ook de literatuur) achter blijft. 3.3.1 RTE in humanitaire hulpverlening Volgens het onderzoek heeft RTE in de praktijk van de humanitaire hulpverlening een aantal kenmerken ontwikkeld die de methodiek geschikt maken voor de specifieke omstandigheden tijdens noodhulpacties. Deze kenmerken zijn in het kort als volgt te omschrijven:  RTE wordt gelijktijdig met het geëvalueerde project of programma uitgevoerd en gerapporteerd, zodat de resultaten onmiddellijk kunnen worden benut voor de gewenste aanpassingen te maken.  De noodzaak om de uitvoering van een project of programma te volgen en te verbeteren, kan ook betekenen dat de evaluatie tijdens de looptijd van een noodhulpproject wordt herhaald.  De agenda van de noodhulpprojecten maakt het vaak noodzakelijk de evaluatie in zeer korte tijd af te ronden, variërend van enkele dagen tot enkele weken. Toch wordt RTE, ook binnen de humanitaire noodhulpverlening, niet alleen in korte en urgente actie toegepast, maar ook in zich langzaam ontwikkelende crises en in chronische noodsituaties8.  De belangrijkste en soms enige doelgroep waar de evaluatie zich op richt, bestaat uit de medewerkers van het geëvalueerde project of programma.  De evaluatie kent een interactieve en participatoire aanpak: de medewerkers van het geëvalueerde project of programma spelen een aanzienlijk grotere rol bij de opzet, uitvoering en afsluiting van de evaluatie, dan bij standaard evaluaties.  De keuze van evaluatoren wordt van groot belang geacht. Vaak gaat het in de literatuur over de vraag in welke mate uitvoerenden zelf de evaluatie kunnen verrichten (‘self-evaluation’) en of de inbreng van externe evaluatoren noodzakelijk is.  Opmerkelijk is de aandacht voor de sociale en emotionele relatie tussen evaluatoren en projectmedewerkers. Er wordt regelmatig gewezen op het belang van een inlevende en meedenkende en welwillende rol en een constructieve houding van het evaluatieteam. Deze rol en houding zijn gewenst vanwege de hectische 8

Sandison, 2003, p. 7. 17



omstandigheden waarin noodhulp, zeker in de aanvangsfase, vaak dient te worden verleend.9 Vaak zou RTE vooral op de juiste uitvoering van een project of programma zijn gericht en niet, of minder, op eindresultaten (outcomes) of impact. Daarbij zou voorbij worden gegaan aan standaard evaluatiecriteria (zoals die van Development Assistance Committee (DAC) of Active Learning Network for Accountability and Performance in Humanitarian Action (ALNAP)).

Het is in de – zij het beperkte -- literatuur onomstreden dat RTE een leerfunctie heeft. In de eerste plaats voor het operationele niveau, meestal ook voor het institutionele niveau (systemen, procedures en beleid van de moederorganisatie) en geregeld ook wel daarbuiten voor een hele sector of beleidsterrein. Wel dient te worden aangetekend dat dit leren hier slechts wordt gevoed door waarnemingen met betrekking tot tussenresultaten, wat in feite niet meer dan zeer voorlopige oordelen toelaat. Regelmatig komt de vraag aan de orde of een RTE naast de leerfunctie ook de verantwoordingsfunctie moet en kan vervullen. Deze vraag raakt een belangrijk dilemma van RTEs: staat de evaluatie ten dienste van (en gaat die uit van) het operationele niveau, met als belangrijkste opdracht het leren op dat niveau, naast neerwaartse (naar begunstigden) en laterale verantwoording, of is het een opdracht van meer centrale niveaus primair ten dienste van beleidsaanpassingen en programmering op centraal niveau?10 Wat betreft de gebruikte methoden en het ontwerp van de evaluaties binnen de humanitaire noodhulp worden door BOA de volgende opmerkingen geplaatst.  Het ontbreken van adequate steekproefkaders bemoeilijkt het gebruik van kwantitatieve surveys binnen RTE. Daarom worden overwegend kwalitatieve methoden gebruikt en wordt kwalitatieve informatie geleverd.  Doorgaans wordt veel nadruk gelegd op het belang van overleg met medewerkers van het geëvalueerde project door middel van interactieve methoden zoals workshops, discussiegroepen, focusgroepen en vergelijkbare werkvormen. Deze aanpak wordt van belang geacht om (eerste) evaluatieresultaten te valideren, de 'ownership' ervan de te bevorderen, maar ook als een manier om in de chaotische vroege fasen van een noodhulpactie de benodigde informatie te verkrijgen.  Persoonlijke observatie wordt ook genoemd als een belangrijke methode voor RTE. Observatie door evaluatoren wordt beschreven als een belangrijke aanvulling op observaties door het uitvoerend team.  Een strak tijdschema, flexibiliteit en responsiviteit staan voorop bij de uitvoering van RTE.  Tot slot wordt in verschillende publicaties gewezen op het gevaar dat een RTE een momentopname is die een per definitie nog in beweging zijnde interventie9

Onder andere World Food Program, 2004, p. 7. Brusset et. al., 2010, p. 10.

10

18

werkelijkheid kan fixeren, wat tot een te vroegtijdig oordeel kan leiden met een risico van reputatieschade bij bepaalde partijen. Een oplossing voor dit probleem wordt in deze literatuur niet aangedragen.11 3.3.2 RTE in de overige ontwikkelingssamenwerking Terwijl RTE binnen de humanitaire hulpverlening een relatief duidelijk geheel van doelen en kenmerken omvat, is het beeld van RTE binnen de ontwikkelingssamenwerking in brede zin veel diffuser. RTE wordt vaak gebruikt voor evaluaties die lastig te onderscheiden zijn van overige, niet RTE, evaluaties. Het belangrijkste verschil tussen RTE en standaardevaluaties is dat RTE in ‘real time’ worden uitgevoerd. Het doel van deze evaluaties is dan om binnen een bepaalde periode met resultaten en aanbevelingen te komen die nog van invloed kunnen zijn op het beleid en de uitvoering van het betreffende project of programma. Een van de belangrijke vraagpunten bij het gebruik van RTE voor ontwikkelingssamenwerking betreft de realisatie van de verantwoordingsfunctie van evalueren (zie ook de voorgaande paragraaf). Wat betreft het lerend vermogen klinken er voornamelijk positieve geluiden, in tegenstelling tot de twijfel over het lerend effect van sommige ‘standaard’ evaluatievormen. Sommigen zien echter een veel grotere rol weggelegd voor RTE, en geven aan dat de vergrote inzet van RTE binnen ontwikkelingssamenwerking zou kunnen leiden tot een andere functie en positie van evaluaties binnen publieke organisaties.12 Dat de ontwikkeling op dit moment ook echt deze kant op zou gaan, wordt nog niet ondersteund door de literatuur. De gedachte dat het gebruik van RTE weliswaar leidt tot een verminderde verantwoordingsfunctie van evalueren maar het leereffect van evalueren vergroot, begint geleidelijk post te vatten. Wat het bovenstaande betreft kan een vergelijking worden gemaakt met het bedrijfsleven. Sommigen merken op dat in het bedrijfsleven continue gebruik wordt gemaakt van RTE om het beleid direct aan te passen wanneer zaken in de praktijk anders uitpakken dan gewenst.13 Een ander punt dat in ogenschouw dient te worden genomen is dat een vergrote inzet van RTE zal leiden tot een andere wijze van rapporteren. In plaats van de bekende rapporten van ex-post evaluaties zal een constantere stroom van evaluatieproducten de kant van de beleidsmakers opkomen. 3.4 Conclusies en aanbevelingen Real Time Evaluation Wat betreft RTE binnen humanitaire noodhulp lijkt inmiddels een methodologisch kader te zijn ontwikkeld. De belangrijkste kenmerken, technieken en principes zijn afgestemd op de 11

Polastro, 2001, p. 7. IEG workshop. 13 Better evaluation, p. 18. 12

19

bijzondere behoeften van humanitaire noodhulp.14 Echter, zoals werd opgemerkt door een medewerker van The Norwegian Agency for Development Cooperation (Norad), voor gebruik van RTE in ontwikkelingssamenwerking ligt geen methodologie op de plank en blijft het spanningsveld tussen betrokkenheid en onafhankelijkheid bestaan. Buiten de noodhulpevaluaties blijkt het erg lastig om RTE te onderscheiden van andere wijzen van evalueren. Het onderscheidende vermogen zit er bij deze evaluaties vooral in dat de evaluatie gelijk loopt met het geëvalueerde project of programma en tijdig resultaten en aanbevelingen levert om de koers van het project/programma nog te kunnen beïnvloeden. Het Panel merkt hier echter op dat dit niet per definitie iets zegt over de verantwoordingsfunctie van evaluaties aangezien RTEs te vroeg komen om al uitspraken te kunnen doen over bijvoorbeeld output en outcomes. Vooral wat betreft de leerfunctie van evalueren lijkt deze wijze van evalueren interessante resultaten te kunnen opleveren omdat de uitvoerders van het beleid de aanbevelingen direct in de praktijk kunnen brengen en het gevoel hebben bij te hebben gedragen aan de evaluatie. Echter, het lijkt soms lastig aan te geven wat van dit lerende vermogen direct is toe te rekenen aan RTE. Gesteld kan worden dat “korte lijntjes” tussen beleidsuitvoerder en evaluatoren RTE daarbij een positieve rol spelen. Wel merkt het Panel op, dat dit lerend vermogen zich vooral zal uitstrekken tot de realisatie van tussenresultaten inclusief de invloed van externe omstandigheden en de onmiddellijke output van de interventie en eventuele neveneffecten ervan, maar dat de effecten verderop in de resultaatketens buiten het bereik van RTE vallen. Doordat RTE een evaluatie is gaande de rit en er als regel niet verder gekeken kan worden in de resultaatketen dan het niveau van de output, wordt het lerend effect van RTE in feite ook ingeperkt. Het lijkt het Panel aan te bevelen om vooralsnog bescheiden ambities te formuleren ten aanzien van Real Time Evaluation en dit instrument vooral in te zetten voor projecten die aansluiten bij de bijzondere kenmerken van RTE. Te denken valt aan:

14

Deze kenmerken, technieken en principes worden door BOA (2014) als volgt omschreven:  Een nadruk op het verbeteren van de uitvoering van een project door evaluatieve ondersteuning;  Een snelle start, een korte doorlooptijd, variëren van enkele dagen tot enkele weken, en mogelijk enige malen herhaald;  De analyse en aanbevelingen zijn klaar wanneer beslissingen genomen moeten worden;  Een lichte methodische opzet met dataverzameling uit documentatie en van sleutelinformaten, vrijwel uitsluitend gericht op kwalitatieve informatie;  Uitgevoerd door mensen die enerzijds goed zijn ingevoerd in de praktijk (operationele en institutioneel niveau) en anderzijds een ruimer perspectief en enige objectieve afstand weten in te brengen;  Nadruk op interactieve en participatoire methoden, om gegevens te verzamelen die de visies en behoeften van uitvoerende en belanghebbenden adequaat weergeven, maar zeker ook ter afsluiting van de evaluatie om bevindingen, conclusies en aanbevelingen te valideren, er acceptatie voor te winnen en ze realistisch en realiseerbaar te maken. 20



unieke of beperkt herhaalbare projecten, zodat ex-post evaluaties een beperkt nut hebben en ‘tijdens de rit’ de belangrijkste momenten te vinden zijn om te leren;  projecten met een groot afbreukrisico, zodat tussentijds bijsturen van groot economisch belang is;  projecten met veel nieuwe en onbekende elementen, waardoor het projectverloop veel informatie oplevert die bij aanvang nog niet beschikbaar kan zijn. Hierbij moet echter opnieuw worden opgemerkt dat dit soort evaluaties maar beperkt kunnen voldoen aan de verantwoordingsfunctie van evalueren omdat deze evaluaties ‘te vroeg’ worden uitgevoerd om iets over de output, outcomes en impact van evaluaties te kunnen zeggen. RTE moet echter niet worden gebruikt om een gebrekkige projectvoorbereiding, het ontbreken van baseline data en gebrek aan ‘quality at entry’ te compenseren. Het gebruik van RTE moet vanaf de aanvang worden ingepland en gepositioneerd in relatie tot de andere evaluatie instrumenten. Verder dient te worden opgemerkt dat RTE vooral kans van slagen lijkt te hebben indien alle betrokken partijen betrokkenheid betonen bij de goede afloop van het project en de evaluaties. Evaluatoren dienen er rekening mee te houden dat spanning ten aanzien van tussentijdse levering van resultaten enerzijds en methodologische discipline anderzijds en tussen betrokkenheid en onafhankelijkheid blijft bestaan. Het door BOA uitgevoerde onderzoek is vooral een literatuurstudie. Het doen van meer interviews met ervaren actoren in de sector zou een beter beeld kunnen geven van het daadwerkelijke gebruik en het gebruik van methodologie in de praktijk. Echter, uit de literatuurstudie is gebleken dat RTE binnen de ontwikkelingssamenwerking nog niet heel breed wordt ingezet. Op dit moment zou zulk aanvullend onderzoek waarschijnlijk dus nog weinig resultaten opleveren. Tot slot wil het Panel van Advies benadrukken dat RTE geen impact van nieuw beleid kan meten vanwege de vroege fase van de interventie waarin het instrument wordt ingezet. RTE en Big Data hangen met elkaar samen, zo maakt de analyse van BOA (Van Gils) duidelijk. Echter, uit de literatuur blijkt nog niet dat Big Data op grote schaal worden ingezet bij het uitvoeren van RTE. Het Panel van Advies verwacht dat de informatie die op grote schaal beschikbaar zal zijn een grotere rol zal gaan spelen op het moment dat evaluatoren deze informatie beter weten te vinden en deze op (nog) grotere schaal beschikbaar zal worden gesteld. Het Panel verwijst hier dan ook graag nog naar het ‘Global Pulse’15 project van de 15

Global Pulse is a flagship innovation initiative of the United Nations Secretary-General on Big Data. Its vision is a future in which Big Data is harnessed safely and responsibly as a public good. Its mission is to accelerate discovery, development and scaled adoption of Big Data innovation for sustainable development and humanitarian action. The initiative was established based on a recognition that digital data offers the opportunity to gain a better understanding of changes in human well-being, and to get real-time feedback on how well policy responses are working. To this end, Global Pulse is working to promote awareness of the opportunities Big Data presents for relief and development, forge public-private data sharing partnerships, 21

Verenigde Naties waarin wordt gekeken hoe het gebruik van Big Data kan zorgen voor betere inspanningen op het terrein van de gevolgen van klimaatverandering en in humanitaire situaties.

generate high-impact analytical tools and approaches through its network of Pulse Labs, and drive broad adoption of useful innovations across the UN System. Meer informatie over Global Pulse is te vinden via www.unglobalpulse.org (laatst bekeken op 31 december 2014).

22

4. Terugblik conclusies en aanbevelingen Eerste en Tweede Advies In deze paragraaf bespreekt het Panel van Advies de conclusies en aanbevelingen uit de eerder door haar uitgebrachte adviezen. 4.1 Bruikbaarheid van evaluaties Wat betreft de bruikbaarheid van evaluaties heeft het Panel van Advies, via de Minister, bovenstaande aan directeur IOB geadviseerd. Wat er vervolgens met deze aanbevelingen is gedaan is niet systematisch door het Panel gevolgd; in haar laatste advies zijn andere thema’s centraal gesteld. Het Panel adviseerde om de evaluatieobjecten en probleemstellingen zo precies mogelijk af te bakenen. Dit aandachtspunt is door IOB ex-post vermeld, terwijl een logische volgorde zou zijn om dit punt ex-ante te gebruiken om de conceptualisering van de evaluatie aan te passen. Dit punt blijft van belang teneinde de afbakening en de conceptualisatie van de evaluatie voldoende doordacht te houden. Ook adviseerde het Panel om meer gebruik te maken van (internationale) wetenschappelijke literatuur over de verschijnselen en hun oorzaken die in de evaluaties centraal staan. Dit punt vraagt permanente aandacht, opdat de evaluaties uitstijgen boven de materie en de bevindingen in een breder perspectief geplaatst kunnen worden. Het Panel beval aan zoveel mogelijk te blijven aansluiten op de state-of-the-art op het gebied van de methodologie van synthesestudies: ‘systematic reviews’, meta-analyses en ‘realist syntheses’. Dit zou ook bij kunnen dragen aan een gearticuleerde theorie over wat het ministerie van Buitenlandse Zaken verstaat onder ‘leren van evaluaties’. Tevens verdient het aanbeveling meer gebruik te maken van de ervaringen die zijn opgedaan bij eerdere evaluaties, óók op andere beleidsterreinen of in andere landen, mits de ingezette ‘tools of government’ en de daaraan ten grondslag liggende gedragsmechanismen (de interventietheorie) en de context(en) redelijk vergelijkbaar zijn. Verder adviseert het Panel dat het ministerie er aan bij dient te dragen dat er baseline data beschikbaar zijn voordat evaluaties naar (nieuw) beleid worden aangevangen. IOB zou in relatie met die beschikbaarheid de timing van evaluaties kunnen optimaliseren en daarnaast, zo veel als mogelijk, moeten (helpen) realiseren dat baseline gegevens verzameld zijn, om de validiteit van uitspraken over effectiviteit zo groot mogelijk te doen zijn. Wat betreft het toegankelijk maken van de resultaten van evaluaties raadt het Panel de minister aan om via een ‘portal’ of ‘repository’ de resultaten van evaluaties snel en efficiënt toegankelijk te maken voor beleid, controle en samenleving.

23

4.2 Gebruik van evaluaties Wat betreft het gebruik van evaluaties raadt het Panel de minister aan om van te voren te bepalen wie de gebruikers van de evaluatie kunnen zijn en hoe zij het beste geïnformeerd kunnen worden. Overigens is een met het aspect van gebruik verbonden andere constatering onzerzijds dat IOB óók meer gebruik kan maken van haar eigen evaluaties (hergebruik). Het Panel constateerde bijvoorbeeld dat bij de ‘waterevaluaties’ ten onrechte geen gebruik is gemaakt van voorgaande ´waterevaluaties´, ook al betroffen die andere landen. Zo dreigt het wiel opnieuw te worden uitgevonden. En ander punt dat van invloed is op het gebruik is de omvang van de publicaties. Deze moet niet zodanig zijn dat het gebruik van rapporten er door wordt verminderd of belemmerd. Ook de opbouw van het rapport is belangrijk. Het moet voor de gebruiker duidelijk zijn waar welke informatie in een rapport te vinden is en wat men van deze evaluatie kan leren en, zo mogelijk, hoe dit kan worden gedaan. Tot slot is het Panel van mening dat (wetenschappelijke) publicaties van IOB inspecteurs over de resultaten van hun evaluaties kunnen bijdragen aan het wetenschappelijke gebruik van IOB rapporten. Dit werd al in het eerste advies van het Panel van de orde gesteld. Echter, uit het tweede rapport Prins Support in Research Management blijkt dat hieraan eigenlijk geen zichtbare opvolging is gegeven. 4.3 Evaluatieprogrammering Ten aanzien van de evaluatieprogrammering kan geconcludeerd worden dat toepassing van een vergelijkend perspectief op de wijze waarop de programmering in verschillende landen tot stand komt, laat zien hoe deze samenhangt met de lokalisatie van de evaluatiefunctie en de daaraan gerelateerde verantwoordelijkheid voor de besluitvorming over de programmering. Het punt van de optimale balans tussen de verantwoordings- en leerfunctie van evaluaties wordt in het IOB programmeringsproces niet geproblematiseerd. Aan de eerste functie lijkt een groter gewicht te worden toegekend dan de tweede, zoals tot uiting komt in het streven naar een ‘dekkende’ programmering in plaats van meer selectief te werk te gaan. Externe stakeholders en het maatschappelijk debat spelen niet of nauwelijks een expliciete rol in de huidige praktijk van de evaluatieprogrammering. Met de veranderde politieke positionering van het beleidsterrein van Ontwikkelingssamenwerking (koppeling met buitenlandse handel) komen nieuwe stakeholders in beeld en verdient dit punt aandacht. Ook is er uit het oogpunt van doelmatigheid veel te zeggen voor het meer dan tot dusverre programmeren van gezamenlijke en samengestelde (dakpansgewijze) evaluaties. Er is het panel echter geen onderzoek bekend naar de meerwaarde in termen van kwaliteit van dit soort evaluaties en de mogelijke ‘trade-off’ tussen doelmatigheid en kwaliteit. Het meer

24

programmeren van gezamenlijke en samengestelde evaluaties zou van invloed kunnen zijn op de balans tussen leren en verantwoorden in de evaluatieprogrammering, maar zolang die balans geen punt van expliciete overweging is in de totstandkoming van de programmering valt ook hiervan weinig te zeggen. 4.4 Theories of change en interventietheorieën in evaluaties In recente IOB-evaluaties16 wordt regelmatig gerefereerd aan de aan- of afwezigheid (en de kwaliteit van) theories of change, interventielogica’s en dergelijke die worden (of zouden moeten worden) toegepast in de activiteiten of interventies (projecten, programma’s en policies) die in die evaluaties aan bod komen. Het begrip veranderingstheorie komt voort uit de DAC-teksten over evalueren van de relevantie van projecten over bepaalde ontwikkelingssamenwerking. Hiermee verband houdende termen die men in de literatuur kan tegenkomen zijn: programma-, beleids- en interventietheorie (soms ook: - ‘logica’, ‘model’, enzovoorts). Op het hoogste niveau gaat het dus om beleidsevaluaties17 waarin ‘beleidstheorie’ een belangrijke rol speelt: de relevante causale relaties en/of veronderstelde probleem-oorzaak-gevolg relaties en doel-middel relaties.18 OECD/DAC verstaat daaronder: de veronderstellingen waarop de interventie is gebaseerd inclusief de relaties tussen de interventie en de factoren die het probleem voeden waarop de interventie is gericht in de betreffende context. Dit komt goed overeen met wat elders door OECD een interventietheorie is genoemd en is in lijn met de wetenschappelijke literatuur over dit begrippenkader. IOB spreekt van een ‘beleidstheorie’ naast een ‘interventielogica’, maar laat ook de eerste de laatste omvatten.19 Dat draagt niet bij tot helderheid over betekenis en reikwijdte van deze termen. Het is van belang enige ordening en duiding aan te brengen in deze verzameling samenhangende, deels overlappende termen. In sommige van de evaluatiestudies van IOB wordt de afwezigheid van een adequate theory of change of beleidstheorie kennelijk negatief beoordeeld, wat de wenselijkheid van meer helderheid onderstreept. Het Panel van Advies komt ten aanzien van dit begrippenkader en het gebruik ervan in de evaluatiepraktijk tot een aantal aanbevelingen en commentaren.20 Vanwege de verschillen in diepgang en onderbouwing dient een onderscheid te worden aangebracht tussen de logics van interventies en theorieën inzake veranderingen door die interventies. 16

Zie onder de voor dit tweede advies onderzochte studies: IOB 331, 336, 362 en gezamenlijke evaluaties inzake DR Congo (Channel research, Ohain/BE 2011) en Zuid Sudan (ITAD, UK 2010). 17 Zie RPE 2006. Regeling Prestatiegegevens en Evaluatieonderzoek Rijksoverheid, 2006. 18 Zie RPE 2002. Regeling Prestatiegegevens en Evaluatieonderzoek Rijksoverheid, 2002. Overigens komt de term “beleidstheorie” in RPE 2006 niet langer voor. 19 IOB (2009) Evaluatiebeleid en richtlijnen voor evaluaties. pp. 29 en 34. 20 Voor een uitgebreider versie wordt verwezen naar de discussienota J.B. Opschoor (2012): “Theories of Change” en Interventie theorieën in Evaluaties van Ontwikkelingssamenwerking, die beschikbaar is op het Secretariaat van het PvA.

25

De begrippen ‘interventietheorie’ en ‘veranderingstheorie’ wordt door het Panel onderling verwisselbaar geacht. Het gebruik van slechts een van beide in de evaluatiemethodiek zou de conceptuele transparantie bevorderen. Wat de meer substantiële aspecten betreft, kan men zich afvragen in hoeverre bij interventies in alle gevallen een adequate theoretische basis kan worden verwacht, gezien de stand van kennis en kunde. Als de evaluatiepraktijk zich – terecht - steeds meer wenst te baseren op visies op de fundering van interventies in termen van hoe en waarom zij zouden kunnen bijdragen aan de realisatie van gewenste veranderingen, dan kan dat vaak niet gaan om gedetailleerde en harde ‘theorie’, maar om gearticuleerde verwachtingen die plausibel gemaakt worden in een helder ‘verhaal’. Op een (groeiend) aantal onderdelen zal dat verhaal kunnen worden versterkt met hypotheses en feiten omtrent de meest relevante werkzame mechanismes. In IOB-evaluaties komt het herhaaldelijk voor, dat over de in de studie beschouwde interventies wordt opgemerkt dat ze niet of te weinig zouden zijn gerelateerd aan een gearticuleerde adequate beleidstheorie of theory of change. De vraag naar een adequate theory of change (of interventietheorie) lijkt aldus te evolueren tot een evaluatiecriterium. De vraag is, hoe ver dit moet, of kan, gaan. Maar zou van de aanwezigheid van een interventietheorie een criterium worden gemaakt, dan dient wel te worden vastgesteld of dat legitiem is in het kader van de terms of reference die donor en ontwikkelingsorganisatie zijn overeengekomen. Wel moet bij de toekenning van steun aan interventies (ex-ante evaluaties ervan) zijn gevraagd om te verantwoorden hoe met bestaande kennis en kunde is omgegaan. De evaluatoren dienen ook een gefundeerd beeld te hebben van wat een haalbare en geloofwaardige theory of change zou kunnen omvatten. Tijdens een seminar bij IOB (december 2014) hebben de leden Leeuw en Opschoor uitgebreid met de staf van IOB hier over gesproken. Het Panel van Advies acht het van belang dat een verdere doordenking plaatsvindt van merites en bereik van theories of change bij evaluaties (ex-ante en ex-post) van de verschillende vormen en niveaus van interventies.

26

5. Slotbeschouwing 5.1 Bruikbaarheid en gebruik van evaluaties Het gebruik van IOB evaluaties kan worden onderscheiden in gebruik buiten (extern) en binnen (intern) het ministerie. In tegenstelling tot het interne gebruik van evaluaties, heeft het Panel op basis van de ‘nulmeting’ in haar eerste advies en het vervolgonderzoek dat voor dit advies is uitgevoerd het externe gebruik goed in kaart kunnen brengen, althans voor de periode dat het Panel in functie was. De resultaten worden gerapporteerd in dit advies. Het interne gebruik van IOB evaluaties is een onderwerp waar het PvA nog onvoldoende inzicht in heeft. Door directeur IOB is in 2013 toegezegd dat IOB zelf een onderzoek naar het interne gebruik van haar producten uit zou voeren – reden voor het Panel om dit aspect niet zelf ter hand te nemen. Het Panel van Advies heeft wel aangeboden om als meelezer te fungeren. Tot op heden is dit onderzoek echter nog niet van de grond gekomen. Gebruik in de beleidsbepaling en uitvoering hangt ook samen met de kwestie van de institutionele verankering van het werk van IOB, een onderwerp waar Panel niet over kan adviseren maar wel kanttekeningen bij kan plaatsen. De politieke dynamiek is van invloed op het intern gebruik van IOB rapporten en daarmee op de institutionele verankering van het IOB werk. Er kunnen onderwerpen zijn die belangrijk werden geacht om voor evaluatie te agenderen maar die vanwege veranderingen in beleid en de politieke dynamiek hun beleidsrelevantie hebben verloren op het moment dat de evaluatierapporten worden uitgebracht. Voorbeelden hiervan zijn de terreinen van basiseducatie en stedelijke armoedebestrijding. Het omgekeerde doet zich ook voor. De implementatie van nieuw beleid, bijvoorbeeld als gevolg van de politieke koppeling van ontwikkelingssamenwerking en buitenlandse handel, kan niet mede worden gestoeld op uitkomsten van IOB evaluaties ter zake. Het bovenstaande heeft niets te maken met de objectieve bruikbaarheid van IOB rapporten en de kwaliteit van het werk van IOB in het algemeen. Over dat laatste heeft het Panel zich een overwegend positief beeld gevormd, ook al heeft het wat betreft de bruikbaarheid van de rapporten nog een aantal aandachtspunten geformuleerd. Daarbij speelt een probleem van synchronisatie. Politieke- en beleidstijd lopen niet synchroon met het traject van beleidsvoorbereiding, implementatie in projecten en programma’s en de ex-post evaluatie daarvan. Het is belangrijk dit probleem te benoemen. De politieke dynamiek en de daarmee samenhangende beleidsdynamiek zijn een gegeven, waarop zo goed mogelijk moet worden ingespeeld. De opportuniteit en relevantie van het IOB werk zouden wellicht beter gewaarborgd kunnen worden door meer flexibele agendering en programmering van de evaluaties (zie onder) en door een gericht en weloverwogen gebruik van Real Time Evaluation (RTE). Met RTE kan snel 27

worden ingespeeld op nieuwe benaderingen en beleids(deel)terreinen, mits de methodologische implicaties vooraf goed worden ingeschat en het instrument duidelijk wordt gepositioneerd in het geheel van evaluatiemethoden. De waardering van het werk van IOB onder externe gebruikers lijkt in de periode van het mandaat van het Panel te zijn toegenomen. Dat is verheugend, maar daarmee is de kwestie van de ontsluiting en zichtbaarheid van IOB publicaties in brede kring, inclusief het wetenschappelijk domein, des te urgenter. Zoals we in het bovenstaande hebben betoogd, zijn deze voor verbetering vatbaar. 5.2 Evaluatieprogrammering Zoals geconstateerd, wordt in het IOB programmeringsproces het punt van de optimale balans tussen de verantwoordings- en de leerfunctie van evaluaties niet geproblematiseerd. Het PvA heeft de indruk dat er nog steeds meer gewicht wordt toegekend aan de verantwoordingsfunctie dan aan de leerfunctie van evaluaties. Om de leerfunctie te versterken zou de programmering flexibeler moeten zijn en zou het criterium van het ‘dekkend’ zijn van het evaluatieprogramma een minder prioritaire rol moeten spelen. Externe stakeholders en het maatschappelijk debat spelen niet of nauwelijks een rol in de huidige praktijk van de evaluatieprogrammering. Het Panel acht dit voor verbetering vatbaar. Met de veranderde politieke positionering van het beleidsterrein van ontwikkelingssamenwerking (koppeling met buitenlandse handel) zijn er ook voor IOB als evaluator van buitenlands beleid nieuwe stakeholders in beeld gekomen. Zeker nu de reikwijdte van het beleidsterrein is uitgebreid, is de programmering van evaluatieonderzoek een punt dat aandacht blijft verdienen. 5.3 Theories of change Alhoewel het belang van een theory of change niet betwist wordt, vraagt het Panel van Advies aandacht voor de situatie waarbij een informatieve en relevante theory of change als een evaluatiecriterium wordt gehanteerd, zonder dat nagegaan is of het überhaupt mógelijk is (zou zijn) tot een dergelijke theorie te komen. Ook is het nuttig om bij de vraag naar de wenselijkheid van hantering van dergelijke theorieën te differentiëren naar type evaluatie. Tijdens een seminar met twee leden van het Panel van Advies in december 2014 is daar uitgebreid over van gedachten gewisseld. 5.4 Real Time Evaluation Wat betreft real time evaluatie stelt het Panel dat dit soort evaluaties een aanvullende rol kan spelen in het spectrum van beleidsevaluaties. Onder de goede condities, kan dit soort evaluaties een aanvullende rol spelen in het evaluatie spectrum. Echter, het Panel is van mening dat moet worden voorkomen dat wordt gedacht dat dit soort evaluaties andere

28

evaluaties vervangen. Zeker als het gaat om de verantwoordingsfunctie van evaluaties moet men zich realiseren dat gezien het moment van evalueren eigenlijk geen gedegen conclusies kunnen worden getrokken wat betreft de output, outcomes en impact van de interventies. Ook zou meer onderzoek gedaan moeten worden naar de effecten van de aangenomen leerfunctie van dit soort evaluaties. Overigens is het ook dienstig steeds na te gaan in hoeverre de voorstelling van RTE als een (geheel) nieuwe manier van evalueren valide is. Het Panel van Advies is bekend met (internationale) voorbeelden van dergelijk onderzoek die in de kern neerkomen op ex-ante evaluaties, process tracing of monitoring. 5.5 Big Data Helaas is het Panel van Advies niet in de gelegenheid geweest om uitgebreid onderzoek te doen naar deze relatief recente ontwikkeling. Echter, dit is in de ogen van het Panel wel een ontwikkeling waar bij stilgestaan zou moeten worden omdat deze van groot belang kan zijn voor de toekomst van de evaluatie van onder andere projecten en activiteiten in de ontwikkelingssamenwerking. Zeker ook als het gaat om bijvoorbeeld syntheses, verwachten wij dat Big Data van groot belang kunnen zijn. Verder moet worden opgemerkt dat uit de literatuur nog niet blijkt dat Big Data op grote schaal worden ingezet bij het uitvoeren van RTE. Het Panel van Advies verwacht dat de informatie die op grote schaal beschikbaar zal zijn een grotere rol zal gaan spelen op het moment dat evaluatoren deze informatie beter weten te vinden en deze op (nog) grotere schaal beschikbaar zal worden gesteld. Het Panel verwijst hier dan ook graag nog naar het ‘Global Pulse’ project van de Verenigde Naties waarin wordt gekeken hoe het gebruik van Big Data kan zorgen voor betere inspanningen tegen klimaatverandering en in humanitaire situaties. 5.6 Discussie Het Panel van Advies heeft zowel meer als minder gedaan dan dat in haar mandaat staat. Het Panel heeft bij het gebruik van evaluaties niet naar intern gebruik, oftewel het gebruik van evaluaties binnen het ministerie zelf gekeken. Het Panel begreep dat IOB zelf een onderzoek naar het interne gebruik van haar producten uit zou voeren, maar tot op heden is dit nog niet gebeurd. Het Panel staat echter nog steeds achter de keuze om hiernaar zelf geen onderzoek uit te voeren. De leden hebben het idee dat dit onderzoek veel beter intern uitgevoerd zou kunnen worden dan door een Panel dat toch op een zekere afstand van de dagelijkse praktijk staat. Het Panel wijst wel op het synchronisatieprobleem (zie paragraaf 5.1) dat het interne gebruik in de praktijk beïnvloedt. Verder heeft het Panel ook gemeend advies uit te kunnen brengen over bepaalde ontwikkelingen die van invloed kunnen zijn op de (dagelijkse) evaluatiepraktijk, maar nog op relatief weinig aandacht konden rekenen. De onderwerpen die door het Panel zijn opgepakt zijn theories of change en real time evaluation. 29

Literatuurlijst           

Better Evaluation, Budgeting for Developmental Evaluation (DE) Brusset, Emery, John Cosgrave and Wayne MacDonald, Real-time evaluation in humanitarian emergencies, New Directions for Evaluation, 18 juni 2010 Van Gils & Leeuw Leren van Evalueren: Onderzoek naar het gebruik van evaluatieonderzoek bij het Ministerie van Buitenlandse Zaken, 2010 IOB, Evaluatiebeleid en richtlijnen voor evaluaties, 2009 Sandison, Pet, Desk review of Real Time Evaluation Experience, UNICEF, augustus 2003 Opschoor, J.B. (2012): “Theories of Change” en Interventie theorieën in Evaluaties van Ontwikkelingssamenwerking, die beschikbaar is op het Secretariaat van IOB Polastro, Riccardo, Real Time Evaluations: contributing to system-wide learning and accountability, Humanitarian Exchange Magazine, Issue 52 oktober 2011 RPE 2002. Regeling Prestatiegegevens en Evaluatieonderzoek Rijksoverheid, 2002 RPE 2006. Regeling Prestatiegegevens en Evaluatieonderzoek Rijksoverheid, 2006 Visitatiecommissie WODC, Commissie Prins, Tilburg/Den Haag, 2014 World Food Program, Review of WFP's experience with Real-Time evaluation, 14 April 2004

Tweede Kamer    

Tweede Kamer, vergaderjaar 2007-2008, 31 200 V, nr. 136 Tweede Kamer, vergaderjaar 2008-2009, 29 237, nr. 83 Tweede Kamer, vergaderjaar 2008-2009, 29 237, nr. 85 Tweede Kamer, vergaderjaar 2008-2009, 29 237, nr. 99

Websites 

www.unglobalpulse.org (laatst bekeken op 31 december 2014)

30

Bijlage 1. Panel van Advies Achtergronden van het Panel van Advies Tijdens het algemeen overleg met de vaste commissie voor Buitenlandse Zaken van de Tweede Kamer op 29 mei en 22 oktober 2008 heeft de toenmalige Minister voor Ontwikkelingssamenwerking toegezegd een raad van advies in te stellen die hem adviseert over de bruikbaarheid en het gebruik van evaluaties.21 Op 19 februari 2009 stuurde de minister het mandaat van het Panel van Advies aan de Kamer en heeft hij de vragen over het mandaat van de vaste commissie beantwoord.22 In zijn brief van 25 mei 2010 informeerde de minister van Buitenlandse Zaken de Tweede Kamer over de samenstelling van het Panel van Advies.23 Op 4 juli 2011 heeft het Panel van Advies haar Eerste Advies aangeboden aan de staatssecretaris. In september 2011 is het Advies door de Staatssecretaris aangeboden aan de Tweede Kamer met een beleidsreactie. Ook werd het vierde lid van het Panel van Advies bekend gemaakt. Het Tweede Advies is gereed gekomen in januari 2013. Door middel van het plaatsen van het Advies op de website van de Inspectie Ontwikkelingssamenwerking en Beleidsevaluatie in juni 2013 is het Advies openbaar gemaakt.24 Mandaat van het Panel van Advies Evaluaties hebben een tweeledige functie in de beleidscyclus van ontwikkelingssamenwerking. Zij dienen ter verantwoording over doelmatigheid en doeltreffendheid van het beleid en de beleidsuitvoering. Daarnaast geven zij inzicht in al dan niet bereikte resultaten en de factoren die daarvoor (mede-)bepalend zijn geweest. Daarmee hebben evaluaties een leerfunctie en dragen ze bij aan de kennisinfrastructuur voor ontwikkelingssamenwerking. Verantwoorden en leren zijn complementair. Alle evaluaties dienen in beginsel beide functies te vervullen. Om de leerfunctie van evaluaties te versterken heeft de toenmalige Minister voor Ontwikkelingssamenwerking de Tweede Kamer op 19 februari 2009 toegezegd een Panel van Advies in het leven te roepen, bestaande uit een aantal gerenommeerde externe deskundigen. Dit panel heeft tot taak door middel van advisering aan de betrokken bewindspersoon voor Ontwikkelingssamenwerking de bruikbaarheid en het gebruik van 21

Tweede Kamer, vergaderjaar 2007-2008, 31 200 V, nr. 136 en Tweede Kamer, vergaderjaar 2008-2009, 29 237, nr. 83. 22 Tweede Kamer, vergaderjaar 2008-2009, 29 237, nr. 85 en Tweede Kamer, vergaderjaar 2008-2009, 29 237, nr. 99. 23 Tweede Kamer, vergaderjaar 2009-2010, 29 237, nr. 121. 24 http://www.iob-evaluatie.nl/sites/iobevaluatie.nl/files/Tweede%20advies%20Panel%20van%20Advies%20Definitief%20jan%202013.pdf (laatst bekeken op 31 december 2014) 31

evaluatiestudies voor beleid en praktijk te bevorderen. In de bijlage werd het mandaat van het panel nader gespecificeerd. Het PvA kiest uit zijn midden een voorzitter en regelt zelf zijn werkzaamheden en frequentie van vergaderen. Het panel zal zijn adviezen in geschreven vorm uitbrengen. Deze adviezen zijn openbaar. Zowel de betrokken bewindspersoon als de ambtelijke leiding van Ontwikkelingssamenwerking als ook de Inspectie Ontwikkelingssamenwerking en Beleidsevaluatie (IOB) kan het panel verzoeken de uitgebrachte adviezen mondeling toe te lichten. Het PvA bestaat maximaal uit vier externe deskundigen, het Derde Advies is door drie externe deskundigen opgesteld.25 Deze zijn voor een periode van drie jaar benoemd, waarbij een eenmalige verlenging van de benoeming mogelijk is. De leden van het panel zijn onafhankelijk. Lidmaatschap van het panel sluit de mogelijkheid uit opdrachten in het kader van de door IOB uit te voeren evaluaties aan te nemen. Het panel wordt in zijn werkzaamheden ondersteund door een externe secretaris. De leden van het panel ontvangen voor hun werkzaamheden een passende vergoeding. Taken Panel van Advies Ten aanzien van de bruikbaarheid van evaluaties:  het adviseren over de uitgangspunten van de evaluatieprogrammering op het terrein van ontwikkelingssamenwerking alsmede over de werkwijze van IOB;  het achteraf beoordelen van de validiteit en betrouwbaarheid van evaluatierapporten en van de uitvoerbaarheid van aandachtspunten en/of aanbevelingen, en het doen van aanbevelingen ter verbetering; Ten aanzien van het gebruik van evaluaties:  het adviseren over de institutionele verankering van de evaluatiefunctie in de beleidscyclus;  het adviseren over maatregelen waarmee het leren van evaluaties wordt gestimuleerd;  monitoring van de follow-up van aanbevelingen en/of aandachtspunten uit evaluatierapporten en het, zo nodig, doen van aanbevelingen voor verbetering. Samenstelling Panel van Advies In het expertpanel zullen de volgende onderscheiden en complementaire expertises vertegenwoordigd zijn: 1. kennis van het functioneren van overheidsorganisaties en in het bijzonder de betekenis van de evaluatiefunctie binnen de overheid; 2. wetenschappelijke kennis op het terrein van ontwikkelingssamenwerking, relevante onderzoeksactiviteiten en methoden en technieken van toetsend onderzoek.

25 Dhr. prof. dr. F.L. Leeuw, mevr. prof. dr. A. Niehof en dhr. prof. dr. J.B. Opschoor.

32

De huidige samenstelling van het Panel is als volgt: Prof. dr. F.L. Leeuw (voorzitter) De heer Leeuw is directeur van het Wetenschappelijke Onderzoek- en Documentatie Centrum van het Ministerie van Veiligheid en Justitie en hoogleraar Recht, Openbaar bestuur en Sociaal Wetenschappelijk onderzoek aan de Universiteit Maastricht. Leeuw is evaluatiedeskundige en heeft ervaring met kennisoverdracht binnen overheidsinstellingen op tal van terreinen waaronder ontwikkelingssamenwerking. Prof. dr. A. Niehof Mevrouw Niehof is emeritus hoogleraar Sociologie van Consumenten en Huishoudens aan de Universiteit van Wageningen. Als hoogleraar begeleidde zij veel onderzoek op het gebied van ontwikkelingsprocessen in Afrika en Azië. Zij werkte vier jaar bij het Bureau Beleidsvoorbereiding van het Directoraat-generaal Internationale Samenwerking van het Ministerie van Buitenlandse Zaken en heeft tien jaar werkervaring in Indonesië. Prof. Dr. J.B. Opschoor De heer Opschoor is emeritus hoogleraar Environmental Economics aan de Vrije Universiteit van Amsterdam en emeritus hoogleraar Economics of Sustainable Development en voormalig Rector van het Institute of Social Studies in Den Haag. Hij heeft naast zijn academische werk een uitvoerige ervaring in onderzoeksmanagement en beleidsadvisering, in nationaal en internationaal verband.

33

Bijlage 2. Onderzochte titels advies Prins Support in Research Management. IOB nr. 331 332 333 335

336 337 338 340

341

342

343

344

345

346 347 348

Titels met IOB nummer Netto gebruik Evaluation of Dutch support to Capacity Developments. The case 13 of the Netherlands Institute for Multiparty Democracy (NIMD) Evaluation of Dutch support to Capacity Development. The case 17 of PSO Evaluación de la cooperación holandesa con Nicaragua 20056 2008 Evaluation of Dutch support to Capacity Development. The case 31 of the Netherlands Commission for Environmental Assessment (NCEA) Facilitating Resourcefulness. Synthesis report of the Evaluation of 62 Dutch support to Capacity Development Evaluación de las actividades de las organizaciones holandesas 1 de cofinanciamiento activas en Nicaragua Consulaire Dienstverlening Doorgelicht 2007-2010 * 20 Mutual Interests – mutual benefits: Evaluation of the 2005 debt 7 relief agreement between the Paris Club and Nigeria. (Main report) Mutual Interests – mutual benefits: Evaluation of the 2005 debt Titel gelijk aan relief agreement between the Paris Club and Nigeria. (Summary 340 report) Intérêts communs – avantages communs. Évaluation de l’accord 7 de 2005 relatif à l’allègement de la dette entre le Club de Paris et le Nigéria. (Sommaire) Wederzijdse belangen – wederzijdse voordelen. Evaluatie van de Titel gelijk aan schuldverlichtingsovereenkomst van 2005 tussen de Club van 345 Parijs en Nigeria. (Samenvatting) Intérêts communs – avantages communs. Évaluation de l’accord 3 de 2005 relatif à l’allègement de la dette entre le Club de Paris et le Nigéria. (Version Abrégée) Wederzijdse belangen – wederzijdse voordelen. Evaluatie van de 3 Schuldverlichtings-overeenkomst van 2005 tussen de Club van Parijs en Nigeria. (Verkorte Versie) (345) Vijf Jaar Top van Warschau. De Nederlandse inzet voor 21 versterking van de Raad van Europa * Table rase et après? Évaluation de l’Allègement de la Dette en 20 République Démocratique du Congo 2003-2010 Schoon schip. En dan? Evaluatie van de schuldverlichting aan de 9 Democratische Republiek Congo 2003-2010 (Verkorte

34

349

350 351 352

353 354 355 356 357

357 358 359 360 361 362 363

364 365

samenvatting) The two-pronged approach Evaluation of Netherlands Support to Formal and Non-formal Primary Education in Bangladesh, 19992009 Unconditional Trust: Dutch support to basic education in Bolivia (2000-2009) Confianza sin confines: Contribución holandesa a la educación básica en Bolivia (2000-2009) Unfinished business: making a difference in basic education. An evaluation of the impact of education policies in Zambia and the role of budget support. Education matters: Policy review of the Dutch contribution to basic education 1999–2009 Leren van NGOs: Studie van de basic education interventies van geselecteerde Nederlandse NGOs Lessons Learnt: Synthesis of literature on the impact and effectiveness of investments in education Between High Expectations and Reality: An evaluation of budget support in Zambia Le risque d’effets éphémères: Évaluation d’impact des programmes d’approvisionnement en eau potable et d’assainissement au Bénin The risk of vanishing effects: Impact Evaluation of drinking water supply and sanitation programmes in rural Benin Assisting Earthquake victims: Evaluation of Dutch Cooperating aid agencies (SHO) Support to Haiti in 201027 Regionaal en geïntegreerd beleid? Evaluatie van het Nederlandse beleid met betrekking tot de Westelijke Balkan 2004-2008 * More than Water: Impact evaluation of drinking water supply and sanitation interventions in rural Mozambique Evaluatie van de Twinningfaciliteit Suriname-Nederland 978-905328-417-9 De Methodische kwaliteit van Programma-evaluaties in het Medefinancieringsstelsel-I 2007-2010 Improving food security: A systematic 5review of the impact of interventions in agricultural production, value chains, market regulation, and land security Effectiviteit van Economische Diplomatie: Methoden en Resultaten van onderzoek Tactische diplomatie voor een Strategisch Concept – De

7

9 2 6

82 9 5 35 37

37 25 11 27 14 9 22

8 48

35

366 366 367 368 369 369 370 371

371

372 372 372 373 374 375 376

377 378 379 380

Nederlandse inzet voor het NAVO Strategisch Concept 2010 * Drinking water and Sanitation – Policy review of the Dutch Development Cooperation 1990-2011 Drinkwater en sanitaire voorzieningen – Beleidsdoorlichting van het OS-beleid 1990-2011 Energievoorzieningszekerheid en Buitenlandbeleid – Beleidsdoorlichting 2006-2010 Civil Society, Aid, and Development: A Cross-Country Analysis Budget support: Conditional results – Policy review (2000-2011) Begrotingssteun: Resultaten onder voorwaarden – Doorlichting van een instrument (2000-2011) Equity, accountability and effectiveness in decentralization policies in Bolivia Turning a right into practice. Impact evaluation of the Ixchen Centre for Women cervical cancer programme in Nicaragua (2005-2009) Convirtiendo un derecho en práctica. Evaluación de impacto del programa del cáncer cervico-uterino del centro de mujeres lxchen en Nicaracua (2005-2009) Relaties, resultaten en rendement. Evaluatie van de Benelux Unie-samenwerking vanuit Nederlands perspectief * Évaluation de la coopération au sein de l’Union Benelux du point de vue des Pays-Bas * Beziehungen, Ergebnisse und Ertrag * Evaluation of Dutch support to human rights projects (20082011) Working with the World Bank. Evaluation of Dutch World Bank policies and funding (2000-2011) The Netherlands and the European Development Fund Renewable Energy: Access and Impact. A systematic literature review of the impact on livelihoods of interventions providing access to renewable energy in developing countries Corporate Social Responsibility: the role of public policy. A systematic literature review Public-Private Partnerships in developing countries. A systematic literature review Investeren in stabiliteit: Het Nederlandse fragiele statenbeleid doorgelicht Linking Relief and Development: More than old solutions for old problems?

19 19 16 16 49 49 4 12

12

24 24 24 30 12 22 33

7 15 25 19

36

381

382 383 384

385 386 387 388

Balancing ideals with practice: Policy evaluation of Dutch involvement in sexual and reproductive health and rights 20072012 Op zoek naar nieuwe verhoudingen: Evaluatie van het Nederlandse buitenlandbeleid in Latijns-Amerika NGOs in action: A study of activities in sexual and reproductive health and rights by Dutch NGOs Achieving universal access to sexual and reproductive health and rights: Synthesis of multilateral contribution to advancing sexual and reproductive health and rights (2006-2012) Economic diplomacy in practice: An evaluation of Dutch economic diplomacy in Latin America Evaluation issues in financing for development: Analysing effects of Dutch corporate tax policy on developing countries Between Ambitions and Ambivalence: Mid-term Evaluation SNV Programme 2007-2015 Impact evaluation of improved cooking stoves in Burkina Faso: The impact of two activities supported by the Promoting Renewable Energy Programme

20

33 3 1

13 29 20 26

Titels van rapporten zonder IOB nummer Netto gebruik Aiding the Peace. A Multi-Donor Evaluation of Support to Conflict 118 Prevention and Peacebuilding Activities in Southern Sudan 2005 2010 (2011) Bijlage bij ‘Evaluatie PUM Netherlands senior experts 2006-2009’ 1 (2011) Commentaar medewerkers DEC en IOB op Evaluatie PUM 0 Netherlands senior experts 2006-2009 (2011) Evaluatie PUM Netherlands senior experts 2006-2009 (2011) 3 Evaluation of NPT and NICHE (2012) 56 Evaluation of the Netherlands fellowship programme NFP 20026 2010 (2012) Trade Union Cofinancing Programme 2009-2012 (2012) 0 Gezamenlijke evaluatie van conflictpreventie en vredesopbouw 5 in de DR Congo (2011) Joint evaluation of conflict prevention and peace building DR 5 Congo (2011) Joint evaluation of conflict prevention and peace building DR 5 Congo (in French) (2011) Joint Evaluation of the Global Logistics Cluster (2011) 14

37