2

Hoe evalueer je een ontwikkelings-project? EXTRA 1/2 | Is Magazine

Page 1 of 9

| Over NCDO | Millenniumdoelen

Internationale Samenwerking online (http://www.ismagazine.nl/) Thema deze maand: Geef de wereld te eten (http://www.ismagazine.nl/ismagazine/)

Lees online (http://issuu.com/ISmagazine/docs/is_nr5_2011_v3?mode=embed&layout=http% 3A%2F%2Fskin.issuu.com%2Fv%2Flight% 2Flayout.xml&showFlipBtn=true) Vraag een gratis IS

abonnement aan (http://www.ismagazine.nl/abonnement/) • Home (http://www.ismagazine.nl) • Agenda (http://www.ismagazine.nl/agenda/) • Dossiers (http://www.ismagazine.nl/dossiers/) • Abonnement (http://www.ismagazine.nl/abonnement/) • Over IS (http://www.ismagazine.nl/over-is/) • Archief (http://www.ismagazine.nl/archief/) Zoeken

Submit Query

Hoe evalueer je een ontwikkelings-project? EXTRA 1/2 1 februari 2011 (http://www.isonline.nl/2011/02/01/hoe-evalueer-je-eenontwikkelingsproject-extra-12-2/peter-4/) Eerder heb ik twee berichten

geschreven over dit onderwerp. In het eerste bericht (http://www.isonline.nl/2010/10/04/hoe-evalueer-je-eenontwikkelingsproject-12-2/) werd beschreven waarom klassieke

evaluatiemethodes niet voldoende zijn voor een solide evaluatie. Ook introduceerde ik de nu gouden standaard: de Randomized Control Trail (RCT). Het tweede bericht (http://www.isonline.nl/2010/11/24/hoeevalueer-je-een-ontwikkelingsproject-22-2/) ging dieper in op de RCT en legde ook uit waarom enquêtes vaak niet voldoende zijn voor een goede evaluatie. In eerste instantie wilde ik het daarbij laten. Maar sinds het plaatsen van het eerste bericht heb ik

http://www.ismagazine.nl/2011/02/01/hoe-evalueer-je-een-ontwikkelingsproject-extra-12-2/

6/9/2011


Page 2 of 9

tientallen emails ontvangen voor meer uitleg over de RCT, en over projectevaluaties in het algemeen. Daarom schrijf ik nog twee berichten om in te gaan op enkele belangrijke punten die naar voren zijn gebracht. In dit bericht schrijf ik over alternatieven voor de RCT. Het volgende bericht zal meer praktische dingen voor een goede evaluatie bespreken, zoals materiaal en samenwerking met universiteiten. Is de RCT de enige methode die we kunnen toepassen? We willen weten of er een causaal verband is tussen het project en de uitkomst waarin we geïnteresseerd zijn. Met andere woorden, we willen weten of het ontwikkelingsproject iets heeft veranderd. Om hier achter te komen moeten we de volgende vraag beantwoorden: Wat zou er gebeurd zijn als er geen project was geweest? We kunnen natuurlijk niet teruggaan in de tijd. We kunnen ook niet twee verschillende levens op hetzelfde moment meemaken zoals bijvoorbeeld in de film Sliding Doors. Dus om deze vraag te beantwoorden moet het evaluatieteam op zoek naar een vergelijkingsgroep. Oftewel: een groep hetzelfde als de groep met het project. Als de twee hetzelfde zijn wordt dit balans genoemd. Het enige verschil tussen de twee groepen is natuurlijk dat de vergelijkingsgroep (ook wel controlegroep genoemd) geen project krijgt. Als er dan na het project een verschil is tussen de groep met het project en de vergelijkingsgroep weten we dat dit komt door het project, en door niets anders. Het doel voor een evaluatieteam is dus een goede vergelijkingsgroep te vinden. In het eerste bericht schreef ik over twee klassieke technieken. Met de voor-en-na-het-project methode wordt dezelfde groep dorpen (of mensen/scholen/gezinnen/etc.) na het project vergeleken met dezelfde groep voor het project. Deze groep voor het project is dan de vergelijkingsgroep. Bij de ‘matching’ methode wordt daarentegen een vergelijkingsgroep gezocht, gebaseerd op meetbare karakteristieken, die overeenkomt met de projectgroep. Het eerste bericht besprak de problemen van deze methodes. Daarna werd er in detail uitgelegd waarom, met veel observaties, de RCT wel balans geeft. Met een RCT worden de groep met het project en de vergelijkingsgroep willekeurig gekozen en daarom zijn ze hetzelfde. Soms is het uitvoeren van een RCT niet mogelijk. Het is te duur, het project is al begonnen, het wordt gedwarsboomd door sceptici, etc. In de ontvangen emails werd dit vaak aangehaald en een veel voorkomende vraag was: Zijn er andere technieken om het causale verband te achterhalen? Al blijft de RCT de gouden standaard, er zijn drie alternatieve methodes die meer uitleg verdienen: het natuurlijk experiment, de instrumentele variabele en de regressie discontinuïteit (RD). Natuurlijk experiment Het idee van een natuurlijk experiment is om een gebeurtenis te vinden dat vanzelf (of: natuurlijk) is voorgekomen maar welke hetzelfde effect heeft als de willekeurige selectie van de RCT. Een goed voorbeeld is een orkaan. Stel dat we geïnteresseerd zijn in het effect van schade door een orkaan op de prestatie van schoolkinderen. Welk pad een orkaan aflegt is willekeurig. Een orkaan beslist niet om alleen schade toe te brengen aan gezinnen die meer dan een ton per jaar verdienen of waar de ouders een academische opleiding hebben genoten. Onze vergelijkingsgroep (de gezinnen niet op het


6/9/2011


Page 3 of 9

pad van de orkaan) is dus willekeurig voor ons geselecteerd. Natuurlijke experimenten kunnen zich ook voordoen bij ontwikkelingsprojecten. Stel dat vijftig motors gebruikt worden voor een ontwikkelingsproject. Elke motor bezoekt 25 dorpen en stel dat zonder het bezoek van de motor het project niet kan beginnen (bijvoorbeeld omdat de motorrijder het geld voor het project brengt). Stel nu dat tien motors kapot gaan. Dit betekent dus dat er geen project is in 250 dorpen. Deze 250 dorpen zijn dan onze vergelijkingsgroep. Als we aannemen dat motors willekeurig kapot gaan, hebben we dus onze vergelijkingsgroep en balans. Een natuurlijk experiment werkt dus op dezelfde manier als een RCT alleen is de willekeur ingevoerd door moeder natuur en niet door het evaluatieteam. Dit is ook gelijk het probleem. Het gebeurt niet altijd dat een natuurlijk experiment zich voor doet. En als het zich voordoet heeft het evaluatieteam er (bij definitie) geen controle over. Instrumentele variabele Het is vaak moeilijk om een causaal verband te vinden van X naar Y, omdat Y ook tot X kan leiden. Neem armoede en conflict. Stel dat we willen weten of armoede tot conflict leidt. En stel wij als uitkomst hebben dat er meer conflicten plaats vinden in armere regios. Dus: leidt armoede tot conflicten (X -> Y)? Nee, niet perse, want conflict kan ook leiden tot armoede (Y -> X). Dit probleem wordt endogeniteit genoemd. We hebben een positieve correlatie tussen armoede en conflict, maar we kunnen geen causale inferenties maken omdat we niet weten welke kant de causaliteit op gaat. Dit probleem kunnen we oplossen door een variabele Z te vinden die gerelateerd is aan armoede (X), maar niet met de uitkomst conflict (Y). Zo’n variabele wordt een instrument genoemd. Een bekend onderzoek heeft bijvoorbeeld regenval als instrument voor armoede gebruikt. Weinig regenval leidt tot armoede (Z -> X). Conflict leidt misschien tot armoede (Y ->X), maar conflict leidt niet tot regenval (Y niet -> Z). Dus als we een positieve correlatie zien tussen regenval en conflict dan weten we dat Z -> Y. En omdat Z een instrument is van Y, weten we dus dat X -> Y. Armoede leidt tot conflict, en niet vice versa. Tot voor kort was dit een erg populaire methode om causale verbanden te vinden, maar het enthousiasme is afgekoeld omdat het vaak moeilijk is om een goed instrument te vinden. Regressie discontinuïteit RD is een slimme techniek, maar is tot nu toe niet veel toegepast. Het idee is dat dorpen (scholen/personen/gezinnen/etc.) op volgorde worden gelegd op een criterium (of criteria) dat door het evaluatieteam is gekozen. We kunnen bijvoorbeeld 100.000 gezinnen op een lijn plaatsen van laag naar hoog inkomen. Er wordt dan een afsnijpunt gekozen waar de groep aan een kant wel het project krijgen en aan de andere kant niet (de vergelijkingsgroep). Stel dat we geïnteresseerd zijn in de invloed van een gratis computer op schoolprestaties van kinderen. Stel je voor dat de overheid een computer geeft aan alle gezinnen met een inkomen van minder dan 20.000 euro per jaar. De gezinnen rond het afsnijpunt (20.000 euro) zijn hetzelfde en dus kunnen we hier de groep gezinnen met computer vergelijken met de groep zonder. Regressie discontinuïteit is eenvoudig te implementeren en het enige wat nodig is, is dat de hulporganisatie een duidelijke regel gebruikt. Een nadeel is dat alleen de eenheden dichtbij het afsnijpunt met elkaar worden vergeleken. Zo zijn gezinnen met een jaarinkomen van 19.999 (wel computer) en 20.001 (geen computer) hetzelfde,


6/9/2011


Page 4 of 9

maar een gezin van 5.000 en 400.000 euro niet. Met een RD kunnen we dus maar een gedeelte van al de data gebruiken. Hoe weet ik welk type project werkt? Er was een tweede vraag die regelmatig naar voren kwam. Wij willen niet weten of het project werkt, maar welk type project werkt. Kunnen we ook hier de ideeën van de RCT toepassen? Het antwoord is ‘ja’ en het idee is precies hetzelfde. Maar in plaats van een groep zonder het project (de vergelijkingsgroep) te vergelijken met de projectgroep, worden nu twee (of meer) verschillende soorten projectgroepen met elkaar vergeleken. Belangrijk is dat – zoals we nu weten – de dorpen (scholen/personen/gezinnen/etc.) willekeurig in de groepen worden geplaats zodat we balans tussen de verschillende groepen hebben. Met andere woorden, deze groepen zijn hetzelfde met uitzondering van het type project. Met een team van Columbia University voeren we sinds 2006 de evaluatie uit van Tuungane. Tuungane is een community-driven reconstruction (CDR) programma in Oost-Congo en is één van de grootste naoorlogse ontwikkelingsprojecten in de wereld. De evaluatiemethode die wordt gebruikt is de RCT. In 2006 zijn er uit een hoge hoed van 5.000 dorpen, 2.500 willekeurig gekozen voor het project. De andere 2.500 zijn de vergelijkingsgroep. Nu, na vijf jaar, is Tuungane afgelopen. Momenteel is er een evaluatieteam van rond de honderd man in het veld om data voor de evaluatie te verzamelen. Wanneer dit klaar is zal het tweede gedeelte van Tuungane beginnen. Tuungane 2, in tegenstelling tot Tuungane 1, zal werken in al de 5.000 dorpen. Een RCT is daarom niet langer mogelijk omdat al de dorpen het project krijgen. Wat we nog wel steeds kunnen vragen is: Welk type CDR programma werkt het best? Tuungane 2 zal dus op verschillende manieren worden geïmplementeerd – dit wordt variaties genoemd. Welk dorp welk type project krijgt zal – natuurlijk – weer willekeurig gebeuren. Meer om te lezen Sommige reacties vroegen om literatuur op dit gebied. Er is erg veel literatuur. Een goed begin voor impactevaluaties in het algemeen is een recente publicatie van de Wereld Bank (http://www.eurospanbookstore.com/display.asp? K=9780821380284&m=27&ds=development&dc=1253&sort=sort_date/d&mw=1&st_01=kcm*&sf_01=b

Voor RCTs zie bijvoorbeeld: http://www.columbia.edu/~mh2245/papers1/HW_ARPS09.pdf (http://www.columbia.edu/~mh2245/papers1/HW_ARPS09.pdf ) Het hierboven vermelde onderzoek aangaande de instrumentele variabele voor armoede kan hier (http://www.econ.berkeley.edu/~emiguel/pdfs/miguel_conflict.pdf) gevonden worden.

Nieuwe Reactie Naam (verplicht) E-mail (verplicht - niet zichtbaar)


6/9/2011


Page 5 of 9

Website

Reactie Plaats reactie

• (http://www.ismagazine.nl/author/peterw/) Peter van der Windt (http://www.ismagazine.nl/author/peterw/)

Peter is promovendus aan Columbia University in New York City en doet onderzoek naar ontwikkelingsvraagstukken. Ook is hij druk in Oost-Congo met de evaluatie van een groot naoorlogs ontwikkelingsproject. Lees meer columns van Peter van der Windt (http://www.ismagazine.nl/author/peterw/)

• ◦ Plaats op (http://www.addthis.com/bookmark.php?v=250&username=xa4c52934e36f6b0b4)

| (http://www.addthis.com/bookmark.php?v=250&winname=addthis&pub=xa4c52934e36f6b0b4&source=tbx-250&lng=en-us&s=hyves&url=http%3A%2F% 2Fwww.ismagazine.nl%2F2011%2F02%2F01%2Fhoe-evalueer-je-eenontwikkelingsproject-extra-12-2%2F&title=Hoe%20evalueer%20je%20een% 20ontwikkelings-project%3F%20EXTRA%201%2F2%20%7C%20Is% 20Magazine&ate=AT-xa-4c52934e36f6b0b4/-//4df0bffb9c508f61/1&uid=4df0bffbccc18790&pre=http%3A%2F% 2Fwww.ismagazine.nl%2F2011%2F06%2F09%2Fhoe-evalueer-je-eenontwikkelingsproject-extra-22%2F&tt=0) (http://www.addthis.com/bookmark.php?v=250&winname=addthis&pub=xa4c52934e36f6b0b4&source=tbx-250&lng=en-us&s=facebook&url=http%3A%2F%


6/9/2011


Page 6 of 9

2Fwww.ismagazine.nl%2F2011%2F02%2F01%2Fhoe-evalueer-je-eenontwikkelingsproject-extra-12-2%2F&title=Hoe%20evalueer%20je%20een% 20ontwikkelings-project%3F%20EXTRA%201%2F2%20%7C%20Is% 20Magazine&ate=AT-xa-4c52934e36f6b0b4/-//4df0bffb9c508f61/2&uid=4df0bffb4b8d4017&pre=http%3A%2F% 2Fwww.ismagazine.nl%2F2011%2F06%2F09%2Fhoe-evalueer-je-eenontwikkelingsproject-extra-22%2F&tt=0) (#) (http://www.addthis.com/bookmark.php?v=250&winname=addthis&pub=xa4c52934e36f6b0b4&source=tbx-250&lng=en-us&s=digg&url=http%3A%2F% 2Fwww.ismagazine.nl%2F2011%2F02%2F01%2Fhoe-evalueer-je-eenontwikkelingsproject-extra-12-2%2F&title=Hoe%20evalueer%20je%20een% 20ontwikkelings-project%3F%20EXTRA%201%2F2%20%7C%20Is% 20Magazine&ate=AT-xa-4c52934e36f6b0b4/-//4df0bffb9c508f61/3&uid=4df0bffbb4203142&pre=http%3A%2F% 2Fwww.ismagazine.nl%2F2011%2F06%2F09%2Fhoe-evalueer-je-eenontwikkelingsproject-extra-22%2F&tt=0)

◦ Print artikel (http://www.ismagazine.nl/2011/02/01/hoe-evalueer-je-eenontwikkelingsproject-extra-12-2/print/)

◦ (http://www.ismagazine.nl/2011/02/01/hoe-evalueer-je-eenontwikkelingsproject-extra-12-2/email/) Mail door (http://www.ismagazine.nl/2011/02/01/hoe-evalueer-je-eenontwikkelingsproject-extra-12-2/email/)

• Stuur jouw blogposting in (http://www.ismagazine.nl/uw-bericht/) •

Lezers blogs ◦ Hoe evalueer je een ontwikkelings-project? (http://www.ismagazine.nl/2011/06/09/hoe-evalueer-jeeen-ontwikkelingsproject-extra-22/)

◦ De blanke huurlingen

(http://www.ismagazine.nl/2011/06/06/de-blanke-huurlingen/)

◦ Harige huisgenoten (http://www.ismagazine.nl/2011/06/06/harige-huisgenoten/) ◦ De superminister (http://www.ismagazine.nl/2011/06/01/de-superminister/)


6/9/2011


Page 7 of 9

◦ Even

rehabiliteren (http://www.ismagazine.nl/2011/05/31/even-rehabiliteren/) Lees Meer (http://www.ismagazine.nl/category/user-content/lezers-blogs/) •

Woordenwolk 2015 (http://www.ismagazine.nl/tag/2015/) aids (http://www.ismagazine.nl/tag/aids/)

armoedebestrijding (http://www.ismagazine.nl/tag/armoedebestrijding/) Bert Koenders (http://www.ismagazine.nl/tag/bert-koenders/) conflict (http://www.ismagazine.nl/tag/conflict/) dagboek (http://www.ismagazine.nl/tag/dagboek/) democratie (http://www.ismagazine.nl/tag/democratie/) HIV (http://www.ismagazine.nl/tag/hiv/)

kunst en cultuur (http://www.ismagazine.nl/tag/kunst-en-cultuur/) NGO (http://www.ismagazine.nl/tag/ngo/) Onderwijs (http://www.ismagazine.nl/tag/onderwijs/)

ontwikkelingshulp

(http://www.ismagazine.nl/tag/ontwikkelingshulp/)

ontwikkelingssamenwerking (http://www.ismagazine.nl/tag/ontwikkelingssamenwerking/)

politiek

(http://www.ismagazine.nl/tag/politiek/) rapport (http://www.ismagazine.nl/tag/rapport/) tsunami (http://www.ismagazine.nl/tag/tsunami/) Uruzgan (http://www.ismagazine.nl/tag/uruzgan/) Verkiezingen (http://www.ismagazine.nl/tag/verkiezingen/)

wederopbouw

(http://www.ismagazine.nl/tag/wederopbouw/) WTO (http://www.ismagazine.nl/tag/wto/)


6/9/2011


Page 8 of 9

IS Online • Home (http://www.ismagazine.nl) • Agenda (http://www.ismagazine.nl/agenda/) • Dossiers (http://www.ismagazine.nl/dossiers/) • Abonnement (http://www.ismagazine.nl/abonnement/) • Over IS (http://www.ismagazine.nl/over-is/) • Mijn tips (http://www.ismagazine.nl/mijn-tips/) • Mijn project (http://www.ismagazine.nl/mijn-project/) • Uw bericht (http://www.ismagazine.nl/uw-bericht/) • Colofon (http://www.ismagazine.nl/colofon/) • Contact (http://www.ismagazine.nl/contact/) • Archief (http://www.ismagazine.nl/archief/) Duurzame hosting (http://duurzamehosting.nl/)

IS Dossiers • • • • • • • • • • •

Afghanistan (http://www.ismagazine.nl/category/dossiers/afghanistan/) Duurzaamheid (http://www.ismagazine.nl/category/dossiers/duurzaamheid/) Economische crisis (http://www.ismagazine.nl/category/dossiers/economische-crisis/) Economische groei (http://www.ismagazine.nl/category/dossiers/economische-groei/) Gezondheid (http://www.ismagazine.nl/category/dossiers/gezondheid/) Gezondsheidszorg (http://www.ismagazine.nl/category/dossiers/gezondsheidszorg/) Helpt hulp? (http://www.ismagazine.nl/category/dossiers/helpt-hulp/) Klimaat (http://www.ismagazine.nl/category/dossiers/klimaat/) Landbouw (http://www.ismagazine.nl/category/dossiers/landbouw/) Mensenrechten (http://www.ismagazine.nl/category/dossiers/mensenrechten/) Lees verder... (/dossiers/)


6/9/2011


Page 9 of 9

NCDO Websites • 3e Helft (http://www.3ehelft.org) • Business in Development (http://www.businessindevelopment.nl) • Earth Charter (http://www.earthcharter.n) • Millenniumdoelen (http://www.millenniumdoelen.nl) • Move Your World (http://www.moveyourworld.nl) • NCDO (http://www.ncdo.nl) • Politiek (http://www.politiek2015.nl) • Samsam (http://www.samsam.net) • Sport Development (http://www.sportdevelopment.org) • Wereldburgerschap (http://www.wereldburgerschap.nl) • Worldconnectors (http://www.worldconnectors.nl)

Oneworld • Buitenlandverslaggever Joeri B.. (http://www.oneworld.nl/Nieuws/Kort_Nieuws/article/29755/Buitenlandverslaggever_Joeri_Bo

• Chinese koeien produceren moed.. (http://www.oneworld.nl/Nieuws/Kort_Nieuws/article/29753/Chinese_koeien_produceren_mo

• Huurmoordenaars in Irak inspir.. (http://www.oneworld.nl/Nieuws/Kort_Nieuws/article/29749/Huurmoordenaars_in_Irak_insp

Vice Versa • Over de grens kijken.. (http://www.viceversaonline.nl/2011/06/over-de-grens-kijken/) • HET BELANG VAN ACCOUNTABILITY.. (http://www.viceversaonline.nl/2011/06/hetbelang-van-accountability/)

• Ruimte voor discussie.. (http://www.viceversaonline.nl/2011/06/ruimte-voordiscussie/)


6/9/2011

2

Recommend Documents