UNIVERZITA PALACKÉHO V OLOMOUCI Přírodovědecká fakulta Katedra geografie
David PLACHETKA
PROBLEMATIKA HODNOCENÍ PROJEKTŮ ROZVOJOVÉ SPOLUPRÁCE Bakalářská práce
Vedoucí práce: Mgr. Robert STOJANOV
Olomouc 2006
Vysoká škola: Univerzita Palackého
Fakulta: Přírodovědecká
Katedra: Geografie
Školní rok: 2004/2005
ZADÁNÍ BAKALÁŘSKÉ PRÁCE
(PROJEKTU, UMĚLECKÉHO DÍLA, UMĚLECKÉHO VÝKONU)
pro Davida Plachetku obor Mezinárodní rozvojová studia Název tématu: Problematika hodnocení projektů rozvojové spolupráce
Zásady pro vypracování:
-
definice hodnocení (evaluace), co kdy a proč se hodnotí
-
typologie evaluací
-
postavení evaluace v rámci projektového cyklu o metoda logického rámce ("logical framework approach")
-
techniky a metody používané při evaluaci
-
využití evaluace v praxi – zpětná vazba
Rozsah grafických prací: Rozsah průvodní zprávy: 10 000 – 12 000 slov Seznam odborné literatury: Cracknell, Basil Edward. Evaluating Development Aid: Issues, problems and solution. New Delhi: Sage Publications India, 2003. Evaluation of Development Assistance: Handbok for Evaluators and Managers. Oslo: Royal Ministry of Foreign Affairs, 1993. Evaluation guidelines. [online] Kopenhagen: Ministry of Foreign Affairs; Danida, 2001. Dostupné z:
. Development Assistance Manual: Principles of effective aid. [online] OECD, 1992. Dostupné z: <www.oecd.org/dac/evaluation>. Monitoring and evaluation: Some tools, methods and approaches. [online] Washinghton, DC.: The World Bank, 2004. Dostupné z: .
Vedoucí bakalářské práce: Robert Stojanov Datum zadání bakalářské práce: 25. 5. 2005 Termín odevzdání bakalářské práce: duben 2006
L.S
................................................ Vedoucí katedry
V Olomouci
dne 25. 5. 2005
.......................................................... Vedoucí bakalářské práce
Prohlašuji, že bakalářskou práci jsem vypracoval samostatně a veškeré použité zdroje jsem uvedl v seznamu.
V Olomouci dne 14. 5. 2006
Podpis …………………………
Obsah Seznam tabulek...................................................................................................................................................7 Seznam obrázků..................................................................................................................................................7 Seznam zkratek....................................................................................................................................................8 1 Úvod................................................................................................................................................................9 2 Metody zpracování....................................................................................................................................10 3 Úvod do problematiky evaluace..............................................................................................................11 3.1 Co je evaluace.....................................................................................................................................11 3.2 Účel evaluace......................................................................................................................................11 3.3 Hodnotící kritéria..............................................................................................................................12 4 Postavení evaluace v projektovém cyklu...............................................................................................14 4.1 Projektový cyklus..............................................................................................................................14 4.2 Metoda logického rámce.................................................................................................................15 4.3 Vztah monitoringu a evaluace........................................................................................................17 5 Typy evaluace.............................................................................................................................................19 5.1 Evaluace podle toho, kdy probíhají................................................................................................19 5.2 Evaluace podle použitých postupů.................................................................................................21 5.3 Podle toho, kdo evaluace provádí...................................................................................................22 5.4 Evaluace podle jejich zaměření.......................................................................................................23 5.5 Další formy hodnocení......................................................................................................................23 6 Základní metody používané při evaluaci...............................................................................................25 6.1 Analýza jednotlivých aktérů (stakeholder analysis)...................................................................25 6.2 Analýza relevantních dokumentů..................................................................................................26 6.3 Přímé měření......................................................................................................................................26 6.4 Přímé pozorování..............................................................................................................................27 6.5 Analýza přínosů a nákladů...............................................................................................................28 6.6 Průzkumy............................................................................................................................................29 6.6.1 Neformální průzkum................................................................................................................29 6.7 Rozhovory...........................................................................................................................................29 6.7.1 Polostrukturované rozhovory................................................................................................29 6.7.2 Rozhovory s klíčovými osobami.............................................................................................30 6.7.3 Skupinové rozhovory...............................................................................................................30 6.8 Případové studie................................................................................................................................30 6.9 Participativní metody.......................................................................................................................31 7 Zpětná vazba...............................................................................................................................................32 7.1 Výstupy evaluace...............................................................................................................................32 7.2 Celkové hodnocení projektu...........................................................................................................33 5
8 Závěr.............................................................................................................................................................34 9 Použité zdroje.............................................................................................................................................35 Shrnutí...............................................................................................................................................................37 Summary...........................................................................................................................................................38 Přílohy
6
SEZNAM TABULEK Tabulka 1: Typická struktura matice logického rámce (logframe matrix).........................................16 Tabulka 2: Funkce monitoringu a evaluace.............................................................................................18 Tabulka 3: Porovnání formativní a sumativní evaluace........................................................................20 Tabulka 4: Srovnání konvenční a participativní evaluace....................................................................21
SEZNAM OBRÁZKŮ Obrázek 1: Projektový cyklus zahraniční rozvojové spolupráce ČR....................................................14 Obrázek 2: Evaluační růžice........................................................................................................................19
7
SEZNAM ZKRATEK AIDCO – EuropeAid Cooperation Office CBA – analýza přínosů a nákladů (cost-benefit analysis) DAC – Výbor pro rozvojovou spolupráci OECD (Development Assistance Comitee of the OECD) Danida – Dánská agentura pro mezinárodní rozvoj (Danish Agency for International Development) DFID – Ministerstvo pro mezinárodní rozvoj Spojeného království (Department for International Development) LFA – metoda logického rámce (logical framework approach) NORAD – Norská agentura pro mezinárodní rozvoj (Norwegian Agency for International Development) OECD – Organizace pro hospodářskou spolupráci a rozvoj (Organisation for Economic Cooperation and Development) RS ÚMV – Rozvojové středisko Ústavu mezinárodních vztahů Sida - Švédská agentura pro mezinárodní rozvojovou spolupráci (Swedish International Development Co-operation Agency) USAID -Agentura Spojených států pro mezinárodní rozvoj (United States Agency for International Development)
8
1 ÚVOD Rozvojová spolupráce se už několik desetiletí pokouší změnit nerovnoměrné rozložení bohatství ve světě. Proto, aby plnila svůj účel, musí být v první řadě kvalitní. A o kvalitě poskytnuté pomoci je možné se přesvědčit pouze pokud bude objektivně zhodnocena. Takové téma práce jsem si zvolil, protože já osobně to považuji za nejpalčivější otázku současné mezinárodní rozvojové spolupráce. Během své stáže na Rozvojovém středisku Ústavu mezinárodních vztahů v létě 2005 jsem měl možnost seznámit se prostřednictvím projektové dokumentace jak s realizovanými projekty, tak s několika evaluacemi, které byly v rámci české rozvojové spolupráce provedeny. Systematické hodnocení rozvojových projektů je tu však stále ještě v počátcích. Cílem práce je vytvořit ucelený přehled problematiky hodnocení projektů rozvojové spolupráce a nastínit současné trendy. V českém jazyce jsem totiž nenašel žádnou publikaci, která by se tomuto specifickému tématu věnovala. V anglickém jazyce je ale výběr mnohem širší. Hlavní text práce je rozdělen do šesti kapitol. V úvodní kapitole vymezuji základní pojem evaluace. Popisuji její účel a definuji hodnotící kritéria, která se při ní používají. V kapitole následující se věnuji problematice projektového cyklu se zaměřením na logický rámec projektu. Zabývám se zde také vztahem monitoringu a evaluace, které spolu do značné míry souvisí. Další kapitola vymezuje různé typy evaluace ve vztahu k jejich postavení v projektovém cyklu, k jejich vykonavateli, k postupům při ní využitých a také podle jejich zaměření. Zmiňuji se zde také o dalších formách hodnocení využívaných v rozvojových projektech, které nejsou přímo evaluacemi, ale souvisí s nimi. Předposlední kapitola je přehledem hlavních metod používaných v evaluační práci. Její součástí je také oddíl věnovaný participativním metodám, které jsou v současnosti velmi populární. Závěrečná kapitola se zabývá zpětnou vazbou se zaměřením na evaluační zprávy a na způsoby jejich rozšiřování mezi uživatele. Dále jsou zde zahrnuty metody celkového hodnocení projektu, které usnadňují orientaci lidem nezabývajícím se přímo rozvojovou spoluprací.
9
2 METODY ZPRACOVÁNÍ Při zpracování bakalářské práce byly použity rešeršně-kompilační metody, zejména pak analýza textu. Použité zdroje mohu rozdělit do několika skupin. První jsou monografie zabývající se problematikou evaluací a metod používaných při práci na rozvojových projektech. Jedná se o knihy B. E Cracknella Evaluating development aid: Issues, problems, solutions (Cracknell, 2003) a B. Mikkelsen Methods for development work and research: A new guide for practitioners (Mikkelsen, 2005). Basil Cracknell, který se problematikou hodnocení rozvojových intervencí zabývá už od 70. let dvacátého století, ať už jako pracovník britských oficiálních struktur nebo nezávislý konzultant, ve své knize uvádí srozumitelný přehled celé problematiky hodnocení, ale zabývá se i specifickými otázkami hodnocení udržitelnosti a dopadů, fungováním zpětné vazby a používání nových přístupů. Oproti tomu Britha Mikkelsen se evaluaci věnuje pouze v jedné kapitole, nicméně je celá její kniha výrazně zaměřená na participativní přístup k rozvoji a metody při něm používané. Další skupinou zdrojů jsou manuály projektového cyklu a evaluační manuály vládních i mezinárodních rozvojových institucí. Mnoho z nich je veřejně dostupných na internetu. Nejpřínosnější byly v tomto ohledu manuály švédské Sida a Noradu, z mezinárodních organizací pak manuál Evropské unie a Mezinárodního fondu pro rozvoj zemědělství (International Fund for Agricultural Development, IFAD). Poslední skupinou jsou webové stránky jednotlivých donorů, kde se nachází užitečné informace o širší politice a využití evaluací. Jelikož naprostá většina použitých zdrojů je v anglickém jazyce, využil jsem jako základ pro českou terminologii Vysvětlení vybraných anglických termínů a zkratek (RS ÚMV, nedatováno)
stejně jako terminologii použitou v Manuálu projektového cyklu zahraniční rozvojové spolupráce České republiky (RS ÚMV, 2006), obojí dostupné na webových stránkách Rozvojového střediska Ústavu mezinárodních vztahů (RS ÚMV), které je odpovědné za koordinaci české zahraniční rozvojové spolupráce. Pro větší srozumitelnost a použitelnost textu však vždy ponechávám původní anglický termín v závorce vyznačený kurzivou.
10
3 ÚVOD DO PROBLEMATIKY EVALUACE 3.1
Co je evaluace
Základem pojetí evaluace rozvojových intervencí je definice dle Výboru pro rozvojovou spolupráci Organizace pro ekonomickou spolupráci a rozvoj (Development Assistance Comitee of the Organisation for Economic Cooperation and Development - DAC OECD) (OECD, 1992: 132): „Evaluace je systematickým a objektivním zhodnocením probíhajícího nebo dokončeného projektu, programu či politiky; jejich návrhu, implementace a výsledků. Účelem je určit relevanci a naplnění cílů, efektivitu, efektivnost, dopady a udržitelnost. Evaluace by měla poskytnout informace, které jsou důvěryhodné a užitečné, a umožnit zapojení získaných poznatků do rozhodovacího procesu jak donorů tak příjemců.“ Z ní vycházejí i formulace evaluace v politikách jednotlivých rozvojových institucí. Českým překladem evaluace je hodnocení. Pojem hodnocení je však mnohem širší. Aby proto nedocházelo k nedorozuměním, rozhodl jsem se používat pojem evaluace jako termín označující hodnocení rozvojových intervencí. Pojem evaluace se ostatně používá i v Rozvojovém středisku ÚMV (viz např. RS ÚMV, 2004), které se podílí na evaluaci české zahraniční rozvojové spolupráce. Pojem hodnocení poté ponechávám pro všechny ostatní případy vyskytující se v této problematice.
3.2
Účel evaluace
Dle Dánské agentury pro mezinárodní rozvoj (Danish Agency for International Development - Danida) má evaluace dva hlavní účely. Prvním z nich je nashromáždění zkušeností, které by měli pomoci zlepšit budoucí poskytování pomoci.
Druhým je dokumentace uskutečněných rozvojových
intervencí: 1. Evaluace by měla přispívat k zlepšení rozvojové pomoci, a to shromážděním, analýzou a šířením zkušeností ze současných a dokončených aktivit. Evaluace by měly hledat příčiny a vysvětlení toho, proč aktivity uspěly či neuspěly, a produkovat informace, které pomohou budoucí aktivity učinit relevantnějšími a efektivnějšími. (Danida, 2001: 7) 2. Evaluace by měly odpovědným politikům i širší veřejnosti poskytnout profesionální dokumentaci k tomu, jak se využívají prostředky určené na rozvojovou spolupráci, a také přispět k lepšímu porozumění rozvojové spolupráci, jejímu potenciálu a omezením, které může mít jako nástroj politické a společenské změny. (Danida, 2001: 7) Rakouská agentura rozvojové spolupráce vymezuje tři zřetelné účely evaluací, které provádí, a to s ohledem na to, pro koho jsou určeny (ADC, nedatováno: 2)
11
1)Poučení se ze zkušeností: pro provádějící management a ostatní zúčastněné. 2)Převzetí odpovědnosti: směrem k parlamentu a veřejnosti. 3)Prohloubení porozumění: pro provádějící management, ostatní zúčastněné, odborníky a veřejnost. Na rozdíl od předcházejících příkladů Manuál projektového cyklu zahraniční rozvojové spolupráce České republiky omezuje účel evaluace pouze na zlepšení realizace rozvojové spolupráce v budoucnu (RS ÚMV, 2006: 28).
3.3
Hodnotící kritéria
Z definice evaluace DAC OECD vyplývá pět základních hodnotících kritérií, která by měla být použita při evaluaci rozvojových intervencí. Jsou jimi efektivita, efektivnost, dopady, relevance a udržitelnost. Společně by měla poskytnout základní informace, pomoci při stanovení diagnózy a při rozhodování, jak postupovat v budoucnosti. Tímto doporučením se také řídí většina rozvojových agentur a používá zmíněná kritéria ve svých vlastních postupech (Danida, 2001: 50; Molund, Schill, 2004: 25). Efektivita (efficiency) je měřítkem produktivity při realizaci projektu; toho, jak jsou ekonomicky vstupy (zdroje) přeměněny na výstupy. Přesněji jde o poměr hodnoty výsledků intervence k hodnotě zdrojů využitých k jejich dosažení. Ideálně je intervence efektivní, jestliže je hodnota jejích výsledků vyšší než hodnota jakéhokoliv jiného využití stejných zdrojů. Jestliže však stejné zdroje mohly vyprodukovat v nějakém ohledu lepší výsledky nebo jestliže stejného výsledku mohlo být dosaženo s použitím méně zdrojů, potom intervence nebyla plně efektivní (Molund, Schill, 2004: 37). Efektivnost (effectiveness) je míra, do jaké bylo dosaženo předem daného cíle rozvojové intervence, a to jako výsledku provedených plánovaných aktivit. Hodnocení dopadů (impacts) projektu by mělo probíhat v širším kontextu prostředí, a mělo by sledovat přispění projektu k dosažení vyšších cílů, např. sektorových priorit. Hodnocení dopadů zahrnuje jak dopady očekávané tak neočekávané, a to pozitivní i negativní. Široké zhodnocení dopadů je pro evaluaci klíčové. Zároveň je také často nejnáročnější částí evaluační práce (AIDCO, 2004: 49). Když mluvíme o relevanci (relevance) jako o hodnotícím kritériu, zajímá nás jak
hodnotná
a užitečná byla intervence z pohledu cílové skupiny. Rozvojová spolupráce je považována za relevantní, pokud odpovídá potřebám a prioritám cílové skupiny, a stejně tak i prioritám partnerské vlády a donora. Relevance je pro každou rozvojovou intervenci životně důležitá
12
a měla by být vedena v patrnosti už od počátečních fází a během celého projektového cyklu (Molund, Schill, 2004: 34). Hodnocení udržitelnosti (sustainability) rozvojové intervence neznamená pouze ptát se, zda přispěla k naplnění cílů. Je také důležité určit, zda budou pozitivní dopady trvat i po skončení vnější intervence (Samset, 1993: 40). Kromě pěti základních kritérií se používají i další doplňková. Jejich využití závisí na jednotlivých donorských organizacích. Někdy se tato kritéria využívají jako jakési podkategorie některého z kritérií předcházejících. Nejčastěji bývá kladen důraz na otázky gender, životního prostředí a vlastnictví projektu. Jednou z agentur, která na ně klade důraz je Švédská agentura pro mezinárodní rozvojovou spolupráci (Swedish International Development Co-operation Agency – Sida) (Molund, Schill, 2004: 26).
13
4 POSTAVENÍ EVALUACE V PROJEKTOVÉM CYKLU 4.1
Projektový cyklus
Projektový cyklus začala jako první používat Světová banka (World Bank -WB). Byl vyvinut jedním z jejích ekonomů W. C. Baumem v 60. letech. Jde o jednoduchý, ale užitečný koncept, založený na faktu, že každý projekt prochází stejnou posloupností fází, jako jsou identifikace projektu, příprava projektu, posouzení návrhu projektu, implementace. Později přibyla i poslední fáze, kterou je právě evaluace. (Cracknell, 2003: 95) Projektový cyklus zahraniční rozvojové spolupráce ČR ilustruje obrázek 1. Ve fázi programování se sestavují programy spolupráce s partnerskou zemí – tzv. Country Strategy Papers (CSPs). Ty jsou založeny nejen na analýze situace v dané zemi a jejích rozvojových prioritách, ale samozřejmě i na možnostech donora.
Jedná se o etapu, ve které převažují plánovací aktivity a definuje
se sektorové a tematické zaměření spolupráce. Následuje fáze identifikace konkrétních projektů, respektive tematických oblastí, ve kterých budou projekty realizovány. V rámci formulace probíhá zpracování projektového dokumentu a jeho zhodnocení zejména co se týče relevantnosti pro řešení identifikovaného problému. Ve fázi financování se rozhodne o finančním návrhu projektu, který se buď schválí nebo neschválí. V případě schválení se také podepíší všechny dokumenty potřebné k realizaci projektu. Poté už následuje samotná realizace projektu. Její nedílnou součástí je i provádění monitoringu, jehož cílem je zajistit dostatečné množství relevantních informací o běhu projektu (Jelínek 2003: 57-58; RS ÚMV c2004). Obrázek 2: Projektový cyklus zahraniční rozvojové spolupráce ČR
Zdroj: Manuál projektového cyklu zahraniční rozvojové spolupráce České republiky (RS ÚMV, 2006)
14
4.2
Metoda logického rámce
Metoda logického rámce (logical framework approach, LFA) byla vyvinuta na konci 60. let v Agentuře Spojených států pro mezinárodní rozvoj (United States Agency for International Development – USAID), protože bylo třeba zlepšit plánování projektů i systém evaluací. LFA se stala metodou používanou jako nástroj plánování a hodnocení nejen ve většině bilaterálních i multilaterálních rozvojových agentur, ale i v celém veřejném sektoru. Např. Evropská komise vyžaduje použití LFA jako součásti projektového cyklu od roku 1993. Postupem času byla LFA různě modifikována, a to co se týče formátu, nástrojů i terminologie. Základní analytické principy však zůstávají stejné a jejich znalost je důležitá pro každého, kdo se zabývá implementací rozvojové spolupráce (AIDCO, 2004: 57; Cracknell, 2003: 101). Jedním z hlavních důvodů, proč se přistoupilo k používání LFA byla skutečnost, že plánování rozvojových intervencí bylo příliš vágní a mělké. Neexistovaly jednoznačně vymezené cíle, které by posléze mohly být využity k monitorování a hodnocení toho, jak projekt probíhá. Právě proto byla evaluace neefektivní (Cracknell, 2003: 113). Přestože existuje mnoho verzí logického rámce, v zásadě se vždy jedná o jednoduchou matici (4x4), která shrnuje klíčové části projektu. Konkrétně jde o hierarchii cílů projektu (popis projektu – intervenční logika), klíčové externí faktory zásadní pro úspěch projektu (předpoklady a rizika) a také to, jak budou výsledky dosažené projektem monitorovány a hodnoceny (indikátory a zdroje jejich ověření). Krom toho také poskytuje základ, ze kterého jsou odvozeny zdroje a náklady (tj. rozpočet) potřebné k realizaci projektu. Z výše uvedeného vyplývají i tři hlavní funkce logického rámce: jasné vymezení cílů, stanovení indikátorů a důraz na externí předpoklady (AIDCO, 2004: 57; Cracknell, 2003: 107). Typickou strukturu logického rámce ilustruje tabulka 1.
15
Tabulka 1: Typická struktura matice logického rámce (logframe matrix)
Popis projektu (intervenční logika)
Objektivně ověřitelné ukazatele (indikátory)
Zdroje ověření ukazatelů
Předpoklady a rizika
Záměr
Dlouhodobý dopad projektu – širší rozvojový záměr, ke kterému projekt přispívá
Jakým způsobem bude měřen záměr projektu indikátory kvantitativní, kvalitativní i časové stránky záměru
Z jakých zdrojů budou čerpány informace pro ověření indikátorů na úrovni záměru
Cíle
Konkrétní cílový stav (zlepšení situace, positivní změna)
Jakým způsobem budou měřeny cíle projektu indikátory kvantitativní, kvalitativní i časové stránky cílů
Z jakých zdrojů budou čerpány informace pro ověření indikátorů na úrovni cílů
Předpoklady, které musí být splněny, aby splnění cílů mohlo vést k dosažení záměru
Výstupy
Konkrétní produkty projektu
Jakým způsobem budou měřeny výstupy projektu - indikátory kvantitativní, kvalitativní i časové stránky výstupů
Z jakých zdrojů budou čerpány informace pro ověření indikátorů na úrovni výstupů
Předpoklady, které musí být splněny, aby vyprodukované výsledky vedly k dosažení cílů
Aktivity
Činnosti, které je nezbytné vykonat pro dosažení výstupů
Prostředky
Rozpočet
- shrnutí vstupů nutných pro realizaci aktivit
- shrnutí finančních prostředků nutných k zajištění vstupů
Předpoklady, které musí být splněny, aby realizace aktivit vedla k vyprodukování výstupů
(klíčové externí faktory ovlivňující průběh a úspěšnost projektu)
Výchozí podmínky
(vstupní předpoklady) Zdroj: Manuál projektového cyklu zahraniční spolupráce České republiky (RS ÚMV, 2006)
Logický rámec zaručuje, že je pevně stanoven účel projektu, a že je správně rozlišen od výstupu. To velmi usnadňuje jak monitoring, tak evaluaci toho, do jaké míry bylo účelu
projektu
dosaženo. Například stavba silnice není sama o sobě cílem ale spíše výstupem. Cílem projektu by pak mohlo být třeba zpřístupnění odlehlého regionu, zajištění přístupu k nerostným surovinám atd.. Záměr projektu by se mohl týkat takových stránek jako je integrace odlehlého regionu do ostatních politických a ekonomických struktur země. Přestože takovéto vymezení cílů vypadá snadně, není vždy jednoduché odlišit výstup od cíle projektu. Mnohdy také na takovéto záměny můžeme narazit. Přesto se jedná o jednu z největších výhod logického rámce, protože pomáhá ujasnit si jaké jsou cíle a příslušné aktivity, a tím samozřejmě velmi usnadňuje hodnocení toho, do jaké míry jich bylo dosaženo (Cracknell, 2003: 109). Indikátory jsou velmi důležitou součástí matice. Od úplného začátku rozvojové intervence je třeba věnovat pozornost tomu, jak bude měřen posun v plnění cílů. Specifikují realistické cíle
16
měření a posuzování toho jestli byly cíle na jednotlivých úrovních dosaženy. Jsou základem pro monitoring a evaluaci, a poskytují tak nejen zpětnou vazbu vedení projektu, ale jsou i zdrojem ponaučení pro další projekty. Stanovování indikátorů přispívá k transparentnosti, všeobecné shodě a vlastnictví projektu (DFID, 2002: 5.4). Základním požadavkem na indikátory je, aby byly tzv. SMART (specific, measurable, available, relevant, time-bound) a CREAM (clear, relevant, economic, adequate, monitorable). SMART značí specifické (musí měřit to, co má být měřeno), měřitelné, dostupné (za přijatelných podmínek včetně ceny), relevantní (pro danou úroveň projektu) a definovány a platné v daném čase. CREAM znamená, že indikátory budou jasné (přesné a jednoznačné), relevantní (vhodné pro sledovanou úroveň), hospodárné (dostupné za přiměřenou cenu), adekvátní (poskytnou dostatečný základ pro zhodnocení provedení) a sledovatelné (umožňují nezávislé potvrzení). Pokud některý z těchto požadavků není splněn, indikátory nebudou použitelné. (Svoboda, 2005; Kusek, Rist, 2004: 68). Logický rámec klade důraz také na podmínky, které by měly být splněny, a tím i na možná rizika s tím související. Tyto rizika jsou částečně nebo úplně mimo kontrolu vedení projektu, přesto jsou natolik důležitá, že mohou konečný úspěch projektu ohrozit. (Cracknell, 2003: 113) Zpočátku byl logický rámec používán zejména ve fázi posuzování návrhu projektu jako pomůcka při rozhodovaní, zda daný návrh projektu schválit a realizovat. To je samozřejmě důležité dodnes, ale nyní zcela převažuje integrovaný přístup k logickému rámci. Ten je tak v současnosti důležitý ve všech částech projektového cyklu. (Cracknell, 2003: 113)
4.3
Vztah monitoringu a evaluace
Monitoring je důležitou součástí projektového cyklu a klíčovým zdrojem dat pro evaluace. OECD ho definuje jako nepřetržitou úlohu, která využívá systematického sběru dat podle určených ukazatelů, aby tak poskytla vedení a hlavním aktérům probíhající rozvojové intervence údaje o rozsahu pokroku v dosahování vytyčených cílů a ve využití alokovaných financí (OECD, 2002: 27). Monitoring plní jinou funkci než evaluace. Běžně by měl být vykonáván osobami odpovědnými za implementaci projektu. Jeho hlavním účelem je umožnit vedení projektu sledovat jeho průběh ve vztahu k vytyčeným cílům. Podává informaci o tom, kde se projekt nachází na cestě k jejich dosažení. Naproti tomu evaluace vypovídá o tom, proč cílů bylo nebo nebylo dosaženo, hledá příčinné souvislosti (viz tabulka 2)(Kusek, Rist, 2004: 15). Různé organizace se dívají na vztah monitoringu a evaluace různě, převládá ale názor, že jsou součinné a navzájem se doplňují. Rozdíl v chápaní monitoringu a evaluace je nejlépe patrný na příkladu rozvojových agentur, které monitoring integrují do každodenního řízení rozvojové 17
spolupráce, zatímco evaluace jsou prováděny polonezávislými evaluačními týmy (příkladem takové agentury je Danida) (Mikkelsen, 2005: 266). Tabulka 2: Funkce monitoringu a evaluace
Monitoring
Evaluace
Vyjasňuje programové cíle
Analyzuje proč byly nebo nebyly dosaženy očekávané výsledky
Spojuje aktivity a zdroje s cíli
Hodnotí specifický přínos aktivit dosaženým výsledkům
Překládá cíle na ukazatele výkonu a stanovuje Zkoumá implementační proces úkoly Sbírá data k těmto ukazatelům, porovnává Zkoumá neočekávané výsledky aktuální výsledky s úkoly Hlásí postup na problémy
vedení
a upozorňuje
ho Poskytuje poučení, vyzdvihuje podstatné úspěchy a nabízí doporučení pro zlepšení Zdroj: Kusek, Rist, 2004
18
5 TYPY EVALUACE Evaluace můžeme rozdělit podle různých kritérií. Těmi jsou: kdy evaluace probíhá, jaké procesy jsou při ní využity, kdo se evaluace účastní a na co je zaměřena. Příkladem rozmanitosti evaluací je evaluační růžice (viz obrázek 2). Evaluace se mohou nacházet kdekoliv mezi jednotlivými extrémy. Těmi v tomto případě jsou čas provedení (ex ante – před započetím projektu x ex post – po jeho dokončení), účel evaluace (ponaučení se pro budoucí aktivity x zodpovědnost vůči veřejnosti), zadavatel evaluace (management projektu x nezúčastnění) či dle toho kým jsou evaluace prováděny (externím týmem x interně). Evaluace se totiž mohou prolínat, a proto je jednoznačně přiřadit do jedné kategorie (SDC, 2004). Obrázek 2: Evaluační růžice
Zdroj : SDC 2004
5.1
Evaluace podle toho, kdy probíhají
Jakmile je zahájena realizace projektu, vyvstává otázka jak projekt monitorovat a hodnotit. Není správné se domnívat, že k evaluaci by mělo dojít až po ukončení projektu. Ochudili by jsme se tak totiž o možnost projekt vylepšit, tím že se poučíme z chyb které se staly. Čím dříve k tomu dojde, tím dříve máme možnost reagovat (Cracknell, 2003: 71).
19
Evaluační aktivita může započít v podstatě v kterékoli fázi rozvojové intervence. Evaluace provedená ještě před započetím projektu je označována jako ex ante. Tento termín se používá pro podrobnou analýzu situace v zemi příjemce ještě předtím, než je o projektu rozhodnuto. Protože však probíhá ještě před identifikací konkrétního projektu, nejedná se o appraisal1 (Cracknell, 2003: 68). Příkladem agentury, která ex ante evaluace využívá, je Japonská agentura pro mezinárodní spolupráci (Japan International Cooperation Agency, JICA). Poté, kdy přijde z partnerské země návrh na projekt, zkoumá jeho návrh a to, jak se slučuje s jejím vlastním programem. Během evaluace jsou vyjasněny detaily projektu a očekávané výstupy, důraz je kladen na relevanci projektu. Dále se také stanoví indikátory, které jsou poté používány při následujících evaluacích (JICA c2006). Britské DFID rozděluje evaluace podle toho kdy probíhají na dvě širší kategorie, a to evaluace formativní a sumativní. Formativní evaluace probíhají během implementace projektu sumativní po jeho skončení (DFID, 2005: 13). Tyto dvě kategorie evaluací se liší i svým účelem. 2 Jejich srovnání viz tabulka 3. Tabulka 3: Porovnání formativní a sumativní evaluace
formativní
sumativní
Kdy probíhá
Během implementace
Po dokončení implementace
Cíle
Zaměřené na vylepšení návrhu Kvůli zodpovědnosti jak vůči a implementace intervence donoru, tak příjemci, kvůli možnosti aplikovat postup v případě podobných budoucích aktivit, a kvůli optimalizaci budoucích rozpočtů
Aktéři
Zejména pro ty, kteří řídí intervenci, za jejich účasti
Zejména pro externí aktéry, kteří nejsou přímo zainteresováni v řízení intervence Zdroj : DFID 2005
Průběžná evaluace je nazývána různě: mid-term review, on-going evaluation, interim evaluation. Vždy se však jedná o evaluaci probíhající během implementace projektu. Prvotní názory na evaluaci uvažovaly pouze hodnocení po skončení projektu. Protože však během implementace může dojít k závažným zjištěním či problémům, je nutné se na projekt podívat jiným pohledem a případně přehodnotit jeho původní cíle i celou problematiku, kterou měl projekt vyřešit. Takové cíle jsou smysluplné zejména v případě projektu spojeného s určitými nevyhnutelnými riziky, kdy 1 Jedná se o fázi projektového cyklu, ve které se hodnotí návrhy nových projektů a rozhoduje se zda budou financovány a realizovány či ne. 2 Např. švédská Sida je rozdělení na formativní a sumativní evaluace rozdělením podle jejich účelu (Mollund, Schill, 2004: 13)
20
průběžná revize pomůže tyto rizika přehodnotit. Krom toho její nálezy mohou být velmi efektivně využity v případě následné evaluace ex post (Cracknell, 2003: 71). Termín ex post evaluace vzešel z prvotní potřeby odlišit evaluaci od hodnocení návrhu projektu. V současné době je tento termín používán pro evaluace které se konají po dokončení projektu. Dalšími používanými termíny jsou in-operation evaluace a maturity evaluation (Cracknell, 2003: 74). Evaluace po dokončení projektu je tak nejčastějším a nejklasičtějším typem evaluací. Specifickým příkladem je evaluace v mezifázi (interphase evaluation), která je využívána v případě dlouhotrvajících projektů rozložených do více etap. Agentury využívající takové projekty většinou nefinancují další etapu dokud není zhodnocena etapa předchozí. Ta samozřejmě musí prokázat uspokojivé výsledky, aby bylo možno v projektu pokračovat. Takovýto typ evaluací je typický např. pro Světovou banku nebo Evropskou komisi (Cracknell, 2003: 72). Některé rozvojové agentury integrují a plánují společně evaluaci i monitoring už od samého počátku projektového cyklu. Takový přístup se nazývá built-in evaluation. (Cracknell, 2003: 71).
5.2
Evaluace podle použitých postupů
Naprosto odlišným konceptem je participativní evaluace. Jedná se o evaluaci, při které není rozlišováno mezi odborníkem a nováčkem, mezi badatelem a zkoumaným. Stejně jako konvenční evaluace jsou vedeny profesionály, přesto je zde patrný rozdíl. V jednom případě jsou najmutí, aby hodnotili výsledky intervence, v druhém jsou spíše partnery a instruktory pomáhajícími ostatním vytvářet hodnocení (Mollund, Schill, 2004: 19). Srovnání viz tabulka 4. Tabulka 4: Srovnání konvenční a participativní evaluace konvenční Proč?
Kvůli zodpovědnosti, obvykle sumativní,
participativní Snaha zmocnit aktéry k iniciaci, kontrole a započetí nápravy
k rozhodnutí zda má financování pokračovat Kdo?
Externí odborníci
Členové komunity ve spolupráci s pracovníky projektu a externími instruktory
Co?
určené indikátory úspěchu, zejména pak náklady výkonu
lidé sami identifikují indikátory úspěchu které mohou obsahovat produktivitu
Jak?
zaměřené na vědeckou objektivitu, vnější perspektiva
sebehodnocení; jednoduché metody adaptované na místní kulturu
Kdy?
obvykle po dokončení projektu
splývání monitoringu a evaluace, tudíž jsou časté drobné evaluace Zdroj: Mikkelsen, 2004
21
Podle Basila Cracknella není možné, aby participativní přístupy zcela nahradily tradiční evaluace, i kdyby tomu tak mělo být jen kvůli imperativu zodpovědnosti. Nepochybuje ale o tom, že by participativní metody měly být použity v případech projektů zaměřených na lidi (people-centered projects), pokud jsou schopny poskytnout kvalitní zpětnou vazbu a vypovědět o tom, proč byl projekt úspěšný nebo naopak. Přesto se však podle něj bude vyžadovat měřítko objektivity vždy, kdy to bude možné (Cracknell, 2003: 342).
5.3
Podle toho, kdo evaluace provádí
Další možným způsobem jak rozdělit evaluace je zaměřit se na toho, kdo je provádí. Evaluace tak můžeme rozdělit na externí (nezávislé) a interní. O externí, nebo také nezávislé evaluaci, hovoříme pokud ten, kdo hodnotí, stojí mimo hodnocené aktivity a nemá žádný zájem na výstupu evaluace. V přísnějším pojetí nezávislé evaluace dokonce i ten, kdo zadává evaluaci a formuluje otázky, na které má odpovědět, musí být nezávislý na hodnocené aktivitě. Je dobré mezi těmito dvěma typy rozlišovat, protože formulace hodnotících otázek může přinést větší zkreslení, než metody použité pro jejich zodpovězení (Molund, Schill, 2004: 10). Při externích evaluacích by měla být účast jednotlivých aktérů projektu omezena. Nezávislé evaluace jsou totiž založeny na jasném kategorickém oddělení těch, kteří evaluaci provádějí, a těch, kteří jsou jejím předmětem. Pokud se aktéři snaží vstupovat do evaluačních metod anebo se snaží předepisovat, jak by měl vypadat nález evaluace, je tím ohrožena její nezávislost (Molund, Schill, 2004: 18). Manuál české rozvojové spolupráce rozlišuje navíc polonezávislou evaluaci, na které se podílí současně orgány odpovědné za rozvojovou spolupráci a nezávislé subjekty (RS ÚMV, 2006: 55). V případě interní evaluace jsou ti kdo hodnotí organizačně spjati s hodnocenou aktivitou. V mnoha případech mají ale instituce vlastní mechanismy jak zajistit jejich nezávislost. V ostatních aspektech se podobá externí evaluaci. Výhoda interní evaluace tkví v lepším porozumění fungování organizace, jelikož sám hodnotitel je její součástí. Naopak záporem je její menší věrohodnost ve vztahu k vnějšímu světu. Proto, pokud je cílem evaluace zodpovědnost či skládání účtů vůči veřejnosti, nemůže nikdy plně nahradit evaluaci externí (Molund, Schill, 2004: 18). Mezi interní evaluace lze zařadit i takzvané auto-evaluace (self-evaluation), při kterých pracovníci projektu hodnotí své vlastní aktivity. Z toho samozřejmě vyplývají rizika spjatá s objektivitou. Tento typ evaluace totiž narušuje základní pravidlo každé evaluace, totiž že žádný z těch, kteří hodnotí, by neměl být angažován v procesu, který hodnotí. Přesto jde o alternativu vhodnou v případech, kdy se jedná pouze o malé projekty, protože cena komplexní nezávislé evaluace by
22
mohla dosáhnout, či dokonce přesáhnout náklady na samotnou realizaci projektu (Cracknell, 2003: 74).
5.4
Evaluace podle jejich zaměření
V začátcích evaluačních aktivit byly evaluace zaměřeny převážně na proces doručování pomoci. Evaluace se konaly okamžitě potom, co byla intervence dokončena, přestože samotný projekt mohl stěží začít fungovat. Poté ale donoři zjistili, že velké množství projektů se dostalo do problémů až poté, co již určitý čas běžely. V důsledku toho začal být důraz kladen na evaluaci konanou několik let po dokončení projektu, zaměřenou na jeho dopady (Cracknell, 2003: 75). Takové evaluace předpokládají, že informace o postupu implementace projektu už byly získány díky monitoringu. Naopak se zaměřují na dopady projektu na lidi, životní prostředí, hospodářství, společenskou a politickou strukturu v místě projektu. Bere v úvahu také neplánované dopady, stejně jako dopady negativní, kterým se v mnoha rozvojových projektech nelze vyhnout (Cracknell, 2003: 237). Hodnocení dopadů se téměř vždy zaměřuje zejména na dopad projektu na cílovou skupinu. Pozorně ale musí být sledována i distribuce výsledků intervence mezi příjemci (Molund, Schill, 2004: 11). Přestože na hodnocení dopadů je kladem čím dál tím větší důraz, nejsou evaluace dopadů příliš časté. Takové studie jsou totiž příliš drahé a časově náročné. Proto bývají tyto evaluace často vykonány na společné bázi několika agenturami (Cracknell, 2003: 237). Druhým typem evaluací podle jejich zaměření je evaluace postupů (process evaluation). Ta se zabývá zejména způsobem, jakým byla intervence naplánována a provedena, stejně jako jejími výstupy (Molund, Schill, 2005: 10). Využívána je v případech, kdy je postup důležitým aspektem projektu. Tak je tomu např. když proces zahrnuje institucionální nebo kulturní změny, které vyžadují místní vlastnictví, bez něhož by rozvoj nebyl možný ani udržitelný (DFID, 2005: 16).
5.5
Dalš í formy hodnocení
Mezi další hodnotící studie, které nelze nazývat přímo evaluacemi, ale přesto s nimi úzce souvisí, patří základové studie, závěrečné zprávy a audity. Základová studie (baseline study) se často pokládá za první část toho, co bude později nazváno evaluací. Zabývá se situací těsně předcházející rozvojové intervenci a přináší její detailní popis. Taková studie pak činí evaluaci mnohem jednodušší, protože poskytuje podklad pro posouzení dopadů intervence. Základové studie jsou nákladné a nejsou potřeba v každém projektu, často stačí data nashromážděná při přípravě návrhu projektu. Studie je důležitá zejména u projektů zaměřených na lidi a je neocenitelná při hodnocení společenských dopadů projektu (Cracknell, 2003: 68).
23
Závěrečná zpráva o projektu (project completion reports) dokumentuje stav projektu při ukončení rozvojové intervence. Je v ní možné vidět spojnici mezi monitoringem a evaluací (poslední fáze monitoringu – první fáze evaluace) a jsou vstupem pro eventuální pozdější evaluaci. Hlavní důraz je v nich kladen na získané zkušenosti (FINNIDA, 2005). Audity hodnotí konformitu intervence vzhledem k procedurám, normám a kritériím, ustanovených předem kontrolními úřady. Mohou se stát i součástí externího monitoringu projektu, protože se vlastně zabývají výkonem managementu řídícího projekt (FINNIDA, 2005). Revize (reviews)3 jsou na půli cesty mezi monitoringem a evaluací, protože se zkoumají jiným pohledem cíle, návrh a výsledky projektu. Ve srovnání s evaluacemi mají ale mnohem menší záběr a probíhají po kratší dobu. Používají se pro ověření relevance, efektivnosti a udržitelnosti projektu. Sledují zda projekt jde správnou cestou k dosažení vytyčených cílů.
3 DFID ale používá termín review, pro všechny evaluace probíhající během implementace projektu
24
6 ZÁKLADNÍ METODY POUŽÍVANÉ PŘI EVALUACI Evaluace často produkují kontroverzní výsledky. Proto jsou i samotné evaluace často kritizované a výběr metod pro sběr dat je klíčový (Cracknell, 2003: 155). Metody sběru dat můžeme jednoduše rozdělit na formální a neformální (nebo poněkud méně formální).
Formální metody jsou
od samého počátku jasně definovány. Výsledkem jsou obvykle kvalitativní nebo kvantitativní informace, které mají vysoký stupeň validity a spolehlivosti. Jejich hlavním nedostatkem je to, že jsou příliš drahé. Naopak neformální metody jsou levnější, ale méně přesné a do značné míry závisí na zkušenostech, intuici a subjektivním úsudku (Samset, 1993: 89). Kvantitativní metody mohou být použity pro podpoření kvalitativních dat statistickou analýzou. Kvalitativní metody mohou odpovědět na položené otázky formou rozhovorů a průzkumů, stejně jako mohou analyzovat sociální, ekonomickou a politickou situaci v rámci kterých se intervence odehrává (UNDP, 2002: 56). Při evaluaci by vždy měla být dodržena zásada tzv. triangulace. Termín triangulace se v evaluační problematice používá pro použití několika různých přístupů najednou při zpracování evaluace. Nejčastěji to bývají kvalitativní metody, kvantitativní analýza, cost-benefit analýza ale i jiné. Přestože to použití více metod může být matoucí, je považováno za jednoznačně výhodné. A to zejména protože pokud jedna metoda selže a nedosáhne se jí očekávaných výsledků, jiná metoda může uspět. Navíc různé metody jsou k sobě často komplementární. Například statistické techniky nás mohou zásobovat „tvrdými“ daty, zatímco participativní metody se svými „měkkými“ daty mohou dostat mnohem blíže k jádru problému (Cracknell, 2003: 155).
6.1
Analýza jednotlivých aktérů (stakeholder analysis)
Analýza aktérů pomáhá definovat koho a jak začlenit do sytému evaluace. Může být také využita k vývoji odpovídajícího vzorku dat. Je důležitá v několika fázích projektu. Jejím účelem je ujistit se, že všechny relevantní strany se zúčastnily plánování intervence i pozdější evaluace (Guijt, Wodhill, 2002: D-6). Sida rozlišuje a definuje aktéry rozvojových intervencí následovně: Aktéři jsou jednotlivci, skupiny a instituce s nezadatelnými zájmy na intervenci. Primárními aktéry jsou ti, kteří budou přímo či nepřímo ovlivněni intervencí, ať už pozitivně (beneficiaries) nebo negativně. Sekundární aktéři jsou prostředníky jako například implementační organizace nebo další jednotlivci, skupiny a instituce zapojené do intervence, včetně donora. Klíčoví aktéři jsou ti z primárních a sekundárních aktérů, kteří významně působí a ovlivňují intervenci - pozitivně nebo negativně – již za jejího chodu, a kteří budou sdílet odpovědnost za kvalitu a udržitelnost následných výsledků a dopadů (Molund, Schill, 2000: 11).
25
Oproti tomu Manuál projektového cyklu rozvojové spolupráce ČR, stejně jako Manuál PCM EU, rozlišují aktéry jako osoby nebo instituce, které mohou přímo nebo nepřímo, pozitivně nebo negativně ovlivnit projekt nebo jím být ovlivněni; příjemce jako ty, kteří jakkoli profitují z realizace projektu. Mezi příjemci je potom ještě rozlišována cílová skupina, která je přímo pozitivně ovlivněna realizací projektu na úrovni cílů, a konečné příjemce, kteří profitují z realizace projektu v dlouhodobém horizontu a v celospolečenském měřítku (RS ÚMV, 2006: 18). Analýza aktérů obvykle poukáže na to, že aktéři nejsou homogenní. Zájmy různých skupin a jednotlivců se mohou výrazně lišit a dokonce být i protichůdné. V zájmu evaluace je, aby tyto rozdílné názory vyšly na povrch (Mikkelsen, 2005: 284).
6.2
Analýza relevantních dokumentů
Účelem takové analýzy je porozumění tomu, jak se v průběhu času vyvíjel projekt i jeho výsledky. Tato metoda může poskytnout základní informace o oblasti projektu nebo o konkrétním indikátoru. Také může nastínit pozadí probíhajících aktivit a pomoci tak vysvětlit zda a proč se objevily určité změny. Tato metoda je vhodná na začátek celé evaluace a do jisté míry může nahradit i základovou studii. Takováto počáteční kontrola může pomoci identifikovat klíčové problémy, na které je třeba se dále zaměřit při hlubší analýze. (Guijt, Wodhill, 2002: D-8) Tato metoda je omezena tím, jaké dokumenty jsou dostupné, tím kdo je vytvořil pro jaké účely atd. Jednoduše řečeno je třeba brát v úvahu kvalitu informací, které poskytuje. Přesto se jedná o velmi levnou a efektivní metodu (Danida, 2001: 74). Nejprve je nutné se ujistit o otázkách, na které chceme najít odpověď, a o tom jaké informace pro to potřebujeme. Poté je třeba udělat si seznam všech možných zdrojů informací (např. projektová dokumentace, vládní záznamy, zprávy různých organizací, geografické dokumenty atd.) a tyto zdroje roztřídit podle toho, jak užitečné informace mohu poskytnout. Je to velmi důležité, zejména v situaci kdy existuje mnoho relevantních dokumentů, není nutné číst vše, ale je třeba se zaměřit na to důležité. Poté je třeba dokumenty získat, ověřit jejich spolehlivost a analyzovat je tak, aby dokázaly odpovědět na položené otázky. Následně je třeba identifikovat informace, které stále chybí, a také ty které byly rozporuplné. Nakonec je vhodné tyto informace ověřit jinou metodou. (Guijt, Wodhill, 2002: D-8)
6.3
Přímé měření
Přímé měření je důležitým způsobem jak získat exaktní informace, které umístěné do širšího kontextu mohou přispět k celkovému ověření. Účelem je změřit změny v čase spojené s nějakým konkrétním indikátorem (zdraví, výživa, zemědělství) za použití jakékoliv uznávané měrné veličiny a postupu. To umožňuje získání spolehlivých, statisticky ověřitelných dat, která jsou důležitým podkladem pro měření změn a dopadů. (Guijt, Wodhill, 2002: D-8) 26
Jednoduché metody měření, které poskytují dobrý odhad, mohou být vhodnější než přesné komplexní metody, které jsou nesprávně aplikovány a vedou k nesprávným datům. Úroveň přesnosti závisí zejména na vhodnosti použité metody. Některé metody jsou časově náročnější a dražší než jiné. Obecně lze říci, že přímé měření je časově náročné, proto je velmi důležité ujistit se, jak jím získané informace budou dále využity, a to ještě předtím, než se započne. (Guijt, Wodhill, 2002: D-9) Nejdříve je nutné se ujistit o tom, že je úplně jasné, který indikátor nebo data budou sledovány. Poté je třeba dohodnout se na přesnosti, která bude vyžadována. Dle toho musí být zvoleny odpovídající metody měření. Ty také závisejí na vybavení, které je k dispozici. Navržené metody musí také odpovídat místním podmínkám a dostupným zdrojům. Alternativně může být použita i metoda vyvinutá společně s primárními aktéry, která je všeobecně akceptována a je kompromisem mezi vědeckou přesností a místními podmínkami. Získaná data musí být zaznamenána v tabulkách nebo diagramech, vyjádřena slovně nebo číselně. Lze je tak posléze použít pro porovnání v čase. Přímé měření může být důležitou součástí řady metod používaných při evaluacích. (Guijt, Wodhill, 2002: D-9)
6.4
Přímé pozorování
Pozorování po delší časovou osu může být participativní i neparticipativní. Velmi dobře se hodí pro porozumění procesům, ale má jen limitovaný potenciál pro generalizaci. Přímé pozorování slouží k získání užitečných a aktuálních informací o tom, co a jak lidé dělají. Pomáhá učinit rozhodnutí vedoucí ke zlepšení fungování projektu, nebo si vytvořit hypotézu pro konkrétněji zaměřené studie. Tato metoda je klíčovou pro doplnění nasbíraných dat a může být použita k porozumění kontextu, ve kterém sběr informací probíhal, a vysvětlit jeho výsledky. (Guijt, Wodhill, 2002: D-9) Na tuto nejjednodušší metodu se často zapomíná, možná i proto, že každý pozoruje automaticky. Ale pozorování můžeme učinit mnohem efektivnějším, pokud na něj budeme nahlížet jako na platnou metodu a strukturovat její použití. Tím, že pozorujeme co lidé právě dělají, se můžeme mnoho naučit. Pozorováním tak lze získat nové informace ale i nový pohled na věc. Pokud je dobře provedeno, umožní hlouběji pochopit vztahy uvnitř komunit i vztah mezi komunitou a dalšími organizacemi. Může pomoci k nastolení důvěry a lepšího vztahu mezi místními lidmi a pracovníky projektu. Tato metoda je známá také jako participační pozorování. (Guijt, Wodhill, 2002: D-9) Pozorování může však být zkresleno, zejména předpojatostí pozorovatele, nebo už jen tím, že samotný akt pozorování ovlivňuje pozorované (tzv. observer bias) (Norad 1991: 100). I pozorovaná situace může pozorovatele do značné míry ovlivnit. Takovéto zkreslení nemůže být
27
nikdy úplně eliminováno, proto by tato metoda měla být vždy pouze doplňkem k ostatním metodám. Kvalitu získaných dat můžeme zvýšit tím, že pověříme více osob stejným úkolem, pomůže to potvrdit závěry a případně identifikovat rozdíly. (Guijt, Wodhill, 2002: D-10) Nejprve je nutné se shodnout na rámci, ve kterém bude pozorování probíhat, na tom, co je potřeba pozorovat a jaké informace je třeba získat. Poté je nutné vybrat vhodného pozorovatele (nebo skupinu pozorovatelů). Těmi se mohou stát buď členové komunity nebo pracovníci projektu, kteří žijí a pracují v oblasti projektu. Tito pak musí být vyškoleni v pozorovacích dovednostech. Druhou možností při výběru pozorovatelů jsou lidé zvnějšku, kteří mají možnost pozorovat během svých návštěv místa projektu. Ti ale často potřebují mnohem více času k rozpoznání toho, co je důležité, na druhou stranu mohou nalézt podstatné věci, které místní po dlouhou dobu přehlíží. V poslední fázi je nutné data zaznamenat a vybrat ta která stojí za další diskusi (Guijt, Wodhill, 2002: D-10). Jako příklad toho, jaký vliv může mít pozorování, lze uvést projekt týkající se pitné vody v Zambii. Pozorována byla školení o hygieně navštěvovaná vesnickými ženami a dětmi. Studie odhalila, že zaměstnanci projektu používali při školeních příliš odborné termíny a jazyk, které činily celé školení zbytečným, protože vesničané mu neporozuměli. S touto informací mohla být školení modifikována tak, aby více odpovídala místním (Guijt, Wodhill, 2002: D-10).
6.5
Analýza přínosů a nákladů
Analýza přínosů a nákladů (cost-benefit analysis, CBA) a cost-effectivness analýza jsou nástroje pro hodnocení toho, jestli náklady na aktivity mohou být ospravedlnitelné vzhledem k jejím výstupům a dopadům. CBA měří náklady i výstupy v penězích. Cost-effectivness analýza odhaduje vstupy v penězích a výstupy v nepeněžních kvantitativních veličinách (jako např. zlepšení známek studentů ze čtení) (WB, 2004: 20). Tyto nástroje mohou být použity pro informaci o tom, kde byly nejefektivněji využity zdroje, a zároveň také pro identifikování projektů, které nabízejí nejvyšší míru návratnosti investic. Jejich výhodou je velmi kvalitní přístup k odhadu efektivity projektů i programů. Zdůrazňuje explicitní ekonomické předpoklady, které mohly být při návrhu projektu přehlédnuty. Jejich přínosem je ujištění zainteresovaných, že prospěch ospravedlňuje aktivitu (WB, 2004: 20). Naopak nevýhodou může být to, že jsou čistě technické a vyžadují adekvátní finanční a lidské zdroje. Data potřebná pro kalkulaci nemusí být dostupná a projektované výsledky proto mohou záviset na předpokladech. Výsledky musí být interpretovány opatrně, zejména u projektů, kde je těžké kvantifikovat prospěch (WB, 2004: 20). CBA asi nikdy nebude základním kamenem evaluací. Její hlavní síla tkví v evaluaci projektů, které mají převážně kvantitativní výstup, což mohou být např. projekty zabývající se výrobou nebo 28
veřejnými službami (jako je doprava, zásobování vodou apod.) Ani pro takové projekty se ale nevyužívá plného aparátu CBA. Existují totiž problémy při implementaci této metody. Mohou být totiž velmi časově náročné, pokud nejsou k dispozici potřebná data (Cracknell, 2003: 142).
6.6
Průzkumy
Účelem průzkumu je získat data od velkého množství lidí, a to strukturovaně a tak, aby to umožnilo následnou statistickou analýzu. Jsou často základem pro mnoho evaluačních studií, protože umožňují cílený sběr dat týkajících se specifických otázek. (Guijt, Wodhill, 2002: D-12). Průzkumy mohou poskytnout přesné odpovědi na dobře definované otázky. Obtížnost jejich vyhodnocení závisí na počtu otázek a velikosti vzorku. Častou chybou bývá příliš velký počet otázek a příliš mnoho respondentů, analýza poté bývá unavující, stojí mnoho času a pozbývá svou užitečnost, pokud není hotova včas (Guijt, Wodhill, 2002: D-13). Dotazníky i průzkumy mohou být využity jak individuálně, tak skupinově. Otázky při dotazování ve skupině by ale neměly být zaměřeny na osobní záležitosti, ale spíše na názor celé skupiny. Takto skupinově zaměřené průzkumy jsou nejvhodnější tam, kde jsou členové skupiny zvyklí spolupracovat a jeden druhému důvěřují (Guijt, Wodhill, 2002: D-13).
6.6.1
Neformální průzkum
Namísto rozsáhlých reprezentativních vzorků jsou v této metodě používán „qouta sampling“4. Populace je rozdělena
do několika kategorií na základě postojů, rolí, statusu atd.. Z každé
kategorie jsou potom vybráni respondenti. Tato metoda vyžaduje větší pozornost tazatele, protože není odkázán jen na standardizovaný dotazník, ale může klást i další otázky a také respondenty pozorovat (Samset, 1991: 102). Hlavní výhodou je možnost získání kvantitativních dat i tam, kde by to bylo nemožné pomocí klasického průzkumu. Navíc mohou být provedeny velmi rychle i s omezeným počtem lidí a finančních zdrojů. Přesto se nehodí jejich výsledky zahrnovat do komplexních statistických analýz (Samset, 1991: 102).
6.7 6.7.1
Rozhovory Polostrukturované rozhovory
Polostrukturované rozhovory slouží k získání informací z očí do očí od jednotlivců nebo malých skupin. Jedná se o sérii širších otázek, kterými se vede konverzace, ale umožňuje zároveň další otázky, které vzejdou z diskuse. Je to důležitá metoda, která je klíčová pro hlubší porozumění 4 Zahrnuje výběr pevného a předem určeného počtu jednotek s určitou charakteristikou, které jsou posléze porovnány se stejným počtem jednotek, které jsou podobné, ale chybí jim ona charakteristika, která je předmětem našeho zájmu (Guijt, Wodhill. 2002: D-6).
29
zejména kvalitativním aspektům. Jelikož se jedná o rozhovory s otevřeným koncem, jsou velmi hodnotné při hodnocení např. neočekávaných dopadů nebo názoru na relevanci a kvalitu produktů a služeb (Guijt, Wodhill, 2002: D-14).
6.7.2
Rozhovory s klíčovými osobami
Rozhovory s klíčovými osobami jsou nejpoužívanější metodou v evaluační práci. Její hlavní výhodou je to, že se jedná o přijatelný a efektivní prostředek k získání hlubšího vhledu do konkrétní problematiky. Navíc je velmi flexibilní, tazatel se může dotknout rozdílných problémových oblastí a to jak výběrem respondentů tak výběrem otázek, které mohou povznést věci mimo rámec plánování (např. nepředpokládané dopady). (Samset, 1991: 94) Důležitý je správný výběr klíčových respondentů. Měli by to být jedinci, kteří ze své pozice vědí mnoho o studovaném subjektu. Abychom se vyvarovali zkreslení je nutné zahrnout respondenty z různých sociálních vrstev. Zcela zásadní je také zahrnout ty, kteří byli projektem přímo ovlivněni. Toho můžeme dosáhnout sepsáním seznamu všech skupina následným výběrem jistého počtu informátorů z každé z těchto skupin. (Samset, 1991: 94)
6.7.3
Skupinové rozhovory
Tato metoda není v evaluacích využívána příliš často, a to i přestože je velmi efektivní a umožňuje přímý kontakt se zúčastněnými. Konají se formou otevřených schůzek. Je důležité aby jejich účastníci reprezentovali svou komunitu či skupinu. Otázky musí být formulovány tak aby jim všichni bez problémů porozuměli. Slovo by mělo být uděleno každému, kdo chce chce něco říct ještě předtím než moderátor přejde k otázce další (Samset, 1991: 96). Výhodou je přímý kontakt, který umožňuje verbální i nonverbální komunikaci. Účastníci se také mohou navzájem doplňovat a opravovat, což zajišťuje jistou platnost získaných dat (Samset, 1991: 96).
6.8
Případové studie
Účelem případových studií je zdokumentovat sled událostí
týkajících se osoby, místa,
domácnosti nebo organizace, a to tak aby pronikl do dopadů projektu (např. jak se lidé vyrovnávají se změnou a proč změna nastává) a také pro ponaučení se o lidských zkušenostech, snech a potížích kvůli dalším plánům. Případové studie přidávají další dimenzi tomu, co by jinak byla jen data bez tváře a umožňují tak
hlubší porozumění kontextu
a lidským faktorům
za obecnými daty, která byla získána jiným způsobem. (Guijt, Wodhill, 2002: D-15) Silnou stránkou této metody je zisk mnoha detailů týkajících se specifických témat. Potřeba pro takovou úzce zaměřenou případovou studii může nastat v případě, že obecný průzkum ukáže na problematiku která potřebuje bližší vysvětlení. Případové studie poskytují zajímavou 30
perspektivu, kterou lze získat jen bližším pohledem na celkovou situaci (nebo životní příběh) osoby, domácnosti atd. (Guijt, Wodhill, 2002: D-16). Nejprve je třeba se rozhodnout, jak bude vybrán objekt pro případovou studii (ať už se jedná o jedince, domácnosti nebo organizace) a zvolit si jakým způsobem budou získány potřebné informace. Hlavními použitými metodami jsou pak rozhovory a pozorování (Guijt, Wodhill, 2002: D-16). Případové studie mohou poskytnout důležité pozadí a lidský rozměr k datům získaným jinými metodami. Jsou nejužitečnější v případech které jsou komplexní a kde na sobě závisí mnoho proměnných, a kde jsou dopady a výsledky rozloženy v populaci různorodě. Přesto nejsou případové studie považovány za reprezentativní.
Proto je dobré je využít v kombinaci
s metodami zahrnujícími větší vzorek, jako jsou například dotazníky a průzkumy (Guijt, Wodhill, 2002: D-17).
6.9
Participativní metody
Obecně přijímaným faktem je, že participace primárních aktérů zlepšuje relevantnost projektu i jeho výsledky. Podobně jako v celé sféře rozvojové spolupráce, i při evaluacích je v posledních letech stále častěji využíváno participativních metod. Při jejich zapojení přestává být evaluace aktivitou cizích lidí zvnějšku a vychází spíše z aktivit místních lidí. To umožňuje lépe zachytit a analyzovat místní podmínky (Mikkelsen, 2005: 280). Participativní metody je možné rozdělit na tři skupiny: prostorové metody, časové metody, a vztahové metody (Mikkelsen, 2005: 67). Prostorové metody se používají pro zkoumání prostorových dimenzí lidské reality. Tyto metody se zbývají mapováním a soustředí se spíše na to jak lidé prostorové vztahy vnímají než jaké jsou ve skutečnosti. Běžně užívanými metodami jsou: sociální mapy, mapy zdrojů, mapy služeb (Mikkelsen, 2005: 67). Časové metody se používají pro časové zkoumání lidské reality. Jsou unikátní v tom, že umožňují lidem použít lidem vlastní koncept času. Běžně používanými metodami jsou: časová linie, sezónní diagram, rozvrh denních aktivit, nebo mapy přání (Mikkelsen, 2005: 67). U každého projektu je důležité porozumět vztahům mezi jednotlivými skupinami (primární aktéři x organizace) ale i problémy, aktivitami, příčinami a následky. Vztahové metody využívají různých vizualizačních technik pro zachycení těchto vztahů a jejich proměny. Mezi běžně používané metody patří myšlenkové mapy a vývojové diagramy (Guijt, Wodhill, 2002: D-34).
31
7 ZPĚTNÁ VAZBA Osoby provádějící evaluaci často patří mezi zastánce moderního projektového cyklu, nejen jak už bylo řečeno dříve kvůli jasnému vymezení cílů, ale také protože usnadňuje využití výsledků evaluace okamžitě při zrodu dalších projektů (Cracknell, 2003: 124). Právě v této fázi je zpětná vazba velmi důležitá, jelikož bez ní celá evaluace postrádá smysl a stává se pouhou ztrátou času (Cracknell, 2003: 195). Zpětná vazba je nezbytnou součástí evaluačního procesu, protože propojuje minulé a budoucí aktivity (OECD, 1991: 11). Zpětná vazba působí na třech úrovních: na úrovni projektu, programu, instituce či sektoru a na úrovni strategické. Na úrovni projektu je zpětná vazba do značné míry automatická. Předpokládá se, že osoby odpovědné za implementaci projektu budou číst všechny evaluační zprávy týkající se přímo jejich projektu a chovat se podle nich. Problematické už ale může být rozšíření informací mezi ostatní pracovníky zabývající se podobnými projekty jinde, a to ať už v rámci jedné agentury nebo mimo ni. Proto musí mít instituce vytvořeny mechanismy, které takové rozšíření evaluací umožní (Cracknell, 2003: 209). Tyto mechanismy mohou zahrnovat informační systémy, semináře či workshopy (OECD, 1991: 11).
7.1
Výstupy evaluace
Nejčastějším výstupem evaluace jsou evaluační zprávy (evaluation reports). Ty by měly být jasně formulovány a prosty příliš technického jazyka. Měly by obsahovat následující části: shrnutí, profil hodnocené aktivity, popis metod použitých při evaluaci, nejdůležitější zjištění, zdroje poučení, závěry a doporučení (OECD, 1991: 11). Použitelnost evaluační zprávy závisí v podstatě na dvou faktorech. Zaprvé na původním výběru projektu nebo tématu evaluace, protože pokud neobsahuje témata, která nejvíce pálí zaměstnance organizace, pravděpodobně nebude mít potřebnou váhu. A zadruhé závisí na její „uživatelské přívětivosti“ (Cracknell, 2003: 195). Je důležité, aby evaluační zprávy zohledňovaly potřeby jejich uživatelů. Cracknell (2003: 197) uvádí následující pravidla „uživatelské přívětivosti“ evaluačních zpráv: musí být krátké a výstižné; obsahovat stručné shrnutí nepřesahující několik stran, přičemž samotná zpráva by neměla přesáhnout 40-50 stran; musí být atraktivně prezentovány – je důležité strukturovat text a vhodné použít vizuální oživení (např. fotografie, ilustrace či mapu oblasti projektu); musí mít srozumitelný obsah, aby bylo možno rychle dosáhnout relevantní kapitoly; musí obsahovat kapitolu o získaných lekcích vedoucí k doporučením pro další aktivity; její součástí jsou přílohy obsahující bibliografii, či seznam navštívených osob apod.; musí popsat data a použitou metodologii; a v některých případech musí být ušita na míru potřebám specifických uživatelů.
32
7.2
Celkové hodnocení projektu
Mnoho agentur vyvinulo systém pro celkové hodnocení úspěchu či neúspěchu dokončených projektů. Do této kategorie patří zejména různé systémy známkování (rating systems). Ty jsou definovány jako nástroje pro zhodnocení výsledků projektu za použití hodnotící stupnice a sady kritérií standardizovaných pro tento účel. Tento sytém může kombinovat v jedné známce různá měřítka úspěchu projektu. Navíc má tu výhodu, že je možno srovnat a shromáždit známkování z různých typů projektů. Zájem o tyto systémy v rozvojových agenturách vzrůstá také kvůli značné potřebě získat souhrnný přehled o mnohdy obsáhlém a komplexním souboru projektů (OECD, 2001: 52). Známkovací stupnice se v různých rozvojových agenturách liší, existují však zásady, které by měly být dodrženy. Známkovací stupnice by měla být jasně rozlišitelná, aby umožnila pohodlnou volbu. Také je vhodnější sudý počet kategorií, aby se zamezilo tendenci vybírat kategorii střední (OECD, 2001: 54). Příkladem typické stupnice může být ta používaná DFID: velmi úspěšný (A+), úspěšný (A) , částečně úspěšný (B), převážně neúspěšný (C), neúspěšný (D) (Cracknell, 2003: 149). Stejně jako známkovací stupnice se liší i hodnocená kritéria. Mohou to být kritéria specifická pro určitý sektor, ale i kritéria obecná. Obvykle je každé kritérium hodnoceno zvlášť (OECD, 2001: 52). Celkové hodnocení projektu se získá buď na základě subjektivního úsudku hodnotitele (např. v DFID) nebo váženým průměrem (např. v Africké rozvojové bance – African Development Bank) (Cracknell, 2003: 151). Poněkud odlišná metoda je používána pro celkové hodnocení projektů oficiální české rozvojové spolupráce. Ta předpokládá, že celkové hodnocení úspěšnosti projektu nemůže vycházet z pouhé vážené agregace dílčího hodnocení podle jednotlivých hodnotících kritérií (relevance, efektivnost, efektivita, udržitelnost). Důvodem je to, že rozvojovou intervenci není možné považovat za úspěšnou, pokud není relevantní k rozvojovým potřebám partnerské země. Podobně není možné rozvojovou intervenci považovat za úspěšnou, pokud realizace výstupů nevede ke stanoveným cílům. Tento přístup je dobře patrný ze schématu při celkovém hodnocení rozvojových projektů (viz přílohy 1 a 2) (RS ÚMV, 2006: 92).
33
8 ZÁVĚR Bakalářská práce pojednává o hodnocení projektů rozvojové spolupráce. Hlavním cílem bylo vytvořit ucelený přehled problematiky hodnocení projektů rozvojové spolupráce a nastínit současné trendy. Základní pojmy byly definovány na základě doporučení DAC OECD, kterými se řídí i většina donorů. Evaluace je systematickým a objektivním hodnocením rozvojových intervencí. Při hodnocení je největší důraz kladen na pět evaluačních kritérií, kterými jsou relevance, efektivita, efektivnost, dopady a udržitelnost. Evaluace slouží zejména pro poučení se z minulého a pro zlepšení budoucích aktivit. Kromě toho také pomáhají odůvodnit rozvojovou spolupráci jak před politiky, tak před veřejností. Evaluace jsou nedílnou součástí projektového cyklu, který je moderním trendem v rozvojové spolupráci. V posledních letech začala většina donorů používat logický rámec projektu proto, aby učinila rozvojovou spolupráci efektivnější a snáze monitorovatelnou a kontrolovatelnou. V průběhu času se měnil i pohled na evaluace. Nejdříve byly totiž hodnoceny pouze projekty právě ukončené. Takové evaluace samozřejmě probíhají i nyní, ale mnohem větší důraz je kladen i na další typy evaluací. Jedná se zejména o evaluaci dopadů rozvojové intervence, která se koná až několik let po jejím dokončení. Umožňuje totiž identifikovat problémy, které by při evaluaci konané těsně po ukončení intervence nevyšly najevo. Dalším změnou oproti původnímu konceptu evaluace je hodnocení probíhající přímo za běhu projektu, které má často formu sebehodnocení. Umožňuje pružně reagovat na nastalé změny, okamžitě se z nich poučit a pozměnit původní plán intervence tak, aby jim odpovídala. Ve všech typech evaluace jsou také mnohem častěji využívány nové participativní metody. Ty umožňují, aby se na projektu a jeho hodnocení podíleli i samotní příjemci. To podporuje u příjemců pocit odpovědnosti za projekt, a v konečném důsledku tak lépe zajišťuje jeho životaschopnost. Velmi důležitou součástí problematiky evaluací je také zpětná vazba, bez které samotná evaluace postrádá smysl. Tuto skutečnost si uvědomují i samotné agentury a produkují proto atraktivní závěrečné evaluační zprávy.
34
9 POUŽITÉ ZDROJE ADC. Guidelines for Evaluation in Austria's Official Development Cooperation. [online] Austrian Development Cooperation. Dostupné z: . AIDCO. Aid Delivery Methods Volume 1: Project Cycle management guidelines. [online] EuropeAid Cooperation Office. 2004. Dostupné z: CRACKNELL, Basil Edward. Evaluating Development Aid: Issues, Problems and Solutions. New Delhi: Sage Publications India, 2003. ISBN 0-7619-9404-1. Danida. Evaluation guidelines. Kopenhagen: Ministry of Foreign Affairs; Danida, 2001. ISBN 87-7964-087-7. DFID. Tools for development. A handbook for those engaged in development activity. [online] Department for International Development. 2002. Dostupné z . DFID. Guidance on evaluation and review for DFID staff. [online] Department for International Development. 2005. Dostupné z . FINNIDA. Global Finland: Guidelines for Programme Design, Monitoring and Evaluation [online]. 2005, poslední revize 02.09.2005 [cit. 2006-05-14]. Dostupné na . GUIJT, Irene, WOODHILL, Jim. A Guide for Project M&E: Managing for Impact in Rural Development.[online] International Fund for Agricultural Development, 2002, [cit. 2005-01-06]. Dostupné z: . JELÍNEK, Petr a kol. Rozvojová politika Evropské unie. Praha: Ústav mezinárodních vztahů, 2003. ISBN 80-86506-33-9 JICA. JICA – Evaluation -Overview. [online] 2006 [cit. 2006-04-28]. Dostupné z: . KUSEK, Jody Zall, RIST, Ray C. Ten steps to a results-based monitoring and evaluation system : a handbook for development practitioners. Washinghton,DC.: The World Bank, 2004. ISBN 0-8213-5823-5. RS ÚMV. Manuál projektového cyklu zahraniční rozvojové spolupráce České republiky. [online] Rozvojové středisko Ústavu mezinárodních vztahů. 30. 3. 2006 [cit. 2006-04-01] Dostupné z . MIKKELSEN, Britha. Methods For Development Work And Research: A New Guide For Practitioners. New Delhi: Sage Publications India, 2005. ISBN 0-7619-3328-X. MOLUND, Stefan, SCHILL, Göran. Looking Back, Moving Forward: SIDA Evaluation Manual. Stockholm: Swedish International Development Agency, 2004. ISBN 91-586-8462-X. OECD. Principles for evaluation of development assistance. [online] Paris: Organization for economic co-operation and development, 1991. Dostupné z: . OECD. Principles of effective aid: Development Assistance Manual. Paris: Organization for economic co-operation and development, 1992. ISBN 92-64-13779-3. OECD. Results based management in the development co-operation agencies: A review of experience. [online] Organization for economic co-operation and development, 2001. Dostupné z: .
35
OECD. Glossary of Key Terms in Evaluation and Results-Based Management. [online] Paris: Organization for economic co-operation and development, 2002. Dostupné z: . RS ÚMV. Evaluace projektů zahraniční rozvojové pomoci. [online] Rozvojové středisko ÚMV 2004. . RS ÚMV. Vysvětlení vybraných anglických termínů a zkratek. [online] Nedatováno, [cit. 2006-0514]. Dostupné z . SAMSET, Knut. Evaluation of Development Assistance: Handbook for Evaluators and Managers. Oslo: Royal Ministry of Foreign Affairs, 1993. ISBN 82-717-366-6. SDC. Englidh glossary:DDC. [online] Swiss Agency for Development and Co-operation. 2002, [cit. 2005-12-10]. Dostupné z: . SVOBODA, Daniel. Řízení projektového cyklu – přednáška na letní škole rozvojové pomoci a spolupráce. [online]. 2005, [cit. 2005-12-06]. Dostupné z . WB. Monitoring and evaluation: Some tools,methods and approaches. [online] Washinghton,DC.: The World Bank, 2004 [cit. 2006-02-08]. Dostupné z: .
36
SHRNUTÍ Problematika hodnocení projektů rozvojové spolupráce Tato bakalářská práce se zabývá problematikou hodnocení projektů rozvojové spolupráce. Jejím cílem je podat ucelený přehled této problematiky a nastínit její trendy. Práce vymezuje základní pojmy jako je evaluace, a základní hodnotící kritéria podle DAC OECD, jimiž jsou efektivita, efektivnost, relevance, dopady a udržitelnost. Zabývá se postavením evaluací v rámci projektového cyklu, jehož jsou nedílnou součástí. Dále zkoumá specifický vztah evaluace a monitoringu, které jsou vůči sobě komplementární ale plní rozdílné funkce. Evaluace je možné rozdělit do několika kategorií podle různých kritérií. A to ve vztahu k jejich postavení v projektovém cyklu, k jejich vykonavateli, k postupům při ní využitých a také podle jejich zaměření. Práce dále představuje hlavní metody používané při evaluacích. Evaluační zprávy jsou důležité pro zpětnou vazbu, stejně tak jako jejich rozšíření mezi uživatele. Pro usnadnění orientace lidem, kteří se nezabývají přímo rozvojovou spoluprací, slouží celkové hodnocení projektu.
Klíčová slova – zahraniční rozvojová spolupráce, řízení projektového cyklu, evaluace, hodnotící kritéria, metody sběru dat
37
SUMMARY Issues of the development co-operation projects evaluation The bachelor thesis deals with the issues of development cooperation projects evaluation. It aims on providing a compact overview of this issue and on outlining its general trends. It defines basic terms as evaluation and basic evaluation criteria according to DAC OECD, namely effectiveness, efficiency, relevance, impacts and sustainability. Further, it deals with the position of evaluation in the life of the project cycle, of which it is an integral part. It also examine specific relation between evaluation and monitoring, which are complementary to each other, but satisfy different purposes. Evaluation can be classified according to various criteria in relation to their position in the project cycle, according to a doer, to the processes used, and also according to their purposes. Next, the thesis introduces basic methods used during the evaluation. Evaluation reports are important for feedback as well as for disseminating its findings among the users. To provide an easier orientation for people not directly engaged in development co-operation, the rating systems are being used. Keywords – international development co-operation, project cycle management, evaluation, evaluation criteria, data collection methods
38
PŘÍLOHY
Seznam příloh Příloha 1: Schéma rozhodovacího procesu při celkovém hodnocení rozvojových intervencí Příloha 2: Tabulka pro evaluaci jednotlivých aspektů rozvojových intervencí
Příloha 1: Schéma rozhodovacího procesu při celkovém hodnocení rozvojových intervencí
Zdroj: RS ÚMV 2006
Příloha 2: Tabulka pro evaluaci jednotlivých aspektů rozvojových intervencí
Zdroj: RS ÚMV 2006
