VYSOKÁ ŠKOLA EKONOMICKÁ V PRAZE Fakulta mezinárodních vztahů
DIPLOMOVÁ PRÁCE
TÉMA: Evaluace rozvojových projektů na příkladě projektu "Ostrov naděje sirotkům z Chennai", Indie
Vypracovala : Světlana KNIAZEVA Vedoucí práce: PhDr. Lenka ADAMCOVÁ, CSc.
Praha 2006
-1-
ČESTNÉ PROHLÁŠENÍ Prohlašuji, že jsem tuto diplomovou práci zpracovala samostatně a bez cizí pomoci a že všechny použité materiály jsou uvedeny v seznamu použité literatury nebo v seznamu použitých zdrojů.
V Praze 01.11. 2006
Světlana Kniazeva
-2-
Obsah
Úvod....................................................................................................................................... 2 1.
Význam a definice evaluace .......................................................................................... 6
1.1. Zásadní strategické otázky evaluace.............................................................................. 7 1.2. Projektový cyklus zahraniční rozvojové spolupráce české republiky ......................... 11 2.
Principy hodnocení ...................................................................................................... 15
2.1. Pět základních principů................................................................................................ 15 2.2. Přínos realizace evaluace ............................................................................................. 21 2.3.1.
Slabá místa evaluace ............................................................................................ 24
3.
Stádia evaluace............................................................................................................. 25
4.
Evaluační zkušenosti a praxe ....................................................................................... 29
4.1 V zemích EU a OECD ................................................................................................. 29 4.2 V České republice ........................................................................................................ 30 5.
Evaluace projektu "Ostrov naděje sirotkům z Chennai", Indie ................................... 32
5.1 Stručná informace o projektu....................................................................................... 35 5.1.1
Rozvojový kontext ............................................................................................... 35
5.1.2
Stručný přehled aktivit a výstupů ........................................................................ 37
5.3 Realizátor a partnerské instituce .................................................................................. 40 5.4 Přehled financování projektu ....................................................................................... 40 5.5 Evaluační tým a metody............................................................................................... 41 5.6 Výsledky evaluace ....................................................................................................... 42 Závěr .................................................................................................................................... 51 Literatura.............................................................................................................................. 53 Internetové zdroje ................................................................................................................ 54 Zkratky................................................................................................................................. 55 Přílohy 1-9 ........................................................................................................................... 56
-3-
Úvod „ŽIVOT SE HODNOTÍ NE PODLE DÉLKY, ALE PODLE OBSAHU“ Seneca Tento citát mluví za vše, neboť zdůvodňuje smysl hodnocení jakéhokoliv jevu. Moje práce bude zaměřená na určitou oblast hodnocení, a to na hodnocení zahraniční rozvojové pomocí, konkrétně řečeno evaluaci rozvojových projektů. Zahraniční rozvojová pomoc (ZRP) vychází z celkových analýz v konfliktních a beznadějných oblastí a směřuje k aktivním změnám tam, kde nikdo jiný pomoci nechce, nemůže nebo když ostatní selžou. V této oblasti nějakou dobu působím, a měla jsem tak možnost blíže se s činností v mezinárodní rozvojové pomoci seznámit. Ve světě se za poslední desítek let stala evaluace rozvojových projektů (ve svých různých podobách, formách a zaměřeních) důležitou oblastí výzkumu a praxe. Humanitární rozvojové projekty nastartovaly proces nové spolupráce, kde konečným cílem je nikoliv počet přímo realizovaných projektů, ale jejich kvalita: omezování chudoby, dosažení prosperity, posílení stability a rozšíření demokracie pro co nejvíce obyvatel světa. Tyto multidimenzionální cíle rozvojových aktivit mají zásadní vliv na hodnocení rozvojových projektů a představují výzvu v celém procesu ZRP. Právě proto je velice důležitý jak komplexní, tak i jednotlivý přístup k realizovaným projektům. Nepochybně evaluace projektů české ZRS je poměrně novým fenoménem, a jeho poznávání je v začátcích. Celý systém, ve statickém prostředí a v určitých nastavených podmínkách, je obhospodařován lidmi, kteří se v této oblasti ještě sami učí a teprve získávají zkušenosti. Z čehož vyplývá velká výhoda: možnost ovlivňování a zdokonalování evaluačních výstupů rozvojové spolupráce. Aktéři projektů mívají velké znalosti o prostředí, kterého se finanční podpora týká, avšak často nejsou schopni přesně formulovat jak problémy, tak způsoby jejich řešení. Věřím ale, že v případě oboustranně otevřené a partnerské komunikace je možné efektivně využít vzájemné zkušenosti i poučení z nedostatků a postupně zvyšovat kvalitu a dopady hodnocených rozvojových projektů.
-4-
Táto práce by měla být teoretickým a praktickým příspěvkem k otázce řízení rozvojových projektů, konkrétně v již výše zmíněné etapě EVALUACE. Jakákoliv evaluace zpráv, tzn. dokumentace studií
jsou určeny k tomu, aby zhodnotily
úspěšnost celého programu nebo projektu, aby informovaly o splněných aktivitách a realizovaných výsledcích. Evaluace rozvojových projektů musí splňovat nejenom výše uvedené faktory, ale i podrobný popis podmínek, za nichž byl celý projekt realizován, informace o zdrojů jeho financování, o skutečnostech, které mohou být použity k vyhodnocení dopadu projektu. Evaluace je velice obsáhlou otázkou, která zahrnuje různobarevnou paletu od hodnocení rámcových lokálních a regionálních programů iniciovaných vládou, do mezinárodních projektů, vedených pod hlavičkou EU. Evidentně, že hodnocení projektů je pro Českou republiku relativně novou záležitostí, s touto problematikou se blíže seznámila kvůli přípravě na vstup do Evropské unie. Nicméně inspiraci, rady a znalosti získané dlouholetou praxí, můžeme čerpat ze zemí staré EU – EU 15, které s tím mají mnohaleté zkušenosti. Tato diplomová práce se nevěnuje evaluačním výstupům jednotlivých institucí, států, nebo organizací. Hlavním cílem práce je zaměřit se na obecný teoretický význam Evaluace rozvojových projektů, na její průběh, principy a stádia. Pokusit odpovědět na zásadní strategické otázky: "Co je předmětem evaluace? Kdo evaluuje? Pro koho se evaluuje? Proč se evaluuje? Jak evaluovat? ". Pro lepší pochopení problematiky bude také rozebrán konkrétní příklad evaluační zprávy. Diplomová práce je rozdělena do pěti kapitol, které jsou dále rozčleněny do podkapitol. Úvodní část práce (kap.1) je zaměřena na objasnění terminologie, definice a na základní teoretické koncepce. Zde bude také představen model projektového cyklu v systému ZRS. Druhá kapitola se zabývá čtyřmi základními principy hodnocení rozvojových projektů. Dále charakterizuje přínosy evaluace a vymezuje klíčové argumenty, proč je potřeba zavádět funkční systém evaluace výsledků zahraniční pomoci. Zde také nalezneme různorodé body o pohledu na nezávislé hodnocení projektů. Kapitola třetí a čtvrtá pojednává o stadiích evaluace, o evaluačních aktivitách a základních prvkách řízení, a o evaluační praxi v zemích EU, OECD a nově začínající v České republice. -5-
V praktické části práce (kap.5) je uvedený rozbor předběžného evaluačního projektu "Ostrov naděje sirotkům z Chennai", který vznik v roce 2005 a pokračuje nadále v roce 2006. Při své práci jsem využívala informací především z odborných publikací, evaluačních zpráv některých neziskových organizací, knihovny VŠE, z archivu materiálů Humanistického hnutí. Měla jsem možnost setkat se s lidmi, kteří pracují přímo v oboru a s nimi konzultovat danou problematiku.
1. Význam a definice evaluace Důvodem pro zavedení evaluace rozvojových projektů je hodnocení účinnosti, transparentnosti, efektivity a celkových přínosů v politice zahraniční rozvojové pomoci (dále ZRP). Evaluace sleduje zda byla rozvojová intervence realizována efektivně a transparentně, zda jsou její přínosy a dopady pozitivní a dlouhodobé, sleduje a řeší, do jaké míry byly přesně a konkrétně definované potřeby cílových skupin či oblastí zároveň evaluace pomáhá napříště zkvalitňovat programy a metody vzhledem ke stanoveným cílům. Nemalou součástí evaluace je také hlídání doprovodných jevů, které by mohly mít charakter nezamýšlených dopadů. Evaluace rozvojových projektů je procesem systematického shromažďování a analýzy informací podle určitých kritérií a metodik za účelem dalšího rozhodování. Z této definice vychází, že evaluace by měla být1: ¾ systematická, tzn. jasně vymezovat oblast působení a její strukturu ¾ správně metodická ¾ prováděna pravidelně ¾ řízena podle předem určeného postupu ¾ použitelná pro další rozhodování a plánování
1
Bennet, N., Glatter, R., Lavaric, R.: Improving Educational Management. London 1994, str.101102
-6-
1.1. Zásadní strategické otázky evaluace Co je předmětem hodnocení? Hodnocení je orientováno na výsledky a dopady realizovaného rozvojového projektu ve srovnání s předem stanovenými plány. Rozumíme pod tím všechno, co má být uděláno, aby byl určitý výkon kvalitně připraven a proveden. Kdo vlastně evaluuje? V podstatě všichni, kdo hodnocení jako povolaní provádějí, nebo se nějakým způsobem na hodnocení podílí, a nebo jsou sami hodnoceni. Evaluační komise neboli evaluační tým může mít 3 základní složení2: -Vlastní
prováděno
vlastním
realizátorem projektu. Využívá se zejména u malých projektů.
Externí
sestavení
evaluace
(sebehodnocení):
hodnocení
je
týmu a zorganizování externích výstupů evaluace by znamenalo
nepřiměřenou nákladnost. Tato evaluace je pochopitelně velice relativní, nemůže být příliš nestranná a nezávislá. Jeho přednost tkví ve vlastní odpovědnosti za hodnotící proces u hodnotitele i hodnoceného. -Externí evaluace: hodnocení je prováděno nezávislou komisi. -Participační evaluace: v evaluačním týmu jsou i zástupci jednotkových zainteresovaných stran, cílových skupin, partnerů. Jak probíhá hodnocení? Prvním krokem je přenesení obecných evaluačních kritérií (efektivita, efektivnost, dopady, relevance a udržitelnost projektu) do otázek, na které má evaluace odpovědět, a které se vztahují ke konkrétnímu projektu. Do každého kritéria je pokládáno tolik otázek, kolik je potřeba, aby pokryly dostatečné množství informací pro rozhodování. Otázky jsou tedy indikátory evaluace.
2
Husáková, Regina. Hodnocení rozvojových projektů jako součást managementu projektového cyklu. Diplomová práce. Praha 2005, str. 16-17
-7-
Dále jsou evaluační otázky transformovány do evaluačních nástrojů. Nástrojem se rozumí metoda zvolená pro získávání informací: dotazníky, případová studia, rozhovory, diskuse, zápisky pozorovatelů i zúčastněných. Detailní informace by měla poskytnout úplné a věrné závěry, které odpovídají na položené otázky a dokonale mapuje situaci projektu. Kvalita závěrů závisí samozřejmě na kvalitě informací a na nástrojích, ze kterých vychází. Ze závěrů odpovídajících na jednotlivé evaluační otázky je odvozen i souhrnný závěr týkající se každého evaluačního kritéria. Vlastní hodnotící proceduru tedy chápeme jako specifickou činnost uplatněnou v soustavě dalších činností a jejich cílové orientace. Hodnotící procedura proto obvykle není samoúčelná, má svou funkcí v rámci soustavy dalších činností, z nichž některá předcházejí vlastní hodnocení, jiné na jeho výsledky navazují. Za základní funkci hodnotící procedury v rámci organizované soustavy činností je možno pokládat rozhodnutí o volbě dalšího pokračování v sledu činností, volbu dalšího postupu v situaci, kde je možno volit různé pokračování.
Schéma1: Proces evaluace Evaluační kritéria
Souhrnný závěr
Souhrnné doporučení
Otázky
Závěry
Doporučení
Souhrnné pole Detailní pole
Nástroje evaluace
Zjištění
Specifická rozhodnutí Zdroj: DANIDA Evaluation Guidelines, 2 vyd., Copenhagen, DANIDA, 2001
-8-
Protože hodnocení je velmi citlivou a často i rozhodující činností, musí se k ní přistupovat velmi odpovědně a principiálně. Velmi obsáhlým katalogem kritérií pro posuzování a hodnocení jsou např. Standardy pro evaluaci projektů. Pečlivé hodnocení programů, projektů a materiálů musí vykazovat čtyři zásadní charakteristiky, které jsou označovány jako standardy: 1. Standardy užitečnosti (zohlednění zúčastněných skupin, věrohodnost posuzovatelů, rozsah a výběr informací, zjišťování hodnot, jasnost zprávy) 2. Standardy proveditelnosti (praktické postupy, osobní proveditelnost, efektivnost vynaložených nákladů) musí zajistit, že evaluace je realistická, dobře promyšlená, diplomatická a odpovídající nákladům. 3. Standardy správnosti (práva osob, lidsky utvářené interakce, úplné a férové hodnocení, nezakrývání žádných výsledků, deklarace zájmových konfliktů, finanční odpovědnost) musí zajistit, že evaluace proběhne podle práva a eticky korektně. 4. Standardy přesnosti (programová dokumentace, kontextová analýza, validní informace, adekvátní informace, analýza kvalitativních informací) musí zajistit, že evaluace přinese odborně přiměřené informace i o kladech hodnocených programů.3 Proč probíhá hodnocení a co hodnocení nadále ovlivňuje? Důvody evaluace jsou různé, nejčastější však jsou: 1. vynucené nařízení zadavatele projektu, 2. zlepšení sebe sama, 3. snaha zkvalitnit proces rozvojové pomoci, zpřístupnit evaluační informace aj. Podle toho, jak byla provedena evaluace, může buď motivovat nebo demotivovat. Negativem sebehodnotícího řízení je často i nevědomá touha zlepšit sebe sama, což může vést k opomenutí či přehlídnutí některých chyb. Na druhé straně ale externí hodnocení prováděné vládou, nezávislými organizacemi a jinými subjekty může být z velké části jen formální, protože pro hodnocenou instituci konkrétní evaluace nemusí být vůbec prioritní nebo určující.
3
Karel,Rýdl: K pojetí kvality ve školství a jejímu hodnocení. e-Pedagogium, 2002, roč. 2, č. 1 mimořádné, str. 118-119
-9-
Jestliže jakoukoliv podobu výsledků hodnocení, a to prakticky všech typů hodnocení, lze pokládat za vyjádření hodnotících postojů subjektů hodnocení, pak je možno pokládat i jiné následující otázky: -
Které cíle stimulovaly, ovlivnily nebo v krajních případech zcela determinovaly dané hodnocení a jeho výsledky? (Přitom nemusí jít jen o cíle, potřeby nebo požadavky subjektů hodnocení, ale také o cíle zadavatelů dané hodnotící úlohy, přijatá nebo uznávaná očekávání od dané hodnotící úlohy a dosažitelných výsledků).
-
Jaké znalosti byly zvažovány v dané hodnotící úloze? Také v tom kontextu nemusí jít jen o znalosti, metodologické vybavení i disponibilní vyjadřovací formy subjektu hodnocení, ale také znalosti přijaté a uznávané v širších souvislostech vzhledem k dané hodnotící úloze.
-
Jaké
hodnoty,
hodnotové
nebo
kriteriální
soustavy
byly
posuzovány v dané hodnotící úloze? Doplňující otázkou zde může být dotaz, nakolik tyto hodnotící soustavy byly dostatečně osvojeny subjektem hodnocení, hodnotícím nebo expertním týmem včetně zadavatelů daného hodnocení. -
Jaké zájmy, a to jak zájmy subjektů hodnocení, tak zájmy jiných subjektů, zadavatelů hodnocení nebo osob či skupin, které by chtěly ovlivnit výsledky hodnocení, mohly být uplatněny v dané hodnotící úloze?4 Tyto nebo analogické otázky není snadné řešit nebo zcela jednoznačně
zodpovídat. Přesto však má smysl si takové otázky klást a pokoušet se hledat odpovědi, chceme-li hlouběji proniknout do hodnotících prvků. Často se stává, že mnoho z těchto kroků provádí „hodnotitel“ jaksi spontánně, bez vědomí těch motivů, znalostí nebo hodnotových předpokladů, které jej k dané volbě přivedly. Smysluplnost otázek uvedeného typu je proto důležitá pro uplatňování přesnějšího pohledu na různé typy a stadia hodnotících procedur nebo přístupu k těmto procedurám, které by bylo možno nazvat „hodnocením hodnocení“ nebo „metahodnocením“.
4
Ladislav, Tondl: Hodnocení a hodnoty. Filosofia, 1999, str. 17
- 10 -
1.2. Projektový cyklus zahraniční rozvojové spolupráce české republiky V realizaci rozvojových projektů některé státy, tzv. vyspělí dárci, používají jednotný systém řízení a kontroly programu rozvojové spolupráce. ČR v rámci ZRP také rozpracovala a doplnila Pravidla pro výběr a financování bilaterálních rozvojových projektů. Teoretický a praktický průvodce, který se jmenuje Manuál projektového cyklu ZRS ČR, byl schválena usnesením vlády 1311 ze dne 12 října 2005. Manuál vysvětluje standardní postupy řízení rozvojových projektů a podrobně popisuje každou fázi projektového cyklu, dále stanovuje role jednotlivých skupin lidí, zapojených do realizace projektů a usiluje o standardizaci využívaných dokumentů. Manuál je určen všem subjektům zapojeným do realizace bilaterálních projektů ZRS ČR – pracovníkům rezortních ministerstev, zastupitelských úřadů a realizátorům. Na konci Manuálu jsou přílohy, které obsahují mimo jiné i vzorové projektové formuláře přímo využívané v elektronické podobě. Jedním ze standardních postupů řízení rozvojových projektů je tzv. Projektový cyklus neboli PCM (Project Cycle Management). To je cyklus jednotlivých fází projektů, který začíná od zrodu projektového záměru v rámci schválené strategie až po hodnocení dopadů projektu a zapracování zkušeností z jeho realizace do dalšího plánování. Standardní management projektového cyklu zajišťuje řádně připravený a na příslušných úrovních postupně schvalovaný postup od obecného ke konkrétnímu (od programů spolupráce přes identifikaci témat spolupráce po formulaci jednotlivých projektů), stejně tak jako zpětnou vazbu systému zajištující uplatňování získaných zkušeností (evaluace). 5
5
Manuál projektového cyklu ZRS ČR, Ústav mezinárodních vztahů pro MZV ČR, Praha 2006,
str.5
- 11 -
Schéma2: Standardní projektový cyklus
Zdroj: Manuál projektového cyklu ZRS ČR, Ústav mezinárodních vztahů pro MZV ČR, Praha 2006
Projektový
cyklus
je
nástrojem
řízení
umožňující
státu
přijímání
kvalifikovaných rozhodnutí založených na dostatku informací v průběhu celé doby běhu projektu (i před jeho začátkem a po jeho skončení), a tím i vyšší efektivnost celého systému ZRS. Projektový cyklus, jak je znázorněno výše, má 5 fází6 : 1) Programování (programming) Účelem programování je zmapování situace a očekávaného vývoje s partnerskou zemí, příprava jednotného koherentního střednědobého strategického rámce spolupráce s prioritními zeměmi ZRS ČR a zajištění transparentnosti, předvídatelnosti
a
racionálního
ukotvení
spolupráce.
Fáze
programování
představuje základ, od kterého se odvíjejí další fáze projektového cyklu.
6
Manuál projektového cyklu ZRS ČR, Ústav mezinárodních vztahů pro MZV ČR, Praha 2006,
str.7
- 12 -
2) Identifikace(identification) Ověření situace v partnerské zemi. Příprava ideových návrhů projektu, předběžné
posouzení
návrhů
a
jejich
možností
financování.
Seznam
identifikovaných témat spolupráce je včetně výše vyčleněných prostředků schvalován vládou jako Plán ZRS. 3) Formulace(formulation) V rámci této fáze probíhá zhodnocení cílů, výstupů, indikativních aktivit, koordinačních mechanismů, finanční únosnosti a udržitelnosti projektu. Zároveň tady je
znovu prověřována relevance a proveditelnost projektového návrhu,
potvrzení zájmu z partnerské země a předložení žádosti o schválení a financování projektu. 4) Realizace a monitoring (implementation and monitoring) Prostřednictvím mobilizace vyčleněných finančních a lidských zdrojů dosahováno vytýčených výstupů a cílů projektu a zároveň jsou soustavně sbírány a analyzovány informace o průběhu tohoto procesu. {Průběžné zprávy, kontrolní dny a závěrečná zpráva} 5) Evaluace (evaluation) V poslední fázi projektového cyklu dárci ve spolupráci s partnerskou zemí hodnotí výsledky a zkušenosti z realizace celého projektu podle nové metodiky PCM. Tyto výsledky následně promítají do plánování dalších rozvojových projektů a programů. Rozvojové středisko ve spolupráci s MZV ČR a dalšími ministerstvy provádí evaluační mise již druhým rokem a i do budoucna předpokládá svou významnou úlohu v této oblasti. Identifikace rozhraní pojetí problémů udává vztahy mezi evaluací a monitoringem. Evaluace projektu musí být odlišena od jeho monitoringu. Monitoring je proces sběru a prezentování informací ve vztahu ke konkrétním záměrům, cílům na systematickém základě. Mělo by vždy být vedeno s konkrétním
- 13 -
úmyslem, a toto úsilí by mělo být něčím zdůvodněno. Evaluace přivádí tento proces o krok dále tím, že jsou informace analyzovány a vytvořeny soudy o hodnotách. Prostřednictvím dat z evaluace se vytváří rozhodnutí pro strategické plánování. Takže monitoring je průběžná aktivita, která spočívá ve sběru informací vztahujících se ke specifikovaným indikátorům. Cílem monitoringu je tedy poskytnout managementu a zainteresovaným aktérům data o průběhu rozvojového projektu, jeho výsledcích a použitých prostředcích. Schéma 3: Porovnání funkcí evaluace a monitoringu
Monitoring
Evaluace
Kontinuální nebo periodické
Jednorázová, Ad hoc Stanovené cíle jsou dále posuzovány ve
Stanovené cíle jsou brány jako dané
vztahu šířích rozvojových záměrů
Úspěšnost projektu posuzuje předem
Pracuje s validitou a relevancí
stanovenými indikátory
stanovených indikátorů
Průběh projektu je hodnocen na základě malého okruhu indikátorů
Zabývá se širokým spektrem otázek Snaží se zohlednit zamýšlené a
Zaměřuje se na zamýšlené výsledky
nezamýšlené výsledky
Kvantitativní metody
Kvantitativní a kvalitativní metody
Na základě běžných dat
Na základě multiplikačních zdrojů
Nezjišťuje kauzální vztahy
Zjišťuje i kauzální vztahy
Zpravidla funkcí interního management
Zpravidla iniciována externími aktéry a
projektu
realizována externími evaluátory
Zdroj: SIDA Evaluation Manual, Edita, Stockholm, 2004.
Účelem evaluačního hodnocení je zajištění transparentnosti výdajů/příjmů a podpory demokratických principů, dále zajištění kontroly pro naplnění potřeb řízení a plánování, pro podporu zapojení sociálních partnerů,
pro potřeby tvůrců
národních a mezinárodních projektů, pracovníků, kteří jsou odpovědní za implementaci a metodické aktivity, pro řešitelské týmy a koordinátory, atp.
- 14 -
Obecně je možné konstatovat, že evaluační výstupy jsou relevantní pro všechny subjekty, které jsou zapojené do plánování a realizace řízení výdajů rozpočtu. Zásadní význam pro úspěšné uplatnění aktivit evaluace mají také hodnotitelé, kteří berou na sebe rizika spojená s vyvozováním závěrů.
2. Principy hodnocení 2.1. Pět základních principů
Pro hodnocení rozvojových projektů je v odborné literatuře zformulovano pět základních principy. Jasně definovaná kriteria by měla být aplikována při každém evaluačním výstupu. Všechny mají stejnou důležitost a měly by být odpovědně dodržovány. Schéma4: Základní principy evaluace Dopad
Jaký je dopad rozvojové intervence?
Relevance
Je rozvojový projekt stále relevantní vzhledem k problému, který měl řešit?
Efektivita
Do jaké míry dosáhla rozvojová intervence svých cílů? Co napomohlo dosažení výsledků a co jejich dosažení naopak bránilo?
Udržitelnost
Do jaké míry budou pozitivní přínosy rozvojové intervence pokračovat poté, co bude zastaveno financování ze strany dárce?
Další využitelnost
Do jaké míry mohou být přístupy, metody nebo obsah projektu využitelné pro jiné rozvojové aktivity?
Zdroj: Manuál projektového cyklu ZRS ČR, Ústav mezinárodních vztahů pro MZV ČR, Praha 2006
Informace o míře naplnění těchto kritérií by měly sloužit jako dostačující podklad pro rozhodování o dalším postupu v závislosti na cíli projektu. Evaluace v zásadě slouží dvům cílům:
- 15 -
1) posouzení účelnosti využitých zdrojů v projektu a vyhodnocení dopadů a výsledků 2) analýza úspěšných a neúspěšných metod a postupů ve vztahů k jiným budoucím projektům rozvojové intervence Neboli - první cíl evaluace odpovídá na otázku ZDA byl projekt ÚSPĚŠNÝ, druhý pak zjišťuje, PROČ tomu tak bylo, nebo nebylo. Pro zjednodušení hodnocení jsou evaluační kritéria rozvojového projektu rozdělena na několik úrovní. Nejširší pohled je tzv. pohled cílové skupiny, společnosti. Jedná se o naplnění uspokojování základních potřeb příjemců pomoci a dopad projektu na ostatní skupiny ve společnosti. Na této strategické úrovni se posuzuje soudržnost širších rozvojových záměrů země příjemce a poskytovatele pomoci (relevance projektu). Pohled zahrnuje i hodnocení udržitelnosti realizovaných výstupů. Užší pohled představuje efektivnost projektu, tzn. v jakém rozsahu byly naplněny cíle rozvojové intervence. Nejužší rovinou je pak samotný postup realizace projektu: hodnocení plánovaných aktivit s ohledem na výši využitých nákladů. Hodnotícím měřítkem je efektivita. Respektování těchto kritérií musí však také být v souladu s kvalifikovaností a kompetentností hodnotitelů, tudíž snaha o expertní hodnocení a posuzování. To platí o výsledcích jak náročných, tak i jednoduchých činností rozvojových projektů a programů a jejich možných nebo očekávaných dopadů. Náročnost a vysokou odbornou úroveň subjektů hodnocení je třeba požadovat při posuzování kvalifikačních předpokladů pro výkon některých funkcí v mnoha oblastech vysoce odborných činností, zejména ve sférách výzkumu, v oblastech školství, medicíny, soudnictví, řízení složitých systémů, atd. Proto rozhodně nelze považovat za rozumné, že pro hodnocení různých druhů rozvojových výstupů, jejich výsledků nebo dopadů platí zásada „vox populi- vox dei“, tzn. že kvalifikované hodnocení může zajistit kdokoliv bez příslušných předpokladů, např. jen proto, že na danou hodnotící úlohu a její výsledky má svůj osobitý názor, nebo na těchto výsledcích má své specifické zájmy.
- 16 -
Ad Dopad) Dopad
rozvojové
intervence
posuzuje
střednědobé
předvídané a nepředvídané, pozitivní a negativní
a
dlouhodobé,
efekty. Nezabývá se ale
hodnocením samotné efektivnosti. Porovnání skutečnosti vzhledem k plánu zde není důležitý. Hodnocení dopadů tedy poskytuje základní informace o úspěchu projektu: zjišťuje všechny změny dochází k jejich komplexnímu hodnocení. Při evaluaci dopadu je velice důležitá volba správných indikátorů. Indikátory musí plně mapovat situaci, jak konkrétních cílových skupin projektu, tak i ostatních nepřímo ovlivněných skupin. Používané indikátory mohou být např.: porovnání příjmů/výdajů domácností, kvalita bydlení, potravin,
přístup ke vzdělání, zdravotnictví apod.
Vzhledem k náročnosti měření evaluačních indikátorů, vyžaduje evaluace mnoho času, vedlejších aktivit, lidských a finančních zdrojů. Neméně důležitým prvkem je pak také dobrá komunikace a kooperace se stranou příjemce. Pro včasné rozpoznání negativních a neplánovaných efektů projektu (které mohou být během realizace a těsně po dokončení zcela neviditelné) je nutné soustředit zvláštní pozornost na pravidelnost hodnocení. Ať už jde o dopady nebo o analýzu příčin, které vedly k jakýmkoli změnám. Negativní efekty rozvojových projektů zahrnují: •
Špatné zacílení projektu - nedostatečné pokrytí cílové skupiny, tj. ne všechny podskupiny cílové skupiny mohly dosáhnout na pozitivní přínosy projektu (často takovou skupinou mohou být ženy, děti nebo handicapovaní lidé), nebo nedostatečně přesné zacílení na zamýšlenou skupinu, tj. z projektu těžily i skupiny, pro které nebyl určen, a zmenšily tak prospěch cílové skupiny.
•
Substituční efekt – projekt dosáhl zamýšlených pozitivních dopadů na cílovou skupinu, ale pouze za cenu toho, že jiným skupinám, které by si podporu rovněž zasloužily, se zhoršila situace, ve které se nacházely.
•
Efekt záměny – tím, že donor poskytuje prostředky na určité aktivity v zemi příjemce, umožňuje zemi příjemce přesunout zdroje na jiné aktivity, z nichž
- 17 -
některé se se záměry donora nemusí slučovat. Tento efekt ovšem zpravidla nemůže být posuzován na úrovni jednoho projektu, ale spíše na makroekonomické úrovni ve vztahu ke státnímu rozpočtu a veřejným výdajům země příjemce.7
Ad Relevance) Posuzování skutečného užitku, který projekt přináší společnosti, nám poskytuje kritérium Relevance. Je zde posuzována platnost cílů z hlediska trvání jejich účinnosti: projekt musí být konzistentní s prioritami cílových skupin, se záměry realizátora a příjemce projektu. Neřeší-li projekt rozvojové problémy, není-li v souladu s rozvojovou politikou a prioritami země příjemce, není tedy považován za relevantní. Je nutné zmínit, že pokud dojde ke změnám vytyčených priorit přijímací země , projekt může pozbýt na relevanci. Definování priorit pomocí relevance by mělo být stanoveno od samého počátku plánování projektu. Tzn. posoudit
vztah mezi
politikou donora,
příjemce, mezi prioritami zemí, mezi rozvojovou intervencí z globálního hlediska. Dále posoudit užší a širší kontext rozvojových aktivit (místní podmínky, sociální, ekonomické a politické faktory, aktivity ostatních donorů v této oblasti atd.)
Ad Efektivita) Rozvojový projekt je považován za efektivní, když jsou hospodárně vynaloženy finanční prostředky, ale i ostatní materiální a lidské zdroje. Optimální efektivita je tam, kde vytvořená hodnota je větší než jakákoliv jiná hodnota, které by projekt s danými zdroji dosáhl. Jestliže s využitím daných vstupů bylo možno dosáhnout lepších výsledků, rozvojový projekt nebyl plně efektivní. Existuje tzv. alokační a technická efektivita. Měření alokační efektivity spočívá v hodnocení nejvyššího možného stupně užitku cílových skupin a 7
Husáková, Regina : Hodnocení rozvojových projektů jako součást managementu projektového cyklu. Diplomová práce. Praha, 2005
- 18 -
alternativního využití zdrojů (analýza efektivnosti nákladů, užitků a přínosů). Mohl zcela jiný projekt vyřešit stejný problém s méně náklady? Mohly být lidské a finanční zdroje využity k lepšímu, užitečnějšímu účelu? Měření technické efektivnosti spočívá v použití minimálních prostředků a maximálního šetrného nakládání se zdroji. Přiměřenost vstupů a výstupů lze kvalitativně posoudit pomocí srovnání daného projektu se stanovenými cíli, a také pomocí srovnání s obdobnými rozvojovými projekty.
Ad Udržitelnost) Hodnocení udržitelnosti znamená, že pozitivní efekty budou dlouhodobě udržovány i po skončení financování a podpory ze strany dárce. Dlouhodobost (udržitelnost) se nevztahuje ke konkrétním projektovým aktivitám, ale ke konečným výsledkům realizovaného projektu. Je to jeden z nejdůležitějších bodů celé evaluace, protože pokud projekt není schopen na trvalou existenci bez podpory donora, znamená to, že ani zčásti nesplnil svůj záměr. A tak se úplně ztrácí význam projektu i přesto, že byly dosaženy plánované výsledky v požadované kvalitě. Výsledky se hodnotí dle osmí následujících faktorů kvality a udržitelnosti projektu8: a) Podpora projetu ze strany země příjemce Rozvojová intervence se vždy řídí politikou země účastníků. Priority vlády dárcovské země, stejně jako priority zemí partnerských organizací musí být v souladu. Projekt bude daleko více udržitelný, když jsou v koherenci zahraniční politiky realizátorských stran. Je třeba, aby odpovědné místní úřady demonstrovaly podporu daného projektu. b) Vlastnictví projektu příjemci Projekt nemůže být udržitelný bez toho, aby příjemce pomoci nepřijal vlastní intervence.
Aktivní participace země příjemce v plánování,
implementaci a pokračování rozvojových aktivit stimuluje zájem o 8
SIDA Evaluation Manual, Edita, Stockholm, 2004
- 19 -
projekt místní cílové skupiny. Je třeba ověřit, zda všechny zainteresované skupiny projekt podporují a mají zájem na jeho pokračování. c) Sociální a kulturní faktory Projekt musí být plně integrován do místních administrativních a kulturních podmínek. Intervence, které nejsou v souladu s místními normami a zvyky, nebo postrádají podporu relevantních institucí nebudou pravděpodobně udržitelné. d) Rovný přístup mužů a žen Projekt by měl minimalizovat diskriminační postavení žen ve společnosti. Což je ostatně jeden z neaktuálních problémů v rozvojových zemích. Realizátoři musí brát v potaz specifické postavení a zájmy mužů a žen, a tím zajistit rovný přístup obou pohlaví k výhodám, který přináší projekt. e) Vhodná technologie Technologie využitá v realizaci projektu by měla být přiměřena ekonomickým, vzdělanostním a kulturním podmínkám hostitelské země. Je-li technologie příliš pokročilá k místním podmínkám, nebo je-li její údržba příliš nákladná, je malá pravděpodobnost, že projekt bude úspěšný. Nedílnou součástí úspěšných projektů je nejen samotné využití nových technologií, ale také umění tyto technologie používat, neboli zaškolení místních obyvatel. f) Dopady na životní prostředí V rozvojových zemích je životní prostředí zanedbáváno pod tlakem rychlého populačního růstu a nedokonalostí managementu přírodních zdrojů. Degradace životního prostředí muže pozastavit pozitivní výsledky, které přináší projekt. Proto případné nežádoucí dopady na životní prostředí musí být brány v úvahu již při plánování projektu, aby bylo možno plánovat také jejich zmírňování nebo eliminaci. - 20 -
g) Ekonomická a finanční životaschopnost projektu Životaschopnost mnohých projektů je závislá na financování a podpoře hlavního realizátora projektu. Pro dlouhodobou udržitelnost projektu je nezbytné, aby služby, které projekt poskytuje, ospravedlňovaly náklady s nimi spojené, a aby byl nalezen zdroj dlouhodobého pokrytí těchto nákladů. Projekt by měl vést k samostatnosti obyvatel v něm pokračovat. h) Management a organizace Stabilní a kvalifikovaný management řízení projektu je klíčem k udržitelnosti projektu. Neefektivní a slabá organizace povede pravděpodobně k postupnému úpadku projektu.
2.2. Přínos realizace evaluace Evaluaci je třeba chápat jako proces systematického zjišťování přínosů rozvojové intervence, jako nedílnou součást projektového rámce. Hodnocení musí určit, zda byly splněny cíle rozvojové intervence, zda byly cíle transparentní, jaký byl její celkový dopad, zda byl projekt realizován efektivně a zda jsou jeho pozitivní přínosy dlouhodobé, udržitelné. Evaluace rozvojových projektů má umožnit využití získaných výsledků a zkušeností pro vyvarování se chyb, jak na straně příjemce, tak i na stráně dárce. Klíčové argumenty pro zavedení funkčního systému monitorování a evaluace výsledků zahraniční pomoci lze shrnout do následujících bodů: Bez nezávislého hodnocení výsledků o nevíme, zda jsou naše rozvojové intervence úspěšné nebo neúspěšné; o pokud nejsme schopni rozlišit úspěchy od neúspěchů, nejsme schopni ocenit úspěchy a de facto tedy oceňujeme neúspěchy; o současně nejsme schopni úspěchy využít, poučit se z neúspěchů a napravit nedostatky;
- 21 -
o nemůžeme objektivně informovat veřejnost, vládu ani Parlament a nemůžeme tedy získat veřejnou podporu a důvěru a ospravedlnit požadavky na prostředky ze státního rozpočtu.9 Vedle tradičního monitorování aktivit (implementation monitoring), které spočívá v kontrole čerpání finančních prostředků, kontrole realizace jednotlivých aktivit a kontrole plnění plánovaných výstupů, je třeba sledovat a hodnotit skutečné dopady rozvojové intervence, tj. evaluovat výsledky (results based evaluation). Dlouhodobé dopady rozvojových intervencí totiž většinou jsou neznámé. Často také není dostatečný přehled a informace ani o realizovaných aktivitách a výstupech. Zavedení systému monitorování a evaluace (M&E) je proto z tohoto pohledu zcela nezbytné. Významem hodnocení projektů však není pouze formulování výše zmíněných okruhů, ale hlavně navrhování možných zlepšení a metody jejich zpracování. Lze konstatovat, že návrhy na zlepšení jsou hlavním a nejdůležitějším výsledkem evaluace. Protože tyto návrhy dále slouží podkladem pro další možné diskuse, vyjednávání a rozhodování, minimalizaci chyb. Přínos realizace evaluace lze shrnout do několika bodů10: - vzdělávací - z výsledků evaluace by se neměli poučit jen tvůrci rozvojových projektů, ale i další aktéři, jako jsou zájmová sdružení, neziskové organizace, občané, kteří ovlivňují či zasahují do tvorby a realizace příslušných oblastí, - integrační - napomáhají spojit úsilí jednotlivých tvůrců projektů sledujících stejné (obdobné) cíle, a tím zlepšit účinnost prováděné ZRP, - racionalizační - zlepšuji efektivnost investovaných prostředků, - demokratizační - napomáhají zapojení širokého okruhu subjektů (aktérů rozvoje),
9
Rozvojové středisko, ÚMV. URL:
Marek, Jetmar. Ministerstvo pro mistni rozvoj. Poslední aktualizace: 9. 7. 2003. URL:
10
- 22 -
- legitimizační - prokázáním účelnosti projektu napomáhají získání širší podpory k jeho realizaci a tedy k posílení autority, - informační - zvyšují povědomí o dopadech realizace rozvojových projektů, - bazický – zvyšuje znalosti a zkušenosti. Autoři rozvojové koncepce získávají řadu cenných informací díky evaluaci, a konečná evaluační zpráva se tak stává klíčovým podkladem pro budoucí projektů. Standardní model využití evaluace představuje uvedené schéma. Schéma č.3 Standardní model využití evaluace
Zdroj: Konference hodnocení rozvoje místní ekonomiky a zaměstnanosti, OECD, Vídeň, 2002
Musíme si tedy uvědomit, že provádění evaluace je přínosné jak pro realizátory rozvojových projektů (na všech úrovních), tak pro příjemce podpory - jakožto cílové skupiny, objekty intervence a výzkumníky. Proto provádění evaluace vlády nejen vyžadují, ale i podporují .
- 23 -
2.3.1. Slabá místa evaluace V průběhu hodnocení však dochází i k různým rizikovým situacím, které mohou být způsobeny jak nezkušeností a nedbalostí realizátorů, tak i nepředvídatelnými podmínkami samotného projektů. Mezi obecné problémy realizace evaluace a mezi hlavními překážkami efektivního využití výsledků evaluace patří: •
nízká dostupnost statistických údajů (omezení zveřejňovaných informací),
•
složitost ověření indikátorů evaluace v místě provedení,
•
nedostatečná komunikace realizátora projektu s partnerskými organizací v zemi příjemce,
•
měnící se význam určitých socioekonomických charakteristik, který byl základním důvodem realizace projektu. Ztráta dlouhodobého účinku,
•
neznalost terminologie a používaných instrumentů při realizaci projektů. Nekvalitní projektová dokumentace není schopná srozumitelně „definovat“ základní pojmy rozvojových záměrů: logistický rámec, výstupy a indikátory aj. S nejasně definovanými strategiemi projektů pak souvisí i rezignace návrhů projektů na stanovení jakýchkoliv ověřených indikátorů,
•
identifikované chyby projektu nejsou vnímány jako příležitost k poučení, ale jsou spojovány s hledáním viníků,
•
neexistence
dobře
rozpracovaného
systému
využívání
výsledků
a
doporučení jednotlivých evaluačních zpráv. Výstupy zůstávají u jednotlivců, než aby se stávaly vodítkem a průvodcem všech, kdo o to má zájem. Evaluační zprávy jsou k dispozici realizátorům, pracovníkům ministerstev, avšak nejsou aktivně distribuovány, a to ani v elektronické formě, •
systém jednoletého financování projektů z českého státního rozpočtu. Znamená to, že víceleté projekty musí přerušovat aktivity kvůli zpožděnému přidělení finančních prostředků. Často se takovéto projekty potýkají se sníženou efektivnosti a efektivitou,11
Ve všech případech je hodnocení lidským a v tomto smyslu subjektivním rozhodováním, do kterého se promítá celá řada dalších okolností, podmínek nebo předpokladů vč. subjektivního vybavení nebo kompetence subjektu rozhodování, 11
Ladislav, Tondl: Hodnocení a hodnoty. Filosofia, 1999, str. 5-10
- 24 -
společensky uznávaných podob přijatelnosti, uznávaných hodnotových struktur apod. Proto rozhodování o stupni racionality je vlastně vnější pohled, a tudíž jistá forma metahodnocení.
3. Stádia evaluace Jak už bylo zmíněno, smyslem evaluace je vyřešení konkrétní předem definované potřeby, napomocí její maximální efektivnosti v průběhu realizace. Projekt se ale může, ale také nemusí, podařit zrealizovat dle původního záměru. Jsou spíše výjimečné projekty, v nichž vše dopadne přesně tak, jak zamýšlel řešitel. Ten zpravidla již při řešení zjišťuje, že by některé části příště řešil trochu nebo dokonce zcela jinak. Každý projekt je však cenný právě samotným objevováním a hledáním té nejefektivnější cesty. Při ní dochází k učení, zdokonalování, získávání zkušeností tím nejlepším způsobem - vlastním prožitkem. Proto, každá ze stádií evaluace rozvojových projektů obsahuje nejen „suché“ výsledky, ale také postup a analýzu výsledků. Rozmanitost podob, funkcí a dalších souvislostí těch činností, které nazýváme souhrnně hodnocením, vede často k potřebám přesněji specifikovat tyto činnosti. To se pak projevuje i ve slovním odlišení, respektive v nezbytnosti přiřadit k termínu „hodnocení“ chápanému v nejobecnějším smyslu jistý atribut, další charakteristiky nebo specifikace entit, které jsou předmětem hodnocení. Takovými atributy jsou např. termíny „závěrečné“, „souhrnné“, další specifikací pak termín „výzkumné projekty“, „technické projekty“, „přípustná a proveditelná řešení“ apod. Navíc termín „hodnocení“ (kterému odpovídá anglické „evaluation“, francouzské „évaluation“, německé „bewertung“ a některé další ekvivalenty) může být v různých kontextech nahrazen řadou dalších termínů. V některých případech je možno využít analogií s termínem „posouzení“, kde je obvykle vyzdvižen prognostický aspekt, tj. posouzení možných nebo očekávaných dopadů, důsledků nebo budoucích rizik. Hodnotící dimenze má nepochybně také termín „preferenční uspořádání“, tj. takové hodnocení nebo posouzení většího počtu alternativ, které jsou uspořádány podle míry nebo stupně té kvality, která je v centru pozornosti hodnocení.12 12
Ladislav, Tondl: Hodnocení a hodnoty. Filosofia, 1999, str. 14
- 25 -
Evaluační aktivity jsou zakotveny v nařízení Rady (ES) č. 1260/99, které upravuje mimo jiné i stádia evaluace. Tomuto nařízení je podřízen dokument Rámce podpory Společenství, který blíže určuje evaluační aktivity a základní prvky řízení evaluace. V každé zemi Evropské unie je řídícím orgánem evaluace jiný subjekt. V některých zemích, a to i v České republice, je orgán evaluace zařazen mezi jednotky řídícího orgánu strukturálních fondů. 13 Směrnice č. 1260/99 týkající se strukturálních fondů ve svých článcích 40 až 43 vymezují tři základní typy hodnocení – předběžné hodnocení (ex-ante), střednědobé hodnocení (mid-term) a následné hodnocení (ex-post). Pro nové členské státy není stanovena povinnost provádět střednědobé hodnocení (mid-term evaluation) ani navazující konečné hodnocení, avšak Evropská komise doporučuje provádět omezené množství tématických evaluací. Pro období 2007-2013 se počítá se změnami v principu střednědobého hodnocení, které přejde v průběžné hodnocení (on-going). Schéma č.4 Etapy hodnocení projektů strukturálních fondů
Zdroj: Statistika fondů Evropské Unie, Ministerstvo pro místní rozvoj, 2004 Poznámka: EA - ex-ante hodnocení; MT - mid-term hodnocení; EP - ex-post hodnocení; on ongoing hodnocení
13
Eva, Píšová; David, Grolig: Evaluace. Poslední aktualizace: červen 2004, URL:
- 26 -
Předběžné (Ex-ante) hodnocení, dle článku 41 Účelem Ex-ante hodnocení je ověřit vhodnost navrhovaných kritérií, priorit a opatření, včetně finančních fondů a přispět ke zkvalitnění řídících programových dokumentů a jejich dodatků. Proto předběžné hodnocení je spíše procesem okomentování, diskusí a tvorby doporučení a komentáře, které probíhá do určité míry paralelně s přípravou všech programových dokumentů a dodatků, které v tomto stádiu poskytují zpracovatelé plánu. Závěrečná evaluační zpráva obsahuje analýzu předností, slabých a silných stránek projektu, posouzení shody strategií a cílů a kvantifikuje cíle ve srovnání s výchozí situací. Výstupy předběžného hodnocení •
zpracování struktury evaluace: obsahu, aktivity, výstupy, indikátory,
•
materiály o pracovním týmu, cílových skupinách, podklady k jednáním,
•
písemně vypracované připomínky a návrhy vznesené na hlavní řešitelé,
•
průběžné komentáře a doporučení k jednotlivým bodům realizace.
Finální evaluační zpráva předběžného hodnocení: - analýza, - shrnutí, jaké připomínky byly formulovány v jednotlivých stádiích zpracování a jejich zdůvodnění, -
vyjádření
ke
kvalitě
konečné
verze,
problémy,
které
zůstaly
nedořešené(navrhované možnosti řešení), rizika, připomínky a doporučení, výzvy, příležitosti.
Střednědobé Hodnocení (Mid-term), dle článku 42 V polovině období průběhu projektu probíhá střednědobé hodnocení, které zkoumá počáteční výsledky pomoci, jejich efektivnost, transparentnost a dopad plánovaných cílů. Za provádění této evaluace odpovídá řídící orgán ve spolupráci s Komisí a členským státem. Komise následně přezkoumává relevanci a kvalitu hodnocení. Jak již bylo zmíněno, střednědobé hodnocení není požadováno v plné míře pro nové členské státy EU, nicméně je vhodné v průběhu zkráceného programového období
- 27 -
2004 - 2006 části střednědobého hodnocení realizovat. (Např. omezené množství tématických evaluací: sektorového nebo regionálního).
Následné hodnocení (Ex-post), dle článku 4314 Toto hodnocení je prováděno na základě výsledků zrealizovaného projektu. Evaluace ex-post vyvozuje závěry a týká se využití prostředků, analýzy aktivit, výstupů a dopadu efektivní pomoci rozvojového projektu.Vztahuje se na faktory, jež přispívají k úspěchu nebo selhání při realizaci, na uvedené akce a dosažené výsledky, včetně jejich dlouhodobosti a udržitelnosti. Vyhodnocení logistického rámce a struktury vazeb projektu (následné hodnocení): •
Vyhodnocení vnitřních vazeb:
Nejdříve se posuzují vazby na stanovené strategie, cíle, dále se hodnotí zachovaná logika vazeb programu: strukturu, priority, přínosy a opatření. Zde se také hodnotí otázky,
zda
se
nejekonomičtějším
postupovalo způsobem
při
nejefektivnějším, formulaci
priorit
nejtransparentnějším, a
realizaci
projektu.
V neposlední řádě je hodnocena kvalita poradenského systému, zapojení cílových skupin z terénu, státní správy, spolupracujících místních skupin (NGO, dobrovolníky, státní sociální organizace) •
Vyhodnocení definovaných cílů:
Posuzují se otázky, zda definované cíle pokrývají potřeby prioritní cílové skupiny, zda jsou v souladu s národními a mezinárodními rozvojovými prioritami, a jestli se vzájemně nepřekrývají. Musí být jednoznačně vymezené a srozumitelně. •
Vyhodnocení opatření:
Hodnotí se, zda opatření jsou v souladu s identifikovanými cíli, a zda jsou vnešně a vnitřně konzistentní. Za následné hodnocení (ex-post) odpovídá Komise s členským státem a řídícím orgánem. Evaluace musí být dokončeno nejpozději do 3 let po skončení programového období.
14
Kapitola III. Nařízení Rady (ES) č. 1260/99 článek 40-43
- 28 -
4. Evaluační zkušenosti a praxe 4.1 V zemích EU a OECD V různých zemích Evropské unie v průběhu 90. let začaly se objevovat projekty, jejichž hlavním cílem bylo pokusit se navrhnout model funkčního hodnocení kvality rozvojových projektů tak, aby byly přínosné s maximální účinností a efektivností jak pro přijímající tak i pro dárcovské země. Řada vytvořených projektů v Německu, Velké Británii, Nizozemí, Skandinávii přicházela s definicemi doplňkových kritérií, k nimž byly formulovány a vytvářeny nové metody a nástroje. Struktury modelů zahraničních projektů byly orientovány na doporučení ze strany OECD a EU. Evaluace v oblasti ZRP je v zásadě možná jen postupně - malými kroky, které umožňují pečlivé definování kritérií (výstupy, indikátory) a praktickými nástroji pro jejich realizaci. V průběhu minulých desetiletí byly v různých oblastech světa (byl by velký omyl domnívat se, že se to týká jen rozvinutých zemí, sdružených např. v OECD nebo EU) intenzívně vyvíjeny metodologické postupy, kterými bylo možné získávat nejen požadované informace, na jejichž základě lze potom vyhodnocovat relevantnost a užitečnost zvolených postupů a cílů, ale také vytvářet předpoklady pro hodnocení jejich eficience (ve smyslu smysluplného využívání vstupních zdrojů vzhledem k dosahovaným výsledkům) a efektivity (ve smyslu porovnání vstupních záměrů s dosaženými cíli). Tento proces hodnocení ve smyslu zjišťování efektivity (užitečnosti) zvolených postupů pro fungování systému byl potom nazýván evaluací.15 V OECD však také došlo k velkým přeměnám v rámci koordinace evaluačních projektů ZRP jednotlivých členských zemí. Byla vytvořena pracovní skupina pro hodnocení zahraniční pomoci (Working Group on Aid Evaluation) na půdě Výboru pro rozvojovou pomoc (DAC). Probírají tady otázky efektivity a správnosti poskytované pomoci, zkoumají různé přístupy a metody evaluace, průběžně se publikuje evaluační směrnice formou doporučení (DAC Principles for
15
Karel,Rýdl: K pojetí kvality ve školství a jejímu hodnocení. e-Pedagogium, 2002, roč. 2, č. 1 mimořádné, str. 104-105
- 29 -
Evaluation Development Assistance) a jiná rozsáhlá dokumentace k této problematice. Ve světě se za posledních dvacet let stala evaluace rozvojových projektů jednou z nejdůležitějších pozorovatelných oblastí výzkumu a praxe. Vedle zkvalitnění celého systému se sleduje i zvýšení odpovědnosti za vynakládané finance. Vzhledem k náročnosti, často i vysokým nákladům, je třeba provádět evaluaci efektivně a její výsledky zveřejňovat a využívat ke zdokonalování řízení a personálního zajištění celého cyklu rozvojových projektů. Proto jednotlivé dárcovské země využívají vedle uvedených směrnic OECD také vlastní pravidla\směrnice, schvalované na lokální národní úrovni. Nejzpracovanější metodické dokumenty, které lze využit jako dobrou příručku, jsou kanadský Evaluační průvodce (CIDA Evaluation Guide) a dánský Evaluační průvodce (DANIDA Evaluation Guidelines). Dále v rámci rozvojového programu OSN (UNDP)
byl vypracován Manuál pro Monitorovací a Evaluační výsledky
(Handbook on Monitoring and Evalution for Results).
4.2 V České republice Pro Českou republiku, jako pro člena OECD a nového člena Evropské unie, jsou velice aktuální otázky principů solidarity a odpovědnosti v řešení globálních problémů a udržitelného rozvoje. ČR se hlásí k principům všelidské sounáležitosti a přijalo do své zahraniční politiky prvek zahraniční rozvojová spolupráce (ZRS), jako její nedílnou součást. Pro Českou republiku tato spolupráce představuje jak hospodářskou politiku, tak i finanční, materiální a technickou pomoc rozvojovému světu. Mezi hlavní cíle české ZRS patří v souladu s Rozvojovými cíli tisíciletí (MDG – Millenium Development Goals) eliminace extrémní chudoby a hladu, dosažení všeobecné základní školní docházky, podpora rovnosti mezi muži a ženami, snížení dětské úmrtnosti, zlepšení zdraví matek, boj proti HIV/AIDS, malárii a dalším nemocem, zajištění environmentální udržitelnosti a globálního partnerství pro rozvoj. - 30 -
Přehodnocení a zkvalitnění politiky Zahraniční rozvojové pomoci ČR (vč. struktury, řízení a metod) začalo již s přípravou na vstup do Evropské unie. Začal se klást větší důraz také na evaluaci výsledků rozvojových projektů realizovaných Českou republikou, který postupně zajišťoval efektivnější využití vynaložených prostředků, transparentnější výsledky a dopady. Od roku 2003 byly v České republice hodnoceny pouze vybrané projekty. Však od roku 2006 by měl evaluací procházet každý rozvojový projekt. Ministerstvo zahraničních věcí ČR jako hlavní koordinátor ZRP je zadavatelem a hodnotitelem výsledků evaluace. Rozvojové středisko při ÚMV (podpůrné odborné pracoviště MZV ČR v oblasti koordinace zahraniční rozvojové spolupráce ČR) má ve své kompetenci vlastní provádění evaluace projektů. Rozvojové středisko také spolupracuje s příslušnými resortními ministerstvy (gestorskými resorty) při zajištění realizace a průběžné kontroly a vyhodnocování výsledky rozvojových projektů a programů ZRS. Je zřejmé, že hodnocení, které jsme ochotni považovat za kvalifikované, kompetentní nebo realizovatelné na dostatečné odborné úrovni, vyžaduje od hodnotitelů dva typy znalostí: (1) znalost hodnocení podobných výstupů včetně dostatečné znalosti toho oboru působnosti, (2) znalost hodnot, kritérií, nároků na úroveň kvality včetně znalostí nejvýše dosažitelné kvality, které lze v dané hodnotící úloze uplatnit. Dostatečné ověření toho, nakolik obě uvedené skupiny znalostních nároků jsou subjekty hodnocení zajištěny, je zvláště důležité při ustavování expertních a konkurzních komisí, hodnotících týmů v důležitých hodnotících úlohách. Evaluační tým zpravidla tvoří: o
zástupce Rozvojového střediska a\nebo Ministerstvo zahraničních věcí ČR – hodnotí projekt z hlediska priorit ZRP ČR, zahraničněpolitických vztahů a naplnění evaluačních kritérií,
- 31 -
o
zástupce gestorského ministerstva projektu– posuzuje efektivitu z hlediska využití finančních prostředků, míry dodržení čerpání rozpočtu a harmonogram aktivit,
o
nezávislý expert – hodnotí plánované aktivity, indikátory a výstupy projektů z odborné stránky projektu.
Jako výstup hodnocení projektu by evaluační komise měla zpracovat evaluační zprávu. Tuto zprávu by měl využit realizátor projektu pro jeho další aktivity a jeho další management, gestorské ministerstvo pro rozhodování o budoucím postupu při realizaci projektu, případně projektů obdobných. Ministerstvo zahraničních věcí ČR a Rozvojové středisko při ÚMV mohou výsledky zprávy použit při metodické formulaci managementu projektového cyklu, jiných dokumentů v rámci poskytování rozvojové pomoci. V roce 2004 bylo Českou Republikou realizováno celkem 124 bilaterálních rozvojových projektů v téměř 50 zemích světa, v celkové hodnotě přes 750 milionů korun.16 Evaluováno bylo 16 projektů v deseti zemích.
5. Evaluace projektu "Ostrov naděje sirotkům z Chennai", Indie "Nestačí s lidmi jen správně zacházet a pak jich správně využívat. Musíte lidem pomoci, aby v tom, co dělají, nalezli smysl a naplnění. Lidé nechtějí být organizacemi "využíváni" jako oběti nebo pěšci na šachovnici. Chtějí být správci svých vlastních zdrojů. Chtějí mít pocit, že osobně přispívají k něčemu, co má nějaký smysl. A právě v takových podmínkách se dostaví skutečná motivace a skutečné naplnění. Tehdy doopravdy uvolníme lidský potenciál a všechnu tu obrovskou energii a tvůrčí sílu, která je v lidech skrytá a čeká, až ji někdo uvolní. Je tedy třeba, abychom věřili ve skrytý lidský potenciál. V opačném případe lidé ustrnou na své současné výkonnosti“.
16
S.Covey
viz. Ministerstvo zahraničních věcí ČR, URL:
- 32 -
V této části diplomové práce uvádím jako příklad předběžnou evaluační zprávu "Ostrov naděje sirotkům z Chennai". Návrh projektu vznik iniciativou realizátora a byl schválen k realizaci v letech 2005-2006. Zpráva byla podána na Ministerstvo zahraničních věcí ČR (Odbor rozvojové spolupráce a humanitární pomoci) jako gestorskému rezortnímu ministerstvu. Projekt "Ostrov naděje sirotkům z Chennai" především měl urychleně vyřešit situaci nejhůře postižených a nejzranitelnějších obětí katastrofy - dětí, které v důsledku vln tsunami přišly o rodiče, žily v provizorních podmínkách a přišly o možnost vzdělání. Dále v rámci projektu sirotčince a školy bylo vytvořeno několik pracovních míst, což opět pozitivně ovlivnilo situaci několika konkrétních rodin. V rámci navazujícího projektu „Adopce indických dětí – projekt pomoci na dálku“ došlo k výraznému zvýšení vzdělanosti dětí, které by jinak ke vzdělání neměly přístup. A samozřejmě díky plánovanému zapojení širší veřejnost a dobrovolníků do všech částí projektu došlo k celkovému oživením regionu, k celkovém zlepšením situace nejchudších vrstev tamního obyvatelstva a jejich snahu aktivněji se zapojit do rozvoje oblasti. V rámci České republiky se dá též hovořit o nemalých přínosech. Hlavním cílem kampaně „Srdce pro Asii“ nebylo jen zajistit materiální a finanční podporu na obnovu daných oblastí. Důležitým rozměrem celého projektu bylo seznamovat veřejnost se situací v postižených oblastech, podporovat toleranci, solidaritu, respekt k různorodosti kultur a působit proti diskriminaci, rasismu a xenofobii v naší společnosti.
Evaluace tohoto projektu měla interní charakter, tzn. prováděli ji řešitelé a aktéři, kteří byli přímo zapojeni do realizace rozvojové spolupráce. Součástí evaluace
byla analýza veškerých relevantních dokumentů (průběžných a
výročních zpráv, podkladů, studií) a analýza aktérů (vedoucích projektu, pracovních skupin, zástupců partnerské organizace AID India, představitelů cílové skupiny atd.)
- 33 -
Hlavními kvalitativními metodami při evaluaci projektu bylo přímé pozorování celého chodu projektu, dále využití různých forem dotazníků a zpracování propagačních materiálů a případových studií. -Informace z terénu, zmapování situaci: Odhaduje se, že třetinu z dosavadních sto padesáti tisíc obětí ničivých vln tsunami v oblasti Indického oceánu tvoří děti. Po přírodní pohromě je více než milion dětí byly vystaveny hrozbě nemocí, zneužívání a vykořisťování. V postižených oblastech se většina dětí doposud obává dalších katastrof, polovina z dotázaných dětí má strach ze ztráty dalšího člena rodiny. Proto bylo naší prioritou dodat specializovanou psychologickou podporu co největšímu počtu dětí v postižených oblastech a pomoci jim se postupně zotavovat. Zároveň jsme se též pokusili zmapovat celkovou situaci sirotků po tsunami.
-Interview a rozhovory s cílovou skupinou: Našimi koordinátory a dobrovolníky byly navštíveny rodiny, místní přechodné dětské domovy a přechodné tábory, kde byl navázán přímý kontakt s rodinami, u kterých dočasně žily sirotci. Tím jsme měli možnost vytvořit si lepší přehled o ekonomické, sociální a zdravotní situaci dětí. Cílem návštěv bylo také podpořit „opuštěné“ děti, dodat jim naději, silu a víru. Zpestřit jejich každodenní život hrami, besedami a výlety. 17
Kvantitativními
indikátory projektu byla přímá měření přínosů
rozvojových intervencí:
- Počet školení a kurzů dobrovolníků - Vybavení a provoz sirotčince/školy - Počet cest řešitelů -
Aktivity při koordinaci a administrativním zajištění projektu, aj.
17 Roční zpráva o realizaci projektu ZRS„Ostrov Naděje“ sirotkům z Chennai. Praha, Leden 2006
- 34 -
Důležitými vyhodnocovanými aspekty evaluačního projektu, jak už bylo zmíněno výše, jsou relevance, efektivnost, efektivita, dopady a udržitelnost. Při posuzování relevance byl zkoumán soulad rozvojových záměrů a cílů programů a projektů s národními a mezinárodními rozvojovými prioritami. Při zkoumání efektivnosti programů a projektů bylo posuzováno, zda a jak bylo dosaženo stanovených cílů. Při posuzování efektivity projektů bylo zkoumáno, zda a jak byly realizovány stanovené aktivity a výstupy, zda byly realizovány v odpovídajícím čase a za přiměřené náklady. Při zkoumání dopadů projektů a programů byly vyhodnocovány jak plánované a neplánované přínosy pro cílové skupiny, tak případné nezamýšlené negativní dopady na cílové skupiny, případně na životní prostředí.
Při
posuzování
udržitelnosti
rozvojových
intervencí
bylo
vyhodnocováno, zda přínosy projektů a programů cílovým skupinám jsou nebo budou udrženy i po ukončení přímé intervence.18 Na základě posouzení jednotlivých položek v této zprávě lze celkově ohodnotit rozvojovou intervenci. Jelikož projekt není zatím dokončený (k finalizaci projektu dojde v souladu s návrhem rozpočtu nejpozději do konce roku 2006), rezortní ministerstvo a MZV vyjádří svůj postoj až koncem roku 2006. Ale všeobecně platí, že pokud odpovědní pracovníci závěry a doporučení akceptují, zajistí, aby byly uplatněny v budoucí realizaci rozvojové spolupráce. Pokud závěry neakceptují, nebo akceptují jen částečně, zdůvodní tento postoj písemně.
5.1 Stručná informace o projektu 5.1.1 Rozvojový kontext Mezinárodní humanitární projekt „Ostrov naděje sirotkům z Chennai“ byl zaměřen na konkrétní pomoc obětem živelné katastrofy v Jihovýchodní Asii ze sklonku roku 2004. Původním záměrem projektu bylo dokončit stavbu školy a pokračovat stavbou sirotčince ve městě Chittoor v indickém státě Andhra Pradesh. Po první podniknuté cestě, které se zúčastnily koordinátorky projektu Ivona Novomestská,
18
Manuál projektového cyklu ZRS ČR, Ústav mezinárodních vztahů pro MZV ČR, Praha 2006
- 35 -
Světlana Kniazeva a dobrovolnice Jitka Dvořáková, ale muselo být místo realizace projektu změněno z následujících důvodů: Po opadnutí nejhorších následků vlny tsunami se místní vláda i humanitární organizace snažily o co nejrychlejší stabilizaci podmínek v zasažených oblastech. Přes veškerou snahu však nebylo možno zabránit některým excesům. Jedním z nejzávažnějších problémů se staly únosy a nelegální přesuny dětí, jež v situaci plné chaosu po živelné katastrofě nebylo možno vždy zachytit. Vláda státu Tamil Nadu proto přistoupila k řešení takto vzniklé situace zákazem přemísťování všech dětí za hranice státu Tamil Nadu, bez výjimky. Z tohoto důvodu nebylo možné pokračovat v realizaci projektu na původně zamýšleném místě ve státě Andhra Pradesh, jelikož by tak nebylo možné legálně přemístit sirotky z tsunami postižených oblastí do vedlejšího státu, a nebyl by tak naplněn základní záměr projektu – pomoc obětem živelné katastrofy tsunami. V takto vzniklé situaci řešitelé projektu museli vyhledat nové vhodné místo pro realizaci projektu, tentokrát na území státu Tamil Nadu. Byla navána spolupráce s jednou z poboček indické humanitární organizace AID INDIA. Tato organizace, stejně jako Humanistické centrum Narovinu, pracuje v dobrovolnické struktuře Humanistického hnutí. Místo výstavby sirotčince a vzdělávacího střediska bylo tedy nakonec přesunuto do města Virudhunagar (distrikt Virudhunagar, stát Tamil Nadu), kde má organizace AID INDIA jedno ze svých hlavních působišť. V této situaci již neexistovaly žádné překážky v započetí realizace projektu. V jedné z nepřímo zasažených oblastí, ve městě Virudhunagar v indickém státě Tamil Nadu, se tak úspěšnou realizací výstavby sirotčince podaří vytvořit lepší životní situaci pro 80 dětí. Projekt se zaměřuje na uspokojení základních potřeb dětí: zajištění bydlení, stravy, lékařské péče a vzdělání.
Do projektu se také
zapojují místní občané a organizace, které tak společně vytvářejí řetěz vzájemné pomoci.
- 36 -
5.1.2
Stručný přehled aktivit a výstupů 1) Propagační a informační kampaň
Byla provedena propagační a informační kampaň, která splnila své stanovené cíle jak v zemi zadavatele projektu v České republice, tak v zemi příjemce pomoci v Indii, stejně tak jako v zemi další spolupracující organizace v Itálii. Díky řadě aktivit o probíhajícím projektu byla veřejnost důkladně informována jak o průběhu projektu samotného, tak o všech aktivitách týkajících se projektu i o možnosti se do těchto aktivit zapojit (ať už vlastní aktivní účastí či finančním příspěvkem).
2) Školení a kurzy dobrovolníků Cílem školení a kurzů pro dobrovolníky bylo vytvořit co nejširší síť dobrovolníků aktivně se podílejících na průběhu i budoucím fungování projektu. Tato činnost jednoznačně splnila své cíle ve všech ohledech. Co se týče České republiky, zde se z několika kurzů a školení vytvořila skupina lidí, kteří se velmi aktivně zapojili do práce na projektu. Z prvního kurzu na jaře 2005 se dobrovolnice Jitka Dvořáková na vlastní náklady zúčastnila cesty do Indie (7.6.-6.7.2005), doplnila tak pracovní tým koordinátorek Ivony Novomestské a Světlany Kniazevy a napomohla koordinaci projektu v první fázi. Dále se pak v České republice zapojila do aktivit projektu týkajících se propagační kampaně. Z podzimních dvou kurzů se vytvořila skupina dobrovolnic, které se aktivně zapojily do aktivit propagační a informační kampaně (připravily charitativní koncert v rámci kampaně „Srdce pro Asii“), dále pak do pomoci s administrativním zajištěním projektu (pomoc s překlady materiálů) apod. Na straně země příjemce pomoci v Indii lze školení a nábory dobrovolníků též ohodnotit jako velmi úspěšné. Dobrovolníci se zapojili hned do několika aktivit najednou. Především pracovali na šíření informací o projektu mezi veřejností, dále se pak zapojili do pomoci na návrzích a samotné výstavbě sirotčince/vzdělávacího střediska (pomoc se stavebními pracemi, s úpravou okolí stavby). Též byli velmi nápomocni v kontaktech s rodinami a komunitami postiženými vlnou tsunami a ve vyhledávání nejpotřebnějších dětí. V současné době se z této skupiny též formuje
- 37 -
budoucí skupina koordinátorů projektu "Adopcí" a skupina zajišťující dohled nad volnočasovými aktivitami dětí v sirotčinci. V Itálii se vytvořila skupina dobrovolníků organizace spolupracující na projektu. V srpnu se dva z italských dobrovolníků zúčastnili cesty do Indie za účelem pomoci při koordinaci projektu. V Itálii též proběhla řada akcí na podporu projektu (koncert v Janově, vydání knihy - výtěžek z jejího prodeje směřuje na podporu projektu, účast na koncertu v Praze, jehož výtěžek též putoval na podporu projektu). Budoucí spolupráce s italskými dobrovolníky z organizace „Humanist Liguria“ se bude týkat jak společných koordinačních cest do Indie, tak pomoci při vyhledávání finanční podpory pro projekt na italské straně (část sirotků bude podporována konkrétními dárci z Itálie). Školení a kurzy dobrovolníků lze tedy vzhledem k výsledkům označit za úspěšné.
3) Koordinace a administrativní zajištění projektu V období březen - prosinec 2005 a první polovina roku 2006 proběhly úspěšně tři cesty koordinátorek projektu na místo realizace. V rámci prvních dvou cest se uskutečnily v místě plánované realizace tyto aktivity: oslovení místních médií, za účelem seznámit místní veřejnost co nejpodrobněji s plánovaným projektem; pravidelné návštěvy středních škol, univerzit i internetových kaváren za účelem pozvání místních lidí na pravidelná školení a kurzy dobrovolníků. Dále proběhl monitoring situace v tsunami postižených oblastech a byl vypracován návrh stavby s místními studenty architektury. Přestože bylo místo realizace projektu výstavby sirotčince později změněno, spolupráce navázána s dobrovolníky z Chittoor stále pokračuje. Dobrovolníci jsou momentálně aktivní v projektu týkající se HIV prevence. Do budoucna je v úmyslu tuto spolupráci rozšiřovat a plánovat další projekty: pokračování v kurzech dobrovolníků, zapojení místních lidí do „fair trade“ projektů apod. Po první cestě byla zpracována průběžná zpráva o projektu, na jejímž základě byla uvolněna další část dotace. Po celou dobu probíhal úspěšně dohled nad správným chodem projektu v Indii.Byla vypracována roční zpráva o projektu. V rámci třetí cesty proběhly další aktivity: příprava na zjištění zdravotní situace a lékařského vyšetření 80 dětí, - 38 -
personální zajištění chodu sirotčince a školy, úspěšná informační kampaň o projektu, aj.
4) Stavba, vybavení a provoz sirotčince/školy Stavba a vybavení sirotčince byly dokončeny s malým zpožděním (z důvodů živelné katastrofy - povodní ve státě Tamil Nadu na sklonku roku 2005) v prosinci 2005. Průběžně byl již také vybrán a proškolen personál sirotčince. K umístnění dětí a zaměstnání personálu došlo v souladu s návrhem rozpočtu projektu na rok 2006 v prvním pololetí roku 2006. V rámci projektu byl proškolen a zaměstnán personál do sirotčince a školy: 3 učitelé, 2 vychovatelé a 2 pomocní pracovníci. Personál a dobrovolníci byli školeni jak koordinátory z České republiky, tak koordinátory místními. Výstupem bylo tak zajištění kvalifikovaného dozoru, výuky a vedení volnočasových aktivit učiteli, vychovateli a proškolenými dobrovolníky.
5) Monitoring, analýza situace sirotků, příprava k zahájení projektu "Adopce indických dětí -projekt pomoci na dálku" Výsledky této části aktivit částečně naplnily plánované cíle. V rámci první i druhé cesty byl koordinátorkami projektu navázán kontakt s rodinami a komunitami postiženými vlnou tsunami a byl kladen důraz na přímý, nejen zprostředkovaný kontakt s těmito skupinami postižených. V rámci obou cest byla navštívena a zdokumentována řada míst postiženého státu Tamil Nadu. Co se týče zařazení dětí do projektu a jejich lékařského ošetření, z důvodu živelné katastrofy - povodní v místě realizace projektu, a následného odsunutí dokončení projektu, došlo k naplnění cílů těchto dvou aktivit ve druhém pololetí roku 2006. Kvalifikovaní
lékaři
z okresu
Virudhunagar
provedli
několikadenní
lékařskou prohlídku. Některé dětí byly dostaveny do oddělení místní nemocnice, kde lékař mohl provést podrobnější ošetření. Každé dítě bylo naočkováno a zapsáno do evidence místní nemocnice. Konečným výsledkem by měl být dobrý a monitorovaný zdravotní stav 80 umístěných dětí.
- 39 -
Díky dřívějším dobrým kontaktům naší partnerské organizace AID India se v místní státní nemocnici (Government Hospital in Virudhunagar) podařilo dohodnout snížené ceny za lékařskou péči pro sirotky.
5.3
Realizátor a partnerské instituce
Organizace podílející se přímo na projektu: 1. Humanistické centrum Narovinu, o.s. (Česká republika) V roce 2005 byl za přispění dotace v rámci humanitární pomoci ČR zemím postiženým vlnou tsunami zahájen projekt „Ostrov Naděje“ sirotkům z Chennai. Je tedy hlavním zřizovatelem a hlavním koordinátorem projektu. 2. AID India (Indie), pomocná koordinace projektu v místě realizace. Nevládní nezisková organizace, která působí v Indii v rámci projektů rozvojové pomoci. Tato organizace poskytla pozemek na výstavbu a provozování sirotčince a školy, řešila stavbu a provoz sirotčince v souladu se smluvenými podmínkami. V dlouhodobém horizontu se zavázala společně s Humanistickým Centrem Narovinu provozovat a zajišťovat dlouhodobě chod sirotčince a školy. 3. Humanist Liguria (Itálie), partner, který přinesl do rozpočtu projektu nemalé příspěvky a jeho dobrovolníci se několikrát zúčastnili cesty do Indie a pomohli s dohledem nad realizací projektu.
5.4 Přehled financování projektu Všechny výdaje za rok 2005 byly vyčerpány v souladu s předpokládaným rozpočtem projektu. Z důvodu živelné katastrofy (povodní) v oblasti indického státu Tamil Nadu, nebylo možno projekt „Ostrov Naděje sirotkům z Chennai“ do konce roku 2005 úplně dokončit. Proto byla částka spojené s dokončením projektu převedena na rok 2006. (viz. Příloha 4a: Rozpočet nákladů (výdajů) projektu „Ostrov Naděje sirotkům z Chennai“).
- 40 -
5.5 Evaluační tým a metody Předběžná evaluace tohoto projektu měla zcela interní charakter, tzn. prováděli ji řešitele a aktéři, kteří byli přímo zapojeni do realizace rozvojového projektu (Odbor rozvojové spolupráce a humanitární pomoci MZV ČR, Humanistické centrum Narovinu, AID India, Humanist Liguria, aj.). Evaluační tým neboli pracovní skupina pro evaluaci se podílela na zajištění rozvoje a koordinace vývoje metodik evaluace, posuzování výsledků a rozvíjení expertní kapacity pro potřeby evaluace. Během celého projektového období evaluační tým zpracovával písemná doporučení k řízení projektu, zúčastňoval se relevantních jednání řešitelského týmu. Kromě toho byly organizovány schůzky s koordinátory zodpovědnými za zpracování jednotlivých částí, na kterých byla diskutována předaná doporučení. Evaluační tým se také přímo spolupodílel na stanovení indikátorů na zpracování hodnotících strategií. Závěrečná hodnotící zpráva, která bude předložena na konci roku 2006, musí shrnovat všechna zlepšení, ke kterým dojde na základě doporučení Evaluačního týmu, a vyjadřovat se ke kvalitě konečného znění projektu. Součástí evaluace
je analýza veškerých relevantních dokumentů
(průběžných a výročních zpráv, podkladů, studií) a analýza aktérů (vedoucích projektu, pracovních skupin, zástupců partnerské organizace AID India, představitelů cílové skupiny atd.) Hlavními kvalitativními metodami
při evaluaci projektu bylo přímé
pozorování celého chodu projektu, dále využití různých forem dotazníků a zpracování propagačních materiálů a případových studií. Kvantitativními indikátory projektu byly přímá měření přínosů rozvojových intervencí. Z hlediska metodických postupů a informačních zdrojů budou ještě použity: -
rešerše dostupné dokumentace k projektu (projektový dokument, smlouvy, závěrečné zprávy realizátora za rok 2005),
-
prezentace aktivit, výstupů a cílů projektu realizátorem a následná diskuse,
-
rozhovory s jednotlivými zainteresovanými stranami (zástupci cílových skupin, partnerských institucí),
- 41 -
-
přímá pozorování v místě realizace projektu,
-
statistické údaje, relevantní dokumenty mezinárodních a indických institucí
(budou
uvedené
v závěrečné
evaluační
zprávě
v poznámkovém aparátu). Systém hodnocení projektu zatím není popsán v náležité míře podrobnosti, protože se projekt nachází v realizační fázi.
K dopracování těchto metod a
indikátorů dojde na konci tohoto roku.
5.6 Výsledky evaluace Vyhodnocení projektu z hlediska relevance Relevance je mírou hodnoty projektu pro společnost. Projekt je relevantní tehdy, je-li konzistentní s potřebami a prioritami cílových skupin, stejně jako s širšími rozvojovými záměry země příjemce i poskytovatele pomoci. Indie nepatří mezi prioritní země zahraniční rozvojové spolupráce ČR. V Koncepci zahraniční rozvojové pomoci ČR na léta 2002–2007 se Česká republika nicméně přihlásila k podpoře mezinárodních rozvojových cílů (MDGs). Hodnocený projekt usiluje o zlepšení úrovně a dostupnosti vzdělání ve vybrané lokalitě po tsunami. To je v souladu s mezinárodními rozvojovými cíli zpřístupnění základního vzdělání pro všechny (MDG 2) a zajištění udržitelnosti životního prostředí (MDG 7).V oblasti vzdělávání se hlavní důraz klade na zvýšení počtu dětí, které budou navštěvovat základní školu, zlepšení vazby mezi vzděláním a požadavky trhu práce, zvýšení počtu učitelů, vychovatelů a jejich kvalifikace a na zlepšení dostupnosti učebních pomůcek. Projekt
předběžně
tedy
lze
hodnotit
jako
relevantní
zejména
k mezinárodním rozvojovým cílům, strategii rozvoje cílové země a zájmům cílových skupin. Realizace projektu z hlediska přínosů, principů a priorit jak pro indickou, tak i pro českou společnost proběhla zcela úspěšně. Projekt, i když zatím není úplně dovršen, je z hlediska pomoci efektivní. Přispěl k naplnění hlavního cíle, a to vyřešení situaci nejhůře postižených dětí po přírodní katastrofě - tsunami. V rámci projektu byla poskytnuta základní, materiální, sociální a psychologická
- 42 -
pomoc dětem, snaha o jejich rehabilitaci a vrácení zpět do života (návrat do školy, znovu začlenění do „rodiny“, umístění dětí v rámci pěstounské péče). Nedílnou součástí projektu byla informační kampaň zaměřená na nediskriminaci, rovnost lidských práv a svobod, vzájemnou pomoc a solidaritu.
Vyhodnocení projektu z hlediska efektivnosti Efektivnost projektu v oblasti dosažení plánovaných výstupů lze hodnotit jako dostatečně vysokou, i přes fakt, že konkrétní indikátory úspěchu nebyly předem dostatečně kvantifikovány. Cílem projektu zadaného Ministerstvem zahraničních věcí ČR bylo zmírnit následky živelné katastrofy tsunami v jihovýchodní Asii. Projekt „Ostrov naděje sirotkům z Chennai“ tak především vyřešil situaci nejhůře postižených a nejzranitelnějších obětí katastrofy - dětí, které v důsledku vln tsunami přišly o rodiče a přišly o možnost vzdělání. Jednoznačně lze konstatovat, že na straně hlavních příjemců pomoci (dětí– sirotků) došlo k významnému zlepšení životních podmínek, kterých by při absenci realizovaného projektu jen stěží dosáhly.
Nesporně dalším přínosem v rámci projektu byla šance pro několik zaměstnanců sirotčince najít uplatnění a pracovní místo, jež je v tsunami ochromené oblasti Indie významným přínosem. Díky zapojení širší veřejnosti a dobrovolníků do všech částí projektu došlo k celkovému oživením regionu, s celkovým zlepšením situace nejchudších vrstev tamního obyvatelstva a jejich snahou aktivněji se zapojit do rozvoje oblasti. V rámci České republiky se díky kampani „Srdce pro Asii“ podařilo nejen zajistit část materiální a finanční podpory na obnovu postižených oblastí. Důležitým cílem celého projektu bylo seznámit veřejnost se situací v postižených oblastech, podporovat toleranci, solidaritu, respekt k různorodosti kultur a působit proti diskriminaci, rasismu a xenofobii v naší společnosti. I tento cíl byl úspěšně naplněn.
- 43 -
Vyhodnocení projektu z hlediska efektivity Efektivita je mírou hospodárnosti využití vložených prostředků, porovnává tedy výstupy a vstupy projektu a udává, do jaké míry dosažené výstupy odpovídají hospodárnému využití finančních, lidských a materiálních vstupů. Přehled částek alokovaných na realizaci projektu z rozpočtu Ministerstva ČR je uveden v Příloha 4a: Rozpočet nákladů (výdajů) projektu „Ostrov Naděje sirotkům z Chennai“. Hodnocení efektivity projektu lze v tomto případě provést posouzením jednotkové ceny za výstup. Efektivitu projektu při zvážení celkových nákladů ve vztahu k rozsahu výstupů a času realizace projektu můžeme předběžně zhodnotit pozitivně. V rámci evaluace projektu nevzniklo podezření z neefektivního nakládání s finančními prostředky.
Vyhodnocení projektu z hlediska dopadů a jejich udržitelnosti Přes všechna počáteční úskalí proběhla koordinace v prvním roce realizace projektu dobře. Koordinátory strávili plné dva měsíce prací na řízení projektu přímo v místě realizace. V období jejich nepřítomnosti byla koordinace kvalitně zajišťována pracovníky partnerské organizace AID INDIA. Díky časté a kvalitní komunikaci se po celou dobu dařilo projekt úspěšně řídit. Co se týče péče o děti, realizátoři se snažili poskytnout jim nadstandardní péči. V sirotčinci je vytvořeno rodinné prostředí, které dá dětem základy rodinného soužití, vysvětlí pojem rovnosti pohlaví, nediskriminace a tolerance, naučí je vztahům v rodině, poskytne prostor pro podíl na zajištění každodenních povinností. Lze předpokládat také další kontakt s dětmi i po dovršení jejich dospělosti. Plánuje se vytvořit takové zázemí, aby děti mohly zůstat do doby, než se skutečně osamostatní. Důležitým v celém projektu je také integrační prvek, který se spočívá v tom, že se vedle sebe bydlí děti různého pohlaví, věku a kast. V oblasti jižní Indie v posledních letech došlo k značnému posunu v boji proti kastovému rozdělení obyvatelstva. Proto se dá říci, že systém sirotčince se nijak nedostává do rozporu s
- 44 -
místním veřejným míněním a pokračuje v této již započaté linii kampaní a projektů pro odstranění kastového členění vůbec. Zaměstnaný personál a proškolení dobrovolníci zajišťují kvalitní péči, dobrou administrativní koordinaci chodu sirotčince, zajímavou a kvalifikovanou výuku, volnočasové aktivity: semináře, besedy, hry, výlety, hodiny umění, sportu apod.
a) Podpora projektu ze strany země příjemce Ze strany země příjemce byl projekt plně podpořen nevládní neziskovou organizací AID INDIA, která působí v Indii v rámci projektů rozvojové pomoci. Tato organizace poskytla pozemek na výstavbu a provozování sirotčince, řešila stavbu
a
provoz
sirotčince
v souladu
se
smluvenými
podmínkami.
V dlouhodobém horizontu se zavázala společně s Humanistickým Centrem Narovinu provozovat a zajišťovat chod sirotčince.
b) Vlastnictví projektu příjemci Vlastníkem sirotčince a pozemku jsou společně organizace Aid India a Humanistické Centrum NAROVINU. Jak jednoznačně vyplývá ze smlouvy mezi těmito dvěma organizacemi, účel objektu a všeho poskytnutého zařízení a vybavení je neměnný a doživotně daný. Pozemek je poskytován bezplatně na dobu neurčitou a výhradně za účelem nevýdělečné činnosti.
c) Sociální a kulturní faktory Přestože Indie v posledních letech vykazuje stále se zlepšující hospodářské výsledky, na životních podmínkách mohutné chudé vrstvy Indů to nic nemění. Protože se projekt týká především dětí, průzkum místních sociálních a kulturních faktorů byl zaměřen především na situaci dětí. Ta byla ihned po prvních pohledech shledána velmi neuspokojivou. Oficiálně je v zemi zavedena povinná školní docházka, ovšem v praxi je to zatím nedosažitelný cíl pro sto procent dětské populace. Místní ani zahraniční firmy se nezdráhají zaměstnávat dětské dělníky a to dokonce v nočních hodinách. Tato praxe bohužel není žádnou tajností ani odsuzovanou věcí, jelikož ze strany chudých rodin je zaměstnání dalšího člena rodiny bráno jako velké štěstí a pomoc do tenkého - 45 -
rodinného rozpočtu. Tento problém nečeká rychlé řešení, avšak vyžaduje hlubší přípravu a především práci s konkrétními lidmi, jak zaměstnavateli tak rodinami, tak místní politickou reprezentací. Projekt, který jednoznačně, rychle a efektivně přispívá k postupnému odbourání dětské práce je "Adopce indických dětí - projekt pomoci na dálku". Z dlouhodobé zkušenosti Humanistického centra Narovinu s tímto projektem v Africe, jednoznačně vyplývá, že projekt řeší situaci dětí, které by jinak byly vystaveny hrozbě nutnosti stát se předčasně zaměstnanými. Takže z hlediska sociálních a kulturních faktorů lze situaci pro dlouhodobou udržitelnost projektu zhodnotit jako bezproblematickou. Projekt se všemi svými aspekty byl místní komunitou přijat velmi dobře. Také z hlediska zapojení se členů místní komunity do projektu, lze situaci zhodnotit jako udržitelnou.
d) Rovný přístup mužů a žen Dle oficiálních statistik, stejně tak jako z pozorování, jednoznačně vyplývá, že situace postavení žen v Indii má velmi daleko do situace rovných příležitostí či nediskriminace. Sami Indové říkají, že narodit se v Indii jako dívka znamená narodit se s postižením… - velkým problémem v Indii je též domácí násilí páchané na ženách. Dle statistiky Profemu 41% sebevražd žen v Indii zavinilo domácí násilí,19 - kvůli společenskému systému, který je především pro ženy stále velmi striktní s řadou omezení, je převážné většině žen naprosto odepřena svoboda na výběr partnera, svoboda rozhodnutí o počtu narozených dětí a tak podobně. Budoucí manželé žádají na rodinách svých snoubenek vysoká věna a proto je velký počet dívek z této soutěže předem vyřazeno kvůli špatné finanční situaci partnera, - vláda se snaží podnikat některé kroky k nápravě této zoufalé situace. Jedním z těchto kroků je například zákaz zjišťování pohlaví plodu před narozením. (Důvodem tohoto zákazu byl obrovský počet žen, donucených tlakem rodiny k potratu, z důvodu že narozeným dítětem mělo být děvče). Dalším zajímavým krokem indické vlády je podpora ženských spolků a samoorganizovaných ženských družstev, poskytujících ženám alespoň malou možnost se ekonomicky osamostatnit. 19
viz. statistiky Profem, Konzultační středisko pro ženské projekty
- 46 -
Z důvodů rozepsaných výše bylo rozhodnuto umístnit do zařízení převážně dívky, které jsou v indické společnosti vystaveny větší diskriminaci a není pro ně tak jednoduché, stát se samostatnými a nezávislými.
e) Vhodná technologie ¾ Správné umístění, infrastruktura Pozemek byl vybrán po úvaze jako nejvhodnější z několika nabízejících se variant. Budova sirotčince je umístněna přímo ve městě Virudhunagar. Stojí samostatně bez nejbližší návaznosti na rušné centrum města. Nedaleko od budovy je silnice, která umožnila a umožňuje bezproblémovou dodávku stavebních materiálů a příslušenství do sirotčince. Zásobování vodou bylo vyřešeno výtlačným systémem, který je napojen na nejbližší pumpu ve městě Virudhunagar. V místě stavby byla vybudována dešťová kanalizace. K objektu náleží zahrada a přední dvůr, který je oplocen. Tím bylo vytvořené chráněné místo pro hry, provádění seminářů a přednášek. ¾ Stavba Plány byly zpracované jedním z dobrovolníků, místním architektem ve spolupráci s architektonickou firmou, v níž je zaměstnán. Ostatní práce vykonával místní tým stavebníků. S technickým zajištěním sirotčince: vnějším vzhledem, úpravou interiéru a barevnosti budovy pomáhali studenti-dobrovolníci a pracovníci AID INDIA. Vhodně zvolené materiály na stavbu a vybavení sirotčince zajišťují dlouhou životnost, vysokou stabilitu a odolnost vůči vodě a povětrnostním podmínkám. Kvalita konstrukce byla neplánovaně poprvé prověřena na konci roku, kdy velkou část státu Tamil Nadu zastihly povodně. Povodeň bohužel zasáhla i město Virudhunagar, práce na sirotčinci musela být na určitou dobu zastavena, denně dělníci pracovali na odčerpávání vody z místa stavby. Po opadnutí vody se
- 47 -
potvrdilo, že stavba byla provedena skutečně kvalitně. Nedošlo totiž ani k minimálnímu poškození stavby.
Budova má 3 patra. V přízemí je kuchyň a jídelna. První a druhé patro slouží jako ložnice. Ve třetím patře je vzdělávací středisko, knihovna a studovna.
f) Dopady na životní prostředí Projekt sirotčince a vzdělávacího střediska byl navržen tak, že v
žádném
případě nedochází k žádnému zatížení životního prostředí. Několik metrů od pozemku sirotčince zřizujeme malou zvířecí farmu, která umožní bezproblematické zpracování všech zbytků potravinového původu. Všechen odpad nebiologického charakteru bude zpracován metodami co nejméně zatěžující životní prostředí.
g) Ekonomická a finanční životaschopnost projektu Za hlavní faktor udržitelnosti celého projektu „Ostrov naděje sirotkům z Chennai“ lze považovat systém získávání finančních prostředků od konkrétních dárců z České republiky a Itálie v rámci projektu "Adopce indických dětí - projekt pomoci na dálku". Jeho africká obdoba již v rámci činnosti Humanistického centra NAROVINU funguje v Keni. Projekt probíhá především na bázi dobrovolnické činnosti. "Adopce indických dětí -projekt pomoci na dálku": o Pro 80 vytipovaných sirotků bude zajištěno školné, školní uniforma, všechny učební pomůcky, lékařská péče, strava atd. o „Adoptivní rodina“, což může být jednotlivec, skupina lidí, rodina, organizace nebo firma, hradí dítěti tyto náklady a tím mu pomáhá dosáhnout alespoň minima životních podmínek. o
Peníze se budou posílat přímo našim organizátorům v místě, kteří dětem nakoupí vše potřebné, zařídí zápis do školy, zaplatí za ně školné, zajistí stravu a chod sirotčince.
o
Od dítěte adoptivní rodič bude pravidelně dostávat informace, obrázky apod. A samozřejmostí je vysvědčení ze školy.
- 48 -
o
Zajištění dokumentaci (fotografie, video) jednotlivých dětí o průběhu jejich života. Druhým hlavním faktorem udržitelnosti je skutečnost, že projekt není
závislý na jediném zdroji finančních prostředků, nýbrž na spolupráci a finanční podpoře mnoha zainteresovaných stran. Do projektu jsou ve vysokém zastoupení zapojeni dobrovolníci, a to na všech úrovních. Tím pádem projekt není dlouhodobě ohrožen nedostatkem financí pro zaměstnání řešitelského týmu. Významným zdrojem financí je také výtěžek z veřejné sbírky zřízené k účelu rekonstrukce tsunami postižených oblastí. Dalšími faktory udržitelnosti projektu jsou činnosti a aktivity, které nevyžadují finanční prostředky. Například volnočasové aktivity dětí prováděné místními dobrovolníky. Dále oslovení sponzorů, médií a organizací přímo v místě projektu, které též prováděno jak dobrovolníky na místě, tak dobrovolníky z Evropy, kteří se rozhodnou pro stáž v Indii. V případě technického zajištění chodu sirotčince (úprava interiéru, pozemku v okolí stavby, pomoc s denními povinnostmi v chodu zařízení) se též zapojí velký počet dobrovolníků. A nakonec koordinace pokračující kampaně humanistického hnutí "Srdce pro Asii" je prováděna zcela dobrovolně. - oslovování sponzorů (Jak v ČR tak v Indii a Itálii) - pořádání benefičních akcí (koncerty, výstavy, přednášky, promítání s besedami) - přednášky ve školách, spolupráce s českými školami - publikace a distribuce materiálů o projektu a kampani - koordinace pokračující veřejné sbírky v rámci kampaně "Srdce pro Asii" - drobné sbírky (věcné i peněžní)
Shrnutí výsledků evaluace Projekt „Ostrov naděje sirotkům z Chennai“ lze předběžně hodnotit celkově jako velmi uspokojivý. Projekt je relevantní k podpoře udržitelného rozvoje partnerské země a naplňuje význam rozvojové spolupráce svým zaměřením na zlepšení dostupnosti vzdělání a rozvoje lidského potenciálu.
- 49 -
Je předpokládáno, že všechny přínosy projektu neztratí své opodstatnění a budou dalším vodítkem, vzorem a příkladem pro nastartování nových, užitečných, efektivních projektů, kampaní a aktivit. A že celkové oživení regionu, a celkové zlepšení situace nejchudších vrstev tamního obyvatelstva se projeví v ještě větší angažovanosti a aktivnějším zapojení do rozvoje oblasti. Rizika, která nelze předvídat, jsou živelné katastrofy. Na události typu povodní či zemětřesení není bohužel tamní infrastruktura dostatečně připravená, proto rekonvalescence po takových katastrofách bývá o něco delší, než v plně rozvinutých státech.
Doporučení Jednotlivé fáze plnění projektu byly monitorovány a kontrolovány pracovníky Humanistického centra Narovinu a indickou organizací AID INDIA. Spolupráci lze charakterizovat jako vysoce efektivní. V rámci doporučení nápravných opatření je potřeba zmínit posílení koordinační role ze strany obou organizaci, nutnost vybudování ještě širšího týmu, který by nesl odpovědnost za kvalitu realizovaného projektu a jednotlivé aktivity. Doporučuje se také zahájit neprodleně jednání o možnostech získat pro projekt finanční zdroje z místních zdrojů i ze zdrojů mezinárodních organizací, případně formou sponzoringu od místních firem. Rovněž se považuje za důležité posílit vazby škol a místních komunit a vytvářet dlouhodobá partnerství na vzájemně prospěšné bázi (výuka dospělých). Je třeba
stanovit
objektivně
ověřitelné
indikátory
úspěchu
projektu
v jednotlivých oblastech a kvantifikovat jejich současné i cílové hodnoty, společně s přibližným časovým horizontem jejich dosažení tak, aby bylo možné objektivněji hodnotit úspěšnost projektu ve střednědobém horizontu.
- 50 -
Závěr
Dan Stufflebeam, předseda Komise pro standardy v USA, řekl: „Evaluace by se neměla vůbec konat, není-li žádná šance, že se někomu přinese prospěch“. Je zřejmě, že bez zlepšování rozvojové spolupráce, je samotná realizace projektů plýtváním zdrojů. Jaká je tendence součastného systému? Hlad, chudoba, chaos, konflikty, násilí, opuštění lidé… Tato tendence je silnější více než kdykoliv předtím. Veřejné ani soukromé sektory se dostatečně nezajímají o eliminaci rostoucí destrukce. NGO se starají o chudé, ale nejsou schopny uskutečnit opravdu významné změny. Když vezmeme v úvahu, že systém vytváří stále větší nezaměstnanost a chudobu, pak počet lidí, kteří zůstanou beze péče, bude stále narůstat. Je načase, aby si toto lidé uvědomili a začali se snažit uspokojovat své potřeby sami. Proto je důležité začít vytvářet takové dlouhodobé a životaschopné projekty, které si kladou za cíl nejenom uspokojit základní lidské potřeby, ale nastartovat nový systém, kde platí přísloví : “Když někomu daruješ rybu, nasytíš ho na jeden den, ale když ho naučíš rybařit, nasytíš ho na celý život“. V této práci jsem se pokusila popsat ZRP skrz zefektivnění a zkvalitnění evaluace rozvojových projektů, kde je potřeba, aby se její výsledky zveřejňovaly a využívaly ke zdokonalování řízení a personálního zajištění rozvojové spolupráce. Cílem práce bylo také ukázat, jak velká a do jaké míry efektivní je úloha EVALUACE. Problematiku hodnocení lze zkoumat z mnoha pohledů, pokusila jsem analyzovat důležitost chápání všech základních pojmů a rozvojových záměrů, důležitost dodržování postupů a metod. Důraz se kladl nejen na seznámení s konstruktivním schématem evaluace, ale zejména na základě konkrétního rozvojového projektu provést čtenáře praktickou cestou kladných a záporných zkušeností v realizaci „Ostrov naděje sirotkům v Chennai“. Zmapování různých problémů, se kterými se rozvojové projekty potýkají (systém jednoletého financování, nedostatečná komunikace realizátorů s partnerskou stranou aj.), pomáhá nalézt nejlepší cestu ke zdokonalování rozvojového řetězce
- 51 -
spolupráce
mezi
realizátory,
zájmovými
skupinami
projektu,
nevládními
organizacemi, státní správou a mnohými dalšími aktéry. Domnívám si, že máme nejlepší potenciál ve formování postupů a metod evaluačních výstupů, v aktivním rozšiřování a zapojování zainteresovaných stran a v implementaci závěrů a doporučení z minulých zkušeností. A to je jeden z nejdůležitějších indikátorů úspěchu rozvojové spolupráce, aby naplnila svůj skutečný záměr. Podle mého názoru je to náročná a odvážná výzva, navíc nikdo neposkytuje záruku, že to, co se navrhuje, bude bez chyb, ale určitě se vyplatí to zkusit. Protože naším společným cílem je, aby jednoho dne nebyla zapotřebí žádná rozvojová pomoc a spolupráce států byla postavena na skutečné svobodě rozhodování, zodpovědnost, vzájemné důvěře a dodržování všech práv.
- 52 -
Literatura: • • • • • • • • • • • • • • • • • • • • • • •
Bennet, N., Glatter, R., Lavaric, R.: Improving Educational Management. London 1994, Paul Chapman Publishing, ISBN: 1-85396-277-5 DANIDA Evaluation Guidelines. 2 vyd., Copenhagen, DANIDA, 2001. ISBN: 87-7964-087-7 Evaluation Feedback for Effective Learning and Accountability – Workshop Report and Background Synthesis Report, 1.vyd., Paris, OECD-DAC 2001. ISBN 92-64-19454-1 Handbook on Monitoring and Evaluation for Results. New York, UNDP Evaluation Office, 2002 Human Development Report 2003. Rozvojový program OSN Husáková, Regina: Hodnocení rozvojových projektů jako součást managementu projektového cyklu. Diplomová práce. Praha, 2005 Karel, Rýdl: K pojetí kvality ve školství a jejímu hodnocení. e-Pedagogium, 2002, roč. 2, č. 1 - mimořádné, ISSN 1213-7758. str. 118-119 Komise pro globální řízení: Naše globální sousedství. Praha, Rada pro mezinárodní vztahy, 1995 Koncepce zahraniční rozvojové pomoci ČR 2002–2007, UV č. 91 ze dne 23.1.2002 Ladislav, Tondl: Hodnocení a hodnoty. Filosofia, 1999, ISBN: 80-7007131-1 Looking Back, Moving Forward – SIDA Evaliation Manual. Stockholm, SIDA, 2004. ISBN 91-586-8462-X Manual – Project Cycle Management. Brussels, European Commission, 2001 Manuál projektového cyklu ZRS ČR, Ústav mezinárodních vztahů pro MZV ČR, Praha 2006, ISBN 80-86506-50-9 Monitoring & Evaluation: Some Tools, Methods & Approaches. Washington, World Bank, 2004 Monitoring and Evaluation Training Guide, UNDP Roční zpráva o realizaci projektu ZRS„Ostrov Naděje“ sirotkům z Chennai. Praha, Leden 2006 Participation in Monitoring and Evaluation of PRSPs, The Participation and Civic Engagement Group, Social Development Department, World Bank, 2003 Patton, Michael Quinn: How to Use Qualitative Methods inEvaluation. 2 vyd., London, Sage, 1987. ISBN 0-8039-3129-8 Zpráva o zahraniční politice České republiky, 1. vyd., Ústav mezinárodních vztahů, 2005, ISBN: 80-86506-51-7 SIDA Evaluation Manual, Edita, Stockholm, 2004. ISBN: 91-586-8462-X Usnesení vlády České republiky ze dne 31.března 2004 č.302 o Zásadách zahraniční rozvojové spolupráce České republiky po vstupu do EU Výroční zpráva Humanistického centra Narovinu. Praha, 2003 Zpráva z evaluace projektu rozvojové spolupráce České republiky s Keňou „Elektřina ze slunce pro školy v Keni“, květen 2006
- 53 -
Internetové zdroje: •
http://europa.eu.int/comm/development/ - Stránka EU věnovaná rozvojové spolupráci
•
http://moderniobec.ihned.cz/1-10004960-13050590-C00000_detail-4d Marek, Jetmar. Ministerstvo pro místní rozvoj
•
http://www.mzv.cz/pomoc - Informace o zahraniční rozvojové pomoci ČR, Ministerstvo zahraničních věcí ČR http://www.strukturalnifondy.cz/evaluace- Eva, Píšová; David, Grolig: Evaluace
• • •
http://www.rozvojovestredisko.cz/ evaluace.php - Rozvojové středisko, Ústav mezinárodních vztahů http://www.osn.cz/publikace/fakta-a-cisla-osn/ - Fakta a čísla OSN, publikace
•
http://www.esfcr.cz – Evropský Sociální Fond
•
http://ec.europa.eu/comm/europeaid/evaluation/index.htm- Evaluace v EU
- 54 -
Zkratky DAC - Development Assistance Committee – Výboru pro rozvojovou pomoc EU – Evropská unie MDG – Millenium Development Goals – Rozvojové cíle tisíciletí MZVČR – Ministerstvo zahraničních věcí České republiky NGO – Non-Govermental Organization - Nevládní nezisková organizace NGDO - Non-Governmental Development Organisation – Nevládní nezisková rozvojová organizace ODA-Official Development Assistance - Oficiální rozvojová pomoc (směřuje do rozvojových zemí) OECD - Organization for Economic Cooperation Development- Organizace pro hospodářskou spolupráci a rozvoj OSN – Organizace spojených národů PCM- Project Cycle Management - Řízení projektového cyklu RS ÚMV - Rozvojové středisko při Ústavu mezinárodních vztahů UNDP - United Nation Development Programme- Rozvojový program OSN ÚMV – Ústav mezinárodních vztahů ZRP- Zahraniční rozvojová pomoc ZRS- Zahraniční rozvojová spolupráce
- 55 -
Příloha 1: Osnova evaluační zprávy Titulní strana Identifikační formulář Obsah 1. Shrnutí 2. Stručná informace o projektu 2.1 Rozvojový kontext 2.2 Stručný popis projektu (logistický rámec) 2.3 Realizátor a partnerské instituce 2.4 Vývoj realizace projektu (věcná náplň, časový harmonogram) 2.5 Přehled financování projektu 3. Stručná informace o evaluaci 3.1 Metody evaluace 3.2 Evaluační tým 4. Výsledky evaluace 4.1 Vyhodnocení projektu z hlediska relevance 4.2 Vyhodnocení projektu z hlediska efektivnosti 4.3 Vyhodnocení projektu z hlediska efektivity 4.4 Vyhodnocení projektu z hlediska dopadů a jejich udržitelnosti 4.5 Shrnutí výsledků evaluace 5. Doporučení 5.1 Doporučení týkající se hodnoceného projektu 5.2 Doporučení týkající se evaluace 5.3 Obecná doporučení Doporučené přílohy: Přehled použitých zkratek Logický rámec hodnoceného projektu (nebo revidovaný logický rámec projektu) Zadání evaluace Použité zdroje informací Program evaluace (přehled uskutečněných jednání a návštěv) Výsledky měření, statistická data ap. Fotodokumentace, mapová schémata a další relevantní dokumentace
- 56 -
Příloha 2: Titulní strana evaluační zprávy „Ostrov Naděje sirotkům z Chennai“
ZPRÁVA Z EVALUACE PROJEKTU ROZVOJOVÉ SPOLUPRÁCE ČESKÉ REPUBLIKY S INDIÍ „Ostrov Naděje“ sirotkům z Chennai
Leden 2006, Praha
- 57 -
Příloha 3: Identifikační formulář evaluační zprávy „Ostrov Naděje sirotkům z Chennai“ Název projektu:
Číslo projektu:
Vychází z označení vyhlášeného tématu humanitární pomoci.
přiřazeno zadavatelem
„Ostrov Naděje“ sirotkům z Chennai 01/05/TSU/HP
Sledovaný rok: 2005-2006 Partnerská země:
Místo realizace projektu:
oficiální název země, v níž je projekt realizován
Provincie/ okres/ lokalita, v níž je projekt realizován
Indie
Stát Tamil Nadu, Virudhunagar
Gestorské rezortní ministerstvo:
Sektorová orientace projektu:
Ministerstvo zahraničních věcí ČR
Sociální oblast, Humanitární projekt pomoci ČR zemím postiženým vlnou tsunami
Datum zahájení projektu: měsíc / rok
BŘEZEN, 2005
Předpokládané datum ukončení projektu: měsíc / rok
PROSINEC, 2006
Celková výše prostředků na projekt z Celková výše prostředků na projekt včetně humanitární pomoci ČR (Kč): spolufinancování (Kč): 1 999 900,-
2.876 600,-
Realizátor projektu: organizace / odpovědný řešitel (jméno, adresa, kontakty): název, typ, poštovní a webová adresa organizace; jméno a pozice odpovědného řešitele, telefon, fax, e-mail
HUMANISTICKÉ CENTRUM NAROVINU,o.s. Na Slupi 5, Praha 2, 128 00, www.adopceafrika.cz, Dana Feminová, předseda o.s., tel. 777 711 911, [email protected] Partnerská organizace v zemi realizace projektu (jméno, adresa, kontakty): název, typ, poštovní a webová adresa organizace; jméno a pozice odpovědného zástupce, telefon, fax, e-mail
AID INDIA, NGO, 9, Rice Shop Street, Satankulam, Thoothukudi District, Tamilnadu, India – 628 704, Tel/Fax: +91 46 39 26 75 19, http://interconnection.org/aidindia/ S. Peter Raj – General Secretary, Mobile: + (91) 94420 79681, [email protected] SHRNUTÍ VÝSLEDKŮ EVALUACE: Celkové hodnocení Relevance Efektivnost Efektivita Udržitelnost_________________________________________________________________ Místo, datum, jméno a podpis zpracovatele zprávy – odpovědného řešitele:
Praha, 26.01.2006, Světlana Kniazeva, Ivona Novomestská
- 58 -
Příloha 4: a) Rozpočet nákladů (výdajů) projektu „Ostrov Naděje sirotkům z Chennai“ b) Časový harmonogram aktivit projektu „Ostrov Naděje sirotkům z Chennai“ Částky Vyčerpáno k Žádáno z rozpočtu čerpání v roce MZV(Kč) v roce 2005 2006
Název položky
knihy – učebnice pro školu tiskoviny – materiál pro školení dobrovolníků, tiskoviny pro projekt Adopcí učební pomůcky – tabule, mapy, plakáty k výuce… 80000
80000
0
0 0 0 55000 15000 15000 15000 20000 20000 0
0 0 0 55000 15000 15000 15000 20000 20000 0
0 0 0 0 0 0 0 0 0 0
860000 20000 40000 35000 40000
860000 20000 40000 35000 40000
0 0 0 0 0
0 15000
0 15000
0 0
nájemné a služby spojené (pronájem prostor na školení a ubytování koordinátorů) 30000
30000
0
30000
20000
Drobný hmotný majetek pro Indii: počítač – notebook: 38 000 digitální videokamera: 30 000 digitální fotoaparát : 15 000 nábytek: stoly, židle, postele…75 000 vybavení kuchyně: 15 000,vybavení sociálního zařízení: 15 000 počítače : 3 x 15 000= 45 000,nářadí, nástroje, pracovní pomůcky spotřeba energií (elektřina, voda) pohonné hmoty spotřeba materiálu: mal.barvy a stavební materiál na výstavbu ubytovací části sirotčince a dokončení budovy školy, jídelny a kuchyně: 980 000 kancelářské potřeby: 40 000 matrace, deky, ložní prádlo: 40 000 oblečení- školní uniformy: 55 000 sportovní náčiní a hračky: 80 000 Náklady (výdaje) na služby celkem: Poštovné telekomunikační poplatky
konzultační, poradenské a právní služby (informační a propagační kampaň – inzerce, pronájem reklamních ploch, grafické a reklamní služby)
- 59 -
50000
školení, kurzy (školení dobrovolníků – náklady na školitele) 0 zpracování dat – grafické služby, zpracování materiálu pro prezentační CD a videoprezentaci) 0 opravy a udržování 0 Drobný nehmotný majetek Cestovné – 5 x letenka 150000 doprava materiálu – odvoz stavebního materiálu a vybavení na místo 20000 Ostatní služby: lékařské vyšetření 80 sirotků z Chennai a očkování 46400 Mzdové a osobní náklady (výdaje) celkem: hrubé mzdy 216000 pojistné (odvod zaměstnavatele) 75500
0
0
0 0
0 0
150000
0
20000
0
0
46400
216000 75500
0 0
0 1751500
182000 248400
ostatní osobní náklady – Indie 3x učitel (30 000 na osobu) 2 x vychovatel (26 000 na osobu) 2 x pomocný personál v sirotčinci (20 000 na osobu) 182000 1999900
Rozpočet projektu celkem (Kč)
ČASOVÝ HARMONOGRAM AKTIVIT PROJEKTU na rok 2006 Předpokládaný kalendářní měsíc / rok Aktivity / měsíce od zahájení projektu 01 02 03 04 05 06 07 08 09 10 (dle tabulky výstupů a finančníhorámce) 9 9 9 9 9 9 9 9 9 9 Řízení projektu Cíl 1 Dokončení projektu z roku05 Výstup 1.1 Zjištění zdravotní situace, lékařské vyšetření dětí 9 9 9 Aktivita 1.1.1 Ošetření a naočkování 80 sirotků Aktivita 1.1.2 Výstup 1.2 Zajištění chodu sirotčince 9 9 9 9 9 Aktivita 1.2.1 Proškolení a zaměstnání personálu Aktivita 1.2.2 Výstup 1.3 Úspěšná informační kampaň o projektu 9 9 Aktivita 1.3.1 Příprava, publikace a 9 9 9 9 9 9 9 9 distribuce materiálů k propagaci projektu "Adopce indických dětí projekt pomoci na dálku" 9 9 Aktivita 1.3.2 Inzerce a nalezení 9 9 9 9 9 9 9 9 konkrétních dárců a sponzorů do projektu, oslovení českých adoptivních rodičů
- 60 -
11
12
9
9
9
9
9
9
9
9
Příloha 5: Fotodokumentace projektu „Ostrov Naděje sirotkům z Chennai“
- 61 -
Příloha 6: Metoda celkového hodnocení projektu na základě výsledků evaluace
Zdroj: Manuál projektového cyklu ZRS ČR, údaje za rok 2006
- 62 -
Příloha 7: Tabulka při evaluaci jednotlivých aspektů rozvojových intervencí
Zdroj: Manuál projektového cyklu ZRS ČR, údaje za rok 2006
- 63 -
Příloha 8: Identifikační formulář evaluační zprávy
Zdroj: Manuál projektového cyklu ZRS ČR, údaje za rok 2006
- 64 -
Příloha 9: Vysvětlení vybraných anglických termínů Activity / activities
smysluplné činnosti cíleně zaměřené na realizaci konkrétního výstupu rozvojového projektu
Activity cluster Activity schedule
seskupení aktivit příbuzného charakteru časový plán aktivit (často graficky zpracovaný harmonogram), které lze snadno monitorovat z hlediska průběžného řešení projektu komplexní posouzení navrhovaného projektu podle rozhodujících kritérii (většinou proveditelnost, relevance, efektivita a udržitelnost); jinak též třetí etapa projektového cyklu
Appraisal
Assumptions Benefit Beneficiary Budget Budget line Civil society Commitment
Contractor
Costs Country Strategy
Development assistance
předpoklady - "pozitivní" externí faktory nezbytné pro úspěšnou realizaci projektu přínos projektu příjemce pomoci - cílová skupina, pro kterou jsou určeny přínosy projektu (strukturovaný) rozpočet položka rozpočtu občanská společnost závazek (rovněž se používá ve smyslu rozhodnutí Komise z hlediska alokace fondů); dřívější označení čtvrté etapy projektového cyklu (schválení projektu k financování; nyní "financing") smluvní partner - subjekt odpovědný za realizaci projektu (používá se často v rozvojových projektech i jako sub-contractor, dodavatel dílčích částí projektu) finanční náklady strategie dárce vůči příjimatelské, partnerské zemi - základní podklad pro přípravu projektů rozvojové pomoci pro příslušnou zemi; používá se též country support strategy nebo country strategy paper (výstup první etapy projektového cyklu - "programming") rozvojová pomoc
Development awareness
rozvojové povědomí, povědomí o problematice rozvojových zemí a aktivitách rozvojové pomoci
Development cooperation
rozvojová spolupráce
Development constituency
rozvojová konstituence, platforma
Development education
rozvojová výchova
Development intervention
souhrnný termín pro rozvojové aktivity - projekty a programy
Development objective
rozvojový záměr projektu, programu
Development studies
rozvojová studia, vzdělávání
- 65 -
Donor EDF Effectiveness Efficiency Evaluation
Feasibility Feasibility study Financing Gender
Gender analysis Hierarchy Identification Immediate objective Impact Implementation Inception report
Indicative programming figures In kind inputs Inputs Integrated approach LFA Means Milestone
dárce European Development Fund - Evropský rozvojový fond efektivnost - vztah výstupů a cílů projektu a jejich vliv na rozvojový záměr (účelnost) efektivita - účinné využití vstupů pro realizaci výstupů (hospodárnost) periodické hodnocení účelnosti, hospodárnosti, relevance, dopadů či udržitelnosti projektu (v průběhu i po ukončení projektu); poslední šestá etapa projektového cyklu (má přinést využití zkušeností) proveditelnost (dosažitelnost výstupů projektu při zohlednění potřebných vstupů, daných podmínek a nezbytných předpokladů) studie proveditelnosti (někdy i pre-feasibility study - předběžná studie proveditelnosti) financování; čtvrtá etapa projektového cyklu (schvalování finančních prostředků pro projekt) pohlaví, termín se používá v rozvojových projektech ve smyslu prosazování rovnoprávnosti mužů a žen, resp. odstraňování diskriminaci žen analýza dopadů a přínosů projektu pro jednotlivé skupiny a možností rovnoprávného zapojení mužů a žen do projektových aktivit používá se obvykle ve smyslu hierarchie záměru, cílů, výstupů, aktivit a vstupů rozvojového projektu identifikace projektových námětů - příprava a předběžné posouzení koncepce projektu; druhá etapa projektového cyklu bezprostřední cíl projektu, k jehož dosažení mají přispět vyprodukované výstupy vliv, dopad projektu (vztažený zejména k realizačním výstupům) vlastní realizace projektu; spolu s nezbytným monitoringem pátá etapa projektového cyklu úvodní zpráva projektu, která v návaznosti na odsouhlasené financování a uzavřené smluvní vztahy umožňuje upřesnění rozsahu či harmonogramu projektových aktivit orientační plánovací ukazatele
dobrovolné, většinou nehmotné vklady a příspěvky mimo rozpočet ODA všechny finanční, lidské či materiální vstupy nezbytné pro realizaci aktivit a zpracování výstupů projektu integrovaný přístup k posuzování relevantnosti, proveditelnosti a udržitelnosti všech fází projektového cyklu Logical Framework Approach (logframe) - metodika plánování, řízení a hodnocení projektů z hlediska jejich logických vazeb prostředky, zdroje milník, kontrolní bod umožňující sledování průběžných výsledků projektu
- 66 -
Monitoring
Objective Output OVI PCM
Pre-conditions Pre-feasibility study Problem Analysis Programme Programming
Progress report Project Quality plan Quality assurance ROM Resource Resource schedule
systematické sledování a vyhodnocování průběhu projektu a jeho souladu s projektem; součást páté - realizační etapy projektového cyklu definovaný cíl programu nebo projektu, ke kterému směřují příslušné výstupy a aktivity realizační výstup Objectively Verifiable Indicators - objektivně ověřitelné ukazatele dosažení výsledků projektu (tj. výstupů, bezprostředních cílů a záměru) Project Cycle Management - metodika pro přípravu, realizaci a hodnocení projektů; uvádí se 6 fází projektového cyklu: Programming Identification - Appraisal - Financing - Implementation & Monitoring Evaluation vstupní předpoklady (musí být splněny před zahájením projektových aktivit) předběžná studie proveditelnosti - je podkladem pro rozhodnutí, zda (ev. jak) má být projektový námět dále rozpracováván analýza problémů, stanovení jejich příčin a následků a určení prioritních problémů, k jejichž řešení má rozvojový projekt přispět program - množina rozvojových projektů s jednotným rozvojovým záměrem strategické plánování - příprava strategických rozvojových programů pro jednotlivé země případně pro jednotlivé sektory; úvodní etapa projektového cyklu průběžná zpráva projektu popis a zdůvodnění plánovaných aktivit a potřebných zdrojů, s konkrétní specifikací výsledků realizace plán řízení kvality (pří použití metodiky EU je založen na 8 hlavních ukazatelích) zajištění kvality (rozvojových projektů) Result Oriented Management - řízení projektů prioritně zaměřené na dosažení výstupů zdroj, prostředky časový rozvrh čerpání rozpočtu (ve vztahu k realizaci aktivit)
Risks
externí faktory, které mohou negativně ovlivnit průběh či úspěšnost projektu
Sources of verification
podklady, na základě kterých lze ověřit dosažení stanovených ukazatelů (indikátorů) pro jednotlivé úrovně projektu zainteresovaná strana - v daném případě jednotlivec či zájmová skupina v rámci rozvojové konstituence nebo konkrétní rozvojové aktivity identifikace všech subjektů, které mají či mohou být ovlivněny realizací projektu nebo které mají či mohou realizaci projektu ovlivnit
Stakeholder Stakeholder analysis Start-up period
počáteční etapa projektu (obvykle až do prvního příjezdu řešitele do terénu)
- 67 -
Strategic framework
koncepce rozvojové intervence
Sustainability
udržitelnost - pokračování přínosů projektu po dostatečně dlouhou dobu po ukončení jeho financování či technické asistence Strengths, Weaknesses, Opportunities and Threats Analysis - analýza slabých a silných stránek, příležitostí a hrozeb souvisejících s řešenou problematikou (zejména s institucionálním zabezpečením)
SWOT Analysis
Target group Technical assistance TOR
cílová skupina (která bude pozitivně ovlivněna realizací projektu) rozvojová pomoc zaměřená na přenos znalostí a zkušeností (většinou formou konzultačních a poradenských služeb) Terms of Reference - zadání projektu nebo subdodávky
Zdroj: ODA, 2005
- 68 -
- 69 -
