___________________________________ ___________________________________ ___________________________________ 11.10.2013
___________________________________ ___________________________________ ___________________________________ ___________________________________ ___________________________________
Blok 1: Úvod do problematiky 10.xx – 11.00 Rozvoj a instituce 11.00 – 11.20 Atribuce vs. kontribuce 11.20 – 12.00 Outcome Mapping Blok 2: OME Dílna 12:00 -13.00 Projekty/programy a teorie změny 14.00 -14.30 Indikativní analýza přínosů (outcomes) 14.30 -15.00 Kategorizace přínosů dle OME Blok 3: Aplikace 15.00 -16.00 Design OM Evaluace a klíčové prvky 16.00 -16.15 Nástroje sběru dat 16.15 -16.45 Zápis výsledků a jejich ověření Blok 4: OM Evaluace v kontextu rozvoje regionu 16.45- XX Identifikace požadavků pilotní implementace OM Evaluace SF v regionu Závěr
___________________________________ ___________________________________ ___________________________________ ___________________________________ ___________________________________ ___________________________________ ___________________________________ ___________________________________ ___________________________________ ___________________________________ ___________________________________ ___________________________________ ___________________________________
___________________________________
Identifikujte 3 kvalitativní pozorovatelné změny v regionu od roku 2004? Kdo je vlastníkem/majitelem/strůjcem?
___________________________________ ___________________________________ ___________________________________ ___________________________________ ___________________________________ ___________________________________
Rozvoj lidského kapitálu versus ekonomický růst
___________________________________ ___________________________________ ___________________________________ ___________________________________ ___________________________________ ___________________________________
Zdroj: Světová banka
___________________________________ ___________________________________
1850 koloniální ekonomie spravování zdrojů, poručnictví 1870 opozdilci (latecomers) industrializace, dohánění 1940 rozvojová ekonomie ekonomický růst, industrializace 1950 modernizační teorie, růst, politická a sociální modernizace 1960 teorie závislosti akumulace, národní zájmy 1970 alternativní rozvoj, lidský rozkvět 1980 lidský rozvoj, rozvoj kapacit, rozšíření možnosti voleb 1980 neoliberalismus, ekonomický růst – strukturální reformy, deregulace, privatizace, liberalizace 1990 postdevelopment
___________________________________ ___________________________________ ___________________________________ ___________________________________ ___________________________________ ___________________________________
___________________________________ Ekonomický pohled:
“Lineární proces obsahující dané fáze, kterými musejí všechna společenstva projít”
___________________________________ ___________________________________
(Rostow, 1960)
Klíčové prvky ◦ ◦ ◦ ◦
Masivní investice do industrializace Omezením jsou kapacity institucí a sociální postoje Vedoucí sílou může být jeden ekonomický sektor Cílem je zvýšení tržní produktivity
___________________________________ ___________________________________ ___________________________________ ___________________________________ ___________________________________
Sociologický pohled:
„Rozvoj je kombinací mentálních a sociálních změn v populaci,které umožňují zvýšit kumulativně a dlouhodobě reálný a agregovaný produkt výkonu populace (Perroux, 1961)
Klíčové prvky: ◦ Technologický a ekonomické investice přinášejí sociální pokrok
___________________________________ ___________________________________ ___________________________________ ___________________________________ ___________________________________ ___________________________________ ___________________________________
Phare jako sociální inženýrství “Vize sociálního inženýrství je, že rozvoje může být „dosaženo“ prostřednictvím série projektů a programů podpořených další pomocí (půjčky, granty) a realizovaných prostřednictvím instrukcí a plánů, s jasně vymezenými podmínkami a detailně vymezenou technickou pomocí dojíždějících expertů“
___________________________________ ___________________________________ ___________________________________ ___________________________________
Ellerman, 2006
___________________________________ ___________________________________
___________________________________ Spirituální pohled:
“Probouzení každé duše společenství, skutečné dobrodružství, výčet všech kreativních kapacit " (UNESCO 1977)
Kulturní pohled:
“Problémy rozvoje jsou především kulturním problémem, a proto veškerá ekonomická produkce je v podstatě produkcí kultury. " (Ben Bella, 1980)
Strukturální pohled: Regionální pohled: Atd. Atd. Atd.
___________________________________ ___________________________________ ___________________________________ ___________________________________ ___________________________________ ___________________________________
___________________________________
Strukturální fondy v ČR: ……………………….?
Institucionalizace rozvoje? Přerozdělování? Displacement? Narušení tržních mechanismů?
___________________________________ ___________________________________ ___________________________________ ___________________________________ ___________________________________ ___________________________________
___________________________________ Graf – Edward Lorentz (1960)
___________________________________ ___________________________________ ___________________________________ ___________________________________ Původní sekvence - .506127 Zadaná sekvence - .506
___________________________________ ___________________________________
___________________________________ ___________________________________ “Ne vše, co lze započítat, je počitatelné...a ne vše, co je počitatelné, lze započítat. (Albert Einstein)
___________________________________ ___________________________________ ___________________________________ ___________________________________ ___________________________________
___________________________________
Tlak na měřitelné výsledky, jejich demonstraci a zodpovědnost za rozvoj Otázka dopadů je nejviditelnější u donorů, jejich prostřednictvím i u organizací přijímajících pomoc a individuálních příjemcích Důvodem jsou požadavky jako “logický rámec” (LFA) nebo “na výsledky orientovaný management” pro plánování a reporting donorům Důsledkem je snaha hledání dopadů - hlavní témata rozvoje Snahy o definování dopadů a kdo dopad způsobil omezuje donory i příjemce chápat, jak se vlastně změna děje a proč Honba za přičtením uznání a kreditu nedává prostor pro pochopení a vytvoření skutečné znalosti
___________________________________ ___________________________________ ___________________________________ ___________________________________ ___________________________________ ___________________________________
___________________________________
Kontribuce (Contribution) (česky = přispění?)
•vyjádření toho, že zkoumaná intervence má nějaký účinek na cílovou oblast, tj. je schopna dění v cílové oblasti (nějak) ovlivnit. Neboli: je intervence jedním z faktorů ovlivňujících cílovou oblast? Na „contribution“ lze usuzovat z konstrukce teorie změny (popisu kauzálních vztahů intervence) a zkoumáním naplnění jejích předpokladů.
Atribuce (Attribution)
___________________________________
(česky = přičitatelnost?)
•označuje skutečný příspěvek intervence ke stavu cílové oblasti. Co intervence skutečně způsobila? Jakou změnu cílové oblasti lze přičíst jen intervenci po očištění dalších vlivů? „Attribution“ lze odhadnout např. pomocí metod „Counterfactual Impact Evaluation (CIE)“.
___________________________________ ___________________________________ ___________________________________ ___________________________________ ___________________________________
___________________________________
Outcome Mapping se nesnaží predikovat vývoj Cílem je facilitovat/napomáhat/podporovat změnu chování, vztahů, aktivit, politik a praktik jednotlivců, skupin, komunit, organizací nebo institucí. Zaměřuje se na dosažení specifického typu výsledku: behaviorální změny u jedinců, organizací přímo ovlivňující daný rozvojový sektor Výsledky (outcomes) jsou definovány jako změny chování, vztahů, aktivit nebo akcí u lidí,skupin a organizací, se kterými program pracuje přímo Tyto výsledky mohou být logicky spjaty s aktivitami programu, nemusejí být ale nutně jeho příčinou. Outcome Mapping je metoda pro plánování a implementaci projektů/programů
___________________________________ ___________________________________ ___________________________________ ___________________________________ ___________________________________ ___________________________________ ___________________________________ ___________________________________ ___________________________________ ___________________________________ ___________________________________ ___________________________________ ___________________________________
___________________________________
Výsledky jsou efekty způsobené působením programu Aspirace nebo výzvy (outcome challenges) popisují změnu chování, vztahů, aktivit, akcí osob, organizací, skupiny nebo instituce bude li program extrémně úspěšný. Aspirace/výzvy ilustrují, že program může ovlivnit dosažení výsledků, nemůže ale výsledek kontrolovat. Program přispívá ke změně, finální zodpovědnost za změnu a schopnost tuto změnu realizovat je ale v rukách tzv. hraničních partnerů programu
___________________________________ ___________________________________ ___________________________________ ___________________________________ ___________________________________ ___________________________________
___________________________________ ___________________________________ ___________________________________ Projekt nebo program
___________________________________ Reálný svět
Partneři partnerů
___________________________________ ___________________________________
= hraniční partner
___________________________________ ___________________________________
Strategie
Kauzální
Přesvědčovací
Podpůrné
Zaměřená na „hraničního“ partnera
Přímé výstupy
Nové dovednosti/způ sob myšlení
Dlouhodobá podpora změny partnera
Zaměřená na prostředí působnosti „hraničního“ partnera
Změna regulatorního rámce nebo prostředí
___________________________________ ___________________________________ ___________________________________
Změna Vytvoření nebo informačního posilování systému/práce s podpůrných sítí informacemi
___________________________________ ___________________________________ ___________________________________ ___________________________________ ___________________________________
Love to see Would like to see Expect to see
Aspirační
Optimistické
___________________________________ ___________________________________ ___________________________________
Očekávané
___________________________________ ___________________________________
___________________________________ ___________________________________ ___________________________________ ___________________________________ ___________________________________ ___________________________________ ___________________________________ ___________________________________
Outcome mapping jako metoda pro komplexní intervence Nerezignuje na rozvoj, vnímá ale, že rozvoj není dílem množiny individuálních organizací pod kontrolou programu, tudíž jej nelze predikovat Zaměření na rozvoj organizačních a individuálních praktik a schopností Zaměřená na změnu praktik v působnosti „hraničích“ partnerů a působením těchto změn na rozvoj
___________________________________ ___________________________________ ___________________________________ ___________________________________ ___________________________________ ___________________________________
___________________________________ ___________________________________ ___________________________________ ___________________________________ ___________________________________ ___________________________________ ___________________________________ ___________________________________ ___________________________________ „Opravdu vážné problémy, jimž bude lidstvo čelit, se týkají naší neschopnosti chápat naše komplexní lidské systémy a řídit je.“ (Peter Senge)
___________________________________ ___________________________________ ___________________________________ ___________________________________ ___________________________________ ___________________________________
“Veškeré komplexní systémy [...] mají společné jmenovatele v chování, které nelze vysvětlit na základě znalostí jednotlivých částí systému Klíčem v komplexních systémech jsou vzájemné vztahy mezi komponenty Tyto vztahy utvářejí systém, proudí jím, drží jej pohromadě a zaručují udržitelnost systému Tudíž např. kapacitu a výkon spolupracující sítě organizací nelze pochopit a facilitovat jen podporou jedné její části. Celková kapacita je větší než kapacita jeho jednotlivých součástí.
___________________________________ ___________________________________ ___________________________________ ___________________________________ ___________________________________ ___________________________________
___________________________________
Mnoho M&E metod zachycuje vizuálně změnu jako lineární proces na základě jednoduchých vztahů příčina-důsledek. Pro Outcome Mapping Evaluaci je změna: Komplexní (mnoho aktérů a faktorů) Trvalou (za rámec životnosti projektu) Nelineární (neplánované efekty) Kumulativní Za hranicí kontroly ze strany programu (ale při jeho působení) ◦ S dvojím účinkem: program je „aktérem změny“ i „subjektem změny) ◦ ◦ ◦ ◦ ◦
___________________________________ ___________________________________ ___________________________________ ___________________________________ ___________________________________ ___________________________________ ___________________________________ ___________________________________ ___________________________________ ___________________________________ ___________________________________ ___________________________________ ___________________________________
PROJECT B: OBNOVENÍ ROSLTINÉ VÝROBY TRVÁNÍ: 2006 - 2009 CELKOVÝ ROZPOČET:6 600 000 CZK REALIZÁTOR: MZLU
VÝSLEDKY CÍLE VÝSTUPY
Modelová farma slouží jako kontaktní místo pro diseminaci a replikaci výsledků
Regionální/národní politiky reflektují ověřené možnosti pro rozvoj rurálních oblastí
Zvýšená zaměstnanost (snížená nezaměstnanost) díky novým příjmům obyvatel Kvalitativní a kvantitativní zhodnocení obnovení zemědělské rostlinné produkce včetně následného zpracování
Přístupy replikované místními farmáři
Snížená závislost regionu na dovážené rostliné produkci
___________________________________ Regenerace zemědělských ploch (projekt)
___________________________________
Modelová rostlinná farma s komplexním know-how pro pěstování, skladování, přepravu a zpracování rostlinných produktů
___________________________________
Zapracování mongolských pracovníků dalších farem z daného regionu do ovládání nových pěstebních postupů, technologií dalšího zpracovávání a využívání vypěstovaných produktů
Úvodní výzkum ke stanovení limitů využívání
Optimalizace systému jímání podzemních vod a zavlažování
Výběr a produkce vhodných plodin
___________________________________
___________________________________ Vzdělávání farmářů v kultivačních postupech
Klíčový předpoklad- není součástí logiky projektu B
Model akceptován a diseminován
___________________________________ ___________________________________
___________________________________ ___________________________________ ___________________________________ ___________________________________ ___________________________________ ___________________________________ ___________________________________ ___________________________________ Blok 3: Aplikace
___________________________________ ___________________________________ ___________________________________ ___________________________________ ___________________________________ ___________________________________ ___________________________________
Outcome Mapping Evaluace se realizují pod názvem Outcome Harvesting
Otcem metodologie je Ricardo Wilson-Grau
První užití v roce 2004
Označuje se jako „forenzní evaluace“, retrospektivní mapování výsledků a jejich atribuci organizacím, aktérům (respektive změnám v jejich chování, přístupech apod.)
Outcome Mapping Evaluace nezkoumá příspěvek programu, projektu k jeho plánovaným výsledkům.
Je obzvláště vhodnou metodou chceme li pochopit proces změny a jakým způsobem výsledky k této změně přispívají
Vhodné především pro velké programy podporující např. demokratizaci, zapojování veřejnosti, tvorbu politik apod.
___________________________________ ___________________________________ ___________________________________ ___________________________________ ___________________________________ ___________________________________
___________________________________
Zavést důslednost při hodnocení schopnosti organizace realizovat své strategie, které přispívají k dlouhodobým cílům, a to:
◦ Konkrétním, měřitelným popisem výsledků (kdo změnil co, kdy a kde) ◦ Posunem od intuitivního hodnocení vývoje k hodnocení založeném na důkazech (evidencé-based) ◦ Umožněním dialogu mezi vlastníky programu o nejlepších strategiích (včetně zachycení těch nefungujících)
Identifikovat výsledky (outcomes), k nimž přispívá mnoho aktérů v komplexních prostředích
___________________________________ ___________________________________ ___________________________________ ___________________________________ ___________________________________ ___________________________________ ___________________________________
1.
2. 3. 4.
5. 6.
Evaluační design Sběr dat a formulace výsledků (outcomes) První ověření zapojením vlastníků výsledků Nezávislé ověření výsledků Analýza a interpretace Podpora uživatelům evaluace
___________________________________ ___________________________________ ___________________________________ ___________________________________ ___________________________________ ___________________________________ ___________________________________
Prostředník změny (change agent) Osoba nebo organizace, která ovlivňuje výsledek Sociální aktér Osoba, skupina, komunita, organizace nebo instituce,která se změní v důsledku intervence prostředníka změny Uživatel evaluace Osoba (osoby) vyžadující OM evaluaci pro rozhodnutí nebo akci. Uživatelem mohou být osoby v organizaci prostředníka změny nebo v organizacích třetích stran (např. financující instituce) Evaluátor Osoba zodpovědná za řízení OME, často Evaluátor (externí nebo interní)
___________________________________ ___________________________________ ___________________________________ ___________________________________ ___________________________________ ___________________________________
___________________________________
OM teorie změny Definice „využitelných“ evaluačních otázek Definování klíče pro klasifikaci „výsledků“ Dohoda ke struktuře a rozsahu popisu „změny“ (kdo, co, kde, jak?) Pamatujte, OM Evaluace nezkoumá změnu dle plánovacích matic, LF, žádostí apod. Nejprve hledá „změnu“ a tu posléze přičítá sociálním aktérům.
___________________________________ ___________________________________ ___________________________________ ___________________________________ ___________________________________ ___________________________________ ___________________________________
Uživatelé OME: Primárním uživatelem OME je řídící tým grantového programu. Příjemci grantů (aktéři změny) budou cílovou skupinou evaluace. Využití evaluace: Evaluace OME má dva cíle: a) zmapovat výsledky programu za jeho 8leté působení, b) zlepšit zacílení strategie grantového programu s ohledem na globální cíl grantového programu „demokratizace a odpovědná veřejná správa.
___________________________________ ___________________________________ ___________________________________ ___________________________________ ___________________________________ ___________________________________ ___________________________________
Výsledky
◦ Sekundární analýza dokumentů (zprávy, kazuistiky apod.) ◦ Přímé pozorování evaluátora ◦ Konstrukcí hypotéz ze získaných faktů
___________________________________
Cílová skupina
___________________________________
Zpracování do formy textu „co“, kdo“, „kdy“ (SMART) Nástroje
___________________________________
◦ Sociální aktéři (vlastníci změn)
___________________________________
◦ Dotazník, interview, fokus skupiny
___________________________________ ___________________________________
___________________________________ Popis výsledku: v jedné nebo dvou větách popište pozorovatelné změny v chování, vztazích, aktivitách, nebo akcích, které sociální aktér ovlivnil aktivitami organizace, programu nebo projektu za posledních 12 měsíců. To znamená „kdo“ změnil „co“, „kdy“ a „kde“ Kdo: Popište co nejpřesněji jednotlivce, skupinu, komunitu, organizaci nebo instituci, která se změnila Kdy: Napište co nejpřesněji datum, kdy ke změně došlo Kde: Popište přesně politickou a geografickou lokalizaci, napište jméno města, vesnice, komunity kde sociální aktér pracuje – na lokální, národní, regionální a/nebo mezinárodní úrovni. Příspěvek organizace: V jedné nebo dvou větách popište roli organizace při ovlivnění výsledku. Jakým způsobem inspirovala, přesvědčovala, podporovala, usnadňovala, napomáhala, vyvíjela tlak nebo jinak přispívala ke změně sociálního aktéra. Specifikujte aktivity organizace, procesy, produkty a služby, které považujete ovlivněné výsledky.
___________________________________ ___________________________________ ___________________________________ ___________________________________ ___________________________________ ___________________________________
___________________________________
Výsledek: V roce 2009 vláda země XY obnovila fond podpory zaměstnatelnosti kvalifikovaných osob na území země XY. Příspěvek: V roce 2007 byla vydána zpráva o ekonomických dopadech nezaměstnanosti v zemi XY. Nezisková organizace GCA posléze iniciovala dialog s MPSV a prostřednictvím komunikačních kampaní a celoplošných národních sbírek zajistila financování fondu a napomohla nastavit řídící mechanismy fondu.
___________________________________ ___________________________________ ___________________________________ ___________________________________ ___________________________________ ___________________________________
___________________________________
Výčet získaných výsledků je zaslán sociálním aktérům k vyjasnění a doplnění informací Evaluátor hledá pozorovatelné plánované i neplánované, pozitivní i negativní výsledky. Prostřednictvím dialogu se sociální aktérem buduje silnou logickou atribuci mezi výsledkem a činností aktéra při adekvátním zachycení „změny“ .
___________________________________ ___________________________________ ___________________________________ ___________________________________ ___________________________________ ___________________________________
___________________________________
Doložení pravdivosti výsledku (změny) prostřednictvím třetí osoby znalé situace Třetí osoba může být doporučena sociálním aktérem V případě mnohočetných výsledků lze ustavit expertní komisi Doložení lze realizovat off-line i on-line, individuálně i skupinově Třetí osoba dokládá pravdivost prostřednictvím specifické doložky
___________________________________ ___________________________________ ___________________________________ ___________________________________ ___________________________________ ___________________________________
___________________________________ 1. Do jaké míry souhlasíte s popisem výsledku o rozhodnutí vlády ČSSR propustit V.Havla z vězení? ◦ Zcela souhlasím ◦ Částečně souhlasím ◦ Nesouhlasím Vaše komentáře:
2. Do jaké míry souhlasíte s popisem role a
___________________________________ ___________________________________ ___________________________________
příspěvku Charty 77 k tomuto rozhodnutí? ◦ Zcela souhlasím ◦ Částečně souhlasím ◦ Nesouhlasím Vaše komentáře:
___________________________________ ___________________________________ ___________________________________
___________________________________
Tam, kde organizace mají zpracovanou „teorii změny“, ke které mohou poměřit skutečné výsledky (outcomes) Tam, kde je potřebné vyjasnit vztah mezi aktivitou, výstupem a výsledkem. Tam, kde je nutné přesně popsat, co se změnilo Tam, kde je vhodné ověřit výsledky procesů v komplexních kontextech (kde jsou výsledky nepředvídatelné)
___________________________________ ___________________________________ ___________________________________ ___________________________________ ___________________________________ ___________________________________
___________________________________
Evaluátor analyzuje každý výsledek (outcome) pro odpověď na evaluační otázku Analýza zahrnuje identifikaci vazeb a procesů mezi skupinami výsledků
___________________________________ ___________________________________
◦ Pro jednotlivého sociálního aktéra ◦ Pro sérii aktérů v např. programu
___________________________________
Cílem analýzy výsledků je postihnout širší rozvojový kontext a vzorec teorie změn
___________________________________ ___________________________________ ___________________________________
___________________________________ ___________________________________ ___________________________________ ___________________________________ ___________________________________ ___________________________________ ___________________________________
___________________________________
Není způsobem pro identifikaci nevyužitých příležitostí Nevysvětluje „proč“ k výsledku dochází Může ukázat, co současné strategie přináší/přinesly, není ale nástrojem pro programování (tím je Outcome Mapping). Neidentifikuje současné příležitosti a překážky
___________________________________ ___________________________________ ___________________________________ ___________________________________ ___________________________________ ___________________________________
___________________________________ ___________________________________ ___________________________________ ___________________________________ ___________________________________ ___________________________________ ___________________________________
___________________________________
Děkujeme Vám za pozornost
___________________________________ ___________________________________ ___________________________________ ___________________________________ ___________________________________ ___________________________________
