Evaluace absorpční kapacity - postřehy a zkušenosti

Publikováno se souhlasem autora. Autor je členem České evaluační společnosti, o.s.

Pohledy evaluační praxe 2 ………………………………………………………………………………………………… Ing. Vladimír Sodomka

Evaluace absorpční kapacity - postřehy a zkušenosti Tento článek představuje krátké ohlédnutí za evaluací absorpční kapacity v Regionu soudržnosti Střední Čechy z roku 2007 a zahrnuje několik postřehů na téma evaluačního designu a současné evaluační praxe v ČR v oblasti strukturálních fondů.

Evaluační design Evaluační design či návrh je strategie, jak se bude evaluace provádět – tedy jakým způsobem budeme evaluovat. Nejedná se o přesný pracovní plán, neboť neobsahuje přesný sled kroků, kdo, co a kdy bude dělat. Při plánování evaluačního designu je užitečným nástrojem tzv. matice evaluačního designu, která pro jednotlivé evaluační otázky specifikuje důležité prvky pro její zhodnocení jako je design, zdroje informací, nástroje pro sběr a analýzu a další informace, které evaluátorovi na samém začátku pomohou udělat si představu, jak bude vypadat evaluace a co všechno bude potřebovat a bude muset udělat, aby zodpověděl evaluační otázky. Také evaluátorovi dopředu poodhaluje to, jak bude asi vypadat výsledný „obraz“ evaluace. Jaké budeme mít otázky, takový budeme mít výsledný obraz. Aby byl tento obraz co nejplastičtější, mělo by zadání obsahovat více typů evaluačních otázek a použít různé nástroje pro jejich zodpovězení. To bylo na začátek trocha teorie, nyní se pojďme podívat na některá témata současné evaluační praxe.

Několik postřehů ze současné evaluační praxe v ČR: 1. Evaluačních otázek není nikdy dost aneb kolik otázek máš, tolikrát jsi evaluátorem – a nebo je to jinak? V některých případech se autoři zadávacích dokumentací opravdu rozepsali. Jejich „torky“ (zadávací dokumentace) obsahují někdy až desítky evaluačních otázek na několika stránkách. Někdy se pak stává, že se otázky vzájemně více či méně překrývají či dublují, a pak je pro evaluátora obtížné „uhodnout“, co měl zadavatel vlastně na mysli. Horší však je, když evaluační otázka nemá svého „vlastníka“, který potřebuje odpověď pro svoji další práci či rozhodnutí. Případně má vlastníka, ale je typu „nice-to-know“ – tzn. „že by bylo pěkné


(zajímavé) to vědět“. Nutno konstatovat, že v posledních letech došlo k významnému kvalitativnímu posunu v této oblasti a tedy doby, kdy zadávací dokumentace představovala spíše rozsáhlý souhrn dotazů a přání, v lepším případě posbíraný od kolegů v rámci instituce, jsou snad už minulostí. Argumentem na otázku „proč tolik“ pak je, že evaluačních otázek musí být tak mnoho, aby bylo jasně specifikováno co „chceme od dodavatele“. Přesnost vymezení může v některých případech vést až ke svázání evaluátora, zvláště pak pokud se v průběhu evaluace objeví nové, další oblasti (témata), které by bylo vhodné dále prozkoumat. Tuto možnost však lze dopředu ve smluvním vztahu ošetřit (například formou opce), což právní rámec umožňuje a některé subjekty ho využívají. 2. Jakou otázku máš, takovou dostaneš odpověď. Samotná evaluační otázka, respektive její typ ovlivňuje evaluační design a také podobu výsledného „obrazu“ zkoumání – jeho „plastičnosti“. Pokud budeme mít pouze deskriptivní (popisné) otázky, potom nám evaluace poskytne obraz o situaci - „toho co je“, ale už ne srovnání „s tím, co mělo být“ – to umožní normativní otázky – či proč tomu tak je a jestli je to zásluhou zkoumané intervence – kauzální otázky. Kvalita odpovědi také závisí na dostupnosti a kvalitě vstupních informací, čase a kapacitách pro realizaci evaluace. Proto je užitečné před začátkem evaluace posoudit „evaluovatelnost“ (evaluability) evaluačních otázek – tzn. zda bude možné při daných znalostech/informacích, čase a financích zodpovědět otázku. Tím by se už na začátku revidovat evaluační otázky v kontextu jejich řešení a tím vytvořit lepší předpoklady pro následné odpovědi. Obecné evaluační pravidlo říká, že je lepší mít jen omezený počet „hlavních“ evaluačních otázek – tzn. klíčových oblastí, na které se má evaluace zaměřit ideálně navázaná na evaluační kritéria (tyto otázky pak mohou mít pak další podotázky). 3. Otevírání „černých skříněk“ Evaluátor při evaluaci otevírá „černé skříňky“ (black boxes), které zadavatele zajímají a evaluační design mu to musí umožnit. Proto by měl být evaluační design dostatečně flexibilní (otevřený). Neexperimentální design, který se snaží srovnávat dvě skupiny (dva stavy bez intervence a s ní), je relativně jednodušší. K porovnání toho co intervence způsobila (co je jejím důsledkem), se používá experimentální nebo spíše kvazi-experimentální design. Pro evaluátora je pak výzvou nalézt podobné skupiny, které by bylo možné v rámci kvaziexperimentálního designu. Zatímco při evaluaci absorpční kapacity ve Středních Čechách v roce 2007 byly použity převážně neexperimentální designy – zaměřené na zmapování stavu – o 2 roky později při evaluaci zaměřené na vyhodnocení podpory absorpční kapacity v Moravskoslezsku, už byly ve výrazně větší míře použity kvazi-experimentální designy – na posouzení účinnosti intervencí. To odráží vývoj potřeb – tedy, co od evaluace požadujeme/potřebujeme.


Postřehy z evaluace Hodnocení absorpční kapacity ROP Střední Čechy: Cílem evaluace absorpční kapacity ROP Střední Čechy bylo zjistit stav v roce 2007. V zadání byl jasně definovaný, přiměřený okruh evaluačních otázek. Flexibilita zadání byla umožněna v zadání formou opce, která byla využita pro rozšíření vzorku respondentů, pro zajištění vyšší reprezentativnosti získaných dat a pro bližší prozkoumání vybraných témat. Většina otázek byla deskriptivní, zaměřená na zjištění stavu povědomí, kapacit a počtu připravovaných projektů a finanční alokace – tomu také odpovídaly odpovědi. Výzkum provedený na rozsáhlém vzorku respondentů splnil cíl – zmapoval situaci v regionu, zejména pak umožnil srovnání mezi jednotlivými kategoriemi potenciálních příjemců, mezi okresy atd. Zjištění vyjádřená v absolutních hodnotách však měla omezenou vypovídací hodnotu, především ohledně toho, zda je poptávka dostatečná – zda bude dost projektů co do počtu, ale především s ohledem na finanční alokaci. Triangulace nástrojů/metod – byly použity 4 nástroje: dotazníkové šetření, fokusní skupina s euromanažery a partnery projektu SROP 3.3., analýza dokumentace (mediálních výstupů, zásobníku projektů a rozvojových strategií) a pozorování (pro zhodnocení seminářů). Hlavním nástrojem bylo dotazníkové šetření formou přímého emailu. Na začátku jsme zvažovali využití standardní tazatelské sítě, která byla využita pro výzkum u široké veřejnosti, ale vzhledem k „odborné a terminologické“ náročnosti a složitosti tématu, jsme tento způsob u potenciálních příjemců zavrhly, jako málo efektivní. Sběr dat prostřednictvím přímého emailu, bylo sice velmi časově, technicky a organizačně náročné, ale umožňovalo nám to kontrolovat celý proces a kvalitu dotazníků, což se ukázalo jako velmi důležité z hlediska zaručení správnosti dat. Emailová forma komunikace není sice zcela anonymní, na druhé straně, díky evidenci došlých dotazníků, bylo možné požádat o případné opravy chybějících či chybných údajů. Tento systém nám také umožnil efektivnější využití podpůrných nástrojů ke zvýšení návratnosti. To by v případě on-line dotazníku bez uvedení adresáta nešlo využít. U obdobných šetření se dle předchozích zkušeností pohybuje návratnost okolo 5 %. V našem případě jsme díky „podpůrným opatřením“ dosáhli návratnosti 30 %. Důležitá je reprezentativnost. Původní vzorek byl navýšen na dvojnásobek, aby bylo možné třídění za nižší úrovně (okresy). To umožnila výše uvedená opce ve smlouvě. Otázkou také bylo podle jakého klíče vybírat vzorek, aby byla zajištěna reprezentativnost z hlediska zastoupení jednotlivých skupin potenciálních příjemců. Klíčem, který jsme zvolili, byla četnost zastoupení jednotlivých skupin příjemců v rámci programu (podle prioritních os) se zohledněním váhy finanční alokace pro danou prioritní osu. V některých případech se ukázalo, že potenciálních příjemců je v dané skupině


(výběrový rámec) velmi omezený počet, a tudíž bylo nutné s těmito potenciální příjemci intenzivněji komunikovat, což umožnil zmíněný systém evidence respondentů. Potenciální příjemci byli do vzorku zařazeni na základě systematického strukturovaného výběru (tzn. populace příjemců byla rozdělena do homogenních skupin dle „typu příjemce“ a následně vybrána každá n-tá jednotka) – který snižuje velikost směrodatné chyby a zvyšuje spolehlivost. Dotazník musí být jednoznačný a všem srozumitelný všem. Tento základní princip je teoreticky zcela jasný, převedení do praxe je však již výrazně obtížnější, zvlášť pak v případě strukturálních fondů, které se vyznačují specifickým „slangem“ a většina lidí, kteří se v této oblasti pohybují, jsou jím značně ovlivněni. Proto se jako velmi užitečné ukázalo zapojení sociologa „nezatíženého“ touto skutečností. Absorpční kapacita regionu/potenciálních příjemců, jako velké komplexní téma, bylo rozděleno na menší celky, a podle nich strukturován dotazník. Vždy je vhodné se při řešení opřít o teorii a předchozí zkušenosti – v tomto případě byla využita metodika AbCap, která byla úspěšně použita v předchozím programovém období 2004-2006. Důležitá pro úspěch evaluace a následné implementace doporučení byla podpora ze strany zadavatele – tedy vedení Úřadu Regionální rady a Regionální rady a úzká spolupráce se Středočeským krajem, zejména pak v koordinaci a nasměrování komunikačních opatření. -------KONEC-------


Tabulka: Ukázka matice evaluačního designu na příkladu Hodnocení absorpční kapacity – potenciální příjemci Evaluační otázka/podotázka

Typ otázky D

Design

Měření nebo ukazatel

Zdroj dat

Neexperimentální/ One-shot

Kategorizace a kvantifikace kapacit podle typů příjemců

Strukturova ný dotazník

D


Podíl deklarované alokace podle prioritních os

D


Podíl deklarované alokace podle okresů

3. Je kapacita poradenských firem v oblasti dotačního managementu dostačující?

N


Nabídka poradenských služeb v jednotlivých oblastech dotačního managementu (vůči deklarovaným potřebám)

Strukturova ný dotazník Zásobník projektů Strukturova ný dotazník Zásobník projektů Analýza nabídky Dotazník Záznamové listy

4. Kolik euromanažerů na území SČ je aktivních

D


počet aktivních euromanažerů (vč. srovnání

1. Disponuje potenciální příjemce zdroji pro přípravu kvalitního projektu v oblastech definovaných 3.2.1? (lidské zdroje, finanční zdroje, tvorba projektů) 2. Jakou část alokace pokrývají v současné době zamýšlené projekty v členění na jednotlivé prioritní osy ROP SČ? 2a. Jak jsou tyto projekty rozděleny územně v rámci NUTS 2 SČ

Dotazník Záznamové listy

Vzorek/ Census Vzorek strukturov aný: 3 kategorie D–Ž– N* Vzorek

Vzorek

Vzorek

Nástroj sběru dat Dotazníkové šetření Fokusní skupina

Dotazníkové šetření Analýza zásobníku Dotazníkové šetření Analýza zásobníku Analýza dokumentace Fokusní skupina/Expertní panel Dotazníkové šetření Dotazníkové šetření Fokusní skupina

Analýza dat Kvantitati vní Kvalitativ ní

Kvantitati vní

Kvantitati vní

Kvantitati vní Kvalitativ ní


5. Disponuje potenciální příjemce zdroji pro úspěšnou realizaci projektu v oblastech definovaných dle oblastí 3.2.2 (lidské zdroje a finanční zdroje)

N


* Vysvětlivky: D … subjekty, které podporu získaly Ž … subjekty, které žádali, ale podporu nezískaly N … subjekty, které o podporu nežádaly

s projektovou aktivitou v území) stav kapacit vs. kritické předpoklady

Dotazník Záznamové listy

Vzorek

Fokusní skupina Dotazníkové šetření

Kvantitati vní

Evaluace absorpční kapacity - postřehy a zkušenosti

Recommend Documents