Strategická evaluace ESF s důrazem na OP LZZ VSTUPNÍ ZPRÁVA PODPORUJEME VAŠI BUDOUCNOST www.esfcr.cz
Obsah 1
ÚVOD .................................................................................................................................................... 3 1.1. 1.2. 1.3.
2
KONTEXT EVALUAČNÍHO PROJEKTU ............................................................................................... 3 CÍLE EVALUAČNÍHO PROJEKTU ....................................................................................................... 3 OBSAH VSTUPNÍ ZPRÁVY ................................................................................................................ 3
DETAILNÍ METODOLOGIE ŘEŠENÍ PROJEKTU ..................................................................... 5 2.1. POROZUMĚNÍ ZPRACOVATELE ZADÁNÍ ZAKÁZKY ........................................................................... 5 2.2. PŘEDSTAVENÍ METOD SBĚRU A ANALÝZY DAT ............................................................................... 7 2.2.1. M1 – Analýza sekundárních dat externích (veřejných) databází .......................................... 8 2.2.2. M2 – Dotazníkové šetření ..................................................................................................... 8 2.2.3. M3 – Analýza dat informačního systému Monit+ ................................................................. 9 2.2.4. M4 - Desk Research .............................................................................................................. 9 2.2.5. M5 - Polostrukturované rozhovory ..................................................................................... 10 2.2.6. M6 – Expertní konzultace ................................................................................................... 10 2.2.7. M7 – Meta-evaluace ........................................................................................................... 12 2.2.8. M8 – Prognostické metody ................................................................................................. 13 2.2.9. M9 – Obsahová analýza ..................................................................................................... 15 2.2.10. M10 – Metoda syntézy ........................................................................................................ 15 2.3. METODOLOGIE ŘEŠENÍ EVALUAČNÍCH ÚKOLŮ ............................................................................. 16 2.3.1. Úkol 1: Identifikace a predikce potřeb a problémů trhu práce a v oblasti boje s chudobou a identifikace relevantních strategií ........................................................................................................ 16 2.3.2. Úkol 2: Zhodnocení příspěvku OP LZZ a dalších programů ESF k naplňování strategií EU a ČR 25 2.3.3. Úkol 3: Návrh zaměření ESF v ČR pro období 2014 – 2020 a popis mechanismů k dosažení cílů 32
3
PODROBNÝ HARMONOGRAM REALIZACE PROJEKTU .................................................... 55
4
ZDROJE DAT A INFORMACÍ ....................................................................................................... 63 4.1. ZDROJE DAT A INFORMACÍ IDENTIFIKOVANÝCH V ZADÁVACÍ DOKUMENTACI .............................. 63 4.1.1. Evaluační úkol 1 ................................................................................................................. 63 4.1.2. Evaluační úkol 2 ................................................................................................................. 64 4.2. DALŠÍ ZDROJE DAT A INFORMACÍ ................................................................................................. 65 4.2.1. Další zdroje dat a informací pro evaluační úkol 1 ............................................................. 65
PŘÍLOHA Č. 1: HODNOTÍCÍ RÁMEC PRO META-EVALUACI – ÚKOL 2 ................................... 70 PŘÍLOHA Č. 2: REŠERŠE DOSAVADNÍCH DOKUMENTŮ A INFORMACÍ K OTÁZCE SUBREGIONÁLNÍHO PARTNERSTVÍ ................................................................................................. 73
© Sdružení „DHV, NVF“, 8/2011
2
1
Úvod 1.1. Kontext evaluačního projektu
Od doby formulování strategie a cílů OP LZZ došlo zejména v souvislosti s ekonomickou krizí k významné proměně socioekonomické situace a k reformulaci priorit jak na národní úrovni, tak na úrovni EU. V současné době již byl zahájen proces příprav na nové programovací období, přičemž v první etapě jsou formulovány národní rozvojové priority (věcné zaměření) a vhodné formy implementace pomoci z ESF pro naplnění těchto priorit.
Pro formulování strategie budoucího využití ESF v ČR je nezbytné vyhodnotit příspěvek OP LZZ a dalších programů ESF k národním a evropským strategiím, vyhodnotit a predikovat stav socioekonomické situace a identifikovat priority národních a evropských strategií na období do roku 2020. Při tom je třeba vycházet ze skutečných problémů společnosti a pomoc z ESF implementovat takovým způsobem, který zajistí dosažení zlepšení situace podporovaných cílových skupin na trhu práce a ve společnosti. Zároveň jsou zřejmé i limity rozsahu aktivit, které mohou být financovány z ESF, kdy zastřešujícím dokumentem je Strategie Evropa 2020. Je nutné vyjít z toho, že cíle ESF v České republice se musejí především týkat českých problémů, které je nutné řešit k dosažení cílů Strategie Evropa 2020 na národní i evropské úrovni.
1.2. Cíle evaluačního projektu Tato evaluace si klade celkem tři komplementární cíle: 1. Predikovat potřeby na trhu práce a v oblasti sociálního začleňování vzhledem k plnění strategie inteligentního, udržitelného a inkluzivního růstu („Strategie Evropa 2020“). 2. Identifikovat potenciál a rizika při plnění „Strategie Evropa 2020“ v oblastech relevantních pro budoucí uplatnění podpory z ESF na základě zkušeností s podporou z ESF. 3. Navrhnout tematické zaměření budoucích intervencí ESF v ČR a zpracovat teorii změny pro jednotlivé oblasti podpory včetně návrhu vhodných monitorovacích indikátorů a způsobu evaluace. Evaluace identifikuje problémy a potřeby trhu práce s ohledem na potřebu zvýšení konkurenceschopnosti ČR, identifikuje problémy české společnosti v oblasti sociálního začleňování a boje s chudobou, vyhodnotí využití pomoci z ESF v ČR, navrhne tematické zaměření a cíle nového operačního programu, pro jednotlivá témata navrhne vhodnou formu (nástroj) implementace a tam, kde je to možné, pro příslušné formy implementace sestaví a ověří teorii změny včetně návrhu vhodných monitorovacích indikátorů a způsobu evaluace.
1.3. Obsah vstupní zprávy Smyslem předložené vstupní zprávy je detailně rozpracovat tzv. „evaluační design“, tedy metodický přístup k řešení zakázky. Vstupní zpráva tak poslouží jako určitý „jízdní řád“ pro realizaci evaluačního projektu. Jejím obsahem je především podrobný popis harmonogramu
© Sdružení „DHV, NVF“, 8/2011
3
realizace projektu, operacionalizace zadání úkolů do jednotlivých evaluačních otázek a detailní metodologie řešení jednotlivých evaluačních otázek. Nad rámec toho také detailně specifikuje zdroje dat pro první části realizace zakázky. Metodologie vstupní zprávy bude případně doplňována a zpřesňována v průběžných flash reportech, a to zejména v úkolech, jejichž přesná realizace je závislá na výstupech jiných, v projektu dříve realizovaných úkolech.
© Sdružení „DHV, NVF“, 8/2011
4
2
Detailní metodologie řešení projektu 2.1. Porozumění zpracovatele zadání zakázky
Porozumění zakázce ze strany zpracovatele tvoří určitý referenční rámec pro další metodologický postup, tedy rovněž pro operacionalizaci jejích evaluačních úkolů do podoby evaluačních otázek a obecně sestavení vhodného evaluačního designu. Pro realizaci projektu tak je klíčové „správné“ porozumění jeho zadání, tedy porozumění, které je v souladu se záměrem zadavatele. Z toho důvodu zpracovatel v první části popisu metodologie řešení projektu předkládá své porozumění kontextu a smyslu projektu i budoucímu využití jeho výstupů. Již několik let probíhá na evropské i národních úrovních intenzivní příprava na nové programovací období 2014-2020. Do poloviny roku 2011 probíhala spíše ve formě diskuzí, konferencí a konzultací všech relevantních aktérů (zásadní místo v tomto procesu potom zaujímala konzultační procedura spuštěná k páté kohezní zprávě), která byla určitým neformálním způsobem řízena několika zásadními orientačními dokumenty1. V polovině tohoto roku je ovšem proces přípravy nového programového období akcelerován představením prvních legislativních návrhů – nejprve byl v červnu Evropskou komisí zveřejněn návrh příštího víceletého finančního rámce se zachováním procenta alokace na kohezní politiku. Současně jsou připravovány návrhy obecného nařízení o strukturálních fondech a nařízení o Evropském strukturálním fondu, které mají být publikovány v červenci tohoto roku. Na přelomu let 2011 a 2012 potom je možné očekávat počátek negociací ohledně Smlouvy o partnerství pro rozvoj a investice mezi EU a ČR, který bude základním referenčním dokumentem pro poskytování podpory ze strukturálních fondů v ČR v období 2014 – 2020. Již od zveřejnění strategie Europe 2020 je zřejmé, že implementační mechanismus kohezní politiky v novém programovém období bude zcela bezprostředně propojen s realizací této strategie – zatímco při realizaci předchozí, Lisabonské strategie bylo její propojení s kohezní politikou do značné míry deklaratorní, v novém programovém období by mělo dojít funkčnímu propojen obou politik, jehož primárním nástrojem bude tzv. Společný strategický rámec, který rozpracuje priority strategie Europe 2020 na konkrétní investiční priority a bude zároveň takto definovat věcné zaměření Fondu soudržnosti, Evropského fondu pro regionální rozvoj, Evropského sociálního fondu i dalších fondů pro financování strukturálních investic (EAF, EFF). Prostředky z ESF budou směřovány k dosažení cílů strategie Evropa 2020. Z pěti cílů se dva přímo dotýkají oblasti implementace Operačního programu Lidské zdroje a zaměstnanost a tedy jeho následovníka na období 2014-2020:
Zaměstnanost: dosáhnout 75% míry zaměstnanosti v populaci 20-64letých
1
Mimo strategii Europe 2020 a již zmíněnou pátou kohezní zprávu je možné do tohoto rámce zařadit také Orientation Paper komisaře Sameckiho, Barcovu zprávu nebo rozpočtovou zprávu předsedy EK Barrosa, zveřejněnou po jeho druhém jmenování předsedou Komise na podzim 2009. Debatu ovšem formovala také velké množství vystoupení a projevů politiků, vysokých úředníků EK a akademiků na konferencích a seminářích pořádaných k tomuto tématu – řady z nich se pracovníci zpracovatele osobně účastnili.
© Sdružení „DHV, NVF“, 8/2011
5
ČR si ve svém Národním programu reforem vytýčila dosáhnout míry zaměstnanosti 20-64letých na úrovni 75 %.
Chudoba / sociální vyloučení: snížit počet lidí žijících v chudobě a/nebo sociálně vyloučených nebo osob těmito jevy ohrožených alespoň o 20 milionů osob.
ČR se při své reflexi tohoto celoevropského cíle zavázala, že minimálně zachová podíl osob ohrožených chudobou nebo sociálním vyloučením na úrovni roku 2008, tedy na úrovni 15,3 % celkové populace, a zároveň vyvine úsilí o snížení jejich absolutního počtu o 30 000 osob. Zpracovatel vnímá zadání zakázky právě v tomto politickém kontextu. Jejím primárním účelem tak je rozpracovat prozatím velmi obecně a vágně definované priority EU v oblasti působnosti OP LZZ (tedy zvyšování zaměstnanosti a boj s chudobou) do podoby konkrétních cílů a priorit (intervencí), které jsou založeny na detailní znalosti potřeb a problémů ČR a jejich projekcí (predikcí) do střednědobého horizontu v oblastech trhu práce a boje s chudobou a zároveň jednoznačnou znalostí výstupů, výsledků a dopadů, efektivity a úspěšnosti co se týče dosahování předem stanovené změny intervencí v těchto oblastech, realizovaných s podporou ESF v minulých programových obdobích. Přístup k předmětu zakázky se tak ve své logice podobá realizaci strategického plánování, s nímž mají pracovníci zpracovatele (DHV CR) rozsáhlé zkušenosti. Realizaci projektu je možné pomyslně rozdělit na „analytickou“ a „návrhovou“ část, kdy návrhu strategických priorit a cílů pro rozvoj daného celku (tematická oblast, politika, územní celek, atd.) předchází detailní socioekonomická analýza, analýza efektivity dřívějších intervencí v dané oblasti a analýza zdrojů (finančních i nefinančních) dostupných pro implementaci dané strategie. Podobně tedy je předmětem předkládané nabídky formulace priorit v oblasti trhu práce a boje s chudobou, které jsou způsobilé k podpoře z ESF a zároveň reflektují jak potřeby a problémy ČR v těchto oblastech (resp. jejich predikce), tak i empirickou zkušenost s výsledky a dopady obdobných intervencí v minulých obdobích.
Pro ilustraci strategického přístupu zpracovatele k předmětu zakázky je předloženo schéma níže:
© Sdružení „DHV, NVF“, 8/2011
6
„analytická“ část
„návrhová“ část
Problémy a potřeby trhu práce a boje s chudobou
ÚKOL 1
+ Průmět identifikovaných problémů a potřeb do strategií EU a ČR
ÚKOL 2
Zkušenosti s implementací podpory z ESF v minulých obdobích
ÚKOL 3 Návrh zaměření ESF v ČR v oblasti trhu práce a boje s chudobou pro programové období 2014 - 2020 (plus specifikace governance jejich implementace a rozpracování jejich základní argumentační logiky ve vztahu k prioritám EU / ČR)
S ohledem na takto specifický charakter zakázky byl do realizačního týmu zpracovatele zařazen expert DHV CR na metodologii procesů strategického plánování, PhDr. Martin Dohnal, Ph.D. Zpracovatel nepředpokládá, že by výstupem práce byla pevná definice priorit / cílů implementace ESF v ČR (v oblastech relevantních současnému OP LZZ) pro období 2014 – 2020, ale spíše určitý podkladový materiál pro negociace mezi ČR a Evropskou komisí týkající se věcného zaměření podpory z ESF v těchto oblastech. V tomto smyslu je přitom důležitá právě robustní analytická práce předcházející vlastní formulaci priorit a jejich rozpracování – formulované priority tak budou stát na solidním argumentačním základu (evidence-based) a nikoliv na základu politických potřeb. Jako zásadní pro cíl projektu strategické evaluace ESF s důrazem na OP LZZ je proto vnímáno také rozpracování priorit/cílů v rámci Úkolu 3.5. To nejen že vyhoví požadavkům Páté kohezní zprávy na posílení strategického plánování, především ale jednoznačně a maximálně empiricky ukotví formulované priority v cílech strategie Europe 2020. Takto zpracovaný kauzální řetězec od cílů EU na nejvyšší úrovni až k formulovaným prioritám a cílů ESF v ČR v následujícím programovém období posílí argumentační kapacitu zástupců ČR při jednání s EK o zacílení podpory z ESF v této oblasti. Neméně důležité potom jsou Úkoly 3.2 – 3.4, které roztřídí formulované cíle a priority podle nejvhodnějšího způsobu jejich implementace a takto, mimo jiné, dále posílí validitu a argumentační potenciál studie.
2.2. Představení metod sběru a analýzy dat Pro realizaci projektu bude využíváno několika metod sběru a analýzy dat a informací, které jsou představeny v této podkapitole. Následující sekce potom uvádějí aplikaci těchto metod při řešení jednotlivých evaluačních úkolů a otázek.
© Sdružení „DHV, NVF“, 8/2011
7
Vzhledem k charakteru zakázky je zřejmé, že dominantní metodou pro sběr a analýzu dat a informací bude desk research, tedy „výzkum od stolu“ a s ním bezprostředně spojená obsahová analýza, jako kvalitativní metoda analýzy dat. Tyto metody by ovšem nebyly pro splnění zadání projektu dostatečné, a to zejména z toho důvodu, že jsou značně statické – tedy schopny zachytit nanejvýše realitu v časovém okamžiku zpracovávání daného materiálu a v kontextu, ve kterém je zpracováván. Z tohoto důvodu budou metody doplněny o další, zejména kvalitativní a participativí metody sběru a analýzy dat, které zprostředkují nejen aktualizací zjištění vyplývajících z „výzkumu od stolu“, ale rovněž jejich pečlivé zasazení do obecného kontextu zadání této studie (viz výše).
Kvantitativní metody sběru dat 2.2.1. M1 – Analýza sekundárních dat externích (veřejných) databází Přestože je analytická část práce založena primárně na práci se sekundárními zdroji a analytickými dokumenty, zpracovatel předpokládá částečný vlastní výzkum v dané otázce – a to především pro dílčí predikce, které nebude možné jednoznačně abstrahovat ze sekundární dokumentace. Analýza sekundárních dat bude důležitá rovněž pro komparaci zjištěných trendů v klíčových oblastech s podobnými analýzami v zahraničí (zejména co se týče EU a OECD). Pro sledování trendů základních charakteristik trhu práce a boje s chudobou budou rovněž využity veřejné statistické databáze ČSÚ, MPSV, EUROSTAT, OECD. Pro efektivní aplikaci metody je klíčové navázání úzké spolupráce se správci těchto databází a rejstříků. Silné stránky této metody
Doplnění chybějících dat, podrobnější analýza kontextu podpory.
Důvody pro uplatnění této metody v rámci nabízeného řešení zakázky
Metoda bude využita především v rámci Úkolu 1 při aplikaci prognostických metod, realizaci predikcí budoucího vývoje a komparaci trendů s mezinárodními trendy. V rámci realizace Úkolu 2 bude využita doplňkově v případě, že bude nutné ověřit a zpřesnit výstupy metaevaluace dříve realizovaných evaluací.
2.2.2. M2 – Dotazníkové šetření Dotazníkové šetření bude využito výhradně jako doplňková metoda pro případ, že bude existovat závažné mezery v datech a informacích poskytovaných sekundárními studiemi a analytickými dokumenty. Byla by tak aplikována doplňkově v oblasti boje s chudobou při zpracování Úkolů 1 a 3.5. Blíže k jejich aplikaci (resp. popis oslovených respondentů a nástin obsahu) viz s. 17. Silné stránky této metody
Doplnění mezer v informacích, datech a poznatcích sekundárních zdrojů.
© Sdružení „DHV, NVF“, 8/2011
8
Důvody pro uplatnění této metody v rámci nabízeného řešení zakázky
Doplňková aplikace v případě, že bude identifikována jednoznačná potřeba doplnit určitou mezeru v datech primárním výzkumem.
2.2.3. M3 – Analýza dat informačního systému Monit+ Doplňkově bude využíváno analýzy dat informačního systému Monit+, který obsahuje monitorovací data k realizaci projektů zaměřených na zaměstnanost a sociální inkluzi ve stávajícím programovém období. Touto metodou budou sbírána především data kvantitativního charakteru, zároveň bude ale (především v rámci realizace Úkolu 1) doplňkově využívána pro sběr kvalitativních informacích o specifických projektech zaměřených především na problematiku sociální inkluze. Silné stránky této metody
Metoda doplní informace a data o realizaci projektů relevantních zadání této studie v současném programovém období
Důvody pro uplatnění této metody v rámci nabízeného řešení zakázky
Metoda bude aplikována doplňkově napříč celým projektem, především potom v úkolech 1 a 2.
Kvalitativní metody sběru dat 2.2.4. M4 - Desk Research Desk Research představuje základní metodu pro realizaci projektu. Již z podstaty zakázky vyplývá, že těžištěm její analytické části je zpracování velkého množství různorodých dat obsažených především v sekundárních analýzách a studiích třetích subjektů, ale také v programových dokumentacích, strategických dokumentech EU a ČR, atd. Metoda umožní pracovat při zpracování projektu s velkým množstvím materiálů a podkladů uvedených níže. Silné stránky této metody
Možnost získat velké množství dostupných informací, metoda je pro realizaci zakázky nezbytná a bude hlavní metodou shromažďování informací.
Důvody pro uplatnění této metody v rámci nabízeného řešení zakázky
Metoda bude aplikována ve všech fázích realizace projektu, především potom v Úkolech 1, 2 a 3.5.
© Sdružení „DHV, NVF“, 8/2011
9
2.2.5. M5 - Polostrukturované rozhovory Polostrukturované rozhovory budou vedeny zkušenými evaluátory primárně s pracovníky řídících orgánů (ŘO OPLZZ, NOK, atd.). Pro jednotlivé rozhovory budou připraveny osnovy, tzv. záznamové listy rozhovorů, a seznam dílčích témat, který zašleme dotazovaným osobám předem. Bude vytvořena sada pomocných otázek, které budou doplněny podle situace na místě při konkrétním rozhovoru. Otázky budou zpracované v souladu s informačními potřebami projektu a zajistí srovnatelnost a jednotnost získaných údajů. Stručný zápis jednotlivých odpovědí bude shrnut do závěrečné zprávy o hodnocení. Plánovaná průměrná délka rozhovoru je 45 min. Silné stránky této metody
Metoda je zásadním nástrojem při zpracovávání hloubkových kvalitativních analýz ohledně konkrétních mechanismů působení podpory a získání expertních pohledů zainteresovaných osob.
Důvody pro uplatnění této metody v rámci nabízeného řešení zakázky
Metoda bude využita především při ověřování prvních návrhů věcného zaměření podpory ESF pro nové programové období.
2.2.6. M6 – Expertní konzultace Expertní konzultace budou sloužit pro ověření výstupů projektu zejména v jeho „návrhové“ části, tedy Úkolu 3. Rovněž ovšem budou užívány pro ověření výsledků prvního a druhého evaluačního úkolu. Expertní konzultace budou mít formu jak individuální, tak i panelovou (expertní minitýmy). Panelová podoba expertních konzultací bude využita především pro ověřování výstupů, pro které chybí jednoznačné sekundární analytické podklady, tedy zejména pro ověření výstupů Úkolu 1 v oblasti boje s chudobou a sociálního začleňování a formulaci teorií změny zcela nových typů intervencí (oblastí podpory), pro které bude obtížnější nalézt jednoznačnou oporu v dokumentaci (programové dokumenty, evaluace, atd.) předcházejících programových období – a to i na úrovni EU. Specifickým druhem panelové expertní konzultace jsou potom konzultační workshopy, kterých se, mimo osob zadavatele, budou účastnit také zástupci odborné veřejnosti. Individuální expertní konzultace budou realizovány primárně se členy širšího projektového týmu. Pro panelové expertní konzultace mimo rámec konzultačních workshopů potom budou sestavovány ad-hoc expertní minitýmy složené převážně z osob mimo projektový tým. Do řešení projektu tak tam, kde to bude relevantní, zapojíme další experty formou distančních a prezenčních expertních skupin (tématických minitýmů). Budou osloveni odborníci na problematiku zaměstnanosti, sociální integrace, boje s chudobou apod., kteří působí a) v akademických institucích (univerzity, výzkumné ústavy a Akademie věd ČR),
© Sdružení „DHV, NVF“, 8/2011
10
b) ve správních úřadech, c) v dosavadních implementačních strukturách, d) v poradenských a výzkumných organizacích. Minitýmy budou sestavovány ad-hoc pro daný problémový okruh. Zpracovatel již začal vytvářet databázi těchto expertů a ti budou kontaktováni v okamžiku věcné přípravy podkladů pro branstrorming. Pro ilustraci uvádíme seznam potenciálních expertů z vytvářené databáze,které hodláme oslovit. Tito ovšem prozatím nebyli osloveni ke spolupráci – to se stane až v případě, že bude vyžadována specifická odbornost, kterou daný expert disponuje. Zaměstnanost a zvyšování konkurenceschopnosti ekonomiky:
PhDr. Kateřina Sadílková nebo Mgr. Martin Žárský, Gen. řed. Úřadu práce Praha
Mgr. Šárka Prachařová, AABYSS, s.r.o. Liberec
Mgr. Tomáš Langer, Asociace institucí vzdělávání dospělých ČR
Mgr. Simona Škarabelová, Ph.D., ESF MU Brno
Ing. Ivan Loukota, ředitel úřadu práce v Českých Budějovicích
Mgr. Jiří Beran, vedoucí EURES úřadu práce v Českých Budějovicích
Ing. Zdeněk Novotný, ředitel úřadu práce v Plzni
Ing. Jarmila Mateřánková, ředitelka úřadu práce v Opavě
Sociální začleňování, boj s chudobou sociální politika:
prof. PhDr. Martin Potůček, CSc., MSc., FSV UK Praha
MUDr. Petr Háva, CSc. Institut sociologických studií FSV, UK, Praha
PhDr. Miroslav Pospíšil, Centrum pro výzkum neziskového sektoru Brno
rovné příležitosti:
Linda Sokačová, Gender Studies, o.p.s. Praha
PhDr. Karel Schwarz, Asociace nestátních neziskových organizací v ČR
finanční gramotnost:
Ing. Bc. Ivan Noveský, Finanční gramotnost, o.p.s. Praha
sociální ekonomika:
doc. Ing. Marie Dohnalová, CSc., FHS UK Praha;
Petra Francová, Nová ekonomika, o.p.s. Praha + TESSEA (Nár. síť pro soc. ekonomiku – EQUAL)
© Sdružení „DHV, NVF“, 8/2011
11
Mgr. Klára Podivínová, Česká unie pro podporované zaměstnávání, o.s.
Analýzy, evaluace a programování v oblasti lidských zdrojů
Mgr. Martin Pělucha, PhD., Vysoká škola ekonomická v Praze
PhDr. Jaromíra Kotíková, Výzkumný ústav práce a sociálních věcí Praha
Mgr. Milan Tuček, CSc., Sociologický ústav AV ČR, Praha
Ing. Věra Czesaná nebo Ing. Jiřího Braňka z NVF.
a další případní představitelé významných konzultačních společností v oblasti evaluace a programování. Seznam kontaktovaných bude doplněn o odborníky z MMR, MPSV a MV, Hospodářské komory ČR, Konfederace zaměstnavatelských a podnikatelských svazů ČR aj. V prezenční formě půjde o setkání 3 – 5 expertů se členy řešitelského týmu nad jednotlivou tématickou oblastí. Vznikne např. minitým pro rovné pracovní příležitosti žen a mužů, pro rekvalifikační přípravu nezaměstnaných, pro začleňování osob s nízkou kvalifikací a nedostatečnou prac. zkušeností, apod. V distanční formě (pomocí e-mailů) budeme expertům zadávat několik klíčových otázek k budoucímu vývoji určitého jevu (např. soc. chudoby), k možnostem jeho ovlivňování, k zahraničním zkušenostem s řešením apod. Jak bylo uvedeno, k panelovým (prezenčním) expertním konzultacím bude docházet především v rámci realizovaných workshopů. Silné stránky této metody
Metoda umožní zpracovávat znalost, která přesahuje znalost kumulovanou v širším projektovém týmu zpracovatele (byť i tento je vysoce kvalifikovaný a sestavený tak, aby pokrýval veškeré relevantní problémové okruhy). Metoda umožňuje zároveň oponenturu výstupů, která pomůže zvýšení jejich kvality, validity i argumentační preciznosti.
Důvody pro uplatnění této metody v rámci řešené zakázky
Metoda bude využívána především pro vyplňování mezer v dostupných informací a datech, oponenturu průběžných výstupů a brainstorming.
2.2.7. M7 – Meta-evaluace Meta-evaluaci je možné ve zkratce popsat jako „evaluaci evaluací“. Do značné míry tak jde o systematizaci dříve realizovaných (především tematických) evaluací. Od prosté syntézy se ovšem odlišuje tematickým zaměřením. Meta-evaluace tedy není pouhým shrnutím poznatků (závěrů a doporučení) předchozích evaluačních studií, jejím cílem je získat jednoznačné odpovědi na
© Sdružení „DHV, NVF“, 8/2011
12
formulované evaluační otázky prostřednictvím sběru konkrétních dat a poznatků formulovaných v tematicky a často velmi úzce zaměřených předchozích studiích. Jde tak o důležitou metodu sběru dat a informací pro zodpovězení formulovaných evaluačních otázek2. Meta-evaluace tak je důležitým stupněm v procesu politického učení, který musí nezbytně navazovat na realizované evaluační studie (v opačném případě evaluace neplní svůj účel) – tedy v procesu aplikace znalosti kumulované evaluacemi do programového cyklu. Jak uvádí Lipsey, meta-evaluace „poskytuje informační zdroje pro průběžné upravování programu i pro samotnou evaluační praxi“ (Lipsey 2000: 212). Meta-evaluace v tomto procesu tvoří určitý mezistupeň mezi poznatky získanými v rámci evaluačních studií a jejich aplikací pro praxe programu – jejím prostřednictvím dochází ke kumulaci a agregaci relevantních (a jinak často docela roztříštěných) informací pro politické rozhodování ohledně dalšího působení programu a jeho podmínek. Silné stránky metody Metoda umožňuje systematickým způsobem a v souladu s tematickým zaměřením zadání – evaluačních otázek – kumulovat a agregovat znalost získanou v procesu evaluace (především tematické) daného programu. Důvody pro uplatnění této metody v rámci nabízeného řešení zakázky
Zadání zakázky má do značné míry podobu politického učení – částí zakázky je aplikace znalosti z předchozích programových období do formulace věcného zaměření i implementačního systému poskytování podpory z ESF v následujícím programovém období. Meta-evaluace je v tomto procesu politického učení velmi užitečný a do určité míry dokonce nenahraditelný nástroj.
Kvantitativní a kvalitativní metody analýzy dat 2.2.8. M8 – Prognostické metody Při identifikaci a predikci potřeb a problémů trhu práce a v oblasti boje s chudobou a identifikaci relevantních strategií bude zpracovatel využívat prognostické metody, tedy bude pracovat s poznáním vztahujícím se k budoucnosti. Orientačně, podle míry subjektivity, lze klasifikovat prognostické metody na subjektivní, objektivní a systémové modely. Charakteristika prognostických metod v tomto pojetí ale neznamená předurčení prognóz sestavených převážně na základě subjektivních metod na prognózy méně kvalitní ve srovnání s prognózami, které využívají ve větší míře objektivní metody.
2
Je ovšem nutné uvést, že v některých zdrojích je meta-evaluace chápána nikoliv jako tematicky zaměřené a evaluačními otázkami řízená syntéza poznatků dřívějších studií, ale spíše jako prostředek pro systematizované posouzení kvality evaluací předložených za určitý časový úsek (k tomuto viz např. tzv. Meta-evaluation checklist Michaela Scrivena, který nabízí právě určitý systematizovaný hodnotící rámec pro posuzování kvality evaluací). Při plnění nabídky bude ovšem pod metodou meta-evaluace míněn první uvedený význam.
© Sdružení „DHV, NVF“, 8/2011
13
Jak objektivní tak subjektivní metody mají své přednosti a nedostatky a jde spíše o využívání předností obou prognostických směrů. Subjektivní (převážně kvalitativní) prognostické metody Metoda srovnávací (analogických úsudků) spočívá v nalezení analogie ve vývoji systémů obdobných jak z hlediska obsahové struktury, tak časových a místních podmínek. V ekonomických prognózách se používá zejména historické analogie, která při dodržení podmínky odpovídající srovnatelnosti může poskytnout v krátké době a s nízkými náklady na jednotku informace požadované prognostické poznatky. Analýza dokumentů se vztahuje jak k textovým, tak k elementárním statistickým podkladům, které poskytují informace o objektu prognózy. Pokud jsou informace úplné, metoda umožňuje získat komplexní přehled o daném problému. Plnému využití této metody brání mnohdy značná nesourodost podkladových materiálů s vysokými nároky na stanovení skutečných vývojových tendencí. Podstatou metody dotazování je zjištění názoru odborníků na vývoj předmětu prognózy. Dotazy jsou kladeny ústní nebo písemnou formou. Předností písemných dotazů je menší časová náročnost na shromáždění příslušných informací a stejný systém kladení otázek, který není při ústním dotazování zcela zaručen. Způsob organizace a zpracování dotazování je podrobně popsáno např. v delfské metodě. Jedná se o etapové zjištění názoru odborníků, při němž se dotazy formulují nejdříve obecně, pak se postupně zpřesňují a konkretizují směrem od obecného ke zvláštnímu. Dotazy jsou formulovány tak, aby bylo možné statistické zpracování. Předností metody je dosažení konkrétního závěru ještě v etapě dotazování. Obdobou delfské metody je tzv. brainstorming - rychlá burza nápadů, při němž jsou dotazy kladeny ústní formou kolektivu odborníků různých profesí, případně neodborníků, mezi nimiž nejsou žádné zábrany pro vyjádření jakýchkoliv námětů a idejí. Nenucená a otevřená forma diskuse je podmínkou úspěchu této metody. Na rozdíl od delfské metody diskuse nemusí vyústit v konkrétní závěr. Klíčovou etapou brainstormingu je zhodnocení utříděných námětů vzešlých z diskuse, která se zaznamenává a představuje závěrečnou etapu brainstormingové metody. Charakteristickým rysem metody dotazování v jejích různých variantách je přenesení řešení prognostického úkolu z určité části na dotazované a soubor dotazovaných pak vlastně představuje prognostický tým a na jeho složení do značné míry závisí kvalita prognózy. Objektivní (převážně kvantitativní) prognostické metody Objektivní metody používané v prognostické činnosti vycházejí z poznatků statistiky a aplikované matematiky, nebo jsou jejich kombinací. Ze statistických metod se jedná zejména o zkoumání založené na analýze trendových funkcí, modelů časových řad a regresních modelů. Analýzu trendových funkcí lze rozdělit do dvou navazujících etap. První etapou je stanovení trendové funkce. V ekonomických prognózách se jedná zpravidla o neperiodické časové řady s náhodným kolísáním. K jejich vyrovnání se používá řady funkcí, z nichž největšího rozšíření doznaly funkce lineární, mocninná (dvojlogaritmická), semilogaritmická, exponenciální, kvadratická, hyperbolická a logistická (tzv. S-funkce). Silné stránky této metody
Metoda (resp. soubor metod) umožňuje modelaci vývojových trendů klíčových indikátorů tam, kde není možné takové trendy explicitně abstrahovat ze sekundární
© Sdružení „DHV, NVF“, 8/2011
14
literatury. Metoda je rovněž doplňkovým nástrojem pro validní predikci budoucích problémů a potřeb ČR. Důvody pro uplatnění této metody v rámci nabízeného řešení zakázky
Zadání Úkolu 1, které požaduje sestavení prognóz a predikcí vývoje v oblasti trhu práce a boje s chudobou (resp. v oblasti sociálního začleňování) vyžaduje alespoň částečnou aplikaci prognostických metod.
Kvalitativní metody analýzy dat 2.2.9. M9 – Obsahová analýza Dále bude zajištěno zpracování tzv. obsahové analýzy dokumentů získaných a setříděných pomocí metody M3 - Desk research a doplňkově i M1 – Analýza sekundárních dat externích databází. Silné stránky této metody
Možnost vyhodnotit obsahovou stránku relevantních dokumentů.
Důvody pro uplatnění této metody v rámci nabízeného řešení zakázky
Obsahová analýza relevantních dokumentů umožňuje systematicky zpracovat a vzájemně propojit získaná data.
2.2.10. M10 – Metoda syntézy Metoda syntézy tvoří určitý protipól analytickým metodám zmíněným výše. Na základě této metody jsou naopak výstupy jednotlivých metod skládány dohromady, srovnávány a dále jsou na jejich základě vyvozovány obecné, ale i konkrétní závěry zaměřené na předmět této zakázky. Silné stránky této metody
Syntéza umožňuje komplexně zpracovat všechna data získaná na základě dílčích analýz.
Důvody pro uplatnění této metody v rámci nabízeného řešení zakázky
V průběhu realizace zakázky bude aplikována celá řada metod. Výsledky a data získané na základě jejich aplikace proto bude potřeba finálně zpracovat a zhodnotit a k tomu je právě určena metoda syntézy. Vzhledem k ucelenému charakteru jednotlivých úkolů bude nutné syntézu aplikovat i v každém evaluačním úkolu, nebo dokonce i podúkolu (resp. souboru podúkolů).
© Sdružení „DHV, NVF“, 8/2011
15
2.3. Metodologie řešení evaluačních úkolů 2.3.1. Úkol 1: Identifikace a predikce potřeb a problémů trhu práce a v oblasti boje s chudobou a identifikace relevantních strategií 2.3.1.1. Úkol 1.1: Analýza, vyhodnocení a predikce potřeb a problémů trhu práce a v oblasti boje s chudobou do období 2014 – 2020. Porozumění úkolu Úkol 1.1 představuje těžiště analytické části zakázky (viz výše). Cílem je, na základě sekundárních pramenů a zdrojů, analyzovat potřeby a problémy ČR v následujícím programovém období v daných oblastech (trh práce, boj s chudobou), tak, aby tato analýza mohla posloužit jako základ pro věcné zacílení podpory z ESF v programovém období 2014 – 2020. Obecný přístup k řešení úkolu Práce na vymezeném úkolu budou se zřetelem k povaze a obsahu tohoto úkolu rozloženy do několika částí. Parametry navrhovaného postupu jsou odvozeny od cíle zjistit, jaké jsou predikce potřeb trhu práce do roku 2020 jak na straně zaměstnanců, tak na straně zaměstnavatelův České republice. V oblasti boje s chudobou budou obdobné analýzy zpracovány s ohledem na možný vývoj postavení jednotlivých cílových skupin politik sociálního začleňování ČR. Zpracovaná analýza vývoje trhu práce v České republice bude koncipována tak, aby vystihla obě strany tvořící trh práce, tj. jak vývoj na nabídkové straně trhu práce, tak i vývoj na jeho stránce poptávkové. Proto bude obsahovat požadované aspekty analýzy vztahující se jak k zaměstnancům (a také nezaměstnaným), tak i zaměstnavatelům. Analýza zpracovaná v oblasti boje s chudobou bude detailně zohledňovat možný vývoj v postavení jednotlivých cílových skupin podporovaných ESF v oblasti sociálního začleňování. Zpracovatel bude při své práci používat zejména top-down přístup a bude využívat zejména data zjišťovaná na národní úrovni. Se zřetelem k tematickému zaměření zakázky půjde zejména o informace, obsažené ve zprávách o šetřeních Českého statistického úřadu, Ministerstva práce a sociálních věcí a dalších organizací, například Výzkumného ústavu práce a sociálních věcí, Fakulty sociálních studií Masarykovy univerzity v Praze nebo Centra pro ekonomický výzkum a doktorské studium Univerzity Karlovy v Praze, ale i vlastních dat a zpracovaných studií na toto téma. Ze zpráv a šetření Ministerstva práce a sociálních věcí půjde zejména o periodické i jednorázové (specifické) zprávy o vývoji zaměstnanosti v ČR a o zprávy a evaluační studie zabývající se dosavadními výsledky implementace operačních programů Rozvoj lidských zdrojů (2004 – 2006) a Lidské zdroje a zaměstnanost (2007 – 2013). Základní metodou, používanou pro získávání informací a údajů, bude desk research, tj. „analýza od stolu“ všech dostupných materiálů a informací vztahujících se k předmětu realizace projektu.
© Sdružení „DHV, NVF“, 8/2011
16
Vzhledem k tomu, že je zadavatel dobře obeznámen s daty a dokumenty (popřípadě je sám autorem relevantních publikací), které se týkají intervencí z ESF a vývoje na trhu práce a analýz trendů na trhu práce, umožní to poněkud zkrátit fáze této analýzy. Informace, získané v oblasti zaměstnanosti a boje proti chudobě ze statistik, analýz a výzkumných prací, budou doplněny o relevantní výstupy ze systémových a evaluačních projektů, realizovaných v rámci operačních programů OP RLZ (zahrnuta rovněž oblast vzdělávání) a OP LZZ, protože tyto operační programy jsou primárně zaměřeny na podporu zaměstnanosti včetně podpory tvorby nových pracovních míst a eliminace překážek pro sociální začleňování. O výstupy těchto projektů, identifikovaných v MONIT, bude požádán zadavatel (řídící orgán OP LZZ). Zmíněný řídící orgán zajišťuje i fungování informačního systému, který umožňuje zjišťovat data například o počtech pracovních míst, vytvářených s podporou projektů spolufinancovaných z Evropského sociálního fondu, a také další indikátory, používané při realizaci projektů podporovaných z ESF. Zvláštní pozornost je potom nutné věnovat oblasti sociálního začleňování a boje s chudobou, kde zadavatel identifikoval určitý nedostatek kvalitních analytických dokumentů. Zpracovatel bude používat rovněž data ze systému OK Práce. V rámci finalizace analýzy budeme využívat zejména konzultací a rozhovorů s odbornými pracovišti MPSV. Výstupy Úkolu 1 budou diskutovány a ověřeny expertním panelem, který bude pravděpodobně realizován v rámci prvního workshopu. V případě potřeby budou relevantní experti konzultováni i v průběhu přípravy výstupů – to se týká především části věnované problematice sociálního začleňování a boje s chudobou, které nejsou dostatečně pokryty standardními analýzami a studiemi. V případě, že analyzované studie a dokumenty pro oblast sociálního začleňování a boje s chudobou nebudou dostatečné pro jednoznačnou identifikaci problémů a potřeb ČR a jejich predikci pro následující programové období, bude analýza doplněna dotazníkovým šetřením. Tento průzkum by byl uspořádán: a) mezi poskytovateli služeb, které se týkají sociálního začleňování a boje s chudobou. Řešitel disponuje rozsáhlou databází relevantních subjektů v oblastech sociálních služeb (včetně intervenčních a nízkoprahových center), poradenství pro znevýhodněné skupiny (včetně finanční gramotnosti) apod.; b) v městských úřadech (odborech soc. záležitostí apod.). Tyto subjekty akumulují rozhodující zkušenosti a poznatky o uvedené problematice, mají bezprostřední kontakt s cílovými skupinami a dokáží identifikovat jejich potřeby a predikovat další vývoj. Výsledky využijeme při návrzích na oblasti podpory a pro odhady rozsahu cílových skupin.
© Sdružení „DHV, NVF“, 8/2011
17
Operacionalizace zadání úkolu Evaluační otázka
Zdroj dat
Metody sběru dat
Metody analýzy dat
Komentář
Úkol 1: Identifikace a predikce potřeb a problémů trhu práce a v oblasti boje s chudobou a identifikace relevantních strategií Úkol 1.1. Analýza, vyhodnocení a predikce potřeb a problémů trhu práce a v oblasti boje s chudobou do období 2014 - 2020 Zpracovatel předpokládá primární důraz na analýzu následujících čtyř faktorů, které ovlivňují aktuální vývoj na trhu práce a zároveň představují kritické faktory sociálního vyloučení: zaměstnanosti nezaměstnanosti volných pracovních míst ekonomicky neaktivních osob v produktivním věku. První tři klíčové faktory jsou zvoleny jednak proto, že jsou Sekundární považovány pro trh práce za stěžejní, a také proto, že M1 prameny a. Jaké jsou hlavní faktory ovlivňující zvyšování zaměstnanosti, snižování nezaměstnanosti a aktuální vývoj na trhu práce a kritické M4 M9 (viz níže) obsazování volných pracovních míst jsou hlavními účinnými faktory sociálního vyloučení? M6 způsoby nejen pro snižování diskrepancí na trhu práce, ale Pracovníci ŘO také v boji proti chudobě. Z pohledu nezaměstnanosti bude důraz kladen zejména na dlouhodobou nezaměstnanost, která je kritickým faktorem pro následné sociální vyloučení a možné chudoby. V porovnání s jinými zeměmi EU není procento chudoby v České republice vysoké (ČR 9% oproti EU 17% v roce 2008), přesto se hrozba sociálního vyloučení a následné chudoby s rostoucí inflací zvyšuje. Zkoumání skupiny ekonomicky neaktivních osob je důležité jednak z hlediska zvyšování míry zaměstnanosti, neboť v této skupině je, vedle skupiny nezaměstnaných, potenciál ke
© Sdružení „DHV, NVF“, 8/2011
18
Evaluační otázka
Zdroj dat
Sekundární prameny b. Jaké jsou pozorovatelné vývojové trendy těchto klíčových faktorů?
Data z externích databází (viz níže)
c. Jaká je vnitřní struktura vývojových trendů uvedených klíčových faktorů, a to zejména co se týče pohlaví, vzdělání, sektoru ekonomické aktivity, povolání a regionu?
Sekundární prameny Data z externích databází (viz níže)
Metody sběru dat
Metody analýzy dat
M1 M4 M6 (doplňkově: M2, M3)
M9
M1 M4 (doplňkově: M2, M3)
M9
Komentář zvyšování míry zaměstnanosti a dosažení cílů stanovených v Evropě 2020. Dále je tato skupina důležitá z hlediska sociálního začleňování, neboť její část je tvořena osobami závislými na sociálních dávkách či bez jakýchkoliv příjmů. Uvedené klíčové faktory budou případně doplněny, a to na základě konzultací se zadavatelem a studia sekundárních pramenů. Analýza vývoje trhu práce v ČR bude zaměřena na vyhodnocení dosavadního vývoje a na identifikaci hlavních trendů ve vývoji tří klíčových faktorů ovlivňujících vývoj na trhu práce, a v oblasti sociální inkluze / boje s chudobou. Trendy budou sledovány především na základě sekundárních pramenů, ovšem toto bude doplněno o vlastní analýzu dat z veřejně dostupných databází. U každého z uvedených tří faktorů bude analýza sledovat vývoj jeho struktury. Struktura vývoje zaměstnanosti, nezaměstnanosti a volných pracovních míst bude v rámci analýzy sledována vždy z hlediska několika kritérií. K hlavním kritériím, která budou v rámci analýzy použita, budou patřit: pohlaví
vzdělání
ekonomický sektor
povolání
region
a také další kritéria, k nimž řadíme především věk a zdravotní či jiné (sociální) znevýhodnění.
© Sdružení „DHV, NVF“, 8/2011
19
Evaluační otázka d. Do jaké míry jsou identifikované trendy klíčových faktorů a jejich struktura závislé na aktuálním vývoji hlavních makroekonomických faktorů ekonomického vývoje a obecně vývoje hospodářství v ČR i ve světě?
e. Jaké další faktory a aspekty ovlivňují situaci na trhu práce a v oblasti boje s chudobou?
Zdroj dat
Metody sběru dat
Metody analýzy dat
Komentář
M9
Aby analýza umožnila trendy náležitě identifikovat, bude využívat data z období pozitivního i negativního ekonomického vývoje u nás. Konkrétně půjde o data z období posledních asi pěti let (2006 – 2010). Jako hlavní ukazatel ekonomického vývoje bude využíván meziroční míra růstu DPH, která je jednotnou metodikou sledována v zemích EU i OECD.
M9
Kromě analýzy vývoje struktury výše zmíněných tří stěžejních faktorů trhu práce bude součástí analytických prací také analýza několika dalších aspektů, které situaci a vývoj na trhu práce ovlivňují. Patří k nim například počáteční i další vzdělávání jako součásti celoživotního učení, flexibilita forem zaměstnání, migrace, intervence státu i dalších aktérů apod.
M9
Zjištěné trendy budou porovnány s analogickými trendy v zahraničí. Pro porovnání budou používány údaje ze zemí Evropské unie, popř. z vybraných dalších zemí, které jsou členy OECD.
M10
Výstupem těchto částí analytických prací bude identifikace hlavních problémů trhu práce a problémů v oblasti boje s chudobou, které v ČR existovaly ve sledovaném minulém pětiletém období a které existují v současné době. Identifikované problémy se budou zaměřovat jednak na
Sekundární prameny Data z externích databází
M1 M4
(viz níže) Sekundární prameny Data z externích databází
M1 M4 M6
(viz níže)
f. Do jaké míry odpovídají identifikované vývojové trendy klíčových faktorů analogickým trendům v zahraničí (země EU a OECD)?
Sekundární prameny Data z externích databází
M1 M4
(viz níže) g. Jaké jsou aktuálně hlavní potřeby a problémy trhu práce v ČR?
Sekundární prameny
h. Jaké jsou aktuálně hlavní překážky pro vstup a udržení se na trhu práce pro sociálně znevýhodněné osoby?
Data z externích databází
© Sdružení „DHV, NVF“, 8/2011
M4 M6 (doplňkově: M5)
20
Evaluační otázka
Zdroj dat
Metody sběru dat
Metody analýzy dat
(viz níže) i. Jaké jsou aktuálně hlavní překážky v oblasti sociální ho začleňování a hlavní výzvy v oblasti boje s chudobou?
problémy, spjaté s nevhodným či negativním vývojem struktury nabídky a poptávky na trhu práce, dále na problémy týkající se diskrepancí mezi nabídkou a poptávkou na trhu práce a také na problémy vztahující se k boji s chudobou.
Odpovědi na předchozí EO 1.a – 1.f
Sekundární prameny j. Jaká je predikce vývoje identifikovaných potřeb a problémů trhu práce a v oblasti boje s chudobou v období 2014 – 2020?
© Sdružení „DHV, NVF“, 8/2011
Data z externích databází (viz níže)
Komentář
M1 M4
M8 M9
Pokud jde o predikci potřeb a problémů trhu práce a v oblasti boje s chudobou, bude orientována na shrnutí výsledků dosavadních prací týkajících se prognózování vývoje nabídky a poptávky na trhu práce, prognózování vývoje kvalifikační struktury pracovní síly, ale také prognózování struktury odborného vzdělávání. Do této části analytických prací budou zahrnuty i výsledky prací zabývajících se vývojem profesí nebo vývojem požadavků na lidské zdroje ve vybraných ekonomických sektorech nebo skupinách profesí. Půjde o sektory nebo skupiny profesí, které jsou důležité z hlediska konkurenceschopnosti. Kromě využití údajů již existujících predikčních studií zpracuje zpracovatel rovněž vlastní odhady budoucího vývoje a to jak na základě prognostických modelů využívajících existující data, rovněž však budou připraveny vlastní expertní odhady, využívající poznatků, dovedností, intuice a tvořivosti vlastních výzkumníků a respektující globální trendy v zemích EU.
21
2.3.1.2. Úkol 1.2: Vyhodnocení souladu identifikovaných potřeb s prioritami strategických dokumentů EU a ČR Porozumění úkolu Těžiště prací spadajících do tohoto úkolu bude tvořit evaluace, tj. posouzení či vyhodnocení, do jaké míry jsou potřeby, identifikované v rámci Úkolu 1.1, v souladu s prioritami strategických dokumentů EU a ČR. Realizaci úkolu tak je možné chápat jako určitý filtr pro potřeby a problémy identifikované v rámci realizace Úkolu 1.1 – při jeho naplňování má být původní analýza potřeb a problémů zúžena na ty, které jsou v souladu se strategickými dokumenty EU a ČR a jsou tedy vhodné k podpoře z ESF. Sekundárně budou takto ovšem identifikovány i ty potřeby a problémy, které není možné prostřednictvím nástrojů implementace strukturálních fondů EU v ČR podporovat, jsou ovšem s těmi podporovatelnými provázány do té míry, že jejich opomenutí (vinou formální nepřijatelnosti daného problémového okruhu v prioritách SF EU) ohrožuje strategii jako celek. Pro tyto oblasti bude následně nutné nalézt podporu v národních zdrojích ČR. Obecný přístup k řešení úkolu Při evaluacích zjištěných trendů ve vztahu k prioritám strategických dokumentů budou tedy používány na jedné straně trendy, resp. problémy, identifikované prostřednictvím analytických prací a specifikované ve výstupech prací na Úkolu 1.1, a jednak priority strategických dokumentů z oblasti ekonomického, sociálního a regionálního rozvoje, jakož i z oblasti zaměstnanosti, vzdělávání a sociálního začleňování. Zároveň budou identifikovány i priority, které nebude možné financovat ze strukturálních fondů. Půjde o strategické přístupy vztahující se jak k České republice, tak i k Evropské unii. Výsledkem prací na Úkolu 1.2 bude evaluační zpráva, v níž bude specifikováno, které priority a cíle existujících relevantních strategických dokumentů EU a ČR v oblasti rozvoje lidských zdrojů, zaměstnanosti a sociálního začleňování jsou v souladu s potřebami a problémy, zjištěnými v rámci zpracování Úkolu 1.1. Součástí vyhodnocení bude rovněž specifikace priorit a strategií ČR, které nemohou být v budoucnu naplňovány prostřednictvím nástrojů, financovaných ze strukturálních fondů, avšak je nutné je financovat z národních zdrojů. Primární metodou pro zajištění výstupu úkolu bude obsahová analýza strategických dokumentů ČR i EU, popsaných v zadávací dokumentaci a doplněných o dokumenty uvedené v seznamu literatury – viz. příloha vstupní zprávy. Postup prací rozložíme do těchto sedmi hlavních fází: 1. Zjištění a shromáždění relevantních existujících strategických dokumentů, uvedených v části 3 této vstupní zprávy 2. Studium relevantních strategických dokumentů na úrovni ČR i EU 3. Analýza a zpracování informací z uvedených dokumentů 4. Identifikace hlavních požadavků a cílových indikátorů 5. Ověření souladu/nesouladu priorit, uvedených v českých strategických dokumentech s prioritami strategických dokumentů EU
© Sdružení „DHV, NVF“, 8/2011
22
6. Zhodnocení oblastí priorit a strategií ČR, které nemohou být v budoucnu naplňovány prostřednictvím nástrojů, financovaných ze strukturálních fondů, avšak je nutné je financovat z národních zdrojů. 7. Vypracování závěrečné zprávy Úkolu 1.2
© Sdružení „DHV, NVF“, 8/2011
23
Operacionalizace zadání úkolu Evaluační otázka
Zdroj dat
Metody sběru dat
Metody analýzy dat
Komentář
Úkol 1: Identifikace a predikce potřeb a problémů trhu práce a v oblasti boje s chudobou a identifikace relevantních strategií Úkol 1.2. Vyhodnocení souladu identifikovaných potřeb s prioritami strategických dokumentů EU a ČR k. Jaké jsou klíčové priority EU a ČR v oblasti rozvoje lidských zdrojů, zaměstnanosti a sociálního začleňování?
Strategické dokumenty
l. Do jaké míry odpovídají identifikované potřeby a problémy trhu práce a v oblasti boje s chudobou v ČR s klíčovými prioritami EU a ČR v oblasti rozvoje lidských zdrojů, zaměstnanosti a sociálního začleňování?
Odpověď na EO 1.k
m. Které z identifikovaných priorit ČR v relevantních oblastech nebude možné v budoucnosti podporovat prostřednictvím nástrojů financovaných ze strukturálních fondů EU? Které z těchto priorit je nezbytné sledovat, nemá-li být omezeno působení a účinky strukturálních politik?
© Sdružení „DHV, NVF“, 8/2011
M4
M9
Prvním logickým krokem analýzy je mapování priorit ČR a EU v oblasti rozvoje lidských zdrojů, zaměstnanosti a sociálního začleňování. Zodpovídání evaluační otázky tak bude mít podobu mapování relevantní dokumentace.
M9 M10
Bude realizován průmět (reálných i očekávaných) problémů a potřeb ČR v oblasti trhu práce a boje s chudobou, identifikovaných v úkolu 1.1 na strategické priority ČR a EU (odpověď na evaluační otázku 1.k)
M9 M10
Na základě odpovědi na otázku 1.l budou identifikovány priority, které nejsou v souladu s zacílením ESF v novém programovém období, jejich naplňování je ovšem nezbytné z důvodu intenzivní synergie a propojenosti s ostatními prioritami.
(viz níže)
Výstup úkolu 1.1 Odpověď na EO 1.k a 1.l Výstup úkolu 1.1
M4 M6
M4 M6
24
2.3.2. Úkol 2: Zhodnocení příspěvku OP LZZ a dalších programů ESF k naplňování strategií EU a ČR Porozumění úkolu Účelem této části zakázky je zpracovat komplexní a strukturovanou informaci o působení ESF v ČR v předchozích programových obdobích (2004 – 2006, 2007 – 2013 – zde je ovšem informace prozatím pouze průběžná). Cílem přitom je kumulace a agregace znalosti o formách podpory z ESF, ve kterých byla tato podpora úspěšná co se týče relevance a účelnosti podpory. Podobně bude vyhodnoceno, které oblasti naopak úspěšné nebyly. Nad rámec toho bude při zpracování Úkolu 2 analyzována chybějící opatření, tedy oblasti, které prozatím nebyly podporovány a jsou k podpoře vhodné i ty, které jsou v současném období vhodné pro podporu, ovšem z důvodu obtížné implementace prozatím nebyly realizovány. Celkovým cílem Úkolu 2 tak je poskytnout pro „návrhovou“ část zakázky – tedy Úkol 3 – hlubokou znalost o dosavadní implementaci podpory z ESF, která vhodným způsobem doplní výstupy Úkolu 1 – tedy analýzu potřeb a problémů v oblasti trhu práce a boje s chudobou, které je vhodné podporovat a které jsou zároveň k podpoře způsobilé. Spojením výstupů Úkolu 1 a Úkolu 2 bude kumulovaná komplexní znalost pro realizaci návrhové části zakázky, tedy pro návrh nových priorit a cílů pro zaměření ESF v ČR v následujícím programovém období, které a) reagují na zjištěné problémy a potřeby ČR na trhu práce a v oblasti boje s chudobou (Úkol 1.1), b) jsou přijatelné k podpoře z ESF (Úkol 1.2) a c) existuje rozumný předpoklad, že jejich podpora bude efektivní (nebo je alespoň známo, co je předpokladem toho, aby podpora v dané oblasti byla efektivní). Obecný přístup k řešení úkolu Při zpracování Úkolu 2 vyjde hodnotitel z již realizovaných evaluací jak v působnosti Národního orgánu pro koordinaci, tak i evaluací a dokumentů ŘO OP LZZ a dalších relevantních dokumentů (minimální výčet dokumentů, které budou podrobeny analýze je uveden v zadávací dokumentaci). V případě, že bude zadavatelem evaluace poskytnuta součinnost při kontaktování zpracovatelů dalších, v této době realizovaných evaluačních studií, bude možné do rámce analýzy v Úkolu 2 zahrnout i průběžné výstupy těchto klíčových evaluací. Nad rámec dokumentů uvedených v nabídce budou do vyhodnocení Úkolu 2 zahrnuty rovněž evaluační a další studie realizované v Operačním programu Vzdělávání pro konkurenceschopnost (a to z toho důvodu, že, dle zadávací dokumentace, zadavatel vyžaduje vyhodnotit přínos programů ESF v ČR mimo jiné se zaměřením na rozvoj lidských zdrojů a vzdělávání, které jsou částečně realizovány také v rámci OP VK), a to zejména tyto:
Analýza využívání prostředků ESF v rámci podřízených organizací resortu MŠMT; Analýza výzev Operačního programu Vzdělávání pro konkurenceschopnost uskutečněných v roce; Sociologický výzkum zaměřený na analýzu podoby a příčin segregace dětí, žákyň, žáků a mladých lidí ze sociokulturně znevýhodňujícího prostředí; Analýza grantových projektů prioritní osy 1 v rámci 1. a 2. výzvy OPVK;
© Sdružení „DHV, NVF“, 8/2011
25
Primární metodou sběru a analýzy dat v Úkolu 2 je meta-evaluace (blíže viz kap. 5.1.6). Prvním krokem její aplikace bude specifikace evaluačního rámce pro meta-evaluaci, tedy rozpracování jejího věcného zaměření. V tomto kroku bude klíčové přesně rozpracovat především kritéria relevance a účelnosti podpory. Zpracovatel zváží rovněž zpracování standardizovaného checklistu nebo jiného standardizovaného hodnotícího rámce pro hodnocení jednotlivých evaluačních studií tak, aby byla tato hodnocení navzájem kompatibilní (tedy zpracovaná podle jednotné šablony). V případě potřeby budou výstupy meta-evaluace ověřeny na základě primárních dat ze systému Monit7+. Výsledky meta-evaluace budou ověřeny prostřednictvím expertního panelu pořádaného v rámci jednoho z konzultačních workshopů (zpracovatel předpokládá, že k výsledkům analýzy v Úkolu 2 bude uspořádán workshop č. 2).
© Sdružení „DHV, NVF“, 8/2011
26
Operacionalizace zadání úkolu Evaluační otázka
Zdroj dat
Metody sběru dat
Metody analýzy dat
Komentář
Úkol 2: Zhodnocení příspěvku OP LZZ a dalších programů ESF k naplňování strategií EU a ČR a. Jaká jsou zjištění ohledně obecné „vhodnosti“ (relevance) intervencí jednotlivých OP v oblasti zaměstnanosti a sociální inkluze
Evaluace ESF a další relevantní evaluace (viz ZD)
M4 M7 (M3-doplňkově)
b. Jaká jsou zjištění v oblasti dynamiky „vhodnosti“ (relevance) – Existují priority, které přestaly být relevantní pro podporu, ovšem jsou nadále podporovány? Existují priority a oblasti, které jsou vhodné po podporu, ale podporovány nejsou?
Evaluace ESF a další relevantní evaluace (viz ZD)
M4 M7 (M3-doplňkově)
c. Jaká jsou zjištění ohledně „zbytečnosti“ některých intervencí.
Evaluace ESF a další relevantní evaluace (viz ZD)
M4 M7 (M3-doplňkově)
© Sdružení „DHV, NVF“, 8/2011
M9
Základním vstupem pro analýzu je hodnocení „úspěchu“ předchozích OP implementujících ESF v daných tematických okruzích na kritériích relevance a účinnosti. Při odpovědi na evaluační otázku tak budou mapována obecná zjištění ohledně relevance podpory z ESF
M9
Relevance podpory není statickým, ale dynamickým kritériem – relevance se proměňuje v závislosti na vývoji socioekonomického kontextu, v němž je intervence realizována. V odpovědi na evaluační otázku bude mapována právě tato dynamická složka kritéria relevance, bude tedy zjišťováno, zda se některé intervence nestaly v důsledku externích změn nerelevantními a naopak, zda se nezvýšila relevance jiných intervencí.
M9
V odpovědi na tuto evaluační otázku se hodnotitel explicitně zaměří na mapování intervencí, které jsou evaluátory považovány za nadbytečné z důvodu relevance jejich intervenční logiky a/nebo implementace.
27
Evaluační otázka d. Jaká jsou zjištění ohledně chybějících intervencí – existují oblasti, kde ESF nepůsobí, ale byly by v budoucnu vhodné k podpoře z ESF? Existují oblasti, kde absence ESF ohrožuje výsledky jiných intervencí? Existují jiné zdroje financování intervencí v těchto oblastech?
e. Jaká jsou zjištění ohledně vhodnosti / správnosti přístupu k řešení konkrétního problému v rámci realizovaných intervencí?
f. Jaká jsou tematická zjištění ohledně „vhodnosti“ a potřebnosti (tj. relevance) intervence z ESF?
© Sdružení „DHV, NVF“, 8/2011
Zdroj dat
Evaluace ESF a další relevantní evaluace (viz ZD) Výstup úkolu 1.2
Evaluace ESF a další relevantní evaluace (viz ZD)
Evaluace ESF a další relevantní evaluace (viz ZD)
Metody sběru dat
M4 M7 (M3-doplňkově)
M4 M7 (M3-doplňkově)
M4 M7 (M3-doplňkově)
Metody analýzy dat
Komentář
M9
Odpověď je provázána na jeden z výstupu úkolu 1.2 – budou identifikovány chybějící intervence, jejichž absence (v minulém a současném programovém období) má negativní dopad na implementaci jiných, s nimi provázaných, intervencí a v konečném důsledku tato absence omezuje schopnost OP dosahovat vytyčených cílů.
M9
Nedostatečná relevance konkrétní intervence nemusí být způsobena pouze její nevhodností co se týče vlastního obsahu (intervence cílí na prioritu, která není v daném socioekonomickém kontextu „potřebná“ – relevantní), ale také nevhodným způsobem intervence.
M9
V odpovědi na evaluační otázku hodnotitel předpokládá roztřídění tematických zjištění do následujících tematických okruhů: adaptabilita, aktivní politika zaměstnanosti, sociální začleňování osob vyloučených z trhu práce / ohrožených vyloučením, sociální začleňování ve vyloučených romských lokalitách, rovné příležitosti na trhu práce, sociální podnikání a mezinárodní spolupráce a výměna zkušeností v oblasti trhu práce a sociální inkluze.
28
Evaluační otázka
g. Jaká jsou kvantitativní zjištění ohledně účelnosti intervencí ESF v oblasti trhu práce a sociální inkluze?
h. Jaká jsou kvalitativní zjištění ohledně účelnosti intervencí ESF v oblasti trhu práce a sociální inkluze? Ve kterých oblastech produkuje ESF skutečnou změnu?
i. Jaká jsou zjištění ohledně přičitatelnosti pozorovaných kvantitativních a kvalitativních změn působnosti ESF – které změny jsou skutečně výsledkem působení ESF? Které pozorované změny (tj. naplňování stanovených cílů) jsou spíše výsledkem externích trendů?
© Sdružení „DHV, NVF“, 8/2011
Zdroj dat
Evaluace ESF a další relevantní evaluace (viz ZD)
Evaluace ESF a další relevantní evaluace (viz ZD)
Evaluace ESF a další relevantní evaluace (viz ZD)
Metody sběru dat
M4 M7 (M3-doplňkově)
M4 M7 (M3-doplňkově)
M4 M7 (M3-doplňkově)
Metody analýzy dat
Komentář
M9
V rámci hodnocení účelnosti intervencí, tedy jejich úspěšnosti co se týče dosahování vytyčeného cíle, bude nejprve mapována „kvantitativní“ složka tohoto kritéria – účelnost tak bude hodnocena na základě zjištění ohledně schopnosti jednotlivých intervencí dosahovat svých kvantitativně stanovených cílů. Zde se hodnotitel pochopitelně zaměří na otázku dosahování vytyčených cílů především na úrovni výstupů a doplňkově výsledků intervencí.
M9
V následujícím kroku bude rovněž zkoumaná kvalitativní složka kritéria účelnosti, tedy nikoliv zda monitorovací indikátory vykazují tendenci k naplňování svých cílových hodnot, ale zda intervence skutečně způsobují požadovanou změnu, popsanou v cíli dané intervence. Hodnocení tak je zaměřeno především na výsledky a doplňkově dopady intervencí.
M9
Skutečnost, že je na konkrétním cíli dosahováno požadované změny ještě nemusí bezprostředně indikovat reálnou účelnost intervence – změny totiž může být dosahováno spíše v důsledku vlivu externích faktorů než intervence samotné. Hodnotitel tak formuloval evaluační otázku na přičitatelnost (attribution) vnímané / měřené změny působení ESF a v odpovědi na ni bude akumulovat zjištění z analýz kontrafaktuálního charakteru.
29
Evaluační otázka
Zdroj dat
Metody sběru dat
j. Jaká jsou tematická zjištění ohledně účelnosti intervencí z ESF?
Evaluace ESF a další relevantní evaluace (viz ZD)
M4 M7 (M3-doplňkově)
k. Jaká jsou zjištění ohledně intervencí negativně ovlivněných způsobem administrace ESF – existují intervence, které nejsou uspokojivě realizovány z důvodu obtížné administrace a překážek „byrokratického“ charakteru („red tape“)?
Evaluace ESF a další relevantní evaluace (viz ZD)
M4 M7 (M3-doplňkově)
l. Jaká jsou zjištění ohledně vhodných a nevhodných způsobů administrace jednotlivých intervencí / typů intervence?
Evaluace ESF a další relevantní evaluace (viz ZD)
M4 M7 (M3-doplňkově)
m. Jaká jsou další relevantní konkrétní zjištění ohledně problémů v administraci podpory z ESF?
Evaluace ESF a další relevantní evaluace (viz ZD)
M4 M7 (M3-doplňkově)
© Sdružení „DHV, NVF“, 8/2011
Metody analýzy dat
Komentář
M9
V odpovědi na evaluační otázku hodnotitel předpokládá roztřídění tematických zjištění do následujících tematických okruhů: adaptabilita, aktivní politika zaměstnanosti, sociální začleňování osob vyloučených z trhu práce / ohrožených vyloučením, sociální začleňování ve vyloučených romských lokalitách, rovné příležitosti na trhu práce, sociální podnikání a mezinárodní spolupráce a výměna zkušeností v oblasti trhu práce a sociální inkluze.
M9
V odpovědi na evaluační otázku bude hodnotitel mapovat negativní příklady intervencí, jejichž implementaci zpomalují nebo dokonce přímo zamezují překážky administrativního a byrokratického charakteru.
M9
Hodnotitel bude mapovat zjištění ohledně dobrých i špatných případů co se týče vhodnosti implementačních mechanismů konkrétních intervencí. Odpověď na EO poslouží, mimo jiné, jako vstup pro zpracování evaluačních úkolů 3.2 – 3.4.
M9
Hodnotitel bude mapovat jakákoliv další zjištění ohledně problémů v administraci podpory z ESF v relevantních oblastech.
30
Evaluační otázka n. Ve kterých oblastech a za využití jakých forem podpory je intervence z ESF úspěšná? Které oblasti intervence naopak úspěšné nejsou?
o. Existují intervence, které prozatím nemohly být realizovány z důvodu obtížné implementace?
© Sdružení „DHV, NVF“, 8/2011
Zdroj dat Evaluace ESF a další relevantní evaluace (viz ZD) Odpovědi na EO 2.a – 2.m Evaluace ESF a další relevantní evaluace (viz ZD) Odpovědi na EO 2.a – 2.n
Metody sběru dat
Metody analýzy dat
Komentář
M4 M6 M7
M9 M10
Odpověď na evaluační otázku poslouží jako syntéza zjištění v předchozích krocích evaluačního designu Úkolu 2.
M4 M6 M7
M9 M10
Odpověď na evaluační otázku poslouží jako syntéza zjištění v předchozích krocích evaluačního designu Úkolu 2.
31
2.3.3. Úkol 3: Návrh zaměření ESF v ČR pro období 2014 – 2020 a popis mechanismů k dosažení cílů 2.3.3.1. Úkol 3.1: Návrh vhodného věcného zaměření a cílů ESF v ČR pro období 2014 – 2020 a návrh vymezení vhodných oblastí podpory Porozumění úkolu Úkol představuje klíčovou část zakázky – v jeho rámci dojde k formulaci priorit a cílů působení ESF v oblasti trhu práce a boje s chudobou v ČR v období 2014 – 2020 a jejich následnému rozpracování do konkrétních intervencí – oblastí podpory. Na základě výstupů, které budou formulovány při identifikaci a predikci potřeb a problémů trhu práce a v oblasti boje s chudobou a dále při zhodnocení příspěvku OP LZZ a dalších programů ESF k naplňování strategií EU a ČR, bude zpracován návrh vhodného věcného zaměření a budou definovány cíle ESF pro Českou republiku na období 2014 – 2020. Vymezeny budou rovněž nejvhodnější oblasti podpory pro příští programovací období, a to v závislosti na výstupech z předešlých úkolů (Úkol 1 a Úkol 2). Zpracovatel při jejich formulaci bude vycházet jednak ze své zkušenosti s programováním a jednak z výše zmíněných výstupů. Vymezení navrhovaných oblastí podpory, nebude tedy přímo vycházet z dosavadního členění OP LZZ. V přípravě nabídky, pro vlastní vyjasnění úlohy si evaluační tým formuloval zcela jednoduchou předběžnou vizi využití ESF v novém období. Smyslem jejího uvedení zde je demonstrovat připravenost zpracovatele na zpracování zakázky i naznačit ideovou pozici, ze které k realizaci zakázky přistupuje. Je ovšem zřejmé, že níže uvedené slouží pouze jako určitý výchozí bod (formulovaný ovšem na základě existující dokumentace k cílení podpory v novém programovém období) úvah o této problematice – ke skutečné formulaci priorit a cílů dojde v rámci realizace zakázky až po realizaci analytických prací (vzhledem k náročnosti tohoto úkolu a velmi omezenému časovému rámci pro realizaci zakázky budou ovšem některé aktivity spuštěny již před ukončením analytických činností, resp. souběžně s nimi). Předběžná vize projektového týmu zpracovatele je uvedena níže (podbarvena šedě): Nyní ještě nejsou známy hlavní prvky a principy budoucího využití ESF. Spíš pro ilustraci prezentujeme jednu z možných variant (je v souladu se strategií Evropa 2020 a s návrhem národních rozvojových priorit ČR z června 2011). Předpokládejme, že v ČR bude jediný řídící orgán (MPSV) a jediný OP, financovaný z ESF. Jeho stěžejními cíli („prioritními osami“) bude a) podporovat zaměstnanost a zvyšování konkurenceschopnosti ekonomiky, b) podporovat sociální začleňování určitých skupin obyvatelstva, boj s chudobou a systém péče o zdraví, c) zvyšovat kvalitu a efektivitu veřejné správy d) zvyšovat kvalitu vzdělávání.
© Sdružení „DHV, NVF“, 8/2011
32
Součástí podpory zaměstnanosti a zvyšování konkurenceschopnosti bude rozšiřování nabídky pracovního uplatnění a zvyšování konkurenceschopnosti lidských zdrojů prostřednictvím dalšího profesního vzdělávání. Předpokládáme, že oblast dalšího profesního vzdělávání v gesci MPSV bude lépe navázána na aktuální i budoucí potřeby trhu práce . Kromě věcných priorit podpory bude třeba řešit otázku všeobecného zvýšení účinnosti intervencí a otázku snižování finančních a pracovních nároků na administrativní obsluhu programů. Na rozdíl od současného období bude podstatně redukován počet oblastí podpory (z dosavadních 25 ve třech OP na cca 10), dojde k výraznému „zeštíhlení“ administrativní náročnosti implementace (zjednodušené žádosti, paušalizované náklady, zrychlení administrativních a kontrolních úkonů, odstranění několikanásobné, vzájemně neprovázané administrativní kontroly aj.), výrazně se sníží počet pracovníků zapojených do implementačních struktur na úrovních NUTS I, II a III a ke zvýšení počtu pracovníků v přímém řízení projektů či globálních grantů na subregionální úrovni (v souvislosti s decentralizací podpory řešení místních a subregionálních potřeb), ústřední orgány budou zajišťovat implementaci národních, příp. regionálních (NUTS II a III) projektů, nikoliv projektů se subregionálním nebo místním dosahem; tyto budou implementovány v režimu „globálních grantů“ mezisektorovými partnerstvími, harmonizací pravidel pro implementaci ESF, ERDF, EAFRD a EFF bude možné, aby byly vybírány a podporovány tématicky komplexní (integrované) národní, regionální a subregionální „trsy projektů“ (typu IPRM), nikoliv pouze izolované projekty jednotlivých žadatelů. To povede ke zvýšení synergického efektu podpory a zvýšení účinnosti intervencí. Obecný přístup k řešení úkolu Kromě klíčových strategických dokumentů jako jsou Strategie Evropa 2020 a zásadních národních strategických dokumentů, bude zpracovatel vycházet z metodiky pro programování a dále bude zpracovatel při formulaci nejvhodnějších oblastí podpory vycházet rovněž z aktuálních požadavků na programování a pokynů MMR, resp. NOK na zpracování programových dokumentů. Konkrétní postup při řešení Úkolu 3.1 bude následující:
Identifikace vhodných témat a oblastí podpory na základě socio-ekonomických analýz provedených v Úkolu č. 1 - v rámci této části plnění Úkolu 3.1 dojde k identifikaci témat a oblastí podpory, jejichž podpora v příštím programovém období 2014+ by byla vhodná z hlediska zpracované socio-ekonomické analýzy v rámci Úkolu 1. Dojde tak k detailnímu vymezení oblastí podpory, které budou navazovat na stávající problémové oblasti trhu práce a boje s chudobou identifikované v ČR či které budou navazovat na konkrétní globální výzvy, jimž bude trh práce v ČR v období po roce 2014 s nejvyšší pravděpodobností muset čelit (např. narůstající problémy související se stárnutím populace).
Verifikace identifikovaných vhodných témat a oblastí podpory na základě zkušeností s implementací ESF v ČR v programových období 2004-2006 a 2007-2013 – v této části plnění zakázky dojde k zohlednění výstupů Úkolu 2 při formulaci návrhu na zaměření ESF v ČR v oblasti trhu práce a boje s chudobou v průběhu příštího programového období
© Sdružení „DHV, NVF“, 8/2011
33
2014+. Bude tak při tvorbě návrhu věcného zaměření jednotlivých priorit a oblastí podpory zohledněno, do jaké míry lze implementaci obdobných priorit a oblastí podpory ESF v ČR považovat za úspěšnou či neúspěšnou tak, aby nedošlo k opakování stejných „chyb“ při implementaci ESF jako v předchozích programových obdobích.
Analýza tématického zaměření ESF pro další programové období 2014+, a to na základě návrhových verzí nařízení EU k ESF a na základě rámcových strategických dokumentů EU s vazbou na ESF (Strategie Evropa 2020 atd.) – tento dílčí úkol bude probíhat paralelně s prvními dvěma dílčími úkoly tohoto úkolu. Při analýze tématického zaměření ESF pro další programové období 2014+ dojde k detailním analýzám návrhových verzí nařízení k strukturálním fondům a zejména k ESF zpracovávaným ze strany Evropské komise pro příští programové období a dále k analýzám strategických dokumentů EU, které mají k problematice tématického zaměření ESF pro další programové období vztah. S takto zpracovaným rámcem podpory z ESF pak bude proveden analýza, na jejímž základě bude identifikován obsahový průmět navržených priorit a oblastí podpory ESF pro ČR a oblastí, které budou v ESF pravděpodobně podporovány v průběhu příštího programového období.
Identifikace průmětu témat a oblastí podpory identifikovaných na základě socioekonomických analýz provedených v Úkolu č. 1 s tématy a oblastmi podpory, které bude možné podporovat v průběhu programového období 2014+ z ESF – v souladu s výše řečeným dojde k identifikaci průmětu vytipovaných priorit a oblastí podpory určených na základě provedené socio-ekonomické analýzy a ověřených na základě analýzy zkušeností identifikovaných v předchozích evaluačních studiích se směry podpory ESF identifikovanými na základě detailního studia návrhových verzí nařízení EU k SF a ESF a rámcových strategických dokumentů EU s vazbou k problematice ESF,
Identifikace témat a oblastí podpory, které s největší pravděpodobností nebude možné podporovat v příštím programovém období 2014+ z ESF, nicméně jejichž podporu by bylo vhodné na úrovni ČR, resp. jednotlivých regionů ČR zajistit – ve vazbě na předchozí dílčí úkol (identifikace průmětu) budou dále vytipovány oblasti podpory a priority, které sice nebude s největší pravděpodobností možné podporovat přímo z ESF, nicméně u nichž by bylo vhodné z hlediska identifikovaných potřeb trhu práce a boje s chudobou zajistit jejich podporu z jiných, např. z čistě národních zdrojů. Návrhy v této oblasti budou doplněny o doporučení zaměřená na vhodný subjekt, který by mohl být za podporu a implementaci takovýchto priorit a oblastí podpory odpovědný.
Při této fázi zpracování úkolu bude zpracovatel využívat především metodu desk-research, brainstorming a rovněž diskuse se zástupci příslušných věcných útvarů MPSV ČR, resp. NOK. Návrh věcného zacílení podpory bude následně diskutován v rámci třetího konzultačního workshopu.
© Sdružení „DHV, NVF“, 8/2011
34
Operacionalizace zadání úkolu Evaluační otázka
Zdroj dat
Metody sběru dat
Metody analýzy dat
Komentář
Úkol 3: Návrh zaměření ESF v ČR pro období 2014 – 2020 a popis mechanismů k dosažení cílů Úkol 3.1.Návrh vhodného věcného zaměření a cílů ESF v ČR pro období 2014 – 2020 a návrh vymezení vhodných oblastí podpor (intervencí) Výstupy úkolů 1 a 2 a. Jaké je vhodné věcné zaměření ESF v ČR pro období 2014 – 2020 v oblasti zaměstnanosti a boje s chudobou?
Experti projektového týmu zpracovatele Dotázaní experti a účastníci workshopů
M5 M6
M9 M10
M5 M6
M9 M10
Výstupy úkolů 1 a 2 Odpověď na EO 3.a b. Jaké konkrétní intervence (oblasti podpory) je vhodné v rámci identifikovaných cílů podporovat?
Experti projektového týmu zpracovatele Dotázaní experti a účastníci workshopů
© Sdružení „DHV, NVF“, 8/2011
Základní metodou pro realizaci evaluačního úkolu 3.1 budou týmová práce členů evaluačního týmu – na několika schůzkách budou postupně (s přibývajícími daty a výstupy z evaluačních úkolů 1 a 2) precizováno vhodné zaměření priorit ESF v oblasti zaměstnanosti a boje proti chudobě na následující programové období; v pozdějších fázích budou do tohoto procesu přizváni také externí odborníci (zde bude využito především tematických minitýmů) a pracovníci ŘO OP LZZ. Zároveň s tím budou prioritní oblasti rozpracovávány do konkrétních intervencí. Finální podoba výstupu úkolu 3.1 bude zpracována po realizaci třetího konzultačního workshopu a zapracování takto sebraných připomínek.
35
2.3.3.2. Návrh vhodných implementačních mechanismů pro vymezené oblasti podpory (Úkoly 3.2, 3.3, 3.4) Porozumění úkolu Cílem úkolu je rozpracovat nejvhodnější způsob podpory pro jednotlivé navržené oblasti podpory, přičemž zadávací dokumentace sleduje tři typy implementačních mechanismů, a to “top-down“ (nebo také „mainstreamový“), národní systémový a „bottom-up“ (také „inovativní“) mechanismus implementace. Stanovení nejvhodnějšího způsobu implementace jednotlivých vymezených oblastí podpory již v takto rané fázi úvah o zacílení podpory v následujícím programovém období je zásadní zejména proto, aby již od samotného počátku úvah o věcném zacílení ESF v ČR v období 2014+ byly tyto návrhy doprovázeny představou o obecném módu jejich implementace, který do značné míry formuje další rozpracovávání těchto priorit. Jinými slovy, přiřazení jednotlivých priorit a oblastí podpory k nejvhodnějším způsobům jejich implementace umožní, že již od samého počátku bude práce na těchto prioritách přizpůsobována módu, v němž by měly být implementovány – pokud by o jejich implementaci bylo rozhodnuto až ve fázi vysoké pokročilosti rozpracování věcného zaměření ESF, bylo by podstatně obtížnější priority jejich konkrétnímu způsobu implementace přizpůsobit. Tři typy intervencí, uváděných v zadávací dokumentaci, můžeme považovat rovněž za tři typy projektů. Zatím se nezdá přiléhavé označení top-down a bottom-up intervence, resp. projekty. Podstata jejich rozlišení není ve „směru intervence“ či implementace, nýbrž v míře jedinečnosti, specifičnosti. Přiléhavější se proto zatím zdají pracovní (předběžné) názvy mainstreamové a inovativní projekty. Následující příspěvek sice se zadáním projektu bezprostředně nesouvisí, zasazuje jej ovšem do širších souvislostí evropských diskuzí o implementaci strukturální pomoci v EU v následujícím programovém období. Je zde připojen, aby demonstroval názorovou pozici a úvahy zpracovatele o otázkách implementace podpory ze SF EU na sub-regionální úrovni (podbarveno šedě): Při respektování počátečního rozdělení projektů na národní systémové, „mainstreamové“ a „inovativní“ navrhujeme zvážit hledisko územního dosahu. Projekty na subregionální (nižší než NUTS III) a místní úrovni totiž lze s výhodou implementovat v jiném režimu než projekty regionální a národní. Zástupci DG Regio, Employment, Agri a Mare publikovali 13. dubna 2011 jednotný koncepční návrh, z něhož vyjímáme (jde o pracovní variantu, která nemusí být schválena): 1. vznikne společný strategický rámec pro využití ESF, ERDF, EAFRD a EFF a sladění jejich pravidel, 2. v přirozených územních celcích (patrně menších než NUTS III) budou iniciativou zdola vytvářena subregionální mezisektorová partnerství, a to ve všech oblastech (venkovských i městských), které potřebují a mohou získat podporu, 3. tato partnerství vypracují tématicky komplexní (integrovanou) strategii rozvoje regionu, 4. realizaci této strategie budou partnerství financovat s pomocí všech fondů. Toto řešení: je důsledným využitím zkušeností s programy typu LEADER a se zkušenostmi místních akčních skupin (těch nyní ve venkovských regionech ČR působí cca 150),
© Sdružení „DHV, NVF“, 8/2011
36
znamená decentralizaci rozhodování a financování potřeb žadatelů, změní způsob financování potřeb na místní a subregionální úrovni včetně přebudování dosavadních implementačních struktur, využívá podobný mechanismus, jaký je již dnes vyhrazen příjemcům globálních grantů, výrazně posiluje princip partnerství, a to v mezisektorovém pojetí (rozhodovacím orgán bude tvořen zástupci podnikatelského a neziskového sektoru, veřejné správy, příp. dalších subjektů).
V souvislosti s tím předběžně zvažujeme možnost rozčlenění oblastí podpory ESF takto (v polích tabulky uvádíme příklady): subregionální a místní nár. systémové (Úkol 3.3) xxxxxxxxxx (neuplatní se)
„inovativní“ – “bottom-up” (Úkol 3.4)
„mainstreamové“ – “top-down” (Úkol 3.2)
projekty pro inovativní nebo komplexní řešení určitého problému, avšak svou specifičností zaměřené pro subregionální územní celky – zde bude důležitá jejich multiplikace a šíření do dalších regionů a lokalit školení v konkr. podniku; soc. služba na území konkr. města, okresu, ORP; zavedení nástroje XY v činnosti veřejné správy v konkrétním městě, kraji
regionální a národní systémové a nár. projekty (příjemcem je ústřední orgán), např. prohlubování Aktivní politiky zaměstnanosti nebo systémové změny zvyšující kvalitu a efektivitu veřejné správy individuální projekty rozhodujících stakeholderů (kraje, příp. Hosp. komora, ČMKOS, …) partnerské i nepartnerské individuální projekty ostatních příjemců (pro území větší než „subregion“)
xxxxxxxxxx (neuplatní se)
Toto pojetí bude prověřeno konfrontací s budoucími aktuálními dokumenty EU a konzultováno v expertních minitýmech a podle výsledků nahrazeno jiným řešením nebo rozpracováno. Obecný přístup k řešení úkolu Úkoly 3.2 – 3.4 není možné považovat za inkrementální, tedy na sebe navazující. Naopak, budou řešeny společně v jednom bloku realizace zakázky – proto byly rovněž v nabídce zpracovatele zařazeny do jedné podkapitoly. Logický postup při řešení úkolu má tři části: 1. Podrobné rozpracování implementačních mechanismů. 2. Zpracování kritérií. 3. Roztřídění oblastí podpory.
© Sdružení „DHV, NVF“, 8/2011
37
Pro demonstraci navrhovaného postupu zpracoval zpracovatel „cvičně“ roztřídění intervencí mezi stanovené tři implementační mechanismy pro případ, kdy by takové třídění bylo požadováno pro oblasti podpory dnešního OP LZZ: oblast podpory OP LZZ 1.1 Zvýšení adaptability zaměstnanců a konkurenceschopnosti podniků 1.2 Zvýšení adaptability zaměstnanců restrukturalizovaných podniků 2.1 Posílení aktivních politik zaměstnanosti 2.2 Modernizace institucí a zavedení systému kvality služeb zaměstnanosti a jejich rozvoj 3.1 Podpora sociální integrace a sociálních služeb 3.2 Podpora sociální integrace příslušníků romských lokalit 3.3 Integrace sociálně vyloučených skupin na trhu práce 3.4 Rovné příležitosti žen a mužů na trhu práce a sladění pracovního a rodinného života 4.1 Posilování institucionální kapacity a efektivnosti veřejné správy 5.1 Mezinárodní spolupráce
Systém. 3.3
mainstr. 3.2
inovativ. 3.4
C
A
B
C
A
B
B
B
C
B
C
B
C C C
A B A
B A B
C
B
A
B
A
C
C
C
A
Písmena označují prioritu řešení daným typem intervence: A = přednostně B = z části nebo alternativně C = nevhodné Při zpracování Úkolů 3.2 – 3.4 bude rovnocenně použito expertních konzultací (individuálních i skupinových) a obsahové analýzy relevantní dokumentace. Při expertních konzultacích bude primárně využito konzultantů, kteří jsou součástí projektového týmu. Ten je složen z řady expertů, kteří jsou plně kvalifikovaní k řešení dané problematiky – a to jak expertů na implementační mechanismy jako takové, tak i expertů na věcný obsah navržených oblastí podpory, kteří mohou – na základě sestaveného systému kritérií – kvalifikovaně rozhodnout o přiřazení dané oblasti podpory k jednomu z implementačních mechanismů. Výstupy těchto úkolů, tedy roztřídění oblastí podpory do jednotlivých implementačních mechanismů a odůvodnění tohoto roztřídění bude předmětem jednoho z konzultačních workshopů. Tohoto workshopu ze za zpracovatele zúčastní rovněž pan Bénédict Wauters.
© Sdružení „DHV, NVF“, 8/2011
38
Operacionalizace zadání úkolu Evaluační otázka
Zdroj dat
Metody sběru dat
Metody analýzy dat
Komentář
Úkol 3: Návrh zaměření ESF v ČR pro období 2014 – 2020 a popis mechanismů k dosažení cílů Úkol 3.2. Identifikace oblastí podpory, kde je vhodné intervenovat pomocí „mainstreamových“ výzev implementovaných na základě „top-down approach“ Úkol 3.3 Identifikace oblastí podpory, které vyžadují „národní systémové individuální projekty“ Úkol 3.4 Identifikace oblastí podpory, kde je vhodné intervenovat pomocí „inovativních“ výzev na základě „bottom-up approach“ Prvním krokem při realizaci Úkolů 3.2 – 3.4 je precizování obsahu jednotlivých „módů“ implementace. Tyto tři módy implementace budou zpracovány nikoliv konkrétně, tedy s rozdělením zodpovědnosti mezi jednotlivé subjekty, jejich řízením, atd., ale v obecné rovině – budou zpracovány logické modely pro tyto tři módy implementace. Hlavní důraz přitom bude kladen na Sekundární „inovativní“ – „bottom-up“ implementační mechanismus, který je literatura a zdroje zcela nový (pokud pomineme zkušenost s fungováním iniciativy Zahraniční příklady Společenství EQUAL, která měla podobný charakter, ovšem velmi c. Jak je vhodné procesně nastavit dobré praxe omezenou působnost a bezpodmínečně nutný nadnárodní – nikoliv uvedené tři implementační M4 M9 sub-regionální a místní – charakter). Při definici mechanismů tohoto Dokumenty EU mechanismy s důrazem na módu implementace bude, nad rámec rešerše relevantních (legislativní i M5 M10 mechanismy top-down a bortímdokumentů, využito zkušenosti a praxe externího konzultanta týmu, nelegislativní up? pana Bénédicta Wauterse z řídícího orgánu ESF Vlaanderen, který povahy) v otázce bottom-up implementace intervencí strukturálních fondů Experti týmu EU (zejména potom ESF) rozsáhlé zkušenosti a realizuje v tomto evaluátora smyslu vzdělávací akce a školení a zpracovává manuály pro jednotlivé řídící orgány. Součástí týmu je rovněž PhDr. Oldřich Čepelka, který má rozsáhlé zkušenosti s implementací lokálních a sub-regionálních partnerství v ČR v rámci iniciativy LEADER, která je v oblasti implementace strukturální podpory EU prozatím nejblíže mechanismu bottom-up implementace.
© Sdružení „DHV, NVF“, 8/2011
39
Evaluační otázka
Zdroj dat
Metody sběru dat
Metody analýzy dat
Sekundární literatura a zdroje Zahraniční příklady dobré praxe d. Na základě jakých kritérií je možné identifikovat nejvhodnější implementační mechanismus?
Dokumenty EU (legislativní i nelegislativní povahy)
M4 M5
M9 M10
M5 M6
M9 M10
Experti týmu evaluátora
Výstupy úkolu 3.1 e. Který z implementačních mechanismů je nejvhodnější pro intervence identifikované v úkolu 3.1?
© Sdružení „DHV, NVF“, 8/2011
Odpovědi na EO 3.c a 3.d Experti týmu evaluátora
Komentář Cílem Úkolů 3.2 – 3.4 je rozdělit veškeré navržené oblasti podpory mezi tři výše popsané implementační mechanismy. Je ovšem zřejmé, že toto není možné realizovat intuitivně, bez jednoznačného hodnotícího rámce, které vymezí, jaký ze tří uvažovaných mechanismů implementace je pro danou oblast podpory nejvhodnější. Ve druhém kroku proto bude sestaven tento hodnotící rámec. Bude mít podobu systému několika kritérií, na jejichž základě budou oblasti podpory roztřízeny. Sestavování kritérií je pochopitelně bezprostředně spojeno s vlastním vymezením logiky fungování jednotlivých implementačních mechanismů, je ovšem zásadní tato kritéria explicitně formulovat tak, aby bylo následné třídění oblastí podpory koherentní a robustní. Systém kritérií bude, před vlastním roztříděním oblastí podpory, diskutován se zástupci zadavatele, a to buďto na půdě řídící skupiny (pokud tato bude pro zakázku vytvořena) nebo v rámci jednoho z workshopů. Třetím logickým krokem již je vlastní výstup Úkolů 3.2 – 3.4, tedy identifikace oblastí podpory, kde je vhodné intervenovat a) pomocí „manistreamových“ výzev implementovaných na základě „top-down approach“, b) národními systémovými individuálními projekty a c) pomocí „inovativních“ výzev na základě „bottom-up approach“. Jednotlivé priority a oblasti podpory, identifikované jako výstup z Úkolu 3.1, budou roztříděny na základě systému kritérií, stanovených v předcházejícím kroku realizace Úkolů 3.2 – 3.4.
40
2.3.3.3. Úkol 3.5: Sestavení teorií změny pro intervence popsané v Úkolech 3.2 a 3.3 a logických rámců pro intervence popsané v Úkolu 3.4 Porozumění úkolu Úkol sestavení teorií změny (v literatuře také „programová teorie“ – např. Bamberger, Rugh a Mabry 2006 nebo „logika programu“ – např. Funnell 2000) bude vycházet z principů TudoryBased Impact Evaluation (TBIE). Tento paradigmatický přístup k evaluaci se rozvíjí přibližně od poloviny devadesátých let (byť jeho elementy jsou pochopitelně starší) v opoziční roli vůči tradičnímu „black-box“ přístupu k evaluaci, v jehož rámci je možné nalézt rigidní analýzu dopadu intervence na měřené výstupy a výsledky, samotný mechanismus změny – tedy způsob, jakým intervence, prostřednictvím poskytování vstupů (zejm. finančních) pro dosahování konkrétních výstupů skutečně produkuje změnu měřenou jako výsledek intervence – ovšem leží mimo pozornost tradičního přístupu k evaluaci. Blíže viz schéma níže: Vstupní podmínky – před projektem
PROJEKT
Zdroj: DHV CR, upraveno dle Bamberger, Rugh, Mabry 2006.
Změněná / nezměněné podmínky - po projektu
Není možné vysvětlit, zda byl úspěch nebo neúspěch při dosahování požadované změny způsoben správnou / chybnou teorií změny, implementací, kontextuálními vlivy, atd.
V obecné rovině je často uváděno, že zatímco standardní kvantitativní evaluace se zajímají o otázku přičitatelnosti (attribution) intervence vůči pozorované (indikátory výsledku / dopadu měřené) změně (tedy do jaké míry je tato změna bezprostředním výsledkem působení intervence), TBIE zkoumá především otázku příspěvku (contribution) intervence vůči této změně, tedy mechanismy, jak intervence přispívá k pozorované změně socioekonomického prostředí3. Obecný přístup k řešení úkolu V souladu s metodologií TBIE od Howarda Whitea (White 2009) bude prvním krokem sestavování teorie změny u formulovaných priorit a cílů mapování kauzálních řetězců prostřednictvím logických rámců. Další kroky v rámci konstrukce a validace teorie změny budou v plném rozsahu realizovány pouze u priorit a intervencí popsaných v Úkolech 3.2 a 3.3. Rovněž u výstupů popsaných v Úkolu 3
Na tomto místě tak je nutné rovněž uvést, že TBIE je standardní evaluační technikou pro hodnocení dopadu intervence – její aplikaci při realizaci studie, kterou je možné označit maximálně za předběžnou ex-ante studii, je proto diskutabilní, poněvadž studie stojí teprve na samotném začátku intervence (resp. ještě před jejím začátkem), neexistuje tak žádný dopad, který by bylo možné měřit. Aplikace TBIE v této studii je tak spíš určitou zkratkou – ve skutečnosti budou využívány některé postupy této metody, a to právě ty, které ve standardní TBIE analýze (re)konstruují intervenční logiku dané intervence a ověřují empirickou validitu jednotlivých elementů této intervenční logiky – teorie změny.
© Sdružení „DHV, NVF“, 8/2011
41
3.4 dojde částečně k empirickému ověření validity logického rámce, ovšem spíše jen na úrovni priorit (resp. výsledků) těchto intervencí – tyto tedy budou provázány směrem k prioritám Europe 2020 a identifikované kauzální vazby alespoň částečně empiricky ověřeny. Validace kauzálních vztahů směrem dolů – tedy od priorit ke konkrétním intervencím a opatřením nebudou popisovány takto detailně z toho důvodu, že nalezení a ověření kauzality mezi konkrétním opatřením a prioritní oblastí v rámci intervencí zařazených do 3.4 budou přesunuty na příjemce, kteří se budou pokoušet nalézat nové a inovativní přístupy k naplňování daných priorit a cílů. Při formulaci teorie změny budou, mimo bezprostřední logiku intervence programu, navíc definovány a analyzovány další efekty, které je možné v rámci působení intervencí očekávat, ale nejsou bezprostředními součástmi teorie změny:
Identifikace a analýza nezamýšlených efektů
Identifikace kritických bodů teorie změny
Identifikace kontextových proměnných
Identifikace mediátorů (zprostředkujících efektů)
Na základě výše uvedeného je možné sestavit následující model teorie změny, který je doplněn o příklad programu rozvoje soukromého podnikání u žen v rozvojových zemích (citováno dle Bamberger, Rugh, Mabry 2006):
© Sdružení „DHV, NVF“, 8/2011
42
Mediátory - Muži jsou ochotnější umožnit ženám pracovat mimo domov - Ženy získávají sebevědomí k návštěvě banky a žádosti o úvěr
Vstupy programu / intervence
Implementace programu / intervence
Výstupy
Výsledky a dopady
- vznik vesnických bank - poskytování úvěrů - školení - technická podpora - doprovodné programy
- Využil projekt participačního plánování a managementu nebo top-down? - Existovaly ve vesnicích bankovní pobočky nebo ženy musely cestovat kvůli úvěrům?
- Počet otevřených vesnických bank - Počet účastníků - Počet schválených úvěrů - Počet nově založených nebo rozšířených malých podniků
- Zvýšení příjmů domácností - Podniky jsou zachovány a rozvíjejí se - Ženy mají větší kontrolu nad prostředky domácností - Vyšší školní docházka dětí - Zvýšení investic do bydlení
Kontextové proměnné -
Ekonomické klima Politické klima Organizační a institucionální Životní prostředí Sociální, ekonomické a kulturní charakteristiky dotčené populace
Nezamýšlené efekty
Primární metodou pro realizaci Úkolu 3.5 bude obsahová analýza relevantní dokumentace. Té bude využito především pro ověření validity každého z elementů kauzálního řetězce jednotlivých teorií změny. Relevantní dokumentace pro tato ověření bude zahrnovat především:
Výstupy existujících evaluací, a to včetně evaluací zahraničních, případně realizovaných na úrovni Evropské komise. Významným zdrojem dat a informací zde budou především ex-ante evaluace intervencí podporovaných z ESF, které poskytnou buďto bezprostřední empirické podklady pro ověření platnosti jednotlivých kroků kauzálního řetězce, nebo alespoň odkaz na další sekundární zdroje, kterými je dané ex-ante hodnocení podloženo. Na úrovni EK potom budou cenným zdrojem informací jak empirické ex-post evaluace, tak i specializované studie (viz např. Euréval – Ramboll management 2008: Study on the relevance and reliability of available information for the ex-post evaluation of the European Social Fund).
Výsledky akademického výzkumu, tedy empirické studie zaměřené na ověřování jednotlivých kroků kauzálního řetězce teorií změny, realizovaného na akademické půdě, zejména na katedrách a ústavech zaměřených na výzkum sociální politiky a obecně
© Sdružení „DHV, NVF“, 8/2011
43
intervencí v sociální oblasti. Vzhledem k tomu, že je možné předpokládat, že řada z těchto studií a výzkumu je hrazena z veřejných prostředků (granty, atd.), zpracovatel nepředpokládá problémy s jejich dostupností. V případě potřeby využít výsledků výzkumu realizovaného z vlastních zdrojů kateder a ústavů bude jejich dostupnost zajišťována v součinnosti se zadavatelem a za plného respektování autorských práv.
Výsledky vlastního výzkumu členů sdružení. Někteří členové sdružení, a to ať už organizace jako celek (zde zejména partner sdružení – Národní vzdělávací fond) nebo individuální experti – členové projektového týmu, realizují systematický výzkum v relevantní oblasti trhu práce a boje s chudobou (sociálním vyloučením). Bude-li to relevantní, budou výsledky těchto výzkumů plně využity při zpracovávání Úkolu 3.5.
Podobně budou sekundární prameny využity jako primární zdroj informací pro všechny ostatní činnosti související s realizací Úkolu 3.5 (zpracování logických rámců, indikativní identifikace nezamýšlených efektů, identifikace a analýza kritických bodů teorie změny, identifikace relevantních kontextových proměnných a mediátorů). V této oblasti bude ovšem ve větší míře využíváno rovněž dalších kvalitativních metod sběru informací, především potom polostrukturovaných rozhovorů s relevantními experty a případě fokusní skupiny (realizované v rámci workshopů). Zapojení metod vlastního sběru kvantitativních dat (zejména prostřednictvím dotazníkového šetření) zpracovatel při realizaci Úkolu 3.5 nepředpokládá, jejich aplikace by přicházela v úvahu pouze v případě, že za použití výše uvedených metod stále nebude možné dostatečně přesvědčivě ověřit validitu některých předpokládaných kauzálních vztahů.
© Sdružení „DHV, NVF“, 8/2011
44
Operacionalizace zadání úkolu Evaluační otázka
Zdroj dat
Metody sběru dat
Metody analýzy dat
Komentář
Úkol 3: Návrh zaměření ESF v ČR pro období 2014 – 2020 a popis mechanismů k dosažení cílů Úkol 3.5. Sestavení teorií změny pro intervence popsané v úkolech 3.2. a 3.3. a logických rámců pro intervence popsané v úkolu 3.4.
f. Jak je možné popsat kauzální řetězce vedoucí od jednotlivých intervencí až k cílům Europe 2020?
Relevantní primární a sekundární dokumentace, vlastní výzkum Interní a externí experti Pracovníci ŘO
© Sdružení „DHV, NVF“, 8/2011
M4 M5
M9
V souladu s metodologií TBIE od Howarda Whitea (White 2009) bude prvním krokem sestavování teorie změny u formulovaných priorit a cílů mapování kauzálních řetězců prostřednictvím logických rámců. Logický rámec je možné pojímat jako graficky znázorněné kauzální řetězce, zpravidla znázorňující logický postup od výstupů intervencí k výsledkům a dopadům. V případě tohoto projektu budou zpracovány kauzální řetězce směřující od navržených priorit a cílů, resp. intervencí ESF v ČR pro období 2014 – 2020 (v oblasti trhu práce a boje s chudobou) až k obecným cílům strategie 2020 (zaměstnanost a chudoba/sociální vyloučení, viz výše). Jak ovšem uvádí White, zpracování logických rámců vždy znázorňuje pouze určitý teoretický konstrukt, tedy předpoklady a očekávání hodnotitele, tyto předpoklady ovšem nijak netestuje, přičemž ověření validity jednotlivých elementů kauzálního řetězce je jedním ze základních požadavků TBIE. Pro sestavování logických rámců bude využito především metod obsahové analýzy a doplňkově polostruk. rozhovorů s relevantními experty. V případě intervencí a priorit, které budou svým zaměřením podobné intervencím z předchozích programových období budou logické rámce sestaveny na základě dokumentace k daným operačním programům, a to včetně jejich hodnocení, které mohlo odhalit nesrovnalosti nebo chyby v takto (byť implicitně) formulovaných teoriích změny. V této souvislosti je nutné uvést, že zpracovatel, společnost DHV CR (vedoucí partner konsorcia) má se sestavením logických rámců bezprostřední zkušenost, poněvadž v minulosti pro MPSV realizoval projekt „Evaluace ve vazbě na monitoring – vyhodnocení indikátorové soustavy“, jehož součástí bylo právě sestavení logických rámců
45
Evaluační otázka
g. Které z identifikovaných kauzálních vazeb jsou empiricky ověřeny a které jsou hypotetické?
h. Za jakých předpokladů je možné očekávat platnost empiricky neověřených kauzálních vazeb? Jaká jsou rizika pro tuto platnost?
© Sdružení „DHV, NVF“, 8/2011
Zdroj dat
Relevantní primární a sekundární dokumentace, vlastní výzkum
Relevantní primární a sekundární dokumentace, vlastní výzkum Interní a externí experti
Metody sběru dat
M4 M5 M6 (M2doplňkově)
M4 M5 M6
Metody analýzy dat
M9
M9
Komentář pro intervence OP LZZ, které věcně pokrývají oblast trhu práce a boje proti chudobě (resp. sociálnímu vyloučení). Pokud budou formulovány zcela nové priority a cíle, které v předchozích programových obdobích nebyly v žádné formě implementovány z ESF, budou logické rámce zpracovány zejména na základě polostrukturovaných rozhovorů s relevantními odborníky a rešerše literatury. Logické rámce budou v takovém případě zpracovány přímo expertem týmu na danou problematiku. Další kroky v rámci konstrukce a validace teorie změny budou ovšem realizovány pouze u priorit a intervencí popsaných v Úkolech 3.2 a 3.3. Je zřejmé, že z logiky fungování intervencí v Úkolu 3.4, které budou implementovány bottom-up přístupem a jejichž cílem bude hledání inovativních způsobů dosahování žádané změny ze strany předkladatelů projektů, není možné teorii změny těchto priorit a intervencí popsat hlouběji než na úroveň prioritních oblastí (resp. výsledků), poněvadž povaha jednotlivých intervencí (projektů) bude vysoce individualizovaná pro potřeby konkrétní cílové skupiny – není tak možné hlouběji popsat obecný logický postup, kterým budou intervence tohoto typu postupovat, hlouběji než k prioritám a obecným cílům intervencí v oblasti 3.4. U kauzálních vazeb, které nejsou empiricky ověřené a ověřitelné budou identifikovány předpoklady a rizika, za kterých kauzalita (ne)platí. EO bude zodpovězena na základě relevantní dokumentace a zdrojů, ještě větší důraz než v ostatních EO úkolu 3.5 bude ovšem kladen na polostrukturované rozhovory s experty a expertní týmy (které budou fungovat jako svého druhu fokusní skupiny).
46
Evaluační otázka
i. Jaké jsou nezamýšlené efekty intervencí?
Zdroj dat Relevantní primární a sekundární dokumentace, vlastní výzkum
Metody sběru dat
M4 M5
Metody analýzy dat
Komentář
M9
Intervence často vykazují nezamýšlené efekty, z nichž některé mohou být pozitivní a některé negativní. Při formulaci teorie změny je nutné pokusit se do maximální možné míry identifikovat nezamýšlené („vedlejší“) efekty podpory a vyhodnotit jejich intenzitu. Zejména co se týče negativních vedlejších efektů je nutné věnovat pozornost způsobu jejich managementu a předcházení, obzvláště v případech jejich vysoké intenzity.
M9 M10
Zatímco některá kauzální spojení teorie změny je možné očekávat automaticky a není potřeba jim věnovat větší pozornost (kupříkladu vytvoření a obsazení nového pracovního místa má – na mikro-úrovni – bezprostřední dopad v podobě zvýšení zaměstnanosti), jiné předpoklady kauzálního řetězce nefungují takto automaticky, ale pouze kupříkladu za určitých podmínek nebo pouze jsou-li doprovázeny dalšími intervencemi. V takovém případě sice může být teorie změny validní, přesto ale nefunguje tak, jak bylo očekáváno. Již ve fázi formulace teorie změny tak budou analyzovány a pojmenovány takové kritické body této teorie tak, aby bylo možné snížit jejich dopad na fungování intervence kupříkladu vhodně nastaveným implementačním mechanismem.
M9
Na efektivní fungování teorie změny působí řada vlivů z jejího kontextu, na něž program (intervence) nemůže bezprostředně působit, které ale zároveň významným způsobem ovlivňují samotné fungování teorie změny a jejího kauzálního řetězce. Již ve fázi formulace teorie změny je tak nutné identifikovat relevantní kontextové proměnné, které je nutné při implementaci programu / intervence sledovat a případně jim tuto implementaci přizpůsobovat.
Interní a externí experti
j. Kde je možné identifikovat kritické body teorie změny?
Relevantní primární a sekundární dokumentace, vlastní výzkum
M4 M5 M6
Interní a externí experti
k. Jaké kontextové proměnné je možné nalézt ve fungování teorie změny jednotlivých intervencí?
Relevantní primární a sekundární dokumentace, vlastní výzkum Interní a externí experti
© Sdružení „DHV, NVF“, 8/2011
M4 M5
47
Evaluační otázka
l. Jaké zprostředkující proměnné je možné identifikovat v jednotlivých teoriích změny?
Zdroj dat Relevantní primární a sekundární dokumentace, vlastní výzkum Interní a externí experti
© Sdružení „DHV, NVF“, 8/2011
Metody sběru dat
M4 M5
Metody analýzy dat
Komentář
M9
Mediátory jsou (dle Donaldson 2007) jsou proměnné, které mají schopnost zprostředkovaně působit na implementaci programu, které jsou ale (na rozdíl od kontextových proměnných) samotným programem / intervencí ovlivnitelné. (Příkladem mohou být zdravotní programy, kde mezi mediátory, které bezprostředně ovlivňují výsledek programu – tedy úspěšnost léčby, je možné zařadit kupříkladu pacientovo vnímání závažnosti choroby, atd. – toto vnímání ale je zároveň možné bezprostředně ovlivňovat.) Je zřejmé, že v případě náležité identifikace potenciálních mediátorů je možné zvýšit efektivitu fungování teorie změny vhodným zacílením na tyto mediátory.
48
2.3.3.4. Úkol 3.6: Návrh vhodných monitorovacích indikátorů Porozumění úkolu Každý operační program má nastavenu indikátorovou soustavu, pomocí níž je monitorována jeho implementace. Dobře nastavené indikátory jsou zároveň důležitým nástrojem evaluace. Vzhledem k vysokému množství indikátorů (v OP LZZ jich k 5.11.2009 bylo 123, v OP VK jich k 20.4.2009 bylo 115) je nutné stanovit menší počet vhodných monitorovacích indikátorů mapujících klíčové kauzální vazby teorie změny. Těmto indikátorům je totiž potřeba věnovat náležitou pozornost, neboť právě díky nim je možné jednak správně manažersky řídit program, jednak relevantně zachytit a kvantifikovat efekty intervence pro účely evaluace. Jde o indikátory výstupu a výsledku. V případě dobře nastavených klíčových indikátorů výstupu a výsledku se může řídící orgán soustředit na jejich monitoring a v případě vzniklých nesrovnalostí (nedosahování očekávaných hodnot indikátorů) reagovat ad hoc cílenými evaluacemi, které mohou prozkoumat důvody nesrovnalostí a pomoci s hledáním relevantních úprav veřejné intervence. Co se týče indikátorů dopadu, zpracovatel se domnívá, že nejde o monitorovací indikátory v pravém slova smyslu, neboť dopady nemohou být kvantifikovány pouhým monitoringem. Dopady totiž mapují vývoj v problematických oblastech, na něž operační program reaguje. Tento vývoj je sice veřejnou intervencí z programu ovlivněn, nicméně vstupuje do něj ještě celá řada faktorů, především vývoj hospodářského cyklu, legislativní změny, různé další změny v externím prostředí, které mohou např. ovlivnit dílčí odvětví (např. zrušení dovozních kvót na čínský textil může zvýšit nezaměstnanost v tradičních oblastech s textilní výrobou), apod. Dopadové indikátory je proto nutné očistit pomocí standardizovaných pravidelných evaluací. Správně nastavené indikátory dopadu jsou však velmi důležité a v rámci Úkolu 3.6 proto zpracovatel bude specifikovat vhodné indikátory dopadu. V rámci Úkolu 3.7 pak zpracovatel navrhne způsob vyhodnocování reálných dopadů pomocí evaluací. Obecný přístup k řešení úkolu Nezbytným vstupem pro tento úkol bude výstup Úkolu č. 3.5 v podobě sestrojených logických rámců a teorií změny. Na nich bude zpracovatel definovat klíčové body, u nichž musí fungovat kauzální vazba, na níž závisí účinná a účelná implementace programu. Je proto zřejmé, že logické rámce, respektive teorie změny, které budou sestaveny v Úkolu 3.5 poslouží velmi dobře pro identifikaci klíčových kauzálních vazeb, k ověření jejichž platnosti budou stanoveny vhodné monitorovací indikátory. Pro stanovení těchto indikátorů bude zpracovatel vycházet z existujících zkušeností s monitorováním v rámci programových období 2004-6 a 2007-13. Za tímto účelem zpracovateli poslouží výstupy Úkolu 2, kde bude provedeno zhodnocení působení OP LZZ a dalších programů ESF z hlediska účelnosti podpory. Tato metaevaluace existujících evaluačních zpráv pomůže identifikovat silné a slabé stránky současných indikátorů vzhledem ke sledování efektů intervence. Zpracovatel rovněž vyjde ze závěrečné zprávy k projektu „Evaluace ve vazbě na monitoring – vyhodnocení indikátorové soustavy“, zpracované společností DHV CR, vedoucím partnerem konsorcia zpracovatele. Tato zpráva pojednává o vhodnosti nastavení současné indikátorové soustavy OP LZZ. Dále zpracovatel zjistí od pracovníků řídícího orgánu zkušenosti s indikátory jako nástroji pro monitoring a řízení programu. Zpracovatel se nakonec bude inspirovat indikátory sledovanými operačními programy
© Sdružení „DHV, NVF“, 8/2011
49
ve vybraných členských zemí a hodlá rovněž využít posledního workshopu za účelem konzultace svých prvních zjištění s pracovníky řídícího orgánu a evaluátorů. Důležitou součástí úkolu 3.6 bude nalezení datových řad a zdrojů z externích databází (ČSÚ, Česká správa sociálního zabezpečení, Registr ekonomických subjektů, atd.), které mohou být využity k monitorování konkrétní intervence. Zpracovatel tedy chápe monitorovací indikátory v jejich nejširším smyslu – tedy jako jakákoliv data relevantní pro kontinuální monitoring postupu intervencí programu, a to bez ohledu na zdroj těchto dat (zatímco v „tradičním“ – dnes užívaným – pojetí monitorovacích indikátorů jsou jejich zdrojem téměř výhradně příjemci podpory). Zároveň budou alespoň načrtnuty procesy získávání monitorovacích dat z externích zdrojů tak, aby takové monitorovací indikátory bylo možné označit za SMART indikátory. Blíže k tomuto důrazu viz evaluační otázky 3.o – 3.q. V Úkolu 3.6 se bude pracovat s výstupy Úkolů 2 a 3.5, tedy s meta-evaluací a zpracovanými logickými rámci a teoriemi změny. Zpracovatel nejdříve identifikuje klíčové body teorie změny/logických rámců, které je nutné zachytit vhodnými monitorovacími indikátory. Poté provede obsahovou analýzu indikátorových soustav minulého a současného období za účelem nalezení vhodných indikátorů. Zpracovatel zároveň zjistí reálnou zkušenost s využitím těchto indikátorů v oblasti monitoringu a řízení programu prostřednictvím obsahové analýzy výročních zpráv a dále polostrukturovanými rozhovory s pracovníky řídícího orgánu OP LZZ, OP VK a případně dalších operačních programů a NOK. Zpracovatel dále pomocí meta-evaluace v Úkolu 2 ověří užitečnost identifikovaných vhodných indikátorů jako nástroje evaluace. U klíčových bodů teorie změny/logických rámců, které nebude možné zachytit existujícími indikátory nebo které se v polostrukturovaných rozhovorech/výsledcích meta-evaluace ukáží jako nevhodné, bude zpracovatel hledat nové indikátory. Za tímto účelem prozkoumá operačních programy vybraných členských zemí. Své první výstupy bude zpracovatel rovněž konzultovat se zainteresovanými experty na v rámci expertních minitýmů nebo prostřednictvím rozhovorů s dalšími evaluátory relevantních OP. Nakonec provede zpracovatel syntézu jednotlivých zjištění a navrhne vhodné monitorovací indikátory. Významným vstupem pro realizaci evaluačního úkolu 3.6 budou metodické i legislativní materiály a podklady vztahující se k přípravě nového programovacího období. Mezi těmito je nutné uvést zejména: Návrhy legislativy ve vztahu k novému programovému období (již nyní je k dispozici draft budoucí obecné legislativní úpravy pro strukturální fondy – nástupce Nařízení (EC) 1083/2006); Pátá kohezní zpráva; Monitoring and Evaluation in the practice of European Cohesion Policy 2014+ European Regional Development Fund and Cohesion Fund; Outcome indicators and targets : towards a new system of monitoring and evaluation in EU Cohesion Policy; Výstupy High Level Group on Future Cohesion Policy; Výstupy a materiály projektu „Community of Praktice on Result Based Management in the ESF“. John Mayne: „Best Practices in Results-Based Management: A Review of Experience; A Report for the United Nations Secretariat“ Starší materiály k novému programovému období (Barcova zpráva, Budget Paper, atd.).
© Sdružení „DHV, NVF“, 8/2011
50
Operacionalizace zadání úkolu Evaluační otázka
Zdroj dat
Metody sběru dat
Metody analýzy dat
Komentář
Úkol 3: Návrh zaměření ESF v ČR pro období 2014 – 2020 a popis mechanismů k dosažení cílů Úkol 3.6 Návrh vhodných monitorovacích indikátorů m. Které monitorovací indikátory z indikátorové soustavy období 2007 – 2013 jsou specifické, měřitelné, dosažitelné, relevantní a „termínované“ vzhledem k intervencím stanoveným v úkolu 3.1?
NČI a další podklady NOK
n. Které z kritických bodů teorie změny není účelné (vzhledem k SMART charakteristice) měřit žádným z doposud využívaných indikátorů?
NČI a další podklady NOK
o. Jakými indikátory je obecně vhodné monitorovat navržené intervence a ověřovat platnost jejich kauzálních vazeb?
p. Které z těchto indikátorů je vhodné měřit na úrovni příjemců podpory a které je vhodné získávat z externích databází?
© Sdružení „DHV, NVF“, 8/2011
Sekundární literatura
M4 M5
M9
V prvním kroku analýzy budou analyzovány monitorovací indikátory využívané v současnosti, a to zejména v hodnotícím rámci požadavků SMART. Cílem je identifikovat ty monitorovací indikátory, které budou využitelné i v následujícím programovém období pro priority identifikované v úkolu 3.1 a rozpracované v úkolu 3.5.
M9
Budou identifikovány ty kritické body teorií změny jednotlivých intervencí (výstup EO 3.k), které nejsou měřitelné žádným v současnosti využívaným monitorovacím indikátorem.
M9
Budou identifikovány monitorovací indikátory, a to zejména ty, které budou monitorovat kritické body teorií změn, které nemohou být uspokojivě pokryty žádným v současnosti využívaným MI. Indikátory budou v této fázi identifikovány na obecné úrovni.
M9
Bude dále rozpracován úkol 3.p – obecně navržené indikátory budou roztříděny podle zdroje, ze kterých je pro ně možné sbírat data. Základním rozdělením přitom bude sběr od příjemců podpory a sběr za využití sekundárních – externích – databází.
Interní a externí experti
Výstup EO 3.k Interní a externí experti Interní a externí experti Sekundární literatura
M4 M5
M4 M5
Interní a externí experti Sekundární literatura Pracovníci ŘO
M4 M5
51
Evaluační otázka
Zdroj dat
q. Jakým způsobem je vhodné nastavit procesy získávání dat z externích databází tak, aby takto získaná data plnila roli SMART indikátorů?
Interní a externí experti
© Sdružení „DHV, NVF“, 8/2011
Sekundární literatura Pracovníci ŘO
Metody sběru dat M4 M5
Metody analýzy dat
Komentář
M9
V návaznosti na EO 3.p budou obecně načrtnuty procesy nejen pro získávání dat z externích databází, ale také jejich napojení na standardní systém monitorovacích indikátorů (tj. zejména přiřazování ke konkrétním příjemcům podpory).
52
2.3.3.5. Úkol 3.7: Návrh vhodného způsobu evaluace jednotlivých oblastí podpory Porozumění úkolu V Úkolu 3.7 je úkolem určité prvotní zamyšlení nad způsobem evaluací navržených oblastí podpory (výstup Úkolů 3.1, 3.2, 3.3 a 3.4). Způsoby evaluací musí reflektovat charakter veřejné intervence a cílové skupiny. Zároveň se způsoby evaluace liší podle samotného typu evaluace. U operační evaluace půjde o pravidelné, případně ad hoc vyhodnocování dosažených výstupů a výsledků v průběhu realizace operačního programu (on-going). Ve strategických evaluacích (exante, v průběhu implementace – on-going, ex-post) půjde o posouzení vývoje operačního programu, respektive jeho oblastí podpory vzhledem k dosahování cílů evropských a národních priorit. Způsob řešení úkolu Navržené oblasti podpory pro příští programové období budou porovnány se způsoby evaluace, jimiž tyto oblasti podpory byly hodnoceny v průběhu minulého a současného programového období. Pro tento účel budou využity výstupy meta-evaluace Úkolu 2. Bude identifikována dobrá praxe v evaluačních metodách a zvolených typech evaluací a zároveň slabá místa. Mezi slabá místa může patřit například nezachycení důležitých efektů podpory, které jsou klíčové pro správné fungování kauzálních vazeb teorie změny. U slabých míst budou hledány důvody zjištěného stavu a definována řešení pro budoucí období. V případě navržení nového typu intervencí zpracovatel rovněž navrhne způsob jejich evaluace. Zpracovatel se zaměří rovněž na otázku správného načasování a zahrnutí stakeholderů do evaluací a v této souvislosti prozkoumá zkušenosti pracovníků řídícího orgánu. Metody pro zajištění výstupů úkolu Zpracovatel využije obsahovou analýzu existujících evaluačních zpráv minulého a současného programovacího období, která bude provedena v rámci Úkolu 2 (meta-evaluace). Nad rámec evaluačních zpráv bude zpracovatel jako zdroj dat analyzovat rovněž metodické materiály i příklady dobré praxe týkající se evaluace na úrovni projektů (sebe-evaluace), stejně jako metodické materiály i připravovanou legislativu (vč. návrhových verzí) pro přípravu nového programového období 2014+. Zpracovatel dále využije polostrukturované rozhovory s pracovníky řídícího orgánu a dalšími evaluátory operačních programů podporovaných z prostředků ESF za účelem zjištění jejich zkušeností s evaluacemi.
© Sdružení „DHV, NVF“, 8/2011
53
Evaluační otázka
Zdroj dat
Metody sběru dat
Metody analýzy dat
Komentář
Úkol 3: Návrh zaměření ESF v ČR pro období 2014 – 2020 a popis mechanismů k dosažení cílů Úkol 3.7. Návrh vhodného způsobu evaluace jednotlivých oblastí podpory p. Jaké jsou vhodné evaluační mechanismy pro vyhodnocování působení jednotlivých intervencí?
Interní a externí experti Sekundární literatura Pracovníci ŘO
q. Které z intervencí je vhodné / proveditelné evaluovat s určitou periodicitou podle standardizované metodologie a které intervence je vhodné evaluovat prostřednictvím ad-hoc studií?
Interní a externí experti
r. Jaké evaluační metody, resp. jaký mix evaluačních metod / technik je vhodný pro hodnocení jednotlivých evaluací s ohledem na charakter jejich implementace, věcného zaměření a cílových skupin?
Interní a externí experti
Sekundární literatura Pracovníci ŘO
Sekundární literatura Pracovníci ŘO
M4 M5
M4 M5
M4 M5
M9
Budou identifikovány vhodné mechanismy pro jednotlivé intervence.
M9
Intervence budou roztříděny podle toho, zda je možné jejich působení vyhodnocovat periodicky (s jakou periodou?) podle standardizované metodologie nebo je nutné toto realizovat ad-hoc studiemi. Budou také identifikovány typy standardizovaných evaluací pro průřezové hodnocení celého rámce podpory z ESF v oblasti trhu práce a boje s chudobou
M9
Budou identifikovány evaluační metody (resp. jejich mix) pro hodnocení jednotlivých intervencí s ohledem na jejich individuální charakter.
M9
Budou identifikovány skupiny stakeholderů, které je účelné zapojit do evaluačních procesů v rámci jednotlivých intervencí.
Interní a externí experti s. Které stakeholdery je vhodné zapojit do evaluace jednotlivých intervencí?
Sekundární literatura Pracovníci ŘO
© Sdružení „DHV, NVF“, 8/2011
M4 M5
evaluační
54
3
Podrobný harmonogram realizace projektu
Níže uvedený harmonogram je indikativního charakteru. Dílčí termíny dílčích výstupů je možné flexibilně přizpůsobovat průběžným potřebám plnění zakázky, a to na základě dohody s vedoucí projektu. Dílčí termíny Vazba na následné Aktivita zakázky Popis aktivity zakázky Odpovědné osoby plnění aktivity Úkol 1: Identifikace a predikce potřeb a problémů trhu práce a v oblasti boje s chudobou a identifikace relevantních strategií Úkol 1.1. Analýza, vyhodnocení a predikce potřeb a problémů trhu práce a v oblasti boje s chudobou do období 2014 - 2020 Aktivita 1.1
Mapování relevantní dokumentace
Aktivita 1.2
Identifikace hlavních trendů vývoje klíčových faktorů
Aktivita 1.3
Analýza struktury hlavních trendů vývoje klíčových faktorů
Aktivita 1.4
Identifikace a analýza dalších aspektů, které ovlivňují situaci na trhu práce a v oblasti boje s chudobou
Aktivita 1.5
Komparace identifikovaných vývojových trendů s analogickými trendy v zahraničí
Aktivita 1.6
Predikce potřeb a problémů na trhu práce a v oblasti boje s chudobou
© Sdružení „DHV, NVF“, 8/2011
Trh práce – NVF Boj s chudobou – J. Kadeřábková Trh práce – NVF Boj s chudobou – J. Kadeřábková Trh práce – NVF Boj s chudobou – J. Kadeřábková Trh práce – NVF Boj s chudobou – J. Kadeřábková Trh práce – NVF Boj s chudobou – J. Kadeřábková Trh práce – NVF Boj s chudobou – J. Kadeřábková
31. 8. 2011
Úkol 3
31. 8. 2011
Aktivita 1.4, 1.6, Úkol 3
31. 8. 2011
Úkol 3
14. 9. 2011
Úkol 3
14. 9. 2011
Úkol 3
14. 9. 2011
Úkol 3
55
Aktivita zakázky
Popis aktivity zakázky
Odpovědné osoby
Dílčí termíny plnění
Vazba na následné aktivity
Úkol 1.2. Vyhodnocení souladu identifikovaných potřeb s prioritami strategických dokumentů EU a ČR Aktivita 1.7
Mapování relevantních strategických dokumentů EU a ČR
Aktivita 1.8
Identifikace klíčových priorit strategických dokumentů EU a ČR
Aktivita 1.9
Realizace průmětu identifikovaných potřeb a problémů na trhu práce a v oblasti boje s chudobou do strategických dokumentů EU a ČR
Aktivita 1.10
Identifikace priorit/cílů strategií ČR, které nemohou být v budoucnu podporovány z ESF
Aktivita 1.11
Aktivita 2.1 Aktivita 2.2 Aktivita 2.3
Trh práce – NVF Boj s chudobou – J. Kadeřábková Trh práce – NVF Boj s chudobou – J. Kadeřábková Trh práce – NVF Boj s chudobou – J. Kadeřábková Trh práce – NVF Boj s chudobou – J. Kadeřábková
26. 9. 2011
Úkol 3
26. 9. 2011
Úkol 3
26. 9. 2011
Úkol 3
26. 9. 2011
Úkol 3
Lenka Brown, NVF a J. Kadeřábková – účastníci workshopu Lukáš Maláč a Realizace prvního konzultačního workshopu 4. 10. 2011 Tima Liberec a zástupci zadavatele a dalších stakeholderů Úkol 2: Zhodnocení příspěvku OP LZZ a dalších programů ESF k naplňování strategií EU a ČR Mapování relevantních evaluačních dokumentů Lukáš Maláč, Lenka Brown Srpen 2011 (Případné) konzultace se zpracovateli probíhajících evaluací – konzultace k výstupům jiných zakázek, konzultace k vlastním Lukáš Maláč, Lenka Brown Srpen a září 2011 výstupům tohoto projektu Dekompozice zadání Úkolu 2, rozpracování klíčových kritérií Lukáš Maláč 2. 9. 2011
© Sdružení „DHV, NVF“, 8/2011
Navazující workshopy; Finalizace aktivit 1.4, 1.6, 1.9; Dopracování aktivity 2.6 Úkol 3 Úkol 3 Úkol 3
56
Aktivita zakázky Aktivita 2.4 Aktivita 2.5 Aktivita 2.6
Popis aktivity zakázky Zpracování standardizovaného evaluačního rámce pro metaevaluaci
Odpovědné osoby Lukáš Maláč
Dílčí termíny plnění 2. 9. 2011
Lenka Brown, Lukáš Maláč, Realizace meta-evaluací Kamil Valica, Veronika 26. 9. 2011 Kraupnerova Syntéza Lenka Brown, Lukáš Maláč 30. 9. 2011 Úkol 3: Návrh zaměření ESF v ČR pro období 2014 – 2020 a popis mechanismů k dosažení cílů
Vazba na následné aktivity Úkol 3 Úkol 3 Úkol 3
Úkol 3.1.Návrh vhodného věcného zaměření a cílů ESF v ČR pro období 2014 – 2020 a návrh vymezení vhodných oblastí podpor (intervencí) Aktivita 3.1
Úvodní brainstorming expertů projektového týmu a průběžné konzultační schůzky realizačního týmu
Všichni členové týmu
15. 9. 2011 a dále každých 14 dní
Úkol 4
Aktivita 3.2
Identifikace vhodných témat a oblastí podpory na základě socio-ekonomických analýz provedených v Úkolu 1
Užší expertní interní tým – L. Brown, L. Maláč, NVF, Tima Liberec
5. 10. 2011
Úkol 4
Lenka Brown, Martin Dohnal, NVF
7. 10. 2011
Úkol 4
Lenka Brown, NVF, Lukáš Maláč, Martin Dohnal
7. 10. 2011
Úkol 4
Lenka Brown, NVF, Martin Dohnal
7. 10. 2011
Úkol 4
Aktivita 3.3
Aktivita 3.4 Aktivita 3.5
Verifikace identifikovaných vhodných témat a oblastí podpory na základě zkušeností s implementací ESF v ČR v programových obdobích 2004 – 2006 a 2007 – 2013 Analýza tematického zaměření ESF pro následující programové období na základě návrhových verzí nařízení EU k ESF a strategických dokumentů Filtrace intervencí nevhodných k podpoře a zpracování návrhu tematického zaměření
© Sdružení „DHV, NVF“, 8/2011
57
Aktivita zakázky
Aktivita 2.7
Popis aktivity zakázky
Realizace druhého konzultačního workshopu
Odpovědné osoby Lenka Brown, Lukáš Maláč, Veronika Kraupnerová – účastníci workshopu NVF, O. Čepelka, J. Kadeřábková a zástupci zadavatele a dalších stakeholderů
Dílčí termíny plnění
26. 10 2011
Vazba na následné aktivity Navazující workshopy; Aktivty 3.6, 3.7; Částečně vstupy pro aktivity 3.8; Finalizace Úkolu 2
Konzultace návrhu věcného zaměření se zástupci příslušných 10. – 12. 10. útvarů MPSV, ŘO OP LZZ a NOK v rámci polostrukturovaných L. Brown, NVF Úkol 4 2011 rozhovorů i expertních konzultací Formulace finálního návrhu souboru priorit, cílů a oblastí Aktivita 3.7 podpory (intervencí) ESF v ČR pro období 2014 – 2020 v oblasti Lenka Brown, NVF 15. 10. 2011 Úkol 4 trhu práce a boje s chudobou Úkol 3.2. Identifikace oblastí podpory (intervencí), kde je vhodné intervenovat pomocí „mainstreamových“ výzev implementovaných na základě „top-down approach“ Úkol 3.3 Identifikace oblastí podpory, které vyžadují „národní systémové individuální projekty“ Úkol 3.4 Identifikace oblastí podpory, kde je vhodné intervenovat pomocí „inovativních“ výzev na základě „bottom-up approach“ Tima Liberec, B. Wauters, Příprava návrhu Aktivita 3.8 Podrobné rozpracování implementačních mechanismů 30. 9. 2011 L. Maláč závěrečné zprávy Zpracování kritérií rozřazení oblastí podpory do jednotlivých Tima Liberec, B. Wauters, Příprava návrhu Aktivita 3.9 30. 9. 2011 implementačních mechanismů L. Maláč závěrečné zprávy Tima Liberec, Lenka Brown, Příprava návrhu Aktivita 3.10 Roztřídění oblastí podpory 20. 10. 2011 NVF, B. Wauters, L. Maláč závěrečné zprávy Aktivita 3.6
© Sdružení „DHV, NVF“, 8/2011
58
Aktivita zakázky
Popis aktivity zakázky
Odpovědné osoby
Dílčí termíny plnění
Wauters, Lenka Brown, NVF, Tima Liberec, Lukáš Maláč – účastníci WS J. Aktivita 3.11 Realizace třetího konzultačního workshopu 2. 11. 2011 Kadeřábková a zástupci zadavatele a dalších stakeholderů Úkol 3.5. Sestavení teorií změny pro intervence popsané v úkolech 3.2. a 3.3. a logických rámců pro intervence popsané v úkolu 3.4.
Aktivita 3.12
Zpracování logických rámců pro intervence – brainstorming užšího týmu
L. Maláč, L. Brown, NVF, J. Kadeřábková, Veronika Kraupnerová
18. 10. 2011
Aktivita 3.13
Analýza validity jednotlivých elementů kauzálních řetězců
L. Maláč, L. Brown, Veronika Kraupnerova
25. 10. 2011
Aktivita 3.14
Identifikace a analýza nezamýšlených efektů – brainstorming
L. Brown, Kadeřábková, Kraupnerova
20. 10. 2011
© Sdružení „DHV, NVF“, 8/2011
NVF, J. Veronika
Vazba na následné aktivity Navazující workshop; Finalizace úkolů 3.2 – 3.4 (aktivita 3.10); Aktivity 3.12 – 3.18.
Analýza validity jednotlivých elementů kauzálních řetězců, analýza nezamýšlených efektů, kritických bodů teorie změny, kontextových proměnných, mediátorů Formulace komplexních modelů teorie změny Formulace komplexních modelů teorie změny
59
Aktivita zakázky
Popis aktivity zakázky
Odpovědné osoby
Dílčí termíny plnění
Aktivita 3.15
Identifikace kritických bodů teorie změny – brainstorming
L. Brown, Kadeřábková, Kraupnerova
Aktivita 3.16
Identifikace kontextových proměnných – brainstorming
L. Brown, Kadeřábková, Kraupnerova
NVF, J. Veronika
20. 10. 2011
Aktivita 3.17
Identifikace mediátorů – brainstorming
L. Brown, Kadeřábková, Kraupnerova
NVF, J. Veronika
20. 10. 2011
Aktivita 3.18
Syntéza – formulace komplexních modelů teorie změny
Lukáš Maláč, Lenka Brown, NVF
31. 10. 2011
Realizace čtvrtého konzultačního workshopu
Lenka Brown, NVF, Tima Liberec, Lukáš Maláč, J. Kadeřábková, V. Kraupnerova, M. Dohnal a zástupci zadavatele a dalších stakeholderů
Dle dohody se zadavatelem bude upřesněno (2. polovina listopadu)
Příprava finální závěrečné zprávy – Aktivita 4.2
Lenka Brown, NVF, Tima Liberec, J. Kadeřábková, Veronika Kraupnerová
2. 11. 2011
Syntéza a návrh indikátorů
Aktivita 3.19
NVF, J. Veronika
20. 10. 2011
Vazba na následné aktivity Formulace komplexních modelů teorie změny Formulace komplexních modelů teorie změny Formulace komplexních modelů teorie změny Příprava návrhové verze závěrečné zprávy
Úkol 3.6 Návrh vhodných monitorovacích indikátorů Aktivita 3.20
Identifikace klíčových bodů teorie změny/logických rámců – brainstorming
© Sdružení „DHV, NVF“, 8/2011
60
Aktivita zakázky
Popis aktivity zakázky
Odpovědné osoby
Dílčí termíny plnění
Aktivita 3.21
Analýza existujících indikátorových soustav
Lenka Brown, NVF
4. 11. 2011
Aktivita 3.22
Obsahová analýza výročních zpráv
Lenka Brown
6. 11. 2011
Aktivita 3.23
Polostrukturované rozhovory s pracovníky řídícího orgánu
Lenka Brown, NVF
10. – 14. 10. 2011
Aktivita 3.24
Analýza výstupů meta-evaluce (Úkol 2)
Lenka Brown
7. 10. 2011
Aktivita 3.25
Expertní konzultace
Širší expertní tým
7. 11. 2011
Aktivita 3.26
Syntéza a návrh vhodných indikátorů
Lenka Brown, NVF
9. 11. 2011
Vazba na následné aktivity Syntéza a návrh indikátorů Syntéza a návrh indikátorů Syntéza a návrh indikátorů Syntéza a návrh indikátorů Syntéza a návrh indikátorů Syntéza a návrh indikátorů
Úkol 3.7. Návrh vhodného způsobu evaluace jednotlivých oblastí podpory Aktivita 3.27
Analýza výstupů meta-evaluace (Úkol 2)
Lukáš Maláč
7. 10. 2011
Aktivita 3.28
Polostrukturované rozhovory s pracovníky řídícího orgánu
Lenka Brown, Lukáš Maláč
10. – 14. 10. 2011
Aktivita 3.29
Syntéza a návrh vhodného způsobu evaluace jednotlivých Lenka Brown, Lukáš Maláč oblastí podpory Sumarizace a syntéza
9. 11. 2011
Aktivita 4.1
Zpracování návrhu závěrečné zprávy
Lenka Brown, Lukáš Maláč, NVF
11. 11. 2011
Aktivita 4.2
Zpracování finální verze závěrečné zprávy
Lenka Brown, Lukáš Maláč, NVF
27. 1. 2012
© Sdružení „DHV, NVF“, 8/2011
Zpracování návrhu závěrečné zprávy Zpracování návrhu závěrečné zprávy Zpracování návrhu závěrečné zprávy Zpracování finální verze závěrečné zprávy Prezentace postupu zainteresovaným subjektům
61
Aktivita zakázky Aktivita 4.3
Aktivita 5.1
Aktivita 5.2
Popis aktivity zakázky
Odpovědné osoby
Prezentace postupu projektu Monitorovacím výborům, PS pro Lenka Brown, NVF, Tima evaluace, Evropské komisi, atd. Liberec, Lukáš Maláč Administrativní aktivity Zpracování vstupní zprávy (vč. zpracování dílčích vstupů, kterými jsou soupis analyzovaných dokumentů, rozšířená Lenka Brown, Lukáš Maláč metodologie zakázky, detailní harmonogram zakázky, + dílčí vstupy ostatních identifikace vhodných konzultantů projektu pro oslovení členů týmu zadavatelem) Lenka Brown + dílčí vstupy Zpracování flash-reportů od členů týmu
Dílčí termíny plnění Průběžně do května 2012
Vazba na následné aktivity -
31. 8. 2011 (dílčí termín pro dílčí vstupy 29. 8. 2011)
Všechny ostatní aktivity
Každé 2 týdny od podpisu smlouvy
-
Zapojení Benedikta Wauters do řešení projektu: Zprostředkování relevantních studií a článků v oblasti implementace ESF, Zajištění expertních konzultací realizačnímu týmu, Osobní účast na třetím workshopu spojená s dalším dnem věnovaným osobním expertním konzultacím s realizačním týmem. Celkový rozsah zapojení Benedikta Wauterse bude odpovídat 4 pracovním dnům. Průběžné výstupy z plnění úkolu 1 a 2 budou poskytovány všem členům řešitelského týmu tak, aby byla zajištěna návaznost na aktivity realizované v úkolu 3 s dostatečným předstihem.
© Sdružení „DHV, NVF“, 8/2011
62
4
Zdroje dat a informací 4.1. Zdroje dat a dokumentaci
informací
identifikovaných
v zadávací
4.1.1. Evaluační úkol 1
Navreme Boheme: Průběžná longitudální studie účinků podpory OP LZZ na cílové skupiny programu, 2011
MMR: Analýzy socioekonomického rozvoje na úrovni krajů se specifikací potřeb po roce 2013, 2010
NOVZ-NVF: Předvídání kvalifikačních potřeb trhu práce, 2009
Studie TP OP LZZ
Strategie Evropa 2020
Pátá zpráva EK o hospodářské, sociální a územní soudržnosti
Národní program reforem (usnesení vlády č. 314/2011)
Strategický rámec udržitelného rozvoje ČR (usnesení vlády č. 37/2010)
Rámec strategie konkurenceschopnosti (NERV, 2011)
Strategie mezinárodní konkurenceschopnosti (MPO, 2011)
Strategie regionálního rozvoje ČR pro období 2014+
Návrhy nových nařízení pro Evropský regionální rozvojový fond, Evropský sociální fond a Fond soudržnosti
Národní rozvojové priority kohezní politiky po roce 2013
Národní akční plán sociálního začleňování (dokument je součástí "Národní zprávy o strategiích sociální ochrany a sociálního začleňování na léta 2008 – 2010", kterou vláda schválila 22. září 2008 usnesením č. 1209). (MPSV)
Strategie prevence kriminality na léta 2008 až 2011 (Ministerstvo vnitra ČR).
Národní akční plán k transformaci a sjednocení péče o ohrožené děti na období 2009 – 2011 (usnesení vlády 883 z 13. července 2009).
Národní strategie finančního vzdělávání 2010. (Ministerstvo financí ČR)
Koncepce romské integrace na období 2010 – 2013. (Vláda ČR)
Národní plán vytváření rovných příležitostí pro osoby se zdravotním postižením na období 2010 – 2014. (Vládní výbor pro zdravotně postižené občany)
Národní strategie protidrogové politiky na období 2010 až 2018. (Rada vlády pro koordinaci protidrogové politiky)
© Sdružení „DHV, NVF“, 8/2011
63
Národní plán rozvoje sociálních služeb pro období 2011 – 2016. (MPSV)
Koncepce podpory transformace pobytových sociálních služeb (přijata usnesením vlády ze dne 21. února 2007 č. 127)
Národní program přípravy na stárnutí pro období 2008 – 2012
Národní akční plán k transformaci a sjednocení systému péče o ohrožené děti na období 2012 – 2016 (v přípravě)
Národní strategie péče o ohrožené děti a Národní akční plán pro období 2012 – 2015 (v přípravě)
4.1.2. Evaluační úkol 2
Podklady pro Strategickou zprávu ČR 2009 Strategická zpráva ČR 2009 Ex-post evaluace Rámce podpory Společenství a jednotných programových dokumentů z programového období 2004-2006, Střednědobé hodnocení věcné a finanční realizace Národního strategického referenčního rámce Roční operační vyhodnocení OP LZZ 2009 Roční operační vyhodnocení OP LZZ 2010 Třetí etapa průběžného hodnocení Programu Iniciativy Společenství EQUAL Závěrečná evaluace OP RLZ – zhodnocení přínosu programu na poli rozvoje lidských zdrojů Závěrečná evaluace JPD 3 – zhodnocení přínosu programu v oblasti rozvoje lidských zdrojů Výroční zprávy o provádění OP LZZ 2007, 2008, 2009 a 2010
Nad rámec těchto budou do zpracování Úkolu 2 zahrnuty průběžné výstupy těchto evaluačních projektů: Průběžná dlouhodobá (longitudinální) studie účinků podpory OP LZZ na cílové skupiny programu – zpracovatel Navreme Boheme, s.r.o. Pilotní Counterfactual Impact Evaluation OP LZZ, oblast podpory 1.1 – zpracovatel IREAS centrum, s.r.o. Hodnocení implementace principu partnerství v OP LZZ – zpracovatel IREAS centrum, s.r.o. Nad rámec dokumentů uvedených v nabídce budou do vyhodnocení Úkolu 2 zahrnuty rovněž evaluační a další studie realizované v Operačním programu Vzdělávání pro konkurenceschopnost (a to z toho důvodu, že, dle zadávací dokumentace, zadavatel vyžaduje vyhodnotit přínos programů ESF v ČR mimo jiné se zaměřením na rozvoj lidských zdrojů a vzdělávání, které jsou částečně realizovány také v rámci OP VK), a to zejména tyto:
Analýza využívání prostředků ESF v rámci podřízených organizací resortu MŠMT;
© Sdružení „DHV, NVF“, 8/2011
64
Analýza výzev Operačního programu Vzdělávání pro konkurenceschopnost uskutečněných v roce; Sociologický výzkum zaměřený na analýzu podoby a příčin segregace dětí, žákyň, žáků a mladých lidí ze sociokulturně znevýhodňujícího prostředí; Analýza grantových projektů prioritní osy 1 v rámci 1. a 2. výzvy OPVK;
4.2. Další zdroje dat a informací 4.2.1. Další zdroje dat a informací pro evaluační úkol 1 Zdroje dat a informací společné všem tematickým oblastem.
MF ČR: Makroekonomická predikce České republiky, leden 2011, červenec 2011
MF ČR: Makroekonomické predikce na MF ČR – Pohled do zpětného zrcátka, 2011
ČSÚ: Statistická ročenka 2007 – 2010, Hlavní makroekonomické údaje, Obyvatelstvo
ČSÚ, 2010b: Statistika regionálního trhu práce, dostupné http://www.czso.cz/csu/2009edicniplan.nsf/t/3400190F6E/$File/137009a2.pdf
OECD: Veřejná statistická databáze
MPO: Zahraniční obchod České republiky, 2010
EUROSTAT: Eurostat Yearbook, 2010 veřejná statistická databáze
Národní program reforem ČR 2011 - Investice pro Evropskou konkurenceschopnost: Příspěvek ČR ke Strategii Evropa 2020
Analýza využívání prostředků ESF v rámci podřízených organizací resortu MŠMT;
MMR: Souhrnný návrh zaměření budoucí kohezní politikou po roce 2013 v podmínkách ČR, obsahující i návrh rozvojových priorit pro čerpání fondů EU po roce 2013, červen 2011
NERV: Rámec strategie konkurenceschopnosti, březen 2010
Fabricio Barca: Agenda for a Reformed Cohesion Policy, 2009
Sirovátka, Tomáš: „Sociální změna a sociální politika. Studie o sociálních nerovnováhách a výzvách pro sociální politiku v letech 2000 – 2020.“
Musil, Libor: „Výzkum specifických forem exkluze u vybraných cílových populací sociální práce“.
Výměna zkušeností a přenos dobré praxe při řešení sociálního začleňování zdravotně postižených na trhu práce aneb Zvyšování zaměstnanosti osob se zdravotním postižením s využitím konceptu Diversity Management se zaměřením na aplikaci Diversity Score Cards. (Centrum vizualizace a interaktivity vzdělávání, s.r.o.).
© Sdružení „DHV, NVF“, 8/2011
z:
65
„S uživateli sociálních služeb a nizozemskou expertízou k systémovým změnám“ (projekt mezinárodní spolupráce OPLZZ, registrační číslo projektu CZ.1.04/5.1.01/51.00042). (Iskérka, o.s.)
Sociologický výzkum zaměřený na analýzu podoby a příčin segregace dětí, žákyň, žáků a mladých lidí ze sociokulturně znevýhodňujícího prostředí;
Brožová Dagmar: Společenské souvislosti trhu práce, Praha, Sociologické nakladatelství 2003
Buchtová, Božena a kolektiv: Nezaměstnanost, Psychologický, ekonomický a sociální problém, Praha, Grada Publishing a.s. 2002
Čermáková, Marie: Postavení žen na trhu práce, In: Sociologický časopis, 1997, č. 33 Sociologický ústav AV ČR, Praha 1997
Jírová, 1999: JÍROVÁ, Hana: Trh práce a politika zaměstnanosti, Vysoká škola ekonomická v Praze, Fakulta národohospodářská, Praha 1999
Kotýnková,M., Němec,O.: Lidské zdroje na trhu práce, Havlíčkův Brod, Kamil Mařík, Professional publishing 2003
Zdroje dat a informací využívané primárně pro analýzu tematické oblasti zaměstnanost a trh práce.
MPSV: Analýzy vývoje zaměstnanosti a nezaměstnanosti v letech 2006 -2010 dle výsledků Výběrového šetření pracovních sil
MPSV: Statistická ročenka trhu práce v ČR 2006 – 2010
NVF-NOZV: Analýza a predikce fází cyklického vývoje trhu práce, 2010
NVF-NOZV: Konkurenční schopnost ČR,2007 - 2008, 2010
NVF-NOVZ: Working papers, zabývající se projekcí zaměstnanosti v odvětvích (vlastní materiály NVF)
NVF-NOVZ: Budoucnost profesí (www.budoucnostprofesi)
NVF-NOZV: Průzkum požadavků zaměstnavatelů na absolventy technických a přírodovědeckých oborů, 2010
NVF: Sekundární analýza vývoje struktury zpracovatelek o zaměstnání a volných pracovních míst ve Středočeském a Plzeňském kraji (2010)
NVF: Bariéry sladění rodinného a pracovního života v ČR (2011)
NVF-Hope: Vliv kohezní politiky na úroveň a kvalitu zaměstnanosti v ČR, červen 2010
NÚOV: Potřeby zaměstnavatelů a připravenost absolventů škol, 2008
NÚOV: Vývoj vzdělanostní a oborové struktury žáků a studentů ve středním a vyšším školství v ČR a v krajích ČR a postavení mladých lidí na trhu práce ve srovnání se stavem v EU 2009/2010, 2010
© Sdružení „DHV, NVF“, 8/2011
66
VÚPSV: Protikrizová opatření ve vybraných zemích, 2009
CEDEFOP: Skills Supply and Demand in Europe, Medium-term Forecast up to 2020, 2010
Eurydice: Adults in Formal Education: Policies and Practice in Europe, EACEA, Brussels 2011
Šťastnová P.: Analýza inzertní nabídky zaměstnání v denním tisku a na internetu – 2010, NÚOV, Praha 2011
CEDEFOP: Modernising Vocational Education and Training. Fourth report on vocational educaiton and training research in Europe: synthesis report,2009
Evropská komise: Evropská strategie zaměstnanosti, v Evropě, 2010
Evropská komise: Employment in Europe 2009, 2010
Evropská komise: New skills for new jobs, 2010
Rada Evropské unie: Joint Employment report, March 2011
Sirovátka, Tomáš: „Modernizace české sociální politiky: k zaměstnanosti vstřícnému modelu?“ (podpořeno GAČR – GAP404/11/0086).
Meeting the challenges of economic uncertainty and sustainability through employment, industrial relations, social and environmental policies in European countries (kolektiv autorů, řešitel v ČR – Fakulta sociálních studií MU; podpořeno Sedmým rámcovým programem).
Factors influencing the positron of young people on the labor market and changes in mobility opportunitioes in the Czech Republic. (kolektiv autorů – FSS MUNI)
Podpora zaměstnanosti a využiti volného času seniorů (lidi v předdůchodovém věku,ve věku 50+). (Respekt institut, o.p.s.)
Odhadování vzdělanostních potřeb v regionech ČR. (Výzkumný ústav práce a sociálních věcí, v.v.i.)
Projekt Zavádění evropských trendů v oblasti zaměstnávání znevýhodněných osob do české praxe. (Česká unie pro podporované zaměstnání, o.s.)
Slaďování soukromého a pracovního života v mezinárodním kontextu: výměna knowhow a rozvoj tematické sítě. (Gender Studies, o.p.s.)
Snaha o zlepšení zaměstnanosti
Zdroje dat a informací využívané primárně pro analýzu tematické oblasti sociálního začleňování a boje s chudobou.
Alter, 2007: ALTER, Kim: Social Enterprise Typology, Virtue Ventures LCC, 2007, dostupné z: http://rinovations.edublogs.org/files/2008/07/setypology.pdf dne 15.12.2010
Babinčák, Peter. 2004. „Indikátory kvality života. Čo považujete za šťastný život?“ Pp. 161-167 in Džuka, J. (ed.) Psychologické dimenzie kvality života. Prešov: Prešovská univerzita, ISBN 80-8068-282-8.
© Sdružení „DHV, NVF“, 8/2011
67
Hunčová, Magdalena: Sociální stát a sociální ekonomie v teorii a praxi. In: Sociální stát a sociální ekonomie – hrozba, nebo příležitost? Fakulta sociálně ekonomická Univerzity J.E. Purkyně, Ústí nad Labem 2003
Hunčová, Magdalena: Ekonomický rozměr občanské společnosti, Fakulta sociálně ekonomická Univerzity J.E. Purkyně, Ústí nad Labem 2004
Dohnalová,Marie: Sociální ekonomika v evropském kontextu, Nadace Universitas, Akademické nakladatelství CERM, Nakladatelství a vydavatelství NAUMA, Brno 2006
Fišerová Anna: Možnosti zaměstnávání osob znevýhodněných na trhu práce. Diplomová práce, VŠE Praha, 2010
Kuhnová Zuzana: Hodnocení kvality života v ČR. Diplomová práce, VŠE Praha, 2010
Mareš, Petr: Sociální politika a sociální kompetence jejích klientů, in: Sociologický časopis, č. 36., Sociologický ústav AV ČR, Praha 2000
Mareš, 2006: MAREŠ, Petr: Faktory sociálního vyloučení, Výzkumný ústav práce a sociálních věcí, Praha 2006
RÁKOCZYOVÁ Miroslava, MAREŠ Petr: Sociální vyloučení a chudoba v ČR ve srovnání se zeměmi EU, In: Směřování české sociální politiky s důrazem na agendu Lisabonské strategie, VÚPSV Praha, 2005
Potůček, M. a kol. 2002. Průvodce krajinou priorit pro Českou republiku. Praha:CESES UK.
Sirovátka Tomáš: Sociální a ekonomické faktory marginalizace na pracovním trhu v České Republice, In: Sociologický časopis, č. 33, Sociologický ústav AV ČR, Praha 1997
Světová banka, 2008: Česká republika: Šance na zlepšení zaměstnanosti Romů, Studie Světové banky, 2008 Dostupné online z: http://www.osf.cz/konference/images/file/cze%20Svetova%20Banka.pdf dne 14.11.2010
TESSEA, 2009: Tematická síť pro rozvoj sociální ekonomiky v ČR: Statut. Ustavující konference TESSEA, Praha 2009, dostupné online z: http://www.socialniekonomika.cz/images/Pdf/STATUT_TESSEA.pdf dne 23.12.2010
Tomeš, I.: Úvod do teorie a metodologie sociální politiky, Praha Portál, 201
The social dimension of the Europe 2020 Strategy A report of the Social protection committee (2011). European Commission. Directorate-General for Employment, Social Affairs and Inclusion Unit D.1. Manuscript completed in March 2011. http://ec.europa.eu/progress
The measurement of extreme poverty in the European Union. European Commission Directorate-General for Employment, Social Affairs and Inclusion, Manuscript completed in January 2011
Evropská platforma pro boj proti chudobě a sociálnímu vyloučení. Shrnutí pro veřejnost
Pozn.: Mimo uvedené literatury bude (pro analýzu sociální exkluze) využíváno také výsledků empirických výzkumů, které byly z velké části zaměřeny k problematice sociální exkluze i
© Sdružení „DHV, NVF“, 8/2011
68
chudobě. Tyto výzkumy realizovala dlouhodobě ve veřejném, neziskovém i soukromém sektoru od. r. 1991 až do současnosti členka týmu, PhDr. Jaroslava Kadeřábková, CSc.. Jedná se zejména o výzkumy ve městech : Plzeň, Beroun, Český Krumlov, Chomutov, Louny Ústí nad Labem a dalších městech a obcích v ČR.
© Sdružení „DHV, NVF“, 8/2011
69
Příloha č. 1: Hodnotící rámec pro meta-evaluaci – úkol 2 Kritérium metaevaluace Zjištění ohledně relevance podpory z ESF Zjištění ohledně obecné „vhodnosti“ intervencí jednotlivých OP v oblasti zaměstnanosti a sociální inkluze
Zjištění Zjištění č. 1 Zjištění č. 2 Zjištění č. 3 atd…
Zjištění v oblasti dynamiky „vhodnosti“ (relevance) – Existují priority, které přestaly být relevantní pro podporu, ovšem jsou nadále podporovány? Existují priority a oblasti, které jsou vhodné po podporu, ale podporovány nejsou?
Zdroj
Syntéza
Evaluace OP xx, s. yy Roční operační vyhodnocení xx, s. yy atd… atd…
…zde i níže strukturovat obdobně jako výše…
Zjištění ohledně „zbytečnosti“ některých intervencí. Zjištění ohledně chybějících intervencí – existují oblasti, kde ESF nepůsobí, ale byly by v budoucnu vhodné k podpoře z ESF? Existují oblasti, kde absence ESF ohrožuje výsledky jiných intervencí? Existují jiné zdroje financování intervencí v těchto oblastech? Zjištění ohledně správnosti přístupu k řešení konkrétního problému. (Problém sice je relevantní, je vhodný k podpoře z ESF a je eligible, ale způsob jeho podpory není vhodný) Tematická zjištění ohledně „vhodnosti“ a potřebnosti (relevance) intervence z ESF v oblasti: Adaptability Aktivní politika trhu práce
© Sdružení „DHV, NVF“, 8/2011
70
Sociální začleňování osob vyloučených z trhu práce (osob ohrožených vyloučením) Sociální začleňování v sociálně vyloučených romských komunitách Rovné příležitosti na trhu práce Sociální podnikání Mezinárodní spolupráce a výměna zkušeností v oblasti trhu práce a sociálního začleňování Zjištění ohledně účelnosti podpory z ESF Kvantitativní zjištění ohledně účelnosti intervencí ESF v oblasti trhu práce a sociální inkluze: Jakým způsobem je dosahováno vytyčených kvantitativních cílů, které cíle jsou naplňovány a které ne? Kvalitativní zjištění ohledně účelnosti intervencí ESF v oblasti trhu práce a sociální inkluze: Ve kterých oblastech produkuje ESF skutečnou změnu? Zjištění ohledně přičitatelnosti pozorovaných kvantitativních a kvalitativních změn působnosti ESF – které změny jsou skutečně výsledkem působení ESF? Které pozorované změny (tj. naplňování stanovených cílů) jsou spíše výsledkem externích trendů? Tematická zjištění ohledně účelnosti intervencí z ESF v oblastech Adaptability Aktivní politika trhu práce Sociální začleňování osob vyloučených z trhu práce (osob ohrožených vyloučením) Sociální začleňování v sociálně vyloučených romských komunitách
© Sdružení „DHV, NVF“, 8/2011
71
Rovné příležitosti na trhu práce Sociální podnikání Mezinárodní spolupráce a výměna zkušeností v oblasti trhu práce a sociálního začleňování Zjištění ohledně administrace podpory z ESF Zjištění ohledně intervencí negativně ovlivněných způsobem administrace ESF – existují intervence, které nejsou uspokojivě realizovány z důvodu obtížné administrace a překážek „byrokratického“ charakteru („red tape“)? Zjištění ohledně vhodných a nevhodných způsobů administrace jednotlivých intervencí. Konkrétní zjištění ohledně problémů v administraci podpory z ESF. Další relevantní zjištění v oblasti relevance a účelnosti podpory ESF, výše neuvedená.
© Sdružení „DHV, NVF“, 8/2011
72
Příloha č. 2: Rešerše dosavadních dokumentů a informací k otázce subregionálního partnerství Vzhledem k tomu, že nabídka v rámci úkolů 3.2 – 3.4 , tedy při rozpracování implementačních mechanismů, zpracovává rovněž otázku subregionálních partnerství jako specifického implementačního mechanismu, o jehož širší aplikaci v novém programovém období se v současnosti v orgánech EU vede intenzivní diskuze, přikládáme stručnou rešerši co se týče současného statu quo těchto diskuzí. Vzhledem k tomu, že jde o pracovní materiál, je většina citací uvedena v originálním (tedy anglickém) znění. Stručné shrnutí dosavadních dokumentů a prohlášení za duben až červen 2011, z vystoupení zástupců DG Agri, Employment, Mare a Regio na seminářích a konferencích a z přípravy rozpočtu na 2014-20, viz http://ec.europa.eu/budget/library/biblio/documents/fin_fwk1420/MFF_COM2011-500_Part_II_en.pdf. Zpracováno subdodavatelem Sdružení, společností Tima Liberec. Pro období 2014-20 se zvažuje: Projekty na subregionální (nižší než kraje?) a místní úrovni lze s výhodou implementovat v jiném režimu než projekty regionální a národní. Zástupci DG Regio, Employment, Agri a Mare publikovali poprvé 13. dubna 2011 jednotný koncepční návrh, z něhož vyjímáme (jde o pracovní variantu, která nemusí být schválena): 1. Vznikne společný strategický rámec pro využití ESF, ERDF, EAFRD a EFF a sladění jejich pravidel. 2. V přirozených územních celcích (patrně menších než kraje) budou iniciativou zdola vytvářena subregionální mezisektorová partnerství, a to ve všech oblastech (venkovských i městských), které potřebují a mohou získat podporu. 3. Tato partnerství vypracují tématicky komplexní (integrovanou) strategii rozvoje regionu. 4. Realizaci této strategie budou partnerství financovat s pomocí všech fondů. Toto řešení: je důsledným využitím zkušeností s programy typu LEADER a se zkušenostmi MAS, znamená decentralizaci rozhodování a financování potřeb žadatelů, změní způsob financování potřeb na místní a subregionální úrovni včetně přebudování dosavadních implementačních struktur, využívá podobný mechanismus, jaký je již dnes vyhrazen příjemcům globálních grantů, výrazně posiluje princip partnerství, a to v mezisektorovém pojetí (rozhodovací orgán bude tvořen zástupci podnikatelského a neziskového sektoru, veřejné správy, příp. dalších subjektů). *** Dokument Communication from the Commission to the European parliament, the Council, the European economic and social committee and the Committee of the regions. A Budget for Europe 2020 - Part II: Policy fiches {SEC(2011) 867 final} {SEC(2011) 868 final} z 29. 6. 2011 k rozvoji venkova (EAFRD): To maximise the synergies between rural development policy and the EU's other territorial development funds, the European Agricultural Fund for Rural Development
© Sdružení „DHV, NVF“, 8/2011
73
(EAFRD) will be incorporated in the Partnership Contracts between the Commission and each Member State. These contracts will be linked to the objectives of the Europe 2020 strategy and the National Reform Programmes. They will set out an integrated strategy for territorial development supported by all of the relevant EU structural funds, including rural development. They will include objectives based on agreed indicators, strategic investments and a number of conditionalities. (str. 5) k územní soudržnosti (ERDF): The ERDF supports regional and local development by co-financing investments in R&D and innovation; climate change and environment; business support to SMEs; services of general economic interests; telecommunication, energy and transport infrastructures; health, education and social infrastructures; and sustainable urban development. (str. 25) – tady je vlastně část předmětu působení reg. partnerství Member States will in the future be encouraged to use multi-fund programmes with common processes for preparation, negotiation, management and implementation, in particular where the need for improved coordination of human capital and infrastructure investments is greatest. Where appropriate, a "lead fund" will be established, linked to the policy domain(s) of the programme. The lead fund's interventions would be complemented by interventions from the other structural funds so to ensure coherent support for the different thematic objectives under cohesion policy. (str. 26) k ochraně životního prostředí: In addition to the mainstreaming of climate action and environment objectives, the Commission proposes to continue the LIFE+ programme and to align it more closely to the Europe 2020 objectives, including a larger share of climate actions. … It will contribute to bottom-up climate action, both for developing capacity building projects at local/regional levels and for supporting private actors in testing small-scale low carbon and adaptation technologies, especially by SMEs. (str. 14) Předpokládá se rovněž administrativní zjednodušování pomoci: More use will be made of simplified cost options, in particular for small projects, thereby reducing the administrative burden on Member States and regions and facilitating access to funding for local initiatives. (str. 35) The Partnership Contracts with Member States, together with the CSF, will support smart specialisation strategies addressing priorities set out in the CSF and based on the assessment of the regional/local situation. This should provide a 'stairway to excellence', and lead over time to a higher number of excellent researchers and innovators from the regions (notably the convergence regions) being able to establish programmes fully aligned with the CSF, but also to strengthen the capacity of all regions to make full use of their innovation potential. (str. 86) CSF = Common Strategic Framework = obecná směrnice pro 2014-20 Jinými slovy, EK tady předpokládá, že v regionech budou vznikat zdola nahoru „dobře vychytané“ (smart) strategie, založené na vyhodnocení místních specifik. Ty povedou během času k většímu počtu inovací atd., především v regionech konvergence. Právě to mezisektorové reg. partnerství je schopno dát dohromady potřebné kapacity pro vznik těchto strategií a inovací! Z toho všeho je vidět užitek regionálních partnerství a jde tedy o to, zda se v ČR také využijí. A jestli u jejich vzniku budou MAS. © Sdružení „DHV, NVF“, 8/2011
74
*** A ještě několik pasáží z jiných dokumentů a akcí. „From 27 – 29 April 2011, the second conference of LINC (LEADER Inspired Network Community) took place in Bad Schandau (Sachsen, Germany). At the LINC conference, representatives of Local Action Groups (LAGs), stakeholders in rural development and for the first time also representatives from the European Network for Rural Development and the European Commission were present in this vibrant cooperation and networking event. The main ideas of the European Commission’s plans for the future LEADER programme which were presented by Rob Peters, Head of the European Commission’s Unit “European Network for Rural Development and Monitoring of Rural Development”. The Commission expects initiatives and projects at sub-regional level to be crucial in achieving smart, sustainable and inclusive growth.” Česky aspoň poslední větu: “Evropská komise pokládá iniciativy a projekty na subregionální úrovni za zásadní pro dosažení „chytrého“, udržitelného a inkluzivního růstu.“ “The relevant legislative proposal is expected to be adopted by the Commission in autumn 2011 along with all other CAP post 2013 proposals. In this framework, LEADER is considered to become the main development instrument at sub-regional level and the Commission even plans to grant EU priority status to sub-regional development.” The Commission’s plans for the next programming period 2014-2020 include the following key proposals:
Shared strategic framework and management of different EU funds at Commission and Member States’ level, including a strategic framework and guidelines for sub-regional and local development. More, but not too prescriptive, guidance to EU member states for the effective implementation of LEADER. Member states will have to choose areas eligible for LEADER. There will be a lead fund for every local action group (these can be four: ESF, ERDF, EFF, EAFRD). The financial base will be broadened. … More flexibility and orientation towards innovation and local governance. Local Development Strategies will be the main tool to meet these objectives at sub-regional level. Increased operational freedom for Local Action Groups (LAGs). This should be ensured by a clearer distribution of tasks between managing authorities and LAGs, with more private sector participation and various forms of public–private partnerships. More funds for animation and capacity building (also to set up a local development strategies, i.e. in the run-up time). Strengthening of rural-urban links.
The Commission expects that not all components of its ambitious plans will be unanimously supported by the Member States and therefore calls for vital support from rural development
© Sdružení „DHV, NVF“, 8/2011
75
and LEADER stakeholders to carry the proposals through the negotiations of the upcoming legislative process.” Podobně referuje Michael Dower, který sleduje debatu kolem Spol. zem. politiky v Bruselu. Tak třeba píše (viz http://www.arc2020.eu/front/2011/04/rural-development-and-the-linking-of-eufunds) o tvůrcích této koncepce v Evr. komisi: “…They envisage the setting up of sub-regional partnerships in all areas, whether urban or rural, which need significant developmental effort. These would incorporate the LEADER principles, but would have a wider and more flexible scope than most LEADER groups now have. Each partnership would draw up a local development strategy for its area, on an integrated basis, i.e. covering as appropriate the scope of all four Funds, linked to the national strategies and operational programmes. In implementing the local strategy, the partnership would then be able to call down funds from whichever of the four EU funds or related national funds were appropriate. The rules for deployment of the different EU funds would be harmonised....” Ze sdělení Ch. Svanfeldta (DG Regio, duben,
[email protected]): The role of local development approaches under cohesion policy should be reinforced, e.g., by supporting active inclusion, fostering social innovation, developing innovation strategies or designing schemes for regeneration of deprived areas. Issues of concern for future ERDF support to Local Development – the present state: Lack of incentives (for Managing Authorities, end users, etc) under current ERDF • Need for capacity building at local level • No clearly defined methodology • Lack of coherence with other programmes and funds • Need for coherence with overarching regional, national and European strategies Adequate support is needed to allow for the development of sustainable local groups and strategies (via for example URBACT type networks). Support to be targeted at sub-regional areas with min/max number of inhabitants that: – have critical mass in terms of human, financial and economic resources for viable strategies; and – target place-based communities including grass-root participation • supported by URBACT, FARNET, LEADER or similar networks: – open space for dissemination of good practices – more visibility to integrated and bottom-up strategies. Future ERDF Local Development No earmarking / ring fencing of funds • No regulation of MS organisation at national or regional level BUT • Coherent and conducive EU framework for integrated approach on the ground =>Capacity and willingness of Member States and regions to implement ***
© Sdružení „DHV, NVF“, 8/2011
76
Protože ještě někde předpokládá, že EAFRD zůstane (podobně jako v souč. období) stranou strukturálních fondů, cituji ještě k tomuto tématu z červencových dokumentů EK : http://ec.europa.eu/budget/library/biblio/documents/fin_fwk1420/SEC-868_en.pdf str. 55: General support exists for the envisaged Partnership Contracts to go beyond cohesion policy and include other funds such as EAFRD and EFF, even going as far as including other financial instruments in transport, energy, or research… Těmi smlouvami se míní klíčové Partnerské smlouvy o rozvoji a investicích, které chce EK vyjednávat od ledna s členskými zeměmi. http://ec.europa.eu/budget/library/biblio/documents/fin_fwk1420/MFF_COM-2011500_Part_II_en.pdf str. 5: To maximise the synergies between rural development policy and the EU's other territorial development funds, the European Agricultural Fund for Rural Development (EAFRD) will be incorporated in the Partnership Contracts between the Commission and each Member State. No a úplně jasně je to v návrhu rozpočtu – viz http://ec.europa.eu/budget/library/biblio/documents/fin_fwk1420/MFF_COM-2011500_Part_I_en.pdf - str. 16: In the post-2013 period, the European Agricultural Fund for Rural Development (EAFRD) will be included in the common strategic framework for all structural funds and in the contracts foreseen with all Member States.
© Sdružení „DHV, NVF“, 8/2011
77