Z E CE AC UA LU AL VA EV EE GIIE EG TE AT RA TR C SST EC ME ÁM RÁ NÍÍ R DN AD LA KL ÁK ZÁ E L AL UA QU EQ EV VR RO OPPSSK KÉ É IIN NIIC CIIA AT TIIV VY YE V ČEESSKKÉÉ RREEPPU VČ UB BL LIIC CE E
NÁVRH
Národní observatoř zaměstnanosti a vzdělávání Národní vzdělávací fond
Praha srpen 2002
1
Autoři: Věra Czesaná, Národní observatoř zaměstnanosti a vzdělávání – Národní vzdělávací fond Olga Stryjecka-Ilina, Národní observatoř zaměstnanosti a vzdělávání – Národní vzdělávací fond
Technická spolupráce: Alena Zukersteinová, Národní observatoř zaměstnanosti a vzdělávání – Národní vzdělávací fond
1. ÚVOD................................................................................................................................ 3 2. CÍLE A OBSAHOVÉ ZAMĚŘENÍ EQUAL................................................................ 3 3. OBECNÁ HLEDISKA A TYPY EVALUACE EQUAL................................................. 4 4. RÁMCOVÉ VYMEZENÍ INFORMAČNÍCH ZDROJŮ A INDIKÁTORŮ ............ 7 5. ZPŮSOB HODNOCENÍ JEDNOTLIVÝCH AKCÍ......................................................... 8 6. STŘEDNĚDOBÁ A ZÁVĚREČNÁ EVALUACE........................................................ 11 7. ORGANIZACE A INSTITUCIONÁLNÍ SPOLUPRÁCE ............................................ 13 8. ČASOVÝ HARMONOGRAM ...................................................................................... 14 9. VÝSLEDKY EVALUACE, JEJICH VYUŽITÍ A ŠÍŘENÍ ...................................... 14 10. DALŠÍ ROZVOJ A ZPŘESŇOVÁNÍ EVALUAČNÍ STRATEGIE........................ 15 POUŽITÉ ZKRATKY........................................................................................................ 17
2
1. ÚVOD Zadání zpracovat strategii pro evaluaci EQUAL po celé období 2001 - 2006 bylo formulováno Monitorovacím výborem jako součást výstupů studie evaluace ex-ante pro zahájení programu EQUAL v ČR. Při koncipování strategie se vycházelo z ustanovení a směrnic Evropské komise a ze zkušeností členských zemí. Zejména šlo o následující dokumenty: • Směrnice pro systém monitorování a hodnocení Iniciativy v oblasti lidských zdrojů EQUAL na období 2000 – 2006 (Evropská komise, červenec 2000) • Evropská iniciativa program EQUAL – strategie evaluace (materiál Evaluační jednotky, Velká Británie) • Klíčová hlediska pro průběžnou evaluaci národních programů EQUAL v členských státech (Brusel, DG Employment, 3. 9. 2001) • Směrnice pro systém monitorování a evaluace podpory ESF na období 2000 – 2006 (Evropská komise, červenec 1999) • Využity byly i poslední informace Evropské komise ze zasedání zástupců národních jednotek EQUAL konaného dne 12. 7. 2002 v Bruselu týkající se stanovení nových prioritních témat na období 2004 - 2006 Účelem předloženého podkladu je vymezit základní rámec pro strategii evaluace EQUAL v České republice s tím, že jednotlivé postupy a nástroje budou dále propracovávány. Důvodem tohoto fázování je skutečnost, že evaluační systém v ČR jak pro národní plány zaměstnanosti tak pro ESF či předvstupní fondy zatím neexistuje a není možno se opřít o zkušenosti institucí či o specifické databáze pro tyto účely vytvářené. Proto je nutné podrobněji rozpracovat okruhy sledovaných indikátorů a jejich metodiku, stanovit informační zdroje a vymezit, která data a jakým způsobem budou získávána. Dále je zřejmé, že v cílové podobě budou muset být všechny složky evaluačního systému (tj. evaluace národních a evropských programů a iniciativ) kompatibilní. Proto je účelné již od začátku provazovat pro různé typy evaluací nejen používanou metodiku, údajovou základnu, ale i expertní kapacity.
2. CÍLE A OBSAHOVÉ ZAMĚŘENÍ EQUAL 2.1 Cíle EQUAL Hlavním cílem evropské iniciativy EQUAL je podpořit rovný přístup k zaměstnání a vyvíjet a ověřovat postupy potlačující diskriminaci a nerovnosti na trhu práce. Základem realizace programu je spolupráce klíčových subjektů v daném regionu nebo sektoru. Seskupení partnerů tvoří takzvané rozvojové partnerství (RP), které zahrnuje orgány veřejné správy, nevládní organizace, sociální partnery, vzdělávací instituce a podnikový sektor. K těmto partnerstvím přistoupí i spolupráce se zahraničními partnery z členských zemí EU. Struktura rozvojového partnerství by měla zaručit komplexnost a inovativnost řešení. Výsledkem spolupráce budou nové postupy, metody, opatření zaměřené na odstraňování nerovností. Tyto budou ověřovány z hlediska jejich možného využití pro rozvoj běžných politik a praktických postupů. V rámci iniciativy EQUAL jsou vybírány a podporovány jednotlivé projekty, které jsou navrhovány na základě vyhlášených výzev. Vzhledem k tomu, že se jedná o projekty
3
realizované vždy seskupením partnerů, jsou tyto projekty poměrně velké, doba jejich trvání kolem 2-3 let a jejich rozpočet se pohybuje až kolem 1 mil EUR. V rámci každé výzvy jsou realizovány vždy tři akce, jejichž délka a cíle jsou odlišné. Cílem akce 1 je vytvořit efektivní rozvojové partnerství včetně navázání nadnárodní spolupráce. Délka této akce je 5 měsíců. Cílem akce 2 je implementace pracovních programů rozvojových partnerství v průběhu 2-3 let. Cílem akce 3 je šíření výsledků, jejich zapracování do národních politik a vytváření národních i nadnárodních tematických sítí. Akce 3 se překrývá s akcí 2 a trvá zhruba 1-1,5 roku. 2.2. Prioritní témata Pro startovací období programu EQUAL v ČR byla snaha soustředit pozornost na vybraná prioritní témata. Důvodem bylo velmi krátké období, které bylo k dispozici na přípravu programu a omezené finanční prostředky, které je možno v předvstupním období na EQUAL využít. Z devíti témat vymezených evropskou iniciativou bylo na základě konzultačního procesu a následného rozhodnutí Monitorovacího výboru stanoveno sedm prioritních témat: • Téma 1: Zlepšování přístupu a návratu na trh práce pro osoby obtížně integrovatelné • Téma 2: Potlačování rasismu a xenofobie ve vztahu k trhu práce • Téma 3: Otevírání procesu zakládání podniků vůči všem prostřednictvím poskytování nástrojů pro zakládání podniků a pro identifikaci a využívání nových příležitostí pro rozvoj zaměstnanosti v městských a venkovských oblastech • Téma 4: Posilování sociální ekonomiky (terciálního sektoru), zejména komunitních služeb se zaměřením na zvyšování kvality práce • Téma 5: Podpora celoživotního učení a pracovních postupů směřujících k zaměstnávání osob ohrožených diskriminací a nerovností ve vztahu k trhu práce • Téma 6: Podpora adaptability podniků a zaměstnanců na strukturální změny a na využívání informačních a dalších nových technologií • Téma 7: Slaďování rodinného a pracovního života a reintegrace mužů a žen do trhu práce prostřednictvím vývoje flexibilnějších a účinnějších forem organizace práce a podpůrných služeb Podle dispozic Evropské komise budou koncem roku 2002 vyhlášena nová prioritní témata na programovací období 2004 – 2006. Na jejich základě bude připraven CIP EQUAL a do 30. 6. 2003 předložen Evropské komisi ke schválení. Druhá výzva v rámci programu již tedy bude probíhat v rámci nových prioritních témat.
3. OBECNÁ HLEDISKA A TYPY EVALUACE EQUAL 3.1 Obecná hlediska zaměření evaluací Oproti běžným typům národních programů i programů ESF má evropská iniciativa EQUAL některé specifické rysy, které musí být v evaluaci odraženy. Je to především skutečnost, že EQUAL klade důraz na proces a mechanismus dosahování změny a využívání inovativních přístupů a zdokonalování politik spíše než na masovost podpory cílových skupin. Tím doplňuje hlavní opatření ESF a národních programů. Proto musí být hodnocení zaměřeno na efektivnost realizace klíčových principů EQUAL jako jsou: úroveň kooperace institucí na národní úrovni (princip partnerství), na míru spolurozhodování (princip spolurozhodování), na rozsah a způsob testování nových forem a opatření politiky zaměstnanosti a forem odstraňování všech příčin diskriminace a nerovností (princip inovací), na míru a výsledky účasti mezinárodních partnerů (princip mezinárodní spolupráce), na výsledky a přínosy
4
plynoucí z nových způsobů řešení problémů pro národní politiky, přínosy pro evropskou politiku zaměstnanosti, přínosy pro zdokonalování institucionálních struktur realizujících opatření příslušných politik (princip využití výsledků v politikách). Kromě statistických dat a tvrdých informací, jsou k tomu ve značném rozsahu využívána i měkká data a kvalitativní hodnotící informace. Protože jedním z hlavních rysů implementace iniciativy EQUAL je vytváření rozvojových partnerství (RP) institucí různého typu, je procesu jejich ustavení, fungování a výsledkům spolupráce na národní i mezinárodní úrovni věnována velká část hodnocení. Celková evaluace programu musí proto kromě jiného vycházet jak obsahově tak časově ze sebe-evaluačních aktivit a zpráv, které jsou zpracovávány jednotlivými RP. Rovněž delší realizační období a velký rozměr jednotlivých projektů klade specifické nároky na evaluace: každé ze tří období programu (akce 1, 2 a 3) je třeba hodnotit na základě odlišných hledisek, neboť jejich cíle jsou odlišné. Velké projekty jsou náročné na kvalitu zpracovaného společného postupu, koordinaci a efektivnost při dosahování výsledků, což musí být rovněž předmětem hodnocení. 3.2. Typy evaluace Na základě dokumentů vydaných Evropskou komisí1 je stanoveno, že evaluace EQUAL musí probíhat ve třech rovinách a to na úrovni RP, na úrovni jednotlivých států a na úrovni EU. Na úrovni jednotlivých států se uskutečňuje několik evaluací, které se odlišují obdobím, ke kterému se vztahují (a tím i svým obsahem a zaměřením): evaluace ex-ante, evaluace střednědobá (mid-term), evaluace závěrečná (final), evaluace ex-post. První tři evaluace jsou prováděny domácími hodnotiteli na základě rozhodnutí Monitorovacího výboru. Evaluace expost je prováděna většinou zahraničním evaluátorem, kterého vybere a schválí Evropská komise. Vedle toho probíhá průběžná evaluace v rámci jednotlivých akcí. Evaluace ex-ante Evaluace ex-ante při zahájení programu byla provedena Národní observatoří pro odborné vzdělávání a trh práce a schválena Monitorovacím výborem 31. 10. 2001. Jejím cílem nebylo standardní hodnocení programu CIP, neboť tento v dané době nebyl zpracován. Účelem exante hodnocení bylo popsat a vyhodnotit výchozí podmínky, které v České republice existují a jsou relevantní pro obsahové záměry programu EQUAL tak, aby na tomto základě bylo možno stanovit priority v rámci témat, opatření a institucionálního rámce pro budoucí realizaci projektů. Z tohoto důvodu oproti postupu běžnému v členských zemích EU mělo provedení evaluace ex-ante v ČR určitá specifika. Tato vyplývala jednak z časových omezení způsobených posunem vstupu ČR do programu a jednak ze skutečnosti, že v ČR tento program nemůže navázat na zkušenosti předchozích evropských iniciativ obdobného zaměření jako tomu je v ostatních evropských zemích. Z hlediska metodologie užité při evaluaci ex-ante byl kromě běžných analytických postupů realizován i konzultační proces, který byl využit jako základní nástroj pro dosahování širokého konsensu (prostřednictvím přímého zapojení expertů a prostřednictvím dotazníkového šetření). Výsledkem evaluace ex-ante byl výběr sedmi prioritních témat v rámci nichž byly podrobně rozpracovány směry prioritních opatření. Dále byl na základě konzultačního procesu identifikován okruh institucí vhodných pro realizaci navržených opatření, zásobník expertů pro odbornou podporu programu EQUAL a jsou vytypovány členské země EU, jejichž instituce by mohly být vyzvány ke spolupráci v rámci rozvojových partnerství. 1
General Structural Funds Regulation and the Council Communication
5
Vzhledem k tomu, že na období 2004 – 2006 budou formulována Evropskou komisí nová prioritní témata, bude zpracován CIP, který bude předložen EK do 30. 6. 2003. K tomuto programovému dokumentu bude zpracována standardní ex-ante evaluace v první polovině roku 2003. Evaluace střednědobá (mid-term) Vzhledem ke krátkému období nebude Česká republika zpracovávat první střednědobou hodnotící zprávu v roce 2003. Zpracování další zprávy (do 30. 9. 2005) zřejmě již bude pro ČR povinné. Zpráva musí poskytnout argumenty a návrhy pro zpřesnění a případné změny. Bude zaměřena na hodnocení výsledků, míry dosažení cílů a je požadováno, aby pokrývala: - akce 1, 2 a 3 - všechna témata - základní principy EQUAL (partnerství, spoluúčast na rozhodování, mezinárodní spolupráci, inovace, šíření výsledků, příspěvek k politice ESF a národním politikám) Evaluace závěrečná (final) – obsahem a strukturou je obdobná střednědobé evaluaci. Představuje hodnocení celého období programu a je prováděna po jeho uzavření. Musí být dokončena do 30. 9. 2007. Sebe-evaluace v rámci rozvojových partnerství Sebe-evaluace je povinná a bude prováděna průběžně, zvlášť bude sledována mezinárodní spolupráce. Pro sebehodnocení RP bude zpracována metodologie, kterou připraví Implementační jednotka EQUAL ve spolupráci s evaluačním týmem. V rámci akce 1(na konci akce 1) musí RP poskytnout údaje o: - ustavení mechanismu pro průběžný proces sebehodnocení, - charakteru RP a jeho struktuře, způsobu ustavení RP, fungování, rolích partnerů, výsledcích spolupráce - zvlášť musí být uvedeno, jak byly ustaveny mechanismy pro monitoring a hodnocení aktivit v rámci mezinárodních dohod o spolupráci V rámci akce 2 bude sebehodnocení RP zahrnovat: - hodnocení aktivit a jejich výsledků ve vztahu k objasnění příčin a podstaty diskriminace a nerovností - identifikaci faktorů úspěšnosti a analýzu dobrých zkušeností - provedení benchmarkingu strategií, aktivit a výsledků V rámci akce 3: hodnocení výsledků a způsobů diseminace Evaluace průběžná – je nepovinná, využívá se pro zkvalitnění evaluačního a monitorovacího procesu. Vyhodnocuje průběh jednotlivých akcí a v jejím rámci se provádí dílčí syntézy zpráv za jednotlivá RP. Poskytuje podklady pro Průběžné roční zprávy (Interim reports) a pro evaluaci střednědobou a závěrečnou. Evaluace ex-post (musí být provedena do 3 let po skončení programu) je zajišťována Evropskou komisí a prováděna nezávislou evaluační institucí vybranou na základě rozhodnutí komise. Má za cíl analyzovat: - reálný vliv programu ve srovnání se stanovenými cíli, - v jaké míře výsledky EQUAL ovlivnily koncipování a realizaci národních politik a ESF, - přidanou hodnotu EQUAL na národní a regionální úrovni, - dobré příklady, nové cesty, které mohou být využity v národní politice, v programování ESF
6
Evaluace programu EQUAL na úrovni EU – představuje syntetickou zprávu za státy účastnící se iniciativy EQUAL a bude provedena EU evaluátorem na základě výsledků zpráv za jednotlivé státy. Evaluaci zadává a řídí Evropská komise, která také organizuje schůzky a diskusní fora pro instituce účastnící se národních evaluací k výměně zkušeností a diskusím nad výsledky evaluace.
4.
RÁMCOVÉ VYMEZENÍ INFORMAČNÍCH ZDROJŮ A INDIKÁTORŮ
4.1 Informační zdroje Informační zdroje pro evaluaci budou tvořit: • Indikátory stanovené v rámci témat – kvantitativní a kvalitativní analýza monitorovaných dat • Zprávy a závěry inspekčních návštěv prováděných implementační jednotkou EQUAL • Sebe-evaluační zprávy za jednotlivá RP • Specifická výběrová šetření (vzhledem k tomu, že tato šetření jsou finančně náročná, je třeba zvážit jejich rozsah a stanovit jejich způsob zpracování): - dotazníky na projektové manažery - šetření mezi účastníky z cílových skupin - anketa mezi experty v rozhodovací sféře a v klíčových institucích - případové studie projektů • Statisticky sledovaná data charakterizující vývoj na trhu práce, politiku zaměstnanosti, vzdělávání – pro analýzu kontextu a pro stanovení průměrné či výchozí úrovně jako porovnávací hladiny Rozpracování navržené struktury informačních zdrojů se předpokládá v rámci aktualizace Rámce strategie evaluace EQUAL pro nově zpracovaný CIP pro období 2004 – 2006. Tato aktualizace proběhne v návaznosti na zpracování programového dokumentu v polovině roku 2003 (viz kapitola 10) na základě podrobného rozboru informačních zdrojů, možností elektronického přenosu dat. Metodika sběru informací, relevance souboru navržených indikátorů, četnost a zaměření specifických výběrových šetření, účast jednotlivých institucí na sběru a vyhodnocování dat, atd. bude konzultována s Řídícím orgánem - MPSV, Implementační jednotkou, v rámci Pracovní skupiny pro hodnocení (PSH) a v rámci tematických expertních skupin EQUAL. Monitorovací výbor bude muset rozhodnout, která specifická výběrová šetření bude možno s ohledem na finanční zdroje realizovat. 4.2 Požadavky na charakter a rozsah indikátorů Evropská komise stanovila tzv. minimální rozsah indikátorů, které musí být povinně sledovány v rámci jednotlivých akcí a za jednotlivá RP. Tento minimální soubor zahrnuje jak kvantitativní tak i kvalitativní ukazatele. Požadavkem na jejich formu je, aby bylo možno ukazatele: • agregovat či zobecňovat za jednotlivé akce, opatření, témata, rozvojová partnerství • elektronicky předávat Evropské komisi – každoročně (zodpovídá Řídící orgán – MPSV) Minimální rozsah indikátorů je vyžadován pro: • průběžné roční zprávy (interim reports) – tj. musí se každoročně předávat do společné evropské databáze (Implementační jednotka přidá ke každoročně posílanému rozsahu indikátorů také údaje o počtu podaných a schválených přihlášek). • Střednědobou (mid-term) a závěrečnou (final) evaluaci
7
Požadované indikátory a jejich struktura jsou dále rozvedeny v následujících kapitolách 5.1, 5.2 a 5.3.
5. ZPŮSOB HODNOCENÍ JEDNOTLIVÝCH AKCÍ 5.1 Evaluace akce 1 (vytváření rozvojových partnerství) Tato akce trvá pět měsíců a je zaměřena na ustavení Rozvojových partnerství (RP) a na navázání mezinárodní spolupráce. Již ve fázi vzniku RP je důležité hodnotit úspěšnost samotného ustavení a fungování RP. Součástí hodnocení je i způsob, jakým byla vytvořena partnerství, a kritéria, která byla použita pro jejich výběr. Hodnocení mezinárodní spolupráce je aspektem zvláště sledovaným Evropskou komisí. Obsah evaluace (klíčové otázky) Národní a mezinárodní spolupráce: - jaké typy partnerů jsou zastoupeny v RP a v mezinárodních partnerstvích - jaký typ RP převládá (sektorový nebo regionální), které sektory RP pokrývají - v jaké míře a jaký typ mezinárodních partnerů vstoupil do projektů - jak dlouho trvala tvorba RP Inovace: - jaké inovace a jakého typu jsou předpokládány a jak jsou tyto předpoklady zdokumentovány - jakým způsobem přispěje národní a mezinárodní spolupráce k rozvoji a testování nových přístupů, - jaká je role jednotlivých partnerů při vyvíjení inovací Šíření informací a využití výsledků v politikách: - jaký je strategický plán šíření informací a využití výsledků projektů v politikách - jakým způsobem budou přispívat k šíření informací a využití výsledků jednotliví partneři - jaký je plánovaný příspěvek mezinárodní spolupráce k šíření informací a využití výsledků Tematický přístup: - v rámci jakých témat a jaké typy rovných příležitostí jsou zastoupeny v pracovních plánech RP a jakými aktivitami budou naplňovány - jaké je průřezové zastoupení typů rovných příležitostí Vliv: -
jaké byly obtíže zakládání RP jaké byly úspěchy při zakládání RP
Indikátory a) Kvantitativní indikátory: • Celková a průměrná částka vynaložená na RP • Celková a průměrná částka vynaložená na Dohody o nadnárodní spolupráci (TCA) • Průměrná doba potřebná k vytvoření RP/TCA • Celkový a průměrný počet partnerů v RP/TCA b) Kvalitativní indikátory:
8
• • •
Jak jsou zastoupena geografická a sektorová hlediska v partnerstvích, co převládá, Jaká je struktura témat, Typy národních a mezinárodních partnerů: veřejná správa na národní úrovni (ministerstva), regionální správa (krajské úřady) a místní správa (obecní úřady), vzdělávací instituce (školy, soukromá vzdělávací zařízení), poradenské instituce, obchodní komory, profesní svazy, služby zaměstnanosti (úřady práce), podniky, neziskové organizace (veřejně prospěšné společnosti, občanská sdružení), sociální partneři (zaměstnavatelské svazy, zaměstnanecké svazy), země zastoupené v TCA
Indikátory mohou být rozšířeny v rámci dalších kroků rozpracování metodiky evaluace (viz kapitola 10). Termíny evaluační zprávy: evaluace probíhá průběžně. Evaluační zpráva je nepovinná a bude zpracována Národní observatoří do 31. 7. 2004. Odběratelé evaluační zprávy: Implementační jednotka EQUAL, Řídící orgán – MPSV a MV
5.2 Evaluace akce 2 (implementace pracovních programů) Obsah evaluace (klíčové otázky) Národní a mezinárodní spolupráce: - jaký typ spolupráce byl realizován - jaké byly výsledky , eventuelně obtíže fungování RP a mezinárodních dohod - jaký byl přínos spolupráce národní a mezinárodní k dosaženým výsledkům projektů - jaká je trvalost spolupráce - v jaké míře byly využity dobré příklady Inovace: - jaké typy inovací byly realizovány - které faktory ovlivňovaly míru a úspěšnost inovací - v jaké míře přispěla spolupráce k dosaženým inovacím Šíření informací a využití výsledků v politikách: - jakým způsobem RP vyvinula svůj monitorovací systém, do jaké míry jsou sledována i měkká data - jaká je úspěšnost partnerů v šíření informací a využití výsledků v politikách - jaký je přínos mezinárodních partnerů k šíření informací a využití výsledků v politikách Tematický přístup: - v jaké míře byly podpořeny jednotlivé znevýhodněné skupiny - v jaké míře výsledky projektů a programu podpořily jednotlivce - v jaké míře byla podpořena adaptabilita podniků, z toho MSP Vliv: -
jaké byly výsledky a úspěšnost v rámci rozšíření přístupu znevýhodněných skupin na trh práce jaké byly výsledky a úspěšnost v rámci zvýšení adaptability podniků
Indikátory a) kvantitativní indikátory:
9
•
částky vynaložené na klíčové aktivity (podrobná specifikace aktivit bude provedena v rámci dopracování metodiky evaluace, seznam aktivit bude schválen Monitorovacím výborem): - aktivita 1 z toho na nadnár.spolupráci (např. schůzky) - aktivita 2, atd.
•
počet příjemců pomoci v cílových skupinách (podle pohlaví a statutu na TP, velikosti a sektoru): - počet osob celkem, z toho ženy - počet zaměstnaných, počet nezaměstnaných - počet osob dlouhodobě nezaměstnaných, z toho ženy - počet osob s nízkým vzděláním, z toho ženy - počet podniků, z toho MSP, - počet podniků v oblastech s vysokou nezaměstnaností/problémových sektorů, z toho MSP - počet neziskových organizací počet mezinárodních schůzek (počet a délka) rozšíření: počet RP uplatňujících inovace cílů - počet RP uplatňujících inovace procesů - počet RP uplatňujících inovace institucionálních struktur (kontextové inovace)
• •
b) kvalitativní indikátory: • klasifikace hlavních typů inovací dosažených v jednotlivých letech (podle typologie stanovené EK): - inovace procesů (procesy dosahování cílů prostřednictvím rozvoje nových metod, nástrojů, přístupů nebo adaptací existujících) - inovace cílů (nové cíle, nové oblasti působení, nové cílové skupiny – zaměřeno na cíle a výsledky aktivit) - kontextové inovace (politické a institucionální struktury v rámci nichž se realizují aktivity a cíle – změřeno na zlepšení podmínek nebo reorganizaci stávajících, tj. na rozvoj a adaptaci praktik spolupráce a síťování) • klasifikace hlavních aktivit v rámci jednotlivých TCA v průběhu jednotlivých let (podle obecné typologie stanovené EK) : - výměna informací a zkušeností - paralelní rozvoj inovativních přístupů - přijímání a poskytování nových přístupů a jejich adaptace na vlastní podmínky - společný rozvoj – rozdělení úkolů při dosahování společného cíle - dodatečné aktivity: výměna školených osob, školitelů, personálu Indikátory mohou být rozšířeny v rámci dalších kroků rozpracování metodiky evaluace (viz kapitola 10). Termíny evaluačních zpráv: evaluace probíhá kontinuálně. Evaluační zprávy jsou nepovinné a budou zpracovány Národní observatoří do 31. 7. 2006. Podklady budou tvořit sebe-evaluační zprávy za jednotlivá RP, které budou připraveny s předstihem. Odběratelé evaluačních zpráv: Implementační jednotka EQUAL, Řídící orgán - MPSV, MV. Výsledky evaluace akce 2 budou sloužit jako podklad pro průběžné roční zprávy (zpracovává Implementační jednotka) a pro střednědobou a závěrečnou evaluaci. 5.3 Evaluace akce 3 (šíření výsledků)
10
Toto stadium evaluace bude soustředěno na hodnocení vytváření tematických sítí, šíření informací, předávání dobrých zkušeností a způsobů využívání výsledků v politikách na národní, regionální a místní úrovni. Obsah evaluace (klíčové otázky) - jaké byly identifikovány a prověřeny „dobré příklady“ - jaké strategie pro šíření výsledků byly zvoleny - jakými způsoby byly strategie realizovány a jaké se přitom vyskytovaly bariéry - kteří partneři byli zapojeni do procesu šíření informací a výsledků - jaký byl příspěvek mezinárodní spolupráce k šíření výsledků - v jaké míře existuje potenciál pro šíření výsledků na úrovni EU Indikátory a) kvantitativní indikátory • částky vynaložené na specifickou přípravu a účast na šíření informací • počet akcí a čas jim věnovaný b) kvalitativní indikátory • typy akcí (konference, workshopy, další) Účast RP na aktivitách na evropské úrovni (vytváření sítí, šíření informací, příspěvek k politice ESF): a) kvantitativní údaje • částky vynaložené na přípravu a účast na společných aktivitách • počet akcí a čas na ně vynaložený b) kvalitativní údaje • typy akcí (tematické studie, diskusní fora, další) Indikátory mohou být rozšířeny v rámci dalších kroků rozpracování metodiky evaluace (viz kapitola 10). Termíny evaluačních zpráv: evaluace probíhá kontinuálně. Evaluační zpráva je nepovinná a bude zpracována Národní observatoří do 31.7. 2007. Podklady budou tvořit sebe-evaluační zprávy za jednotlivá RP, které budou připraveny s předstihem. Odběratelé evaluačních zpráv: Implementační jednotka EQUAL, Řídící orgán - MPSV a MV. Výsledky evaluace akce 3 budou sloužit jako podklad pro průběžné roční zprávy (zpracovává Implementační jednotka) a pro závěrečnou evaluaci.
6. STŘEDNĚDOBÁ A ZÁVĚREČNÁ EVALUACE Střednědobá evaluace a závěrečná evaluace jsou nejdůležitější formy evaluace, které se provádějí na národní úrovni a za které odpovídají jednotlivé státy (v případě ČR Ministerstvo práce a sociálních věcí). Evaluační zprávy, které představují výstupy této evaluace, jsou předávány v požadovaných termínech Evropské komisi. Struktura střednědobé a závěrečné evaluační zprávy bude zahrnovat: a) Hodnocení adekvátnosti zvolených priorit a strategie: • V jaké míře odpovídají výsledky projektů a programu EQUAL národním prioritám • Jaká je kompatibilita výsledků projektů a programu s NAPZ, SOP RLZ
11
• •
V jaké míře jsou RP propojením různých úrovní partnerů a odpovídají podmínkám na místní, regionální a národní úrovni V jaké míře pracovní programy jednotlivých RP respektují priority národního programu EQUAL
b) Hodnocení řídícího a implementačního systému: • Včasnost a dodržování termínů implementace • Procedury a kritéria pro výběr RP • Monitorovací systém a jeho efektivnost • Jak řízení přispívá k inovacím • Vliv technické pomoci c) Hodnocení partnerství a nadnárodní spolupráce (NS): • byla nadnárodní spolupráce navázána mezi RP v rámci stejného tématu nebo různých témat • jaký je vliv nadnárodní spolupráce • byla jasně vymezená role partnerů v Dohodě o NS (TCA) • jak efektivní je monitorovací systém RP ve vztahu ke kvalitě • byly stanovené programy a vyčleněné prostředky realistické pro plnění úkolů RP d) Hodnocení úspěšnosti naplňování základních principů EQUAL (partnerství, míra účasti implementátorů na rozhodování, nadnárodní spolupráce, inovace): • partnerství (jak je sestaveno, řízeno a jak je efektivní): - jakou roli hrají jednotliví partneři, jaké bylo zastoupení (jaká je vyváženost partnerství vzhledem ke stanoveným cílům) veřejného sektoru, soukromé sféry, třetího sektoru, sociálních partnerů v RP; ve kterých stadiích byli jednotliví partneři nejvíce zapojeni a do jakých aktivit - jakým způsobem RP definovala problémy a společné cíle (spíše regionální nebo sektorový přístup), míra komplexnosti řešení v rámci RP (srovnat mezi sebou), míra spolupráce RP v rámci jednoho tématu - v jaké míře RP uskutečňují implementaci aktivit - v jaké míře jsou RP zaměřena na inovace - jaké jsou pracovní metody RP - jak jsou jednotliví partneři aktivní v diseminaci •
•
•
podíl na rozhodování (kdo se účastní implementace se také musí účastnit na rozhodování) - jak se liší mezi tématy způsoby účasti jednotlivců a skupin a jak to ovlivňuje dosahování cílů - jaký je dodatečný přínos účasti na rozhodování ve srovnání s běžnými postupy implementace - jakým způsobem jsou jednotlivci a skupiny zapojeni do stanovení strategie a do implementace nadnárodní spolupráce na úrovni RP (kooperace mezi RP v rámci stejných témat) - jak přínosná byla nadnár. spolupráce pro stanovení strategie, implementaci a výsledky (pozitivní i negativní výsledky) - jak přispěla nadnár. spolupráce k inovacím a k diseminaci dobrých příkladů inovace (inovace procesů, inovace cílů, inovace kontextu ) - jak efektivní byl program EQUAL při vývoji nových metod, nástrojů nebo přístupů pro řešení nerovností - jak jsou nové přístup efektivní ve srovnání se standardními a v čem - které z inovací by mohly být zařazeny do politiky a opatření ESF nebo národní politiky (zaměstnanosti, sociální, vzdělávací) na národní, regionální úrovni - jaká kritéria byla využita pro hodnocení inovativnosti
12
-
jaké byly identifikovány inovativní cíle a v rámci kterých témat jaké jsou institucionální bariéry na trhu práce, atd. , které brání využití inovací, jak by mohly být v rámci EQUAL překonány jaké jsou společné příčiny, že selhávaly některé aktivity, jaké závěry z toho vyvodit
e) Hodnocení vlivu programu EQUAL bude zahrnovat: • jakým způsobem ovlivnil EQUAL politiku zaměstnanosti, vzdělávání, rovných příležitostí • jaké efekty měl program EQUAL na národní, regionální a místní úrovni • jaké byly přínosy pro jednotlivé cílové skupiny a jednotlivce z hlediska zaměstnatelnosti • jaké byly přínosy pro malé a střední podniky z hlediska zlepšení adaptability Termíny evaluačních zpráv: Evaluace střednědobá a závěrečná jsou prováděny povinně a jsou zpracovávány na základě všech podkladů (zpráv za RP, průběžných evaluačních zpráv, specielních šetření, výsledků monitoringu a inspekčních návštěv). Evaluační zprávy budou zpracovány Národní observatoří v těchto termínech: Střednědobá evaluační zpráva do 30. 9. 2005 Závěrečná evaluační zpráva do 30. 9. 2007. Odběratelé evaluačních zpráv: Evropská komise, Implementační jednotka EQUAL, Řídící orgán - MPSV, Monitorovací výbor.
7. ORGANIZACE A INSTITUCIONÁLNÍ SPOLUPRÁCE Za evaluace EQUAL je odpovědné MPSV (Řídící orgán). Podmínky, směrnice, celkovou strategii evaluace, včetně vhodných ukazatelů pro monitorování a evaluaci programu schvaluje Monitorovací výbor evropské iniciativy EQUAL (viz statut MV). MV rovněž schvaluje závěry evaluačních zpráv a vydává rozhodnutí. Pracovní skupina pro hodnocení programů RLZ a zaměstnanosti (PSH) byla podle doporučení Evropské komise2 vytvořena v červnu 2002. PSH je technickým orgánem pro zajištění jednotnosti a na podporu rozvoje evaluačních metod v rámci všech programů ESF, přesahuje proto záběr EQUAL. Je to kolektivní orgán složený ze zástupců partnerských ministerstev podílejících se na využívání ESF – tj. MPSV, MŠMT, MMR, MPO, regionů a institucí provádějících evaluace (Národní observatoř pro odborné vzdělávání a trh práce, výzkumné instituce, centra vysokých škol, atd.). Ve vztahu k EQUAL plní PSH funkci koordinační a podpůrnou. Zejména zajišťuje prodiskutování návrhů podrobnějších postupů a metodiky evaluace, indikátorů a kvality informačních zdrojů včetně technických aspektů monitorování a zpracování dat. Pro zachování kontinuity je třeba zvolit jednotné institucionální uspořádání pro celé období evaluace EQUAL tak, aby byla jednotně pokryta evaluace ex-ante, průběžná (mid-term) v roce 2005, včetně závěrečné evaluace v roce 2007. Evaluace ex-post zahrnuje hodnocení celkových dopadů programu s delším odstupem a bývá nejčastěji prováděna evaluátorem stanoveným Evropskou komisí. Vazby mezi monitoringem a evaluacemi: monitoring provádí na roční bázi Implementační jednotka EQUAL na základě metodiky a indikátorů navržených ve spolupráci s evaluátorem, prodiskutovaných PSH a odsouhlasených Monitorovacím výborem. Implementační jednotka organizuje inspekční návštěvy a kontroly projektů a činností RP, přičemž respektuje schválené 2
Guidelines for systems of monitoring and evaluation of ESF assistance in the period 2002 - 2006
13
metodické požadavky na monitoring a evaluace. Implementační jednotka předává monitorovací a inspekční zprávy evaluátorovi jako podklad pro průběžnou evaluaci.
8. ČASOVÝ HARMONOGRAM Ex-ante evaluace …………………………………………………….30. 6. 2003 Aktualizace Rámce strategie evaluace …………………………….…31. 10. 2003 Střednědobá (mid-term) evaluace……………………………………...30. 9. 2005 Závěrečná (final) evaluace ……………………………………………30. 9. 2007 Předpokládaná konečná evaluace 1. výzvy (bude diskutováno s Evropskou komisí)3 ………………………..…………………….31. 7. 2005 Evaluace akce 1 (2. výzva) …………………………………………...31. 7. 2004 Evaluace akce 2 (2. výzva) …………………………………………...31. 7. 2006 Evaluace akce 3 (2. výzva) …………………………………………..31. 7. 2007
9. VÝSLEDKY EVALUACE, JEJICH VYUŽITÍ A ŠÍŘENÍ Evaluační zprávy by měly být strukturovány tak, aby umožnily využití výsledků evaluace pro následující účely: • Doporučení pro další pokračování EQUAL či návazné programy (obsahově, co změnit, co posílit nebo utlumit, doporučení k realokaci finančních prostředků, doporučení k řízení EQUAL, doporučení k monitoringu EQUAL,….) • Doporučení pro národní politiku • Doporučení pro ESF programy • Analýza dobrých příkladů a zkušeností • Analytické rozbory Důležitým prvkem evaluační strategie je zajištění co největšího šíření výsledků evaluace a to v několika rovinách. Cílem je podporovat jak zvýšení efektivnosti samotného programu a využití jeho výsledků v běžných politikách, tak i podněcovat všeobecnou informovanost veřejnosti a zejména potenciálních partnerů a tím posilovat absorpční kapacitu pro využití evropských programů a iniciativ, což je v současných podmínkách méně rozvinutého institucionálního zázemí ČR jedno z významných hledisek. Informace budou šířeny pro následující typy uživatelů: • Základní tok informací tvoří závěry a doporučení směrem k institucím podílejícím se na řízení programu (Orgány zabývající se řízením programu EQUAL a ESF: Monitorovací výbor, Řídící orgán - MPSV, Implementační jednotka EQUAL ). Zároveň budou výsledky pravidelně předávány orgánům a institucím decizní sféry, v jejichž kompetenci jsou příslušné prvky politik souvisejících se záměry EQUAL v oblasti rovných příležitostí: Ministerstvo školství, mládeže a tělovýchovy, Ministerstvo průmyslu a obchodu, Ministerstvo pro místní rozvoj)
3
viz kapitola 10
14
• • • •
Další rovinou jsou instituce partnersky se účastnící plnění programu a realizace projektů, které potřebují získat zpětnou informaci z realizace programu včetně možnosti porovnání svých výsledků s výsledky dosaženými v rámci jiných partnerství nebo témat Šíření dobrých zkušeností pro potenciální navrhovatele projektů Informační toky budou zajištěny i směrem k cílovým skupinám Výsledky budou přístupné i široké odborné veřejnosti pro možné analytické využití.
Výsledky evaluace budou šířeny prostřednictvím: • Webových stránek NVF, ze kterých budou udělány linky na webové stránky Ministerstva práce a sociálních věcí a dále link na PSH (Pracovní skupinu pro hodnocení). Prostřednictvím Internetu budou zájemci moci získat evaluační zprávy za program i za jednotlivá rozvojová partnerství; číselné podklady, které mohou sloužit jako benchmarking; závěry podkladových evaluačních analýz a sledovacích studií; výsledky monitorovacích zpráv, všechny zpracované materiály a produkty. • Materiálů obsahujících zobecnění zkušeností a rozvedení dobrých příkladů • Seminářů a workshopů • Diskusí v rámci expertních tematických skupin • Účastí na mezinárodních diskusních forech Jednotlivá rozvojová partnerství budou podněcována k vytvoření své vlastní strategie šíření informací, výsledků projektů a závěrů sebehodnocení. Bude přitom snahou propojit jejich dílčí strategie se strategií na úrovni programu a to jak vysíláním zástupců na semináře a workshopy tak i vytvořením vazeb mezi internetovými stránkami. Pokyny, požadavky a poradenství týkající se šíření informací jednotlivými RP bude zajišťovat implementační agentura EQUAL. Celková strategie šíření informací a výsledků EQUAL bude rozpracována a koordinována se strategií Phare a ESF v takových věcných a časových krocích, podle toho, jak budou postupně tyto strategie vznikat.
10. DALŠÍ ROZVOJ A ZPŘESŇOVÁNÍ EVALUAČNÍ STRATEGIE Analýza evropských dokumentů a směrnic pro hodnocení a monitorování programu iniciativy EQUAL a konzultace rámců evaluačních strategií vypracovaných v členských státech prokázaly řadu problémů a bílých míst, se kterými se potýkají i členské státy EU a které znesnadňují přesné vymezení evaluační strategie v podmínkách ČR. Tyto problémy by měly být vyjasněny a dořešeny na základě řady konzultací s evaluační skupinou Evropské komise, evaluačními jednotkami členských států a rovněž v rámci Pracovní skupiny pro hodnocení. Aktualizovaný Rámec strategie evaluace EQUAL bude zpracován v návaznosti na nově vytvořený CIP pro období 2004 – 2006. V rámci aktualizace budou ve spolupráci Evaluačního týmu (Národní observatoř), Řídícího orgánu (MPSV) a Implementační jednotky rozpracovány: • metodiky sebe-evaluace RP • metodika sledování ukazatelů • stanovení počtu, zaměření, rozsahu a metodiky speciálních šetření a anket (s ohledem na potřeby evaluací a na rozsah disponibilních finančních zdrojů) Vzhledem k tomu, že v České republice je 1. výzva EQUAL financovaná v rámci Phare a také s ohledem na skutečnost, že pro ČR nebude povinná 1. střednědobá evaluační zpráva (midterm hodnocení v roce 2003), není zcela jasné, jaké budou požadavky na konečné
15
vyhodnocení 1. výzvy. Tyto okolnosti budou diskutovány s Evropskou komisí a podle jejích dispozic připraví evaluační tým Národní observatoře potřebnou metodiku.
16
POUŽITÉ ZKRATKY TCA - Dohoda o nadnárodní spolupráci (uzavírá se na úrovni rozvojového partnerství) EK - Evropská komise EU - Evropská unie ESF - Evropský sociální fond MA - Managing Authority (Řídící orgán - MPSV) MV - Monitorovací výbor NS - Nadnárodní spolupráce MSP - Malé a střední podniky MPSV – Ministerstvo práce a sociálních věcí MŠMT – Ministerstvo školství, mládeže a tělovýchovy MMR – Ministerstvo pro místní rozvoj MPO – Ministerstvo průmyslu a obchodu PSH - Pracovní skupina pro hodnocení programů rozvoje lidských zdrojů a zaměstnanosti RP - Rozvojové partnerství
17
