VSTUPNÍ ZPRÁVA. Evaluace implementace principu inovativnosti v OP LZZ

VSTUPNÍ ZPRÁVA

Evaluace implementace principu inovativnosti v OP LZZ

PODPORUJEME VAŠI BUDOUCNOST www.esfcr.cz

Tato zpráva je výstupem ze zakázky " Evaluace implementace principu inovativnosti v OP LZZ" financované z projektu technické spolupráce OP LZZ "Zpracování evaluací, analýz a odborných studií pro OP LZZ 2008-2015" (číslo projektu CZ.1.04/6.1.00/09.00016).

Zpráva určena pro: Česká republika – Ministerstvo práce a sociálních věcí Odbor řízení pomoci z Evropského sociálního fondu Na Poříčním právu 1, 128 01 Praha 2 Zprávu předkládá: Navreme Boheme, s.r.o. U Smaltovny 25 170 00 Praha 7 Toto je úvodní dokument nazvaný „Vstupní zpráva“, který definuje podstatné kroky realizace projektu na základě Zadávací dokumentace, na ni reagující nabídky, obsahu uzavřené smlouvy a na základě jednání se zástupci zadavatele a dohody týmu. Nedílnou součástí tohoto dokumentu je samostatná Příloha 4 ve formátu MS Excel obsahující Evaluační design matrix. Verze dokumentu: č. 4.0 (finální verze) ze dne 20. 1. 2012

1. OBSAH 1.

OBSAH .................................................................................................................................................... 2

2.

SEZNAM ZKRATEK ................................................................................................................................... 3

3.

REALIZACE EVALUACE ............................................................................................................................. 4 3.1. VÝCHODISKA ............................................................................................................................................ 4 3.2. REALIZAČNÍ TÝM A JEHO ZAPOJENÍ ................................................................................................................ 5 3.3. EVALUAČNÍ ÚKOLY A OTÁZKY ....................................................................................................................... 6 3.3.1. Úkol č. 1 Vyhodnoťte relevanci témat inovativnosti OP LZZ a jejich promítnutí do vyhlášených výzev v kontextu socioekonomického vývoje a pokroku implementace OP LZZ. ........................................... 6 3.3.2. Úkol č. 2 Vyhodnoťte současné pojetí inovativnosti v OP LZZ a v ESF v zahraničí a navrhněte vhodné vymezení inovativnosti v kontextu aktuálního stavu implementace OP LZZ. ................................... 8 3.3.3. Úkol č. 3 Identifikujte inovativní projekty a jejich produkty, rozdělte je do tematických oblastí a vyhodnoťte míru uplatňování inovativnosti v oblastech podpory OP LZZ ................................................... 12 3.3.4. Úkol č. 4 Zpracujte metodologii hodnocení kvality inovativních projektů a produktů a pro každou tematickou oblast zpracujte jednu případovou studii na realizaci inovativního projektu, který představuje příklad dobré / slibné praxe ......................................................................................................................... 14 3.3.5. Úkol č. 5 Vyhodnoťte Databázi produktů ESF jako nástroje pro šíření a prosazení inovativních produktů a na základě hodnocení navrhněte její úpravy (obsahové i funkční) ............................................ 17 3.3.6. Úkol č. 6 Proveďte evaluaci dopadů CIP EQUAL ............................................................................ 19 3.3.7. Úkol č. 7 Navrhněte systém implementace inovativnosti v dalším programovacím období a zpracujte metodologii (příručku) pro realizátory inovativních projektů ...................................................... 20

4.

POPIS PRŮBĚŽNÝCH A FINÁLNÍCH VÝSTUPŮ ......................................................................................... 22

5.

HARMONOGRAM AKTIVIT .................................................................................................................... 24

PŘÍLOHA 1: VYBRANÉ ZDROJE ........................................................................................................................ 26 PŘÍLOHA 2: TÉMATA INOVATIVNÍCH AKTIVIT OP LZZ ..................................................................................... 29 PŘÍLOHA 3: SEZNAM ZEMÍ A ZKOUMANÝCH PŘÍSTUPŮ K INOVACÍM ............................................................. 31 PŘÍLOHA 4: EVALUAČNÍ DESIGN MATRIX ....................................................................................................... 31

Evaluace implementace principu inovativnosti v OP LZZ – nabídka Navreme Boheme, s.r.o.

2. SEZNAM ZKRATEK ČR ČSÚ DOT DPČ DPP ESF EU FS MONIT7+ MPSV MSP MV NB NNO NSRR NUTS OP OP LZZ OP VK OSVČ PO PR PSE RD ŘO SR TK ÚP ZS

Česká republika Český statistický úřad Dotazníkové šetření Dohoda o pracovní činnosti Dohoda o provedení práce European Social Fund, Evropský sociální fond European Union, Evropská unie Fokusní skupina/y Aktuální monitorovací systém OP LZZ Ministerstvo práce a sociálních věcí Malý/é a střední podnik/y Monitorovací výbor Navreme Boheme, s.r.o. Nestátní nezisková/é organizace Národní strategický referenční rámec Nomenclature of Territorial Units for Statistics, Nomenklatura územních statistických jednotek Operační program Operační program Lidské zdroje a zaměstnanost Operační program Vzdělávání pro konkurenceschopnost Osoba samostatně výdělečně činná Prioritní osa Public relations, vztahy s veřejností Pracovní skupina pro evaluace Rodičovská dovolená Řídící orgán Strukturovaný rozhovor Tisková konference Úřad práce Zprostředkující subjekt

Pozn. 1) v textu Vstupní zprávy je používán termín „evaluace“ (případně „tato evaluace“) namísto celého názvu zakázky, tedy „Evaluace implementace principu inovativnosti v OP LZZ“. V případě, že je odkazováno na jinou evaluaci, je vždy uvedeno, o jakou konkrétní evaluaci se jedná. Pozn. 2) v textu se dále u popisu zapojení jednotlivých expertů objevují zkratky jejich jmen tak, jak jsou uvedeny v kapitole Realizační tým a jeho zapojení (viz níže).

3


3. Realizace evaluace 3.1. Východiska1 Jakkoli je pojem inovace či inovativnosti rostoucí měrou populární a dostal se až do názvu nové strategické iniciativy EU (Innovation Union), jeho praktická aplikace se potýká s řadou problémů. Jedním z nich je chybějící definice, která by umožnila inovaci identifikovat, vyhodnotit faktory, které ji ovlivňují, a přínosy, které vytváří. Na tento problém narážejí všechny programy, které inovativnost podporují, v okamžiku, kdy mají dokázat, že je tato podpora účinná (včetně OP LZZ). Na problém chybějícího obecně platného vymezení inovace (inovativnosti) a tím i její evaluace odkazují dosavadní studie v dané oblasti, ať už se zabývají inovacemi technickými, netechnickými či sociálními. V souhrnu nabízená ad hoc vymezení vždy obsahují nějaký prvek novosti (oproti stávajícímu produktu, procesu či jiné formě výchozího stavu) a superiority (tj. zlepšení). Hodnocení této novosti je však vždy subjektivní (na straně tvůrce, uživatele nebo externího hodnotitele) a měřitelnost vytvořeného zlepšení závisí na kritériích, kterými je inovace definována. Problém obtížné uchopitelnosti inovativnosti se rozšiřuje s expanzí prostoru jejího uplatnění (velkou roli v tomto ohledu sehrává především využití informačních a komunikačních technologií v ekonomických a rostoucí měrou sociálních aktivitách). Od původně úzce chápané technické inovace (produktové a procesní), jejíž zavedení je spojeno s ekonomickým efektem, jsou postupně zahrnuty inovace netechnické, inovace ve službách, včetně netržních, otevřené inovace, sociální inovace, komunitní inovace atd. Do inovačních aktivit je vedle samotného vytváření inovací (s různým vymezením úrovně novosti) zahrnuto jejich šíření, přizpůsobení, modifikace, napodobení. Inovace a inovativnost se nicméně uskutečňují i mimo pomoc podpůrných programů. Při fungujícím pobídkovém mechanismu ekonomického a sociálního systému jsou aktéři motivováni k inovativnosti odměnou, která může mít materiální i nemateriální podobu. Specificky, pokud je inovativnost chápána jako kritérium pro přidělení nebo validaci poskytnuté podpory, bude vždy vykázána. To je samozřejmě kontraproduktivní výsledek tím spíše, že inovativnost je ze své podstaty spojena s rizikem neúspěchu. Averze vůči riziku je jednou z příčin ztráty dynamické efektivnosti ekonomického a sociálního systému (tedy jeho schopnosti inovovat). Neznamená to ovšem, že bychom měli na hledisko inovativnosti při poskytování veřejné podpory a její evaluaci rezignovat. Musíme však inovativnost vymezovat vždy co nejblíže specifikům podporovaného předmětu (v případě OP LZZ tedy příslušné tematické oblasti případně i v podrobnějším členění). Příjemci i poskytovateli podpory musí být zřejmé, co je v dané konkrétní oblasti považováno za inovační aktivitu a výsledek. Z dostupných monitorovacích a evaluačních zpráv OP LZZ (a předchozího programu CIP EQUAL) to však natolik zřejmé není a inovativnost je vykazována povětšinou pouze formálně. Přes výše uvedená obecná úskalí hodnocení inovativnosti, její identifikace a účinné podpory obecně a v sociální oblasti zvláště, je však možno reálně předpokládat úspěšné řešení stanoveného zadání. Důvodem je především skutečnost, že program LZZ v České republice (a koneckonců v souhrnu celá programová podpora ze strukturálních fondů) je v zásadě velmi konzervativní (tj. neinovativní). Inovační intenzita nabídky (tedy nabízené podpory) a tím i poptávky (žádostí o podporu) je v průměru nízká a ve svém předmětném záběru omezená. Je nutno ovšem dodržovat dvě základní pravidla v celém hodnocení: musí být vždy specifikováno ad hoc pro danou tematickou oblast (a v případě potřeby podoblast), včetně jednoznačně (a korektně) stanovené výchozí (srovnávací) základny (baseline), a to s pomocí související specifické expertizy. Nelze tedy v žádném případě použít jeden 1

Prezentovány jsou implikace aktuálně probíhajících odborných diskusí v tématu inovativnosti a jejího hodnocení pro zadaný předmět řešení a jeho navrženou metodiku. Jde zejména o diskuse k tzv. širšímu pojetí sociálních inovací a jejich evaluace (viz průřezově např. Innovation policy workshop No. 6, Mobilising resources and people, 25.-26.3.2010 v Bruselu, web stránka nové iniciativy EU - Social Innovation Europe, konference Social Innovation 18.-19.9.2011 ve Vídni. Další odkazy jsou uvedeny v kapitole „Vybrané zdroje“.

4


evaluační metr průřezově na program OP LZZ - pokud toto někdo nabízí, nemá o podstatě a hodnocení inovativnosti skutečné ponětí. Nabídka řešení této evaluace stojí tedy na základě znalosti nejen kontextu jako takového, ale především jeho vlivu na metodologii evaluace a speciálně se zaměřuje na některé významné otázky. Například jde o srovnání inovativnosti podpory na straně nabídky i poptávky mezi ČR a zahraničím. Toto srovnání (v kombinaci s vlastním expertním šetřením) může naznačit, v jaké míře a z jakých příčin dochází k případnému nesouladu inovativnosti mezi oběma stranami. Je nízká inovativnost nabídky podpory příčinou či odrazem nízké inovativnosti podpory poptávané? Z této otázky vyplývá i adekvátnost kvalifikace evaluátorů projektů a jejich výsledků při hodnocení hledisek inovativnosti. 2 Specifikace podle jednotlivých pod/oblastí podpory a stanovení jejich baseline umožní identifikaci typu a úrovně inovativnosti výzev a projektů v dostatečně jemném rozlišení, které bude mít přínosnou vypovídací hodnotu pro všechny zúčastněné subjekty (tj. žadatele i evaluátory) a bude východiskem pro tvorbu metodologických materiálů (resp. adaptaci zahraničních zkušeností v této oblasti pro domácí podmínky) šitých na míru cílových skupin a podporovaných oblastí (tj. vyloučení obecného principu, který vede k výše popsaným úskalím). Využití zahraničních, skutečně inovativních zkušeností v kombinaci s domácí expertizou má zásadní význam pro kvalitu výsledku předkládané evaluace. Přejímání inovací nemůže být mechanické a musí reflektovat domácí specifika, tj. především omezující, a to zejména v sociální oblasti. Zároveň je inovativnost tématem velmi dynamickým s řadou mnohdy nepředpokládaných efektů a souvislostí. Evaluace musí být proto kvalifikovaná a ve svých postupech a výstupech rovněž inovativní. Struktura zadání je komplexní a k takové inovativnosti vytváří odpovídající předpoklady, zatím v praxi evaluace programové podpory v ČR zcela ojedinělé.

3.2. Realizační tým a jeho zapojení Mgr. Jakub Štogr (JŠ) je vedoucím týmu odpovědným za realizaci zakázky jako celku a komunikaci se zadavatelem a dále bude věcně i metodicky zodpovídat za řešení úkolu č. 3. Doc. Ing. Anna Kadeřábková Ph.D. (AK) bude odbornou garantkou řešení projektu, bude odbornou oponentkou výstupních zpráv a dále bude zodpovídat za řešení úkolu 1, 2 a 7. Mgr. Petra Štogrová Jedličková, Ph.D. (PŠJ) bude garantovat kvalitu použitých metod a celkový evaluační design. Jako člen evaluačního týmu CIP EQUAL bude odpovídat za kvalitu řešení úkolu 6, a dále bude zodpovídat za řešení úkolu 4. Ing. Ivana Sládková (ISL) se podílí na řešení úkolů č. 2, 5 a 7, v úkolu č. 2 je zodpovědná za přípravu, provedení a částečně i vyhodnocení simulace procesu vyhlašování, školení, informování, hodnocení, monitorování a reportingu se skupinou zástupců ŘO/ZS (jde o jeden z výstupů v rámci úkolu č. 2). Mgr. Martin Dobeš (MD) bude zodpovědný za řešení úkolu č. 5 za použití standardizované metodiky informačního auditu a podílet se na řešení ostatních úkolů. Mgr. Anna Tůmová (AT) bude v průběhu realizace zakázky zodpovídat za vyhledávání, sběr a uchování dat, a to napříč všemi úkoly 1-7.

2

„How to harness available potentials? How to support existing initiatives? How to scale these up (if they can be)? How to identity good practice and evaluate the outcomes of policy interventions? How to efficiently diffuse methods and good practices — and how to learn from, and spread the lessons of instructive failures? How to organize cooperation, interaction and synergy between social innovation, public services, voluntary organizations and the traditional and nontraditional private sector (including the “public service industry“)? What conflicts and strains may arise, and how could these be addressed? How to support social entrepreneurship? How to create a conducive environment for social innovation at various institutional levels? How to prevent bureaucracy and divergent policy goals smothering social innovation and bottom-up initiatives?“ J. Basset, Innovation Policy Workshop No. 6, Brussels, PRO INNO Europe 2010.

5


3.3. Evaluační úkoly a otázky V této kapitole uvádíme návrh splnění jednotlivých úkolů v pořadí dle ZD s tím, že uvádíme metodiku získání vstupních dat, aktivity a kroky vedoucí ke splnění úkolu, zapojení členů týmu, souvislosti, výstupy a u většiny úkolů jsme též přidali a/nebo zpřesnili evaluační otázky. Z harmonogramu v další kapitole dále vyplývá, že úkoly na sebe navazují, respektive jsou provázané; např. návrh taxonomie inovativních projektů a obsahových kategorií je klíčový pro řešení většiny úkolů apod.

3.3.1. Úkol č. 1 Vyhodnoťte relevanci témat inovativnosti OP LZZ a jejich promítnutí do vyhlášených výzev v kontextu socioekonomického vývoje a pokroku implementace OP LZZ. 3.3.1.1.

Kontext řešení úkolu

Prioritně bude pozornost samozřejmě zaměřena na oblast OP LZZ a jejího bezprostředního kontextu, záběr hodnocení však bude komplexní v pojetí Europe 2020 (dlouhodobě udržitelné růstové výkonnosti a inovačně založené a sociálně inkluzívní konkurenceschopnosti). Vedle aktuálních výchozích dokumentů bude hodnocena i změna relevance v čase, zejména ve srovnání s obdobím formulace programových dokumentů pro období 2007-2013. Pro hodnocení budou využity dostupné sekundární zdroje, jejichž seznam je v neúplné pracovní verzi uveden v Příloze 1, a které obsahují kromě zdrojů národních a zdrojů EK i zdroje organizací jako např. OECD, UNDP, World Economic Forum, Young Foundation ad. Případná omezení jejich vypovídací schopnosti na národní úrovni budou kompenzována využitím expertních šetření (vzhledem k nedostatečné kvalitě domácích analytických zdrojů), která rovněž podpoří kvalitativně založené implikace. 1) Aktuální politické priority ČR - jsou reflektovány v Národním programu reforem (který je každoročně aktualizován a sleduje strukturu strategických dokumentů EU) a v doporučeních Strategie mezinárodní konkurenceschopnosti (s předchůdcem Strategického rámce udržitelného rozvoje). Uvedené dokumenty jsou co do data vydání aktuální, nicméně jejich relevance bude podrobena rovněž expertnímu hodnocení klíčových stakeholderů. Součástí hodnocení relevance bude adekvátnost stávající analytické a strategické kapacity pro formulaci aktuálních politických priorit ČR. 2) Aktuální politické priority EU – zahrnují především post-Lisabonské iniciativy v sedmi klíčových oblastech Europe 2020 (kombinujících stávající a nové nástroje), z nichž všechny jsou (samozřejmě v různé míře) relevantní pro stávající zadání a musí být zohledněny. Nezbytné je rovněž vyhodnocení relevance aktuálních priorit ČR a politických priorit EU, kvalitativní úroveň jejich monitoringu a zohlednění jeho výsledků při formulaci souvisejících politických doporučení. V předmětné oblasti OP LZZ bude také vyhodnocena relevance národních priorit, vazba na nastavení a změny v nastavení ESF a jejich strategické reflexe s přístupem aplikovaným v ostatních členských zemích. 3) Socioekonomický vývoj je hodnocen ve všech dokumentech, které na jeho základě formulují související politické priority na národní úrovni i úrovni EU. Struktura analýzy kontextu je dnes již v praxi mezinárodních organizací standardizovaná (OECD, Evropská komise, Světová banka, Mezinárodní měnový fond) a vychází z dostupnosti a vypovídací schopnosti použitých datových zdrojů (vedle tvrdých statistických dat jsou to výsledky mezinárodních expertních šetření např. v rámci zpráv o konkurenceschopnosti). Na úrovni EU se výběr sledovaných monitorovacích ukazatelů pouze mírně změnil v rámci Europe 2020 (ve srovnání s tzv. strukturálními ukazateli monitoringu lisabonské éry). Vývoj socioekonomického kontextu po roce 2008 nejvýznamněji ovlivnila ekonomická krize a její bezprostřední i dlouhodobé dopady, jejichž rozsah je zatím pouze omezeně odhadnutelný. Je však nutno uvažovat také kvalitativní vývojové změny související s rozvojem digitální agendy, delokalizace produkčních kapacit v důsledku nízkonákladové konkurence, prioritizace udržitelného rozvoje a dalších globálních trendů. Česká republika je součástí tohoto kontextového vývoje a je proto nezbytné vůči němu vyhodnotit také relevanci aktuálních národních politických priorit. 6


4) Stav implementace OP LZZ – pokrok implementace programu je pečlivě sledován v postupně zadávaných evaluačních, strategických a doplňkových analytických studiích, které jsou zadávány na základě vhodně nastaveného a adekvátně upravovaného Evaluačního plánu OP LZZ 2007-2013. Zhodnocení pokroku tedy proběhne metodou metaevaluace vycházejíce přitom jak ze samotných zpráv i vlastní zkušenosti týmu, tak i z rozhovorů se zadavatelem a pohovorů s realizátory konkrétních zakázek. Vnitřní i vnější faktory změn jsou podstatné pro vyhodnocení relevance inovativních témat. Zatímco vnitřním faktorem je například učící se princip, jehož faktickou demonstrací je specifikace výzev dle aktuálního stavu pokroku implementace OP LZZ, vnějším faktorem může být například dopad celosvětové hospodářské krize na zaměstnanost a konkurenceschopnost podniků, legislativní změny v oblasti zaměstnanosti a nebo téma sociálních inovací, které je akcentováno v době po spuštění programu. Relevance témat bude posuzována dle prioritních témat OP LZZ a podtémat.

3.3.1.2.

Evaluační otázky3

1.1 Do jaké míry jsou relevantní témata inovativních aktivit stanovená v OP LZZ a v prováděcím dokumentu OP LZZ? 4 1.2 Která potřebná témata nejsou mezi vymezenými tématy inovativních činností zahrnuta? 1.3 Do jaké míry se témata inovativních aktivit promítají do vyhlášených výzev? 1.4 Na jaké oblasti / témata je třeba zaměřit inovativní aktivity při další implementaci OP LZZ?

3.3.1.3.

Zdroje dat a použité metody

1. Metaevaluace, vyhodnocení zpráv hodnotících pokrok OP LZZ, socioekonomický kontext a související jevy (viz Příloha Vybrané zdroje) 2. Analýza obsahu zadání výzev (zejm. 35, 23, 12) 5 3. Analýza výsledků hodnotícího procesu 4. Hloubkové pohovory a fokusní skupina se zástupci ŘO/ZS, kteří se na procesu zadávání výzev a hodnocení podílí; elektronické dotazníkové šetření a v případě proveditelnosti i fokusní skupina s hodnotiteli žádostí u výzev viz bod 2. 5. Analýza vzorku projektů (analýza stavu indikátorů, zejm. MI 07.57.00 „Počet nově vytvořených nebo inovovaných produktů“, analýza vybraného vzorku projektů – hodnocení vybraných projektů bude společně provedeno pro řešení úkolů 1 a 3) 6. Analýza interních zpráv a evaluačních zpráv vztahujících se ke konkrétním výzvám viz bod 2. 7. Vypracování návrhu oblastí/témat, kam je třeba zacílit inovativnost v budoucí implementaci programu – tento návrh projde oponenturou ze strany všech stakeholderů programu a to formou expertní konzultace pomocí participativní platformy hodnocení a rozhodování cbased®.

3.3.1.4.

Výstupy

1. Syntéza evaluačních zjištění na úrovni analýz a evaluací implementace OP LZZ a změn kontextu, ve kterém je program implementován

3

U evaluačních otázek byly ve vhodném pořadí doplněny otázky, které předkladatel nabídky považuje za relevantní, nezbytné a nebo je nabízí nad rámec zadání – tyto jsou označeny modrou barvou. Některé otázky ze zadání byly rozšířeny, žádná však nebyla krácena nebo dokonce vynechána. Předkladatel nabídky plně respektuje přání zadavatele. 4 Seznam témat samotných je uveden v Příloze 2. 5 V rámci úvodní fáze šetření byly již identifikovány výzvy, ve kterých probíhalo hodnocení specifického kriteria inovativnost (šlo o výzvy č. 12, 23, 35, 36, 37, 51, 54, 77) a které zahrnují podporu inovativnosti v oblasti sociální ekonomiky (č. 4 a 30). U dalších výzev byly pro hodnocení specifických kritérií použity parametry odpovídající dílčím aspektům inovativnosti, např. kriteria odvozená od vazeb na sociální partnery ad.

7


2. Seznam zkoumaných témat a oblastí podpory, vyhodnocení vzhledem k cílům a socioekonomickému kontextu včetně úvahy ve smyslu očekávaného pokračování hospodářské krize a očekávaným legislativním změnám 3. Návrh relevantních témat pro budoucí programové období a jejich SWOT analýza založená na posouzení stakeholdery 4. Vstup do První průběžné zprávy vč. doporučení týkající se cílení aktuálních výzev zejména s ohledem na identifikovaná relevantní a potřebná témata inovativnosti pro jednotlivé oblasti podpory OP LZZ

3.3.1.5.

Zapojení expertů

Odpovědností za řešení úkolu 1 je pověřena AK, dále bude zapojen JŠ, AT a PŠJ. Dílčí zapojení je předpokládáno i u ISL a MD.

3.3.1.6.

Návaznosti na ostatní evaluační úkoly a kroky

Klíčovým východiskem řešení celé zakázky, včetně tohoto úkolu, je vymezení pojmu inovace, definice principu inovativnosti v kontextu implementace (a možností) programu OP LZZ (a ESF obecně) a operacionalizovaná definice principu inovativnosti, inovativních projektů, procesů a výsledků. Na základě zkušeností z evaluací principu inovativnosti (např. evaluace CIP EQUAL6) a oficiálních dokumentů vymezujících inovativnost a inovativní přístup (EK, MPSV ČR aj. 7) je nutné si stanovit toto vymezení a pracovat s operacionalizovanou definicí, v opačném případě se evaluátor dostává do metodicky těžko zvládnutelných situací (např. při hodnocení kvality a nebo relevance). Řešení tohoto úkolu i všech ostatních tedy musí stavět na výsledcích úkolu 2, který by musel být vypracován (a částečně již byl při sestavování nabídky), i kdyby nebyl zadavatelem explicitně požadován. Je potřeba zároveň řešit taxonomii inovativních projektů, inovativních produktů a aktivit, které podporují inovace v rozlišení dle tematických oblastí (priorit) programu, což je obsahem úkolu č. 3, z řešení úkolu 3 je dále možné využít první poznatky hodnocení skutečných výsledků projektů podpořených jako inovativních.

3.3.2. Úkol č. 2 Vyhodnoťte současné pojetí inovativnosti v OP LZZ a v ESF v zahraničí a navrhněte vhodné vymezení inovativnosti v kontextu aktuálního stavu implementace OP LZZ. 3.3.2.1.


Vyhodnocení pojetí inovativnosti musí brát jako základ rámec zadání, tj. vymezení programovými dokumenty OP LZZ které říkají, že „…princip inovativnosti zdůrazňuje význam podpory vytváření a

prosazování nových nástrojů v oblastech rozvoje lidských zdrojů podporovaných z ESF. Konkrétně se jedná o podporu tzv. sociálních inovací, tj. inovací, které jsou zaměřeny na modernizaci a reformy zejména v oblasti politiky zaměstnanosti a sociálního začleňování. Prostřednictvím tohoto principu jsou v OP LZZ podporovány inovace, které pomáhají vytvořit nové, netradiční přístupy a řešení uplatňovatelné v programech zaměřených zejména na osoby ohrožené sociální exkluzí či na osoby ze společnosti a trhu práce již vyloučené. Hlavním účelem podporovaných inovací je analyzování slabých míst stávající politiky, vývoj, testování a ověřování nového, alternativního přístupu či zlepšení v realizaci dané politiky. A v případě, že nový přístup skutečně vykáže výhodu, např. v podobě nižších vynaložených nákladů na srovnatelnou jednotku, lepších výsledků či dopadů dané intervence, oproti postupu současnému, lze tento nově vyvinutý a ověřený přístup začít využívat i přímo v praxi. Tímto způsobem tak může dojít nejen k významné minimalizaci nákladů, ale i k výrazným úpravám politik a strategií, které jsou na danou problematiku zaměřeny. Hlavním přínosem principu inovativnost z 6

Například: Třetí etapa průběžného hodnocení Programu Iniciativy Společenství EQUAL (2007 - 2008). Závěrečná zpráva. IREAS Centrum. Evasco. 2008 a zprávy předchozí; nebo Evaluace principu mezinárodní spolupráce Programu Iniciativy Společenství EQUAL : Závěrečná evaluační zpráva. Navreme Boheme. 2008. 7 Viz vybrané zdroje uvedené v příloze v části Strategické a programové dokumenty.

8


hlediska jednotlivého příjemce podpory z OP LZZ je možnost ovlivnit způsob realizace strategií a politik zaměřených na problematiku, kterou se zabývá i sám příjemce podpory. Díky vývoji nového přístupu a jeho ověření v praxi totiž může příjemce přispět ke zlepšení stávajících přístupů uplatňovaných v dané oblasti celou řadou subjektů.“ Pojetí inovativnosti v OP LZZ je založeno na popisu vnímání pojmu inovace jako vytvoření a prosazení něčeho nového v sociální oblasti (vymezené působností OP LZZ). Vypovídací hodnota této definice a její praktické aplikace je (dle konstatování samotného ŘO) neuspokojivá. V současné odborné diskusi a programové praxi je tak v prvé řadě třeba odlišit rovinu samotného vymezení inovativnosti (zadavatel požaduje, aby výstupem řešení bylo obecně akceptované a pochopené pojetí) a jeho aplikace na výběr a hodnocení žádostí o programovou podporu. Vymezení inovativnosti problémem není, k dispozici je řada definicí, která se rozšiřuje s každou novou odbornou publikací a politickou proklamací. Je možno vyhodnotit, kde se ve stávající odborné diskusi a politické praxi nachází (případně) pohybuje samotný zadavatel a subjekty účastnící se realizace programu OP LZZ a srovnat tuto pozici se zahraniční zkušeností v zemích EU a na úrovni EK. Rovněž je možné vyhodnotit, kde se pojetí inovativnosti v sociální oblasti nachází ve vztahu s ostatními pojetími inovačních aktivit a jejich výsledků (včetně zadavatelem citovaného pojetí technické a netechnické inovace ve Frascati manuálu, které je použito ve stávajícím zákonu o podpoře výzkumu, vývoje a inovací v ČR, záběr aktuální kvalifikované zahraniční diskuse je však mnohem širší a bude v řešení zohledněn). Je nicméně nutno zdůraznit, že alternativní pojetí inovativnosti a jejího vymezení je spíše akademickou otázkou bez významnější praktické relevance. Zásadní význam má proto pro zadavatele druhý aspekt pojetí inovativnosti, tj. jeho aplikace při realizaci a evaluaci programové podpory. V tomto ohledu je třeba upozornit, že zahraniční zkušenosti (které budou řešitelem zmapovány vyčerpávající měrou) jsou přenositelné a využitelné, ale musí být respektován jejich vztah ke konkrétní oblasti či podoblasti podpory ve vazbě na specificky stanovenou baseline (výchozí stav). (Samozřejmě vedle formálních omezení daným např. legislativními pravidly.) Při dodržení této podmínky jsou následně stanovena odpovídající kritéria (na základě zahraničních zkušeností a domácí expertizy specifické pro jednotlivé oblasti a podoblasti), která umožní hodnocení míry inovativnosti a také vazbu tohoto hlediska na další kvalitativní aspekty podporovaného projektu (včetně aspektů, které inovativnost a její dopady podporují či ji naopak omezují). Rovněž je žádoucí vyhodnotit vztah mezi inovativností samotné programové podpory (obsah a forma podporovaných aktivit), tj. nabídky podpory, a její vliv na inovativnost poptávky po podpoře. Vymezené charakteristiky inovativnosti (a její praktické aplikace při evaluaci), nabídky a poptávky podpory, budou zároveň propojeny s výsledky analýzy úkolu 1 (zejména inovativnosti souhrnné růstové výkonnosti ČR a její politické podpory). Hodnotitelský tým tedy má odborný vhled, jak jednotlivé země EU chápou inovativnost v programech implementujících ESF a dále jak je inovativnost chápána v jiných prostředích, jako je například sféra výzkumu a vývoje nebo sféra komerční; z hlediska geografického nejde o evropské specifikum, proto používáme i inspirace mimo EU. Na základě těchto zkušeností byla provedena analýza již před zpracováním nabídky, ze které vychází výše uvedený přístup a opuštění od zaměření se (pouze) na čtyři vybrané země8. Evaluátorský tým se tedy zaměří na všech 27 zemí EU s tím, že nebude hodnotit komplexně celou zemi a její přístup k inovativnosti a implementaci inovací v rámci ESF, ale v každé zemi vybere příklad dobré praxe, přístup, existující praktiku, která odpovídá výše uvedeným východiskům a především uspokojí zájem zadavatele. Respektujeme přitom zájem zadavatele o konkrétní uvedené země (Velká Británie, Belgie Vlámsko a Polsko), dále podobnost (aplikovatelnost) s ČR a zároveň nabízíme jistou volnost v zaměření se na další země a jejich specifické úspěchy v oblasti implementace inovací s podporou ESF. 8

V Zadávací dokumentaci je uvedeno, že „Evaluátor provede analýzu přístupu k inovativnosti v rámci ESF alespoň ve čtyřech zemích EU“.

9


Základní kritéria výběru konkrétní praxe podle významu (1- nejvyšší váha): 1. Typ praxe, tradice v inovacích, povaha know-how (snaha postihnout celé spektrum možností, mít vzorek vyvážený, nemít převahu některého z typů praxe) 2. Tradice ve vývoji (snaha postihnout modely s možností aplikace v ČR) 3. Specifikum v uplatňování inovací (snaha postihnout příklady nejvyspělejší a nejzajímavější praxe relevantní pro ČR) 4. Délka členství v EU 5. Orientace pracovního trhu v dané zemi (liberální tradice, silná/slabá ochrana apod.) 6. Velikost země 7. Poloha (sever-jih střed-východ)

3.3.2.2.

Evaluační otázky

2.1 Jaká jsou aktuální pojetí inovativnosti (vč. pojetí EK) relevantní pro oblast implementace ESF a zájem zadavatele? 2.2 Do jaké míry je vhodné současné pojetí inovativnosti v OP LZZ? 2.3 Jaké zahraniční přístupy k pojetí a uplatnění inovativnosti v ESF jsou využitelné v ČR? 2.4 Jaká je role mezinárodní spolupráce v uplatnění inovativnosti v ESF, je vhodné (nutné) oba principy propojovat? 2.5 Jaké je působení a váha souvisejících principů, např. partnerství, mainstreaming apod.? 2.6 Do jaké míry by bylo možné a vhodné sjednotit přístup k inovacím v rámci ESF s principy systému výzkumu, vývoje a inovací v České republice (viz Rada pro výzkum, vývoj a inovace http://www.vyzkum.cz)? 2.7 Jak vhodně je nastaveno hodnocení projektových žádostí, vykazování a monitorování inovativních produktů?

3.3.2.3.


1. Analýza dokumentů: definice inovativnosti, její praktická aplikace (např. ve formulaci výzev, příruček pro žadatele, seminářů pro hodnotitele, hodnocení projektových žádostí apod.) a metaevaluace hodnotících zpráv zabývajících se účinností, účelností a kvalitou inovativních produktů, procesů a prostředí 2. Expertní panel: interaktivní diskuze za účelem uchopení operacionalizovatelné definice inovativnosti pro potřeby zadavatele, přičemž využita bude zejména platforma cbased® (viz též Úkol 1., kap. 3.3.1.3 Zdroje dat a použité metody). Do panelu budou pozváni stakeholdeři z ČR tak, aby byla zastoupena akademická obec, realizátoři konkrétních projektů, tzn. „policy makers“ ad. relevantní osoby a organizace s prokazatelnou vazbou k tématu. Pro účely shromáždění kontaktů bude proveden dílčí sběr veřejně dostupných informací a zúročeny zkušenosti projektového týmu. 3. Pohovory s experty na problematiku inovativnosti z příslušných oblastí 4. Identifikace vhodných zahraničních příkladů, jejich strukturovaný popis (dle předem připravených kritérií a struktury) a SWOT analýza vzhledem k potřebám zadavatele 5. Hloubkové pohovory s představiteli zahraničních příkladů (zástupci ŘO a jiných veřejných orgánů, zástupci partnerů, koordinátoři iniciativ, experti apod.)9

9

Pro komunikaci bude zvolena oboustranně výhodná varianta tak, aby byly relevantní informace získány maximálně efektivně – jako vhodné řešení se ukazuje kombinace asynchronní komunikace např. pomocí e-mailu (úvodní fáze) s videokonferencí nebo telefonátem.

10


6. Hloubkové pohovory se zástupci ŘO/ZS OP LZZ 7. Fokusní skupina s hodnotiteli projektových žádostí (případně dotazníkové šetření mezi hodnotiteli, pokud nebude fokusní skupina realizovatelná) 8. Analýza monitorovacích indikátorů, monitorovacích zpráv a dalších dokumentů o výstupech a výsledcích programu (se zaměřením na inovativní projekty a produkty a příslušné indikátory, zejm. MI 07.57.00 a MI 43.07.02) 9. Simulace procesu vyhlašování, školení, informování, hodnocení, monitorování a reportingu se skupinou zástupců ŘO/ZS – forma školení, semináře za účelem ověřit, upravit a naučit se implementovat inovativnost v praxi ESF, použité materiály budou navrhované metodiky, kritéria a dokumenty resp. jejich upravené části

3.3.2.4.

Výstupy

1. Seznam zemí a konkrétních praktik, zkušeností a přístupů k inovacím, které v nich budou blíže zkoumány – návrh je předložen ke schválení zadavateli v Příloze 3 této Vstupní zprávy. Tuto část výstupu nabízíme ve finální podobě kromě tištěné verze také v interaktivní online formě, kdy jednotlivé části tabulky odkazují ke specifikaci, podrobnostem a příkladům; přístupnost online formy tabulky bude konzultována se zadavatelem, nicméně předpokládá se neveřejný přístup k jejímu obsahu a umístění v rámci ESF Fóra. 2. SWOT analýza identifikovaných, popsaných a zhodnocených přístupů v zahraničí 3. Věcně popsaná kritéria pro odlišení inovativních a ne-inovativních projektů + návrh jejich promítnutí do příslušných dokumentů v takové podobě, aby nedocházelo k nejasnostem (např. formulace ve výzvě, formulace v příručce pro žadatele i hodnotitele, způsob prezentace na seminářích pro žadatele a hodnotitele, check listy, řešení sporných situací a příkladové/modelové projekty) 4. Metodika identifikace a hodnocení inovativnosti v projektových žádostech 5. Návrh podoby monitoringu a reportingu (úprava monitorovací soustavy resp. definice indikátorů, principy sledování a zpětné kontroly, specifika reportování inovativních projektů) 6. Návrhy budou publikovány v První průběžné zprávě, odpovědi na evaluační otázky budou ve druhé průběžné zprávě, všechny výstupy tohoto úkolu budou v Závěrečné zprávě a to takovou formou, jaká odpovídá zadání a využití (metodiky apod.)

3.3.2.5.

Zapojení expertů

Odpovědností za řešení úkolu 2 je pověřena AK, dále bude zapojen JŠ, AT a ISL. Dílčí zapojení je předpokládáno i u PŠJ a MD.

3.3.2.6.


Na začátku zpracování zakázky je potřeba v rámci tohoto úkolu zpracovat operacionalizovatelnou definici inovativnosti, která bude následně použita v celé zakázce jako východisko. Dále se zpracování tohoto úkolu prolíná celým projektem, neboť v sobě nese komplexní a náročné úkoly: nastavení vhodného způsobu výběru projektových žádostí, sledování a vyhodnocování projektů například předpokládá mj. vyhodnocení stávající praxe, jejích výstupů i výsledků. Výsledkem tohoto úkolu také je metodika identifikace a hodnocení inovativnosti, která je východiskem k řešení úkolu č. 3.

11


3.3.3. Úkol č. 3 Identifikujte inovativní projekty a jejich produkty, rozdělte je do tematických oblastí a vyhodnoťte míru uplatňování inovativnosti v oblastech podpory OP LZZ 3.3.3.1.


Podstatným výstupem tohoto úkolu je tabulkový přehled dávající do souvislosti tematické oblasti implementace programu a typy inovací, přičemž každá buňka tabulky může mít libovolný počet zástupců, tedy projekt/y a jeho inovativní produkt/y, výsledek/y. Tento přehled je klíčový pro samotné zpracování této zakázky (viz návaznosti níže). Smyslem tohoto úkolu je také identifikovat tyto vhodné inovativní výsledky projektů, které má smysl pro zadavatele dále prosazovat a šířit. Níže uvádíme pilotní návrh pracovního třídění inovací v OP LZZ: Typ inovace Tematická oblast (návrh) Řízení RLZ Celoživotní učení Práce s talenty pro VaV Gender mainstreaming Flexibilita trhu práce Mobilita na trhu práce Zdravotně postižení a znevýhodnění na trhu práce Prevence diskriminace na trhu práce Sociální integrace Kulturní rozdíly Výkon veřejné správy eGovernment Stárnutí populace a demografické změny Sociální ekonomika Podpora podnikání Konkurenceschopnost FÁZE INOVACE

Pilotní projekty

Jedná se o pilotáž nebo první fázi vývoje, kdy se inovace testuje v domácím prostředí a ještě se nešíří dál

Pouze vývoj

Produkty

Procesy

Prostředí

Vždy se bude jednat nejen o samotný vývoj, ale také testování, ověření, adaptaci a šíření nového nebo vylepšeného produktu, postupu v praxi (proces) a nebo vyvolání změn ve vnějším prostředí. V rámci monitoringu by tak mělo jít o výsledek nikoli jen výstup, což platí především pro inovace procesů a prostředí.

Všechny fáze: vývoj, testování, ověření, přeno, adaptace, šíření

Přenos

Projekty zaměřené na šíření, přenos již vyvinuté inovace. Může se též jednat o závěrečnou fázi projektu nebo o projekty mezinárodní spolupráce.

Pouze šíření

Další třídění relevantní pro tuto zakázku je hodnocení inovativních řádů, tj. například rozlišení na zásadně nové inovace a drobné inovace, tedy ve smyslu zjemnění „černobílého“ pohledu na projekt jako inovativní nebo ne-inovativní. Při tomto přístupu můžeme oceňovat projekty, které nejsou v zásadě průkopnické, ale přicházejí s drobným vylepšením, které přináší vyšší efektivitu a kvalitu směrem k cílům intervence (což je de facto podstatnější než míra novosti). Na tuto tabulku (databázi) projektů bude aplikována metodika vytvořená v rámci úkolu č. 2. Projekty pak budou ohodnoceny podle kritérií stanovených zadavatelem. Kromě nich však nabízíme hodnocení inovativnosti dále rozšířit – a to ve smyslu pojetí popsaného ve východiscích k řešení této zakázky, tj. dle kvalitativních aspektů inovativnosti. Každá hodnocená oblast a podoblast musí mít svoji metodiku hodnocení těch aspektů inovativnosti, které zadavatel chce zkoumat (vznik, šíření, přenos atd.). Návrh oblastí uvedený výše je tedy pouze indikativní, vychází ze zadání a bude rozšířen na základě expertního šetření i dalších zdrojů dodaných zadavatelem.

12


3.3.3.2.

Evaluační otázky

3.1 Jaké jsou realizovány průkopnické (pilotní) inovativní projekty? 3.2 Jaké jsou realizovány projekty zaměřené na šíření a prosazování inovativních produktů (sociálních inovací)? 3.3 Jaké jsou vhodné tematické oblasti inovativních aktivit a které projekty a produkty do nich náleží? 3.4 Jaké jsou rozdíly v uplatňování inovativnosti v projektech v jednotlivých prioritních osách, resp. oblastech podpory OP LZZ?

3.3.3.3.


Následující analýzy a hodnocení budou provedeny částečně již v rámci řešení úkolu č. 2, neboť v rámci něj je nutné vytvořit metodiku identifikace a hodnocení inovativnosti. 1. Analýza IS MONIT, analýza monitoringu OP LZZ za účelem získání přehledu o výstupech a výsledcích projektů, identifikace inovací dle stanovené tabulky v jednotlivých daných oblastech, stanovení vzorku 2. Evaluace konkrétních projektů, které byly identifikovány jako zástupci skupin daných tabulkou (tematická oblast a typ inovace) – klasická evaluace na úrovni konkrétního projektu, tj. hloubková analýza, zjištění výstupů a výsledků, pohovory se zástupci realizátory a příjemci vč. stakeholderů vztažených k identifikované inovaci, analýza hospodárnosti, účinnosti, účelnosti a kvality řešení a. Evaluace na úrovni projektů se zaměří na odhalení především kvality inovací, tj. na jakých znalostech byla inovace navržena, zda a jak přispívá k řešení cílů programu, jaké má inovace účinky, zda přináší celkově zlepšení, zda je hospodárnější, zda je udržitelná a zda je vůbec žádaná a relevantní b. Dále se zaměříme na faktory, které vedou k optimalizaci inovativního procesu – na úrovni projektů ve vztahu k řízení programu, tj. jaké podmínky musí nastat, aby vývoj inovace byl co nejoptimálnější c.

Evaluace může rovněž odhalit bariéry, které takovému vývoji brání, zaměříme se na identifikaci těch podstatných, jejichž odstranění by vedlo k 80% zlepšení situace (tedy dle Paretova pravidla)

d. Dále evaluace popíše princip, jakým vůbec inovace vznikají, tento pak bude podroben dalšímu zkoumání, zda se v procesu nevyskytují diskrepance 3. Srovnávací analýza jednotlivých evaluačních zpráv (zjištění) z projektů za účelem identifikace společných rysů (ověřená vstupních hypotéz a výstupů úkolu č. 1 a 2) a odlišností, rozdílů a specifických vlastností inovací ve vztahu k jednotlivým tematickým oblastem resp. oblastem aktivit 4. Syntéza zjištění a metaevaluace za účelem posouzení míry, s jakou jsou v té které oblasti inovace podporovány, v jakém rozsahu, kvalitě, efektivitě a podobě, posouzení rozdílů mezi jednotlivými PO OP LZZ a formulace závěrů

3.3.3.4.

Výstupy

1. Kompletní přehled třídění inovací v rámci OP LZZ (dopracovaná tabulka výše) + specifikace jednotlivých buněk tabulky, základní charakteristika dané inovace, konkrétní příklady. Tuto část výstupu nabízíme kromě tištěné formy také v interaktivní online formě, kdy jednotlivé části tabulky odkazují ke specifikaci, podrobnostem a příkladům; přístupnost online formy tabulky bude konzultováno se zadavatelem, nicméně předpokládá se neveřejný přístup k jejímu obsahu a umístění na serveru zadavatele v rámci ESF Fóra.

13


2. Podrobné hodnocení vybraných projektů (minimálně 30) jako typových příkladů, výsledky srovnávacích analýz a doporučení tematických oblastí, typů aktivit, procesu podpory inovací ze strany ŘO 3. Návrh matice témat a typů inovací bude uveden ve Vstupní zprávě, po jeho odsouhlasení bude probíhat poměrně robustní šetření, jehož výsledky budou publikovány ve Druhé průběžné zprávě a celkové závěry po analýze všech zjištění a ověření stakeholdery v Závěrečné evaluační zprávě

3.3.3.5.

Zapojení expertů

Odpovědností za řešení úkolu 3 je pověřen JŠ, dále bude zapojena AK, AT a PŠJ. Dílčí zapojení je předpokládáno i u ISL a MD.

3.3.3.6.


Řešení úkolu č. 3, má-li být zdárné, úplné a kvalitní, v sobě musí obsahovat řešení úkolu č. 4 a to zejména díky nutnosti vyhodnotit identifikované projekty a jejich produkty či činnosti do hloubky. Jedině tak je možné učinit rozhodnutí, které oblasti jsou doopravdy vhodné a jaké jsou rozdíly mezi PO OP LZZ v implementaci inovativnosti.

3.3.4. Úkol č. 4 Zpracujte metodologii hodnocení kvality inovativních projektů a produktů a pro každou tematickou oblast zpracujte jednu případovou studii na realizaci inovativního projektu, který představuje příklad dobré / slibné praxe 3.3.4.1.


V rámci úkolu 3 bude vypracována tabulka tematických oblastí ve vztahu k typům inovace. Evaluátoři identifikují relevantní projekty (metoda upraveného V modelu viz níže), na které zařadí odkaz do této tabulky, následně budou vypracovány podrobné evaluace takto identifikovaných projektů s tím, že bude přednostně vybíráno z oblasti projektů, které zahrnují všechny fáze vývoje inovací (v tabulce je tato oblast vyznačena modře). Tento úkol bude oproti zadání rozšířen s cílem posílit kvalitu jeho zpracování (podrobněji viz další odstavec) a to zpracováním 1) většího počtu případových studií a 2) hierarchickou strukturou zpracovaných studií, kdy u každé studie budou uvedeny další související příklady projektů s jejich krátkou anotací. Výsledný záběr tedy bude podstatně širší co do kvantity (více než 10) i kvality (vazby na související aktivity). Výsledná forma prezentace – online interaktivní databáze – je další inovací v řešení tohoto úkolu. Za klíčové faktory ovlivňující kvalitu zpracování tohoto úkolu považujeme 1) výběr projektů principem V modelu (viz níže, shrnuto již v popisu zpracování úkolu 3) a 2) kvalitu evaluace samotných projektů, jejímž výstupem jsou jednak vstupy do zpracování úkolu 3 a jednak případové studie. Metodu případových studií považujeme za velmi vhodně zvolenou, neboť odráží předchozí zkušenosti s implementací programu a jeho evaluacemi vč. evaluace CIP EQUAL. Na základě provedené analýzy dříve zpracovaných evaluačních studií k tématu se totiž ukazuje, že metoda případových studií dodává potřebné výsledky a překonává výše zmíněné metodické pasti. Je tu však ještě jedno riziko, které nabízíme řešit následovně: pro formulaci závěrů (zejm. pro formulaci metod hodnocení kvality a posouzení podmínek podpory inovací jako jsou různé partnerské a podpůrné sítě) bychom rádi využili prvek benchmarkingu, tedy srovnání se skupinou produktů vyvinutých v rámci CIP EQUAL. Kromě srovnání je zde významný moment dlouhodobosti, posouzení udržitelnosti a dopadů inovací, které je také často doporučováno evaluátory. Například Evaluační zpráva ze 3. etapy CIP EQUAL doslova uvádí doporučení vyhodnotit inovativnost projektů s odstupem 3 let. Rádi bychom vybrali z projektů podpořených v rámci CIP EQUAL takové, které se projevily jako životaschopné. Hodnocení se zaměří na dekompozici inovačního ekosystému, popis životního cyklu inovace v konkrétních podmínkách a na projektech podobných projektům podpořeným OP LZZ. Srovnání této části evaluace,

14


která je zároveň součástí řešení úkolu 6, přinese do hodnocení kvality inovativních projektů a produktů pevnější metodické zázemí pro posouzení udržitelnosti a dopadů.

3.3.4.2.

Evaluační otázky

4.1 Jaká je vhodná metodologie hodnocení kvality inovativních projektů (kritéria, nástroje, postupy, subjekty zapojené do hodnocení)? 4.2 Jaké jsou příklady dobré / slibné praxe inovativních projektů pro každou tematickou oblast? 4.3 Jaký mají vliv partnerství, mezinárodní spolupráce a již vytvořené inovace na kvalitu inovativních projektů v příkladech dobré / slibné praxe?

3.3.4.3.


1. Výběr projektů pro hodnocení pomocí upraveného V modelu: IS MONIT - seznam projektů dle PO a výstupů dle příslušných MI

Statistická analýza - rozložení projektů dle PO

Obsahová analýza (pilotáž) dle tématických oblastí Stanovení kritérií předvýběru (analýza projektové dokumentace a dostupných hodnocení, analýza citovanosti projektu/produktu) Finální kritéria výběru a výběr vzorku s rezervou 20% Expertní panel, posouzení dostupnosti a proveditelnosti schválení zadavatelem vzorek

2. Evaluace projektů (produktů) podpořených v rámci OP LZZ a CIP EQUAL vybraných dle metodiky výše: a. Analýza projektové dokumentace, indikátorů, výstupních zpráv apod. b. Hloubkové pohovory s koordinátory projektu, příjemci inovace a dalšími stakeholdery c.

Vypracování zprávy dle stanovené metodiky a struktury, která umožňuje srovnání ve vzorku a párování s příklady praxe mezi CIP EQUAL a OP LZZ; zvolená metodika a struktura zpráv bude přizpůsobena struktuře případových studií a naopak (viz bod 4. dále), a to tak, aby bylo možné výsledný vybraný vzorek ze zpráv efektivně transformovat

15


3. Analýza, srovnání (benchmarking na základě stanovených kritérií s předpokladem „párování“ projektů CIP EQUAL a OP LZZ na základě shodných klíčových charakteristik: tematická oblast, typ inovace, fáze aj.) – formulace zjištění a závěrů 4. Vypracování případových studií, úvodu a metodické poznámky k nim 

Výsledný výběr případových studií bude založen na kritickém zhodnocení výsledků evaluace a jejího průběhu; bude provedeno více evaluací, než bude výsledný počet studií, a to z toho důvodu, že je možné pak vyloučit produkty, které se ukázaly jako méně relevantní, zajímavé či kvalitní a nebo se vypořádat s případy, kdy organizace není dostupná a nebo respondenti neposkytují požadovanou součinnost příp. evaluátor není spokojen s výsledným zjištěním



Návrh struktury případových studií:

Záhlaví

Popis inovace

•Název, anotace •Klasifikace dle typologie vytvořené v úkolu č. 2 a 3 •Klíčová slova •Nositel inovace a klíčoví stakeholdeři a partneři •Datum, verze, autor •Metadata

•Kontext, výchozí stav (baseline) •Cíle a smysl inovace •Stručný popis principu •Hlavní příjemci, cílové skupiny a zainteresované strany •Přidaná hodnota a podstata inovativnosti

Cyklus inovace

•Vstupní analýza a vstupní podmínky, hlavní důvody realizace (ve formě teorie změny) •Původní plán, řízení projektu a jeho vyhodnocení •Partnerství

Mainstreaming

•Popis použitých přístupů •Shrnutí poučení a dobrých zkušeností •Udržitelnost a současný stav

Dopady

Zdroje

•Dosažené výstupy, výsledky a dopady (ve formě teorie změny) •Hodnocení z pozice různých stakeholderů •Poučení

•Použité zdroje •Doporučené linky •Související projekty vč. krátké anotace •Jména osob a institucí

16


3.3.4.4.

Výstupy

1. Popis metodiky hodnocení kvality inovativních projektů a produktů: evaluační témata (podmínky vývoje, bariéry a podpůrné principy, kvalita), metody hodnocení, kritéria pro tyto metody, procesy a role v hodnocení, doporučení a metodické pomůcky (karty, check listy, vzorkování, zdroje a odkazy) 2. 10-30 případových studií OP LZZ ve stanoveném rozsahu a struktuře 3. 5-10 případových studií inovací v CIP EQUAL, životní cyklus těchto inovací a popis jejich cesty 4. Online interaktivní tabulka případových studií vč. možnosti filtrace dle oblastí a typů, odkazy a související projekty opatřené krátkou anotací; přístupnost online formy tabulky bude konzultováno se zadavatelem, nicméně předpokládá se neveřejný přístup k jejímu obsahu a umístění na serveru zadavatele v rámci ESF Fóra. 5. Podrobné rozpracování metodiky výběru V modelem a naplnění tabulky témat/typů inovací příklady projektů pro účely Druhé průběžné zprávy (konečný výběr projektů pro hodnocení a zpracování případových studií schvaluje zadavatel) 6. Vstupy do Závěrečné evaluační zprávy

3.3.4.5.

Zapojení expertů

Odpovědností za řešení úkolu 4 je pověřena PŠJ, dále bude zapojen JŠ a AT. Dílčí zapojení je předpokládáno i u AK, ISL a MD.

3.3.4.6.


Výstupy a všechny mezivýsledky plnění tohoto úkolu slouží k plnění části úkolu č. 3. Výstupy (metodologie hodnocení kvality inovativních projektů) budou navíc použity jako materiály pro část plnění úkolu č. 2, konkrétně simulaci procesu vyhlašování, školení, informování, hodnocení, monitorování a reportingu se skupinou zástupců ŘO/ZS formou školení kdy bude vytvořená metodika ověřena stakeholdery a zavedena do praxe. Část řešení tohoto úkolu, konkrétně hodnocení kvality inovativních projektů v oblasti jejich udržitelnosti a dopadů, se opírá o výsledky řešení úkolu č. 6, ve kterém bude provedena analýza životního cyklu inovace, jakési „cesty“, jakou se inovace vyvinuté v rámci CIP EQUAL vydaly po skončení podpory z tohoto programu. Výstup, případové studie, jsou základem Sborníku dobré praxe OP LZZ, který je tvořen jako samostatný výstup v rámci úkolu č. 7

3.3.5. Úkol č. 5 Vyhodnoťte Databázi produktů ESF jako nástroje pro šíření a prosazení inovativních produktů a na základě hodnocení navrhněte její úpravy (obsahové i funkční) 3.3.5.1.


Evaluátoři v rámci zakázky provedou jak expertní audit databáze (podle certifikované metodiky), tak její evaluaci z pohledu uživatelů. Databáze produktů ESF bude ohodnocena registrovanými subjekty i subjekty, které registrovány nejsou, ale projekty samy realizují a je u nich předpoklad, že by o inspiraci tohoto zaměření měly zájem.

3.3.5.2.

Evaluační otázky

5.1. Do jaké míry databáze produktů ESF přispívá k šíření a využití inovací vzniklých v projektech ESF?

Řešení otázky je analýzou výsledků informačního auditu a návazných evaluačních šetření (viz metody níže). V rámci evaluace bude hodnocena i návštěvnost databáze a četnost na ni vázané 17


komunikace. Databáze disponuje nástroji k veřejné diskusi o jednotlivých projektech a produktech, stejně jako nástrojem pro jejich hodnocení, proto budou evaluovány i tyto nástroje a jejich využívanost. 5.2. Jak databáze produktů ESF, produkty v ní umístěné a jejich využití a přínos hodnotí samotní registrovaní uživatelé databáze a jak je databáze produktů ESF hodnocena dalšími subjekty (potenciálními nebo neregistrovanými)?

Na tuto otázku částečně odpovídá již informační audit, dále bude realizační tým při šetření u respondentů, kteří uvedou, že zmíněné nástroje nevyužívají, zjišťovat, za jakých okolností by měli ochotu je využívat. Budou dotazováni na nedostatky, slabé či silné stránky databáze s cílem navrhnout zlepšení. 5.3. Do jaké míry přispívají k šíření a využití inovací vzniklých v projektech jiné nástroje či postupy a jaký je jejich vliv ve srovnání s databází produktů ESF?

Evaluátoři zmapují existující a používané nástroje, které přispívají k šíření a využívání inovací v ČR i zahraničí. Kromě toho použijí srovnání s podobnými projekty šíření inovací pomocí databázových a portálových řešení, například v ČR je jedním z nich databáze nejlepších projektů z oblasti RLZ, kterou spravuje Národní vzdělávací fond, o.p.s. Tato databáze je k dispozici na portálu www.topregion.cz pod odkazem DOBRÁ RADA NAD ZLATO (3 členové týmu se přímo na produkci této databáze podíleli). Ze zahraničních příkladů dobré praxe využijí evaluátoři inspiraci šíření inovací např. pomocí tzv. Knowledge Bank (GB, společnost NESTA) nebo přístup, který využívá k přenosu dobré praxe společnost The Young Foundation http://www.youngfoundation.org.


3.3.5.3.

1. Informační audit provedený certifikovanou metodou •

Návrh struktury informačního auditu: I

ÚVOD

1.1

Metodická poznámka

1.2

Východiska

II

UŽIVATELSKÁ ANALÝZA

2.1

První dojem & přehlednost

2.2

Layout & grafika

2.3

Navigace & vyhledávání

2.4

Chyby & prevence chyb

2.5

Ostatní aspekty

III

OBSAHOVÁ ANALÝZA

3.1

Jazyk a srozumitelnost

3.2

Třídění, indexace a klíčová slova

3.3

Faktický obsah Databáze produktů ESF, úplnost

IV

NÁVRHY A DOPORUČENÍ

4.1

Doporučení k současnému stavu

4.2

Implementace nových služeb

V

Závěry a manažerské shrnutí

2. Analýza hodnocení informačních a komunikačních aktivit, které zahrnovaly Databázi produktů ESF 18


3. Dotazníkové šetření na uživatelích Databáze produktů ESF, příp. mezi příjemci. 4. Pohovory s tvůrci a správci Databáze 5. Benchmarking, srovnání s podobnými databázemi v ČR i EU 6. Vypracování seznamu jiných způsobů šíření inovací podpořených ESF, porovnání výhod a nevýhod, celková SWOT analýza Databáze produktů ESF

3.3.5.4.

Výstupy

1. Zpráva informačního auditu ve stanovené struktuře 2. Celkové hodnocení databáze produktů ESF vč. SWOT analýzy a seznamu benchmarkingových aktivit a podobných databází ve světě, doporučení pro zadavatele 3. Vstupy do Druhé průběžné a Závěrečné evaluační zprávy

3.3.5.5.

Zapojení expertů

Odpovědností za řešení úkolu 5 je pověřena MD, dále bude zapojena ISL, JŠ a AT. Dílčí zapojení je předpokládáno i u PŠJ a AK.

3.3.5.6.


Relativně samostatný úkol, jehož přidanou hodnotou bude formalizovaná podoba výstupu a provedení založené na standardních a ověřených metodách.

3.3.6. Úkol č. 6 Proveďte evaluaci dopadů CIP EQUAL 3.3.6.1.


Východiska k řešení tohoto úkolu byla popsána v úvodu a také v řešení úkolu č. 4; k již zmíněnému tedy pouze doplňujeme vysvětlení základního principu přístupu: 1) vyhodnocení konkrétních dlouhodobých dopadů, udržitelnosti a inovačního ekosystému u příběhů konkrétních produktů CIP EQUAL („užší pojetí dopadů“), 2) vyhodnocení širšího kontextu dopadů CIP EQUAL na základě ex post evaluace programu vč. dopadů na lidské zdroje a kapacity, jejichž existence a kvalita se může projevit při realizaci dalších, časově i tematicky návazných programů („širší pojetí dopadů“). V rámci hodnocení se zaměříme nejprve na užší pojetí, a to s ohledem na ověřenou možnost získat relevantní data o projektech vč. kontaktů na příjemce apod. Teprve po vyhodnocení těchto dopadů (resp. v případě, že budou dopady dostatečně silné, prokazatelné a zmapovatelné) se hodnocení zaměří též na dopady v širším pojetí, tj. na kapacity na straně implementační struktury, vč. jiných OP, pokud bude na jejich straně zajištěna dostatečná součinnost (viz body 4 a 6 v použitých metodách níže).

3.3.6.2.

Evaluační otázky

6.1. Jaké jsou dopady CIP EQUAL na politiky a strategie? 6.2. Jaké jsou institucionální a organizační dopady CIP EQUAL? 6.3. Jaké jsou dopady CIP EQUAL na realizaci projektů OP LZZ, OP VK a OP PA?

3.3.6.3.


1. Případové studie min. 5 inovací vzniklých z podpory CIP EQUAL, jejich vypracování kopíruje strukturu i třídění dle úkolu č. 4 2. Analýza životního cyklu inovace, popis „cesty“, jakou se inovace vyvinuté v rámci CIP EQUAL vydaly po skončení podpory z tohoto programu 3. Pohovory s realizátory projektů CIP EQUAL a zástupci jeho tehdejší implementační struktury (zejména těmi, kteří působí nadále v implementaci ESF) 19


4. Pohovory se zástupci implementačních struktur programů OP LZZ, OPVK a OPPA (v rámci předchozího bodu těmi, kteří mají zkušenosti z implementace EQUAL a dále i těmi, kteří žádnou předchozí zkušenost nemají) 5. Zhodnocení dopadů CIP EQUAL dle výsledků analýzy výše uvedených případových studií a dále na základě metaevaluace hodnotících zpráv a dalších studií o dopadech CIP EQUAL 6. Fokusní skupina s policy makers v implementaci ESF (zhodnocení dopadů CIP EQUAL na implementaci jiných OP)

3.3.6.4.

Výstupy

1. Případové studie min. 5 inovací vzniklých z podpory CIP EQUAL, jejich vypracování kopíruje strukturu i třídění dle úkolu č. 4 2. Vstup do druhé průběžné zprávy a finální výsledek v Závěrečné evaluační zprávě

3.3.6.5.

Zapojení expertů

Odpovědností za řešení úkolu 6 je pověřena PŠJ, dále bude zapojen JŠ a AT. Dílčí zapojení je předpokládáno i u AK, ISL a MD.

3.3.6.6.


Část řešení tohoto úkolu se zúročí při řešení úkolu č. 4.

3.3.7. Úkol č. 7 Navrhněte systém implementace inovativnosti v dalším programovacím období a zpracujte metodologii (příručku) pro realizátory inovativních projektů 3.3.7.1.


Na základě výsledků předešlých úkolů bude vypracován návrh systému implementace inovativnosti – podpory inovativních činností v ESF (pro oblasti RLZ, sociálního začleňování a zaměstnanosti) v programovacím období 2014+. Tento systém bude zahrnovat definici inovativních činností a produktů (sociální inovace), metodologii vymezení inovativních témat, způsob implementace inovativních projektů z hlediska fází (příprava, vývoj a testování, šíření a prosazování), zapojení stakeholderů, aplikaci partnerství, využití mezinárodní spolupráce, metody výzkumu a ověřování, nástroje horizontálního i vertikálního šíření a prosazování inovací, sebe-evaluaci inovativních projektů, výběr a hodnocení inovativních projektů, monitoring a metody evaluace. Návrh systému bude zohledňovat aktuální návrhy Evropské komise v této oblasti pro programové období 2014+ (viz řešení úkolu 1) a bude zpracován v úzké spolupráci s ŘO OP LZZ. Relevantní prvky navrženého systému budou ŘO pilotně otestovány (aplikovány) ještě v průběhu implementace OP LZZ, z tohoto důvodu proběhne ověření systému ještě v době plnění zakázky, a to formou interaktivního semináře simulující proces implementace inovací (viz popis úkolu č. 2).

3.3.7.2.


1. Výstupy z předchozích úkolů 2. Pohovor se zadavatelem 3. Ověření relevantnosti výstupů na skupině potenciálních příjemců (simulační seminář) 4. Oponentura výstupů a jazyková korektura 5. Grafická úprava

20


3.3.7.3.

Výstupy

1. Návrh systému implementace inovativnosti v ESF (jako samostatný dokument v příloze Závěrečné evaluační zprávy) 2. Příručka pro realizátory inovativních projektů 3. Sborník dobré praxe inovativních projektů OP LZZ 4. Marketingové a prezentační materiály určené pro zadavatele při představování obou výstupů 5.

Vstupy do Závěrečné evaluační zprávy

3.3.7.4.

Zapojení expertů

Odpovědností za řešení úkolu 7 je pověřena AK, dále bude zapojen JŠ, AT a ISL. Dílčí zapojení je předpokládáno i u PŠJ a MD.

3.3.7.5.


Řešení tohoto úkolu staví na výstupech ze všech předchozích úkolů. Tyto výstupy formuje do přehledného, robustního dokumentu a ve stanovené struktuře a atraktivní grafické úpravě jej předkládá zadavateli jako jeden z výstupů zakázky. Tento výstup se přitom obrací k realizátorům (budoucích) inovativních projektů a musí tedy být připraven v odpovídající formě. Zvláštní přílohou příručky je Sborník dobré praxe inovativních projektů OP LZZ, který atraktivní a přehlednou formou představuje výstupy z plnění úkolu č. 4, konkrétně případové studie.

21


4. Popis průběžných a finálních výstupů V následující tabulce jsou popsány výstupy projektu v souladu se zadávací dokumentací. Poznámka: U anglického překladu závěrečné evaluační zprávy se předpokládá jeho předložení pouze u konečné verze závěrečné zprávy (tj. verzí zohledňujících připomínky ŘO a dalších zainteresovaných subjektů), a to nejpozději do 30 dnů po přijetí konečné verze v českém jazyce ze strany ŘO. 10

POŽADOVANÉ VÝSTUPY Uzavření smlouvy

TERMÍN

24.10.2011

--

Vstupní zpráva

do 1 měsíce

Smyslem vstupní zprávy je odsouhlasení zvoleného evaluačního designu, tzn., že ve zprávě bude podrobně popsán harmonogram realizace a detailní metodologie řešení projektu (tj. rozpracování metodologie uvedené v nabídce), obsahující minimálně: (i) dekompozici jednotlivých otázek na podotázky; (ii) identifikaci potřebných informací pro odpověď na jednotlivé podotázky; (iii) identifikaci zdrojů dat pro každou podotázku (iv) identifikaci nástrojů sběru dat; (v) identifikaci způsobu analýzy dat a způsobu řešení (evaluation design) otázky / podotázky; (vi) jmenovité určení všech zapojených expertů/ek do řešení jednotlivých částí této veřejné zakázky; (vii) podrobné stanovení dílčích termínů evaluačních šetření stanovených ze strany zpracovatele hodnocení. Průběžná zpráva I. bude obsahovat řešení evaluačních úkolů č. 1 a 2.

(návrh 23.11.2011) Na tento výstup je navázána první faktura.

Průběžná zpráva I.

do 4 měsíců (návrh 24.2.2011) Na tento výstup je navázána druhá faktura.

Průběžná zpráva II.

do 7 měsíců (návrh 24.5.2012) Na tento výstup je navázána třetí faktura.

10

DETAIL

JAZYK

Zpráva bude dále obsahovat závěry a doporučení týkající se cílení aktuálních výzev zejména s ohledem na identifikovaná relevantní a potřebná témata inovativnosti pro jednotlivé oblasti podpory OP LZZ. Zpráva bude obsahovat tyto části určené pro různé uživatele výstupů evaluace: 1. Manažerské shrnutí (max. 3 strany) 2. Evaluační zpráva ve struktuře: úvod, kontext a metodologie, průběh řešení, hlavní zjištění, závěry a doporučení, přílohy. 3. Samostatná technická příloha s detailním popisem metodologie, průběhu evaluace a dílčích analýz určená evaluační jednotce zadavatele (s cílem prokázat řádné plnění zakázky) a případně odborné evaluátorské komunitě. Průběžná zpráva II. bude obsahovat řešení evaluačních úkolů č. 3 a 5 a aktualizované řešení úkolů č. 1. a 2. Ve zprávě bude dále popsán průběh řešení a dosavadní výsledky (průběžná zjištění a závěry) k úkolům č. 4 a 6. Zpráva bude dále obsahovat závěry a doporučení týkající se cílení aktuálních výzev zejména s ohledem na identifikovaná relevantní a potřebná témata inovativnosti pro jednotlivé oblasti podpory OP LZZ. Zpráva bude obsahovat tyto části určené pro různé uživatele výstupů evaluace: 1. Manažerské shrnutí (max. 3 strany) 2. Evaluační zpráva ve struktuře: úvod, kontext a metodologie, průběh řešení, hlavní zjištění, závěry a doporučení, přílohy. 3. Samostatná technická příloha s detailním popisem metodologie, průběhu evaluace a dílčích analýz (např. informační audit v rámci úkolu 5) určená evaluační jednotce zadavatele (s cílem prokázat řádné plnění zakázky) a případně odborné evaluátorské komunitě.

Uvedeno vždy v počtu měsíců od podpisu smlouvy a datum dle harmonogramu.

22

ČJ

ČJ

ČJ

Evaluace implementace principu inovativnosti v OP LZZ – nabídka Navreme Boheme, s.r.o. POŽADOVANÉ VÝSTUPY Závěrečná evaluační zpráva

TERMÍN

10

do 10. měsíců (návrh 23.8.2012) Na tento výstup je navázána čtvrtá faktura.

Sborník dobré praxe inovativních projektů OP LZZ Příručka pro realizátory inovativních projektů Průběžné zprávy o průběhu projektu (flash-reporty) Prezentace postupu projektu Monitorovacímu výboru OP LZZ, PS pro evaluaci, EK atd.

do 10. měsíců (návrh 23.8.2012)

DETAIL

JAZYK

Závěrečná evaluační zpráva bude obsahovat aktualizované řešení úkolů č. 1, 2, 3 a 5 v návaznosti na ukončení dalších projektů a na výstupy řešení úkolů 4 a 6. Dále bude obsahovat řešení úkolů č. 4, 6 a 7. Výstup části úkolu č. 7 (návrh systému implementace inovativnosti v ESF) bude samostatný dokument v příloze závěrečné zprávy.

ČJ (bez technic ké přílohy i v AJ)

Zpráva bude obsahovat tyto části určené pro různé uživatele výstupů evaluace: 1. Manažerské shrnutí (max. 3 strany) 2. Evaluační zpráva ve struktuře: úvod, kontext a metodologie, průběh řešení, hlavní zjištění, závěry a doporučení, přílohy. 3. Samostatná technická příloha s detailním popisem metodologie, průběhu evaluace a dílčích analýz určená evaluační jednotce zadavatele (s cílem prokázat řádné plnění zakázky) a případně odborné evaluátorské komunitě. Kromě textové verze zprávy určené pro tisk bude připravena i zkrácená verze převedená do formy „prezentace“, resp. zásobníku slidů připravených pro další použití. 10 případových studií dobré praxe inovativních projektů OP LZZ zpracovaných dle zadání úkolu č. 4. Sborník bude zpracován jazykově i graficky.

do 10. měsíců

Na tento výstup je navázána čtvrtá faktura. Robustní metodologický materiál pro realizátory inovativních projektů na základě úkolu č. 7.

(návrh 23.8.2012) od termínu doručení Vstupní zprávy 1x měsíčně

Na tento výstup je navázána čtvrtá faktura. Zpráva bude obsahovat stručný neformální přehled realizovaných aktivit, jejich vyhodnocení, hlavní výstupy, potíže při realizaci zadání a další kroky.

dle dohody

Po dohodě se zadavatelem dle potřeby uskuteční zpracovatel prezentace postupu projektu členům PS pro evaluaci či jiným zainteresovaným subjektům či skupinám osob atd. (formou semináře, interní přednášky apod.). Součástí výstupu bude i prezentace připravená na míru cílové skupině.

23

ČJ

ČJ

ČJ

AJ + ČJ


5. Harmonogram aktivit Následující tabulka shrnuje jednotlivé aktivity prováděné v rámci jednotlivých evaluačních úkolů a jejich indikativní termín realizace. V grafické podobě jsou pak formou Ganttova grafu zachyceny i jednotlivé vazby těchto aktivit a/nebo evaluačních úkolů. Aktivita Uzavření smlouvy Výstupy zakázky Vstupní zpráva (návrh) Průběžná zpráva I. (návrh) Průběžná zpráva II. (návrh) Závěrečná evaluační zpráva (návrh) Sborník dobré praxe inovativních projektů OP LZZ (návrh) Příručka pro realizátory inovativních projektů (návrh) Průběžné zprávy o průběhu projektu Úkol 1. Vyhodnoťte relevanci témat inovativnosti OP LZZ Metaevaluace, vyhodnocení zpráv hodnotících pokrok OP LZZ, ad. Analýza obsahu zadání výzev (zejm. 35, 23, 12) Analýza výsledků hodnotícího procesu Hloubkové pohovory se zástupci ŘO/ZS OP LZZ Analýza vzorku projektů Analýza interních zpráv a evaluačních zpráv Návrhu oblastí pro budoucím OP formou veřejného připomínkování Aktualizace Úkol 2. Vyhodnoťte současné pojetí inovativnosti v OP LZZ a v ESF v zahraničí Analýza dokumentů: definice inovativnosti, její praktická aplikace Expertní panel Pohovory s experty na problematiku inovativnosti Identifikace vhodných zahraničních příkladů, popis a SWOT analýza Hloubkové pohovory s představiteli zahraničních příkladů Hloubkové pohovory se zástupci ŘO/ZS OP LZZ Fokusní skupina s hodnotiteli projektových žádostí Analýza monitorovacích indikátorů, monitorovacích zpráv a dalších dokumentů Simulace procesu vyhlašování, školení, informování, hodnocení, monitorování a reportingu se skupinou zástupců ŘO/ZS Aktualizace Úkol 3. Identifikujte inovativní projekty a jejich produkty Analýza IS MONIT, analýza monitoringu OP LZZ Srovnávací analýza jednotlivých evaluačních zpráv Syntéza zjištění a metaevaluace Aktualizace Evaluace projektů (produktů) podpořených v rámci OP LZZ a CIP EQUAL Analýza projektové dokumentace, indikátorů, výstupních zpráv apod. Hloubkové pohovory s koordinátory projektu, příjemci inovace a dalšími stakeholdery Vypracování zpráv Úkol 4. Zpracujte metodologii hodnocení kvality inovativních projektů a produktů Výběr projektů pro hodnocení pomocí upraveného V modelu Analýza, srovnání a formulace zjištění a závěrů Vypracování případových studií, úvodu a metodické poznámky k nim Aktualizace Úkol 5. Vyhodnoťte Databázi produktů ESF Informační audit provedený certifikovanou metodou Analýza hodnocení informačních a komunikačních aktivit Dotazníkové šetření na uživatelích Databáze produktů ESF Pohovory s tvůrci a správci Databáze Benchmarking, srovnání s podobnými databázemi v ČR i EU Vypracování seznamu jiných způsobů šíření inovací podpořených ESF, SWOT analýza Aktualizace Úkol 6. Proveďte evaluaci dopadů CIP EQUAL. Případové studie min. 5 inovací vzniklých z podpory CIP EQUAL Analýza životního cyklu inovace v rámci CIP EQUAL Analýza případových studií a metaevaluace Úkol 7. Navrhněte systém implementace inovativnosti v dalším OP Analýza a syntéza výstupů z předchozích úkolů Pohovor se zadavatelem Ověření relevantnosti výstupů na skupině potenciálních příjemců Oponentura výstupů Finalizace výstupů

24

Zahájení 24.10.2011 24.11.2011 24.11.2011 24.2.2012 24.5.2012 23.8.2012 23.8.2012 23.8.2012 23.12.2011 25.10.2011 25.10.2011 6.12.2011 20.12.2011 16.1.2012 30.1.2012 6.2.2012 13.2.2012 27.2.2012 25.10.2011 25.10.2011 16.1.2012 6.2.2012 16.1.2012 8.2.2012 16.1.2012 16.1.2012 16.1.2012

Ukončení 24.10.2011 24.8.2012 24.11.2011 24.2.2012 24.5.2012 23.8.2012 23.8.2012 23.8.2012 24.8.2012 24.8.2012 5.12.2011 19.12.2011 9.1.2012 27.1.2012 3.2.2012 10.2.2012 17.2.2012 24.8.2012 24.8.2012 13.1.2012 3.2.2012 10.2.2012 7.2.2012 21.2.2012 27.1.2012 3.2.2012 27.1.2012

25.5.2012 27.2.2012 23.2.2012 23.2.2012 19.4.2012 3.5.2012 25.5.2012 1.3.2012 1.3.2012 8.3.2012 5.4.2012 23.2.2012 23.2.2012 19.4.2012 17.5.2012 24.5.2012 24.2.2012 24.2.2012 24.2.2012 9.3.2012 9.3.2012 20.4.2012 4.5.2012 25.5.2012 19.4.2012 19.4.2012 10.5.2012 31.5.2012 22.6.2012 22.6.2012 29.6.2012 6.7.2012 13.7.2012 27.7.2012

21.6.2012 24.8.2012 23.8.2012 29.2.2012 2.5.2012 16.5.2012 23.8.2012 18.4.2012 7.3.2012 4.4.2012 18.4.2012 22.8.2012 29.2.2012 16.5.2012 23.5.2012 22.8.2012 23.8.2012 8.3.2012 8.3.2012 19.4.2012 22.3.2012 3.5.2012 17.5.2012 23.8.2012 20.6.2012 9.5.2012 30.5.2012 20.6.2012 23.8.2012 28.6.2012 5.7.2012 12.7.2012 26.7.2012 23.8.2012

Příloha 1: Vybrané zdroje Strategické a programové dokumenty Strategické dokumenty ČR  Národní program reforem (usnesení vlády č. 314/2011)  Národní rozvojové priority kohezní politiky po roce 2013  Rámec strategie konkurenceschopnosti (NERV, 2011)  Strategie mezinárodní konkurenceschopnosti (MPO, 2011)  Strategický rámec udržitelného rozvoje ČR (usnesení vlády č. 37/2010)  Strategie regionálního rozvoje ČR pro období 2014-2020 (MMR, 2011)  Analýza konkurenceschopnosti České republiky (MPO 2010);  Akční plán pro naplňování národních cílů ČR (2010)  Rámec strategie konkurenceschopnosti (NERV 2011),  Národní politika výzkumu, vývoje a inovací ČR na léta 2009 – 2015 (2009)  Bílá kniha výzkumu, vývoje a inovací (2008)  Koncepce rozvoje malého a středního podnikání na období 2007-2013 (MPO, 2006)  Zajištění synergických vazeb mezi operačními programy v programovacím období 2007 -2013 (MMR, 2009)  Metodická doporučení k zajištění synergických vazeb mezi operačními programy v programovém období 2007-2013 (MMR, 2010)  Dlouhodobý záměr vzdělávací a vědecké, výzkumné, vývojové a inovační, umělecké a další tvůrčí činnosti pro oblast Vysokých škol na období 2011-2015 (MŠMT, 2010)  Souhrnný návrh zaměření budoucí kohezní politiky EU po roce 2013 v podmínkách České republiky, obsahující i návrh rozvojových priorit pro čerpání fondů EU po roce 2013 (MMR, 2011) Strategické dokumenty EU  Strategie Evropa 2020 a její dílčí agendy  Integrované hlavní směry Evropy 2020  Tematické priority HLG (High Level Group)  Pátá zpráva o hospodářské, sociální a územní soudržnosti (Pátá kohezní zpráva) (EK, 2010)  Territorial Dynamics in Europe : Trends in Economic Performance of European Regions 2000 2006 (EPSON, 2010), http://www.espon.eu/main/Menu_Publications/Menu_TerritorialObservations/trendseconomicpe rformance.html

Rámcové teoretické dokumenty Růst a lidské zdroje  OECD Employment Outlook, 2010 (a budoucí a předchozí vydání), http://www.oecd.org/document/46/0,3746,en_2649_34747_40401454_1_1_1_1,00.html  OECD, Education at a Glance, 2010 (a budoucí a předchozí vydání), http://www.oecd.org/document/52/0,3343,en_2649_39263238_45897844_1_1_1_1,00.html  OECD, Society at a Glance, 2011 (a budoucí a předchozí vydání) http://www.oecd.org/document/24/0,3746,en_2649_34637_2671576_1_1_1_1,00.html  OECD, Economic Outlook (2krát ročně) http://www.oecd.org/topic/0,3699,en_2649_34109_1_1_1_1_37443,00.html  EK, Annual Growth Survey (každoročně, leden) http://ec.europa.eu/europe2020/tools/monitoring/annual_growth_survey_2011/index_en.htm  EK, Competitiveness Report (každoročně, prosinec) http://ec.europa.eu/enterprise/newsroom/cf/itemlongdetail.cfm?item_id=3908  EK, European Platform against Poverty and Social Exclusion, http://ec.europa.eu/social/main.jsp?catId=961&langId=en


Globální kontext  World Economic Forum, Global Competitiveness Report (každoročně) http://www.weforum.org/issues/global-competitiveness  IMD, World Competitiveness Yearbook (každoročně) http://www.imd.org/research/publications/wcy/index.cfm  UNDP, Human Development Report (každoročně) http://www.beta.undp.org/undp/en/home/librarypage/hdr/human_developmentreport2010.html  IMF, World Economic Outlook (2krát ročně, duben, září) http://www.imf.org/external/pubs/ft/weo/2011/01/index.htm Inovace  OECD, Innovation Strategy, 2010 http://www.oecd.org/pages/0,3417,en_41462537_41454856_1_1_1_1_1,00.html  OECD, Innovation: Global Forum on the Knowledge Economy (konference), Paříž, 12.-13.9.2011 http://www.oecd.org/document/40/0,3746,en_21571361_44315115_48615272_1_1_1_1,00.html  OECD, Fostering Innovation for Green Growth, 2011 http://www.oecd.org/document/3/0,3746,en_2649_37465_48593219_1_1_1_37465,00.html  EK, Innovation Union Scoreboard (každoročně) http://www.proinno-europe.eu/inno-metrics/page/innovation-union-scoreboard-2010  EK, Innovation Union Competitiveness Report, 2011 http://ec.europa.eu/research/innovationunion/index_en.cfm?section=competitiveness-report&year=2011  EK, European Digital Competitiveness (každoročně), http://ec.europa.eu/information_society/digital-agenda/index_en.htm Sociální inovace   

    

OECD, LEED Forum on Social Innovation (průběžná aktualizace) http://www.oecd.org/document/21/0,3746,en_2649_34417_44255253_1_1_1_1,00.html Social Innovation Europe (průběžná aktualizace, platforma národních zkušeností, politických a analytických dokumentů) http://socialinnovationeurope.eu/ Social Innovation, Innovation Policy Workshop No. 6, 2010 http://grips-public.mediactive.fr/workshops/view/6/social-innovation-mobilising-resources-andpeople/ Challenge Social Innovation, Vienna (konference) 19.-21.9.2011, http://www.socialinnovation2011.eu/ Young Foundation, Social Innovator Series (ediční řada) http://www.youngfoundation.org/our-work/international-ii/methods/how-social-innovation SIX, Young Foundation, Study on Social Innovation, 2010 http://www.socialinnovationexchange.org/node/4960 EK, This is European Social Innovation, 2010, http://ec.europa.eu/enterprise/flipbook/social_innovation/ Euclid Network (third sector leaders), http://www.euclidnetwork.eu/

Evaluace dotýkající se oblasti implementace inovací v ESF 

Analýza a vyhodnocení systému hodnocení a hodnotících kritérií Operačního programu Rozvoj lidských zdrojů – OP RLZ (2004–2006). VŠE. Praha: 2007.



Analýzy socioekonomického rozvoje na úrovni krajů se specifikací potřeb po roce 2013, MMR, 2010 Evaluace principu mezinárodní spolupráce Programu Iniciativy Společenství EQUAL : Závěrečná evaluační zpráva. [online]. Praha : Navreme Boheme. 2008. URL: http://reports.navreme.cz/CSS/Downloads/equal_cs.pdf



27


  

                

  

Evaluace ve vazbě na monitoring – vyhodnocení indikátorové soustavy : závěrečná zpráva. [online]. Praha : ESF ČR [cit. 2010-09-27]. URL: http://www.esfcr.cz/file/7782_1_1/. EVALUACE KOMUNIKAČNÍCH AKTIVIT ESF V ČR. NAVIGA 4 S.R.O. 2008.

Ex-ante evaluace operačního programu Lidské zdroje a zaměstnanost pro období 2007-2013 : závěrečná zpráva [online]. Ostrava : prosinec 2006 [cit. 2010-09-28]. 41 s. URL: . Ex-ante hodnocení OP RLZ. Národní observatoř zaměstnanosti a vzdělávání. 2004. Ex-post evaluace Rámce podpory Společenství a jednotných programových dokumentů z programového období 2004-2006 Ex-post evaluation of the EQUAL Community Initiative (2000-2006) Podklady pro Strategickou zprávu ČR 2009 První etapa průběžného hodnocení Programu Iniciativy Společenství EQUAL. Závěrečná zpráva. EURO SERVICE GROUP, s.r.o.; AUDITCOM, s.r.o.; INTERMUNDIA, o.p.s. 2008. Průběžná dlouhodobá (longitudinální) studie účinků podpory OP LZZ na cílové skupiny programu (vstupní a průběžné zprávy), Navreme Boheme, 2011 Předvídání kvalifikačních potřeb trhu práce, NVF, 2009 Roční operační vyhodnocení OP LZZ 2009 a 2010 Strategická zpráva ČR 2009 Střednědobé hodnocení věcné a finanční realizace Národního strategického referenčního rámce Studie zpracované v rámci projektů prioritní osy 5 OP LZZ (např. 12.00069, 12.00048, 51.00034, 51.00046, 12.00001, 12.00037, 51.00042, 51.00047, 51.00066). Třetí etapa průběžného hodnocení Programu Iniciativy Společenství EQUAL (2007 - 2008). Závěrečná zpráva. IREAS Centrum. Evasco. 2008. Výroční zprávy o provádění OP LZZ 2007, 2008, 2009 a 2010 Závěrečná evaluace OP RLZ – zhodnocení přínosu programu na poli rozvoje lidských zdrojů. 2009. Závěrečná zpráva prvního kola Iniciativy Společenství EQUAL České republiky. Iniciativa Společenství EQUAL. MPSV ČR. Praha 2007. Závěrečná evaluace JPD 3 – zhodnocení přínosu programu v oblasti rozvoje lidských zdrojů Závěrečná zpráva prvního kola Iniciativy Společenství EQUAL České republiky [online]. Ministerstvo práce a sociálních věcí, červen 2007 [cit. 2010-09-28]. 50 s. URL: . Závěrečná zpráva z Evaluace projektu „Vzdělávejte se!“. Navreme Boheme. 2011. Závěrečná zpráva z organizace evaluačních fokusních skupin OP LZZ 2009 [online]. [s.l.] : [s.n.], 2009 [cit. 2010-09-27]. URL: < http://www.esfcr.cz/file/7703_1_1/ >.

Zhodnocení přístupů českých i zahraničních rozvojových partnerství Programu Iniciativy Společenství EQUAL při aplikaci horizontálního tématu gender mainstreaming. Závěrečná zpráva. RegioPartner. 2008.

Metodologie 

   

Indicatiors for monitoring and evaluation [online]. [Brussels] : EC, DG Regional Policy, Thematic development , 23 January 2006 [cit. 2010-09-28]. 33 p. The New Programming Period, 20072013: Methodological Working Papers Draft Working Paper [X]. URL: . Morra, Linda G., and Ray C. Rist. The road to results designing and conducting effective development evaluations. Washington, D.C.: World Bank, 2009. Potůček, M. (ed.). Manuál prognostických metod. Praha: Sociologické nakladatelství (SLON), 2006. Veselý, A.; Nekola, M. Analýza a tvorba veřejných politik: Přístupy, metody a praxe. Sociologické nakladatelství. Praha: 2008. 80-86429-75-X. Wauters B. Two types of call for proposal: outcome versus output, ESF Agency Flanders, 2009. URL: http://www.coprbm.eu/index.php?q=node/285

28


Další zdroje     

metodické materiály CIP EQUAL k inovativnosti a mainstreamingu http://www.equalcr.cz/clanek.php?lg=1&id=7 metodické materiály k validaci http://www.equalcr.cz/clanek.php?lg=1&id=877 výstupy mezinárodní Community of Practice on Innovation and Mainstreaming http://innovation.esflive.eu/ EQUAL Works http://www.equal-works.com/ ESF Works http://www.esf-works.com/

Příloha 2: Témata inovativních aktivit OP LZZ Programový dokument (září 2007, dostupný na: http://www.esfcr.cz/file/4976_1_1/, dále jen ProgD) a Prováděcí dokument OP LZZ (číslo vydání 1.10 ze 14. 9. 2011, dostupný na: http://www.esfcr.cz/file/7297_12_1/, dále jen ProvD) vymezují témata inovativních aktivit OP LZZ (dle prioritních os/oblastí podpory) následujícím způsobem: Prioritní osa 1 Adaptabilita - podle ProgD, str. 109: 1) podpora vzniku podnikových systémů dalšího vzdělávání; 2) adaptační podnikové programy zaměřené zejména na aktivizaci a motivaci zaměstnavatelů a zaměstnanců k dalšímu vzdělávání a zlepšení přístupu k němu; 3) rozvoj sítí institucí vzdělávání dospělých a tvorba vzdělávacích a výcvikových programů; 4) vzdělávací programy pro osoby, kterým služby zaměstnanosti věnují zvýšenou péči. - podle ProvD, str. 21-22 a 29: 1) podpora vzniku podnikových systémů dalšího profesního vzdělávání; 2) adaptační podnikové programy zaměřené zejména na aktivizaci a motivaci zaměstnavatelů a zaměstnanců k dalšímu profesnímu vzdělávání a zlepšení přístupu k němu; 3) využití místních iniciativ a jejich zapojení při vytváření sociálních inovací k podpoře konkrétních programů; 4) jejich adresné zacílení na podporu tvorby pozitivního sociálního prostředí. Prioritní osy 2a a 2b Aktivní politiky trhu práce - podle ProgD, str. 117: 1) 2) 3) 4)

rozvoj preventivních nástrojů a opatření APZ pro specifické cílové skupiny; pakty zaměstnanosti; sociální ekonomika; motivační nástroje pro využívání pružných forem organizace práce.

- podle ProvD, str. 39-40 a 46: 1) 2) 3) 4) 5) 6)

úzké propojení aktivit oblasti podpory se státními programy APZ; rozvoj preventivních opatření; efektivnější vyuţití nástrojů APZ a realizace nových i inovovaných nástrojů APZ; vytvoření a rozvoj nových metod práce; vytvoření a rozvoj nových informačních systémů; rozvoj vzdělávacích programů pro zaměstnance sluţeb zaměstnanosti a spolupracujících organizací; 7) nacházení nových oblastí a moţností spolupráce zainteresovaných institucí na trhu práce.

29


Prioritní osa 3 Sociální integrace a rovné příležitostí - podle ProgD, str. 128: 1) rozvoj nástrojů pro začlenění cílových skupin sociálně vyloučených osob na trh práce; 2) rozvoj nástrojů a opatření ke slučitelnosti pracovního a rodinného života; 3) sociální ekonomika. - podle ProvD, str. 58, 66, 72 a 81: 1) podpora nových přístupů či nové kombinace dosud paralelně existujících přístupů v oblasti sociální ekonomiky umožňujících sociálně vyloučeným osobám a osobám ohroţeným sociálním vyloučením vstup na trh práce a do podnikatelského prostředí, popřípadě přístup těmto skupinám k veřejným službám; 2) realizace aktivit souvisejících s podporou a rozšiřováním nástrojů sociální ekonomiky v oblasti sociální integrace cílové skupiny tj. především příslušníků sociálně vyloučených romských lokalit; 3) podpora partnerství prostřednictvím vytváření sítí důležitých aktérů, jako například sociálních partnerů a nevládních organizací, a to jak na národní, regionální a místní úrovni, s cílem podnítit reformy v oblasti zaměstnanosti a začleňování do trhu práce; v rámci této oblasti podpory bude sítě důležitých aktérů možné zaměřit například na oblast zavádění a realizace programů zaměstnanosti pro osoby ohrožené sociální exkluzí a jejich začlenění na trhu práce; 4) rozvoj nových programů na podporu rovných příležitostí žen a mužů na trhu práce; 5) rozvoj dalších inovativních metod (nových forem zaměstnání) pro zlepšení rovných příležitostí; 6) podpora zavádění inovativních programů a opatření ke sladění pracovního a rodinného života (v zaměstnanecké sféře a na místní a regionální úrovni a také při zavádění inovativních forem partnerství subjektů, které se podílejí na zlepšování podmínek sladění pracovního a rodinného ţivota). Prioritní osy 4a a 4b Veřejná správa a veřejné služby - podle ProgD, str. 136: 1) inovativní metody řízení s důrazem na aplikace eGovernmentu; 2) nástroje pro tvorbu, monitorování a evaluaci politik; 3) nástroje hodnocení dopadu regulace a zvyšování její kvality. - podle ProvD, str. 89: 1) zefektivnění činností realizovaných na úrovni správních úřadů a organizačních složek zřizovaných těmito úřady a na úrovni územních samosprávných celků; Prioritní osy 5a a 5b Mezinárodní spolupráce - podle ProgD, str. 142: •

Inovace jsou průřezové téma v rámci všech podpořených projektů.

- podle ProvD, str. 95: •

Inovativní činnosti v rámci této oblasti podpory rozvíjeny formou: (1) horizontálně jako součást realizovaných projektů; (2) projektů přímo zaměřenými na tvorbu a šíření inovací v oblastech politiky podporovaných OP LZZ a v oblasti řízení programů spolufinancovaných z ESF.

30


Skupina

Země Velká Británie, Skotsko a Irsko Nizozemí a Dánsko, Finsko a Švédsko

EU-15

Příloha 3: Seznam zemí a zkoumaných přístupů k inovacím

Rakousko

Nové čl. státy a mimo EU

Belgie/ Vlámsko Německo a Francie

Převažující zkoumané přístupy k inovacím Systémová opatření Modely fungování sítí Nastavení procesu implementace Proces vyhodnocování, analýzy a statistik Flexicurity, vysoká míry flexibility na trhu práce (najímání, propouštění, flexibilní formy zaměstnávání, pracovní doba) Aaktivní politika zaměstnanosti Systémem sociálního zabezpečení nezaměstnaných Flexibilní formy zaměstnávání (zejm. ve smyslu spolupráce se zaměstnavateli) Rovnost šancí ve vztahu k trhu práce Diskriminace žen na pracovním trhu Spolupráce stake-holderů (například mezi zástupci podnikatelské sféry, profesního vzdělávání a úřadů práce) Inovace v aktivní politice zaměstnanosti Řízení programů na úrovni ministerstva Sociální partneři a vyjednávání Podpora RLZ ve firmách Spolupráce výzkumného a komerčního sektoru Projekty silných sítí NNO Integrace velké nezávislé skupiny do společnosti Reforma systému vzdělávání

Španělsko a Itálie, Švýcarsko Polsko Slovinsko

Multikulturní výchova Integrace různých skupin do společnosti (vč. cizinců) Práce s absolventy a jejich začleňování na trh práce Zvyšování flexibility trhu práce Dočasné formy zaměstnávání

Island

Řešení hospodářské krize Proces veřejného připomínkování Partnerství na projektech EU

Norsko

Poznámka: Jde o indikativní seznam přístupů k inovacím, které byly identifikovány na základě předběžné analýzy jednotlivých zemí. V průběhu evaluace budou tyto přístupy zkoumány zejména u příslušné země, ale nevylučujeme, že budou příklady konkrétních relevantních inovativních praktik nakonec prezentovány u jiných a/nebo u více zemí, např. pro možnost porovnání. Stejnětak není seznam těchto přístupů konečný a v rámci evaluace mohou být identifikovány přístupy nové. První verze tabulky bude k dispozici v rámci 1. Průběžné zprávy (v návaznosti na plnění úkolu 2), aktualizovananá verze v 2. Průběžné zprávě a finální verze v Závěrečné zprávě.

Příloha 4: Evaluační design matrix Jde o samostnou přílohu ve formátu .XLS (MS Excel).

31

VSTUPNÍ ZPRÁVA. Evaluace implementace principu inovativnosti v OP LZZ

Recommend Documents