Příručka pro průběţnou evaluaci prioritních os 1 a 2
Obsah 1. Úvod ............................................................................................................................ 3 2. Východiska evaluace ................................................................................................... 5 3. Role hodnotitelů a jejich kvalifikační předpoklady ...................................................... 12 4. Role řídícího orgánu OP VaVpI ................................................................................. 14 Příloha 1: Základní předpoklady způsobilosti hodnotitelů a proces výběru hodnotitelů . 15 Příloha 2: Pokyny pro vypracování Závěrečné zprávy .................................................. 21 Příloha 3: Vzor Závěrečné zprávy ................................................................................. 23 Příloha 4: Šablona a související poţadavky na zpracování sebehodnotící zprávy ........ 38 Příloha 5: Prohlášení o nepodjatosti a mlčenlivosti odborných hodnotitelů projektů podporovaných v rámci prioritních os 1 a 2 OP VaVpI .................................................. 45 Příloha 6: Etický kodex operačního programu Výzkum a vývoj pro inovace .................. 46 Příloha 7: Skartace podkladů ......................................................................................... 50
VERZE 4.1
2 / 50
1. Úvod Evaluační proces se řídí pravidly obsaţenými v Operačním manuálu Operačního programu Výzkum a vývoj pro inovace (OP VaVpI) a jeho přílohách. Tato Příručka popisuje proces evaluace jednotlivých projektů realizovaných v rámci prioritních os (PO) 1 a 2 OP VaVpI. Za řízení evaluačního procesu je odpovědný Řídící orgán OP VaVpI (ŘO). Metodika evaluace byla vypracována zaměstnanci OP VaVpI ve spolupráci s externími odborníky a byla schválena Vrchním ředitelem sekce IV/1 Ministerstva školství, mládeţe a tělovýchovy (MŠMT). Hierarchie cílů Účel Podpořit lepší řízení a úspěšnější naplnění plánovaných cílů projektů financovaných z PO 1 a 2 OP VaVpI. Výsledky a očekávané dopady Zlepšení realizačních schopností ve vztahu k projektům, jak u vyššího managementu ŘO, tak u týmů řídících projekty PO 1 a 2. Zvýšené povědomí o přínosech evaluace mezi pracovníky v oblasti VaV. Pomocí většího zapojení vyššího managementu ŘO do procesu evaluace zdůraznit důleţitost evaluace jako nástroje pro řízení a rozhodování. Přehled činností Vývoj/pilotní testování metodiky evaluace Sebehodnocení Výběr odborných týmů/odborných hodnotitelů Externí evaluace Kontrola kvality evaluace Rozbor/de-briefing evaluace Tematické fokusní skupiny Analýza výstupů/návrh souhrnné zprávy
VERZE 4.1
3 / 50
Přehled evaluačního procesu Předmět evaluace Projekty PO 1 OP VaVpI Projekty PO 2 OP VaVpI Metodologie Pro potřeby evaluace projektů OP VaVpI byl zvolen model průběţné evaluace s výrazně zastoupeným prvkem metody peer review. Zvolená metoda evaluace propojuje informace o naplňování výkonnostních parametrů Operačního programu (poskytované odborným hodnotitelům Řídícím orgánem) s mnohaletými zkušenostmi, kterými disponují odborní hodnotitelé v oblasti evaluace VaV projektů. Takové propojení umoţňuje soustředit odborné znalosti a zkušenosti hodnotitelů na ty aspekty projektů podpořených v rámci Prioritních os 1 a 2, které jsou klíčové pro posouzení míry naplňování vytyčených cílů. Hodnotitelé mohou brát v potaz i jiné zdroje informací (včetně závěrů z hodnocení uskutečněných před zahájením této evaluace), avšak konečné zhodnocení projektu z hlediska naplnění jeho cílů musí vycházet ze zjištění samotných hodnotitelů a nesmí přebírat závěry z jakékoliv předchozí evaluace či hodnocení. Evaluační proces bude vycházet ze dvou sad evaluačních otázek zaloţených na následujícím přístupu: Metodika/rámec evaluace obsahující standardizované otázky pro všechny projekty (viz Příloha 2 Pokyny pro vypracování Závěrečné zprávy) Sada specifických evaluačních otázek vyvinutých zvlášť pro kaţdý projekt. První sadu otázek společnou pro všechny hodnocené projekty (základní metodiku evaluace) vypracují zástupci evaluační sekce ŘO OP VaVpI. Druhou sadu (specifické otázky) zpracuje tým odborných hodnotitelů ve spolupráci se zástupci ŘO před hodnocením konkrétního projektu. Obě sady otázek budou základem pro vytvoření evaluační zprávy. Kaţdý příjemce navíc před začátkem evaluace svého projektu vytvoří sebehodnotící zprávu, která bude představovat jeden z hlavních podkladů pro evaluaci projektu. Více informací o metodologii naleznete v kapitole 2 Příručky.
VERZE 4.1
4 / 50
Výstupy Výstupy evaluačního procesu: Sebehodnotící zpráva příjemce Evaluační zpráva odborných hodnotitelů (včetně de-briefingu) pro kaţdý projekt Zprávy z fokusních/diskusních skupin k vybraným tématům (maximálně 5 skupin) Souhrnná zpráva Hlavní uţivatelé výsledků evaluace: Řídící a výzkumné týmy výzkumných center podpořených v rámci PO 1 a 2 ŘO OP VaVpI MŠMT Národní orgán pro koordinaci Rada pro VaVaI Evropská komise Zainteresovaní odborníci v rámci vědecké obce
2. Východiska evaluace i.
Obecný popis evaluace
Evaluace projektů OP VaVpI je sloţena ze tří částí. V první části je hodnocen současný stav realizace projektu. Druhá část je soustředěna na implementaci projektu s ohledem na dosaţení plánovaných cílů a udrţitelnost. Poslední část představuje doporučení odborných hodnotitelů ohledně budoucích kroků jak pro příjemce podpory, tak pro ŘO. Hodnocené oblasti jsou doplněny řadou návodných otázek. Jejich účelem je zajistit maximální moţnou shodu mezi přístupem hodnotitele a příjemce1 i mezi samotnými hodnotiteli. Návodné otázky nemají podobu „subkritérií“ posuzovaných celků - jejich cílem je spíše zajistit, aby hodnotitelé pokryli všechny hlavní aspekty hodnoceného projektu. Ne kaţdá návodná otázka (nebo odpověď na ni) má pro kaţdý projekt stejnou důleţitost – jejich účelem je podnítit hodnotitele, aby posuzovali projekty ze všech relevantních úhlů, a aby v konečném důsledku provedli podrobnou a komplexní evaluaci.
1
Příjemci poskytnou svou vlastní „sebehodnotící zprávu“ ke svému projektu, která bude slouţit jako jeden z klíčových dokumentů, jeţ externí hodnotitelé vyuţijí k jimi prováděné evaluaci přidělených projektů. Formát této zprávy bude do značné míry odpovídat popisu v tomto dokumentu.
VERZE 4.1
5 / 50
ii.
Podrobný popis evaluačního procesu
Cílem evaluace je posoudit skutečný stav projektu za účelem zlepšení jeho implementace a moţnosti poučit se z dosavadního vývoje. Samotná evaluace bude provedena externími odbornými hodnotiteli (viz výše). V první fázi evaluace kaţdý odborník samostatně provede přípravu zaloţenou na dokumentaci, kterou obdrţel od evaluační sekce ŘO OP VaVpI a od příjemce projektu (především sebehodnotící zpráva). Následovat bude návštěva pracoviště vykonaná evaluačním týmem za účelem ověření jiţ poskytnutých informací, stejně jako prohloubení znalostí o stavu a realizaci projektu. Do dvou týdnů od ukončení evaluační návštěvy tým odborníků předloţí evaluační zprávu odpovídající svou strukturou vzoru uvedenému v Příloze 3 Příručky. Tato fáze evaluace bude ukončena prezentací evaluační zprávy, kterou provede alespoň jeden člen hodnotícího týmu za účasti zástupců příjemce a ŘO. Proces evaluace je popsán v následující sekci. Popis je rozšířen o přehledovou tabulku shrnující jednotlivé kroky procesu, orgány za ně zodpovědné a hlavní výstupy jednotlivých fází. Krok A: Individuální příprava na evaluaci Obvykle tři měsíce před zahájením evaluace v místě realizace projektu (evaluační návštěvou) bude příslušný příjemce písemně uvědomen zástupcem evaluační sekce ŘO OP VaVpI o tom, ţe jeho projekt bude předmětem evaluace. Poté bude následovat informativní návštěva zástupců ŘO, v rámci které bude objasněn účel a předmět evaluace s cílem získat maximální podporu příjemce pro tuto evaluační aktivitu. Po informativní návštěvě příjemce obdrţí šablonu sebehodnotící zprávy a bude poţádán, aby ji v anglickém jazyce vypracoval zodpovězením souboru evaluačních otázek dle vzoru, který je Přílohou 4 Příručky. Vypracovanou sebehodnotící zprávu odevzdá příjemce ŘO do šesti týdnů od obdrţení vzoru.2 Cílem sebehodnotící zprávy je poskytnout podrobné informace o plnění cílů projektu z pohledu implementujícího subjektu (příjemce). Sebehodnotící zpráva bude poskytnuta členům hodnotícího týmu před zahájením samotné evaluace a bude spolu s Technickou přílohou projektu slouţit jako hlavní podklad pro odborné hodnotitele. Kromě toho můţe evaluační tým podle potřeby poţadovat další dokumentaci týkající se projektu. Příprava bude probíhat v úzké spolupráci se zástupci evaluační sekce ŘO OP VaVpI. Další dokumentace můţe
2
Po odevzdání sebehodnotící zprávy provede ŘO OP VaVpI kontrolu kvality, v rámci které zjistí, zda zpráva odpovídá parametrům popsaným v šabloně sebehodnotící zprávy (viz. Příloha č. 4). V případě, ţe zpráva bude vykazovat nedostatky, bude zaslána příjemci k doplnění.
VERZE 4.1
6 / 50
zahrnovat monitorovací zprávy, odborné posudky z procesu hodnocení projektů dané výzvy, popř. další relevantní dokumenty. Na základě této dokumentace hodnotitelé připraví indikativní seznam specifických evaluačních otázek a předloţí je ŘO alespoň dva týdny před evaluační návštěvou. Seznam bude zaloţen na sadě evaluačních otázek obsaţených ve vzoru Závěrečné zprávy (viz Příloha 3 Příručky), ale měl by se zaměřit na témata, která hodnotitelé povaţují za klíčová na základě poskytnutých informací, a také na základě svých odborných znalostí daného oboru nebo typu projektu. Po přijetí můţe ŘO do seznamu otázek doplnit ke zváţení další body. ŘO předloţí konečný seznam evaluačních otázek členům evaluačního týmu nejpozději jeden týden před zahájením evaluační návštěvy. Krok B: Evaluační návštěva Před samotnou evaluační návštěvou (obvykle den před jejím zahájením) se sejdou evaluátoři a zástupci evaluační jednotky OP VaVpI k diskusi nad společným postupem a odsouhlasení strategie prováděného procesu. Tato diskuse by měla zejména ujasnit roli jednotlivých zúčastněných v procesu evaluace, logistické záleţitosti apod. Vlastní evaluace v místě realizace projektu začne setkáním evaluačního týmu s vedením projektu (příjemcem). Poté bude následovat detailní prohlídka prostor VaV centra a jeho zařízení za asistence personálu projektu a krátké představení obou zúčastněných stran (jak evaluátorů, tak příjemce). Návštěva by tedy měla v zásadě zahrnovat prohlídku vybraných míst, kde je projekt realizován, rozhovory nebo diskuze se zaměstnanci různých kategorií (např. manaţeři centra, zástupci výzkumného a realizačního týmu na junior i senior pozicích studenti doktorského studia, uţivatelé apod.). Evaluační návštěva bude uzavřena krátkým setkáním s vedením instituce příjemce, kde budou sdělena předběţná zjištění. Na celou evaluační návštěvu jsou vyhrazeny maximálně tři kalendářní dny. Po formálním ukončení evaluační návštěvy bude pod vedením evaluátorů následovat setkání se zástupci Řídícího orgánu OP VaVpI k draftu evaluační zprávy. Jednání bude zahrnovat identifikaci klíčových témat/poznatků, které se objevily v průběhu evaluačního procesu a souhrn potenciálních doporučení k akci. Účelem setkání bude mimo jiné zajistit, aby struktura evaluační zprávy korespondovala s nastavenou šablonou (Příloha 3 této příručky). Setkání se uskuteční neprodleně po formálním ukončení evaluační návštěvy a bude trvat přibliţně půl dne.
VERZE 4.1
7 / 50
Krok C: Návrh evaluační zprávy Po dokončení evaluační návštěvy bude evaluační tým vyzván, aby připravil evaluační zprávu. Měl by tak učinit v úzké spolupráci a ve vzájemné shodě. Evaluační tým bude mít vedoucího hodnotitele (evaluátora), který bude odpovídat mimo jiné za drafting evaluační zprávy projektu a prezentaci finální zprávy na závěrečném jednání (debriefingu). Hlavním úkolem vedoucího evaluátora bude koordinace činnosti dvou vědeckých pracovníků vyhodnocujících přidělený projekt a sumarizace jejich poznatků do evaluační zprávy. Evaluátor bude zodpovědný za včasné odevzdání závěrečné zprávy a veškerou další komunikaci s ŘO, popř. příjemcem. Evaluační tým by měl předloţit návrh zprávy příslušným zaměstnancům ŘO do dvou týdnů od ukončení evaluační návštěvy. ŘO pak bude mít 2 týdny na provedení své vlastní interní kontroly kvality návrhu evaluační zprávy. ŘO poskytne návrh evaluační zprávy také příjemci, aby se mohl vyjádřit k jejím faktickým aspektům. Příjemce poskytne své připomínky evaluační sekci ŘO do 1 týdne od obdrţení návrhu zprávy. ŘO pak písemně připraví soubor konsolidovaných připomínek a vrátí je vedoucímu evaluačního týmu ke zváţení a případnému zahrnutí do konečné zprávy. Hodnotitelé pak mají jeden týden na zapracování připomínek ŘO do návrhu závěrečné zprávy a opětovné předloţení zprávy příslušným zaměstnancům evaluační sekce ŘO OP VaVpI. Proces připomínkování se povaţuje za dokončený, jakmile příslušný zaměstnanec evaluační sekce ŘO potvrdí hodnotitelům, ţe zpráva splňuje standardy kontroly kvality poţadované ŘO. Jakmile bude proces připomínkování dokončen, konečná verze zprávy bude zaslána příjemci i dalším relevantním zaměstnancům ŘO. Tato zpráva je hlavním výstupem evaluačního procesu. Krok D: Prezentace a diskuze Prezentace a diskuze k závěrům evaluační zprávy se uskuteční, jakmile ŘO schválí její konečnou verzi. Prezentaci zjištění přednese člen evaluačního týmu – buď vedoucí týmu (zahraniční expert) nebo místní člen (český hodnotitel) – za asistence zástupců evaluační sekce ŘO. Diskuze, která následuje po prezentaci, slouţí jako platforma pro podrobnou diskuzi o hlavních závěrech evaluace a představuje příleţitost k dosaţení dohody ohledně přijetí a implementace doporučení obsaţených ve zprávě. Těchto aktivit se účastní zástupci příjemce (řídící tým projektu/centra), příslušní zástupci ŘO a v případě potřeby i další klíčoví partneři.
VERZE 4.1
8 / 50
Krok E: Follow up Po dokončení evaluačního procesu předmětného projektu, bude relevantní projektový manaţer ŘO v rámci jeho standardní odpovědnosti za monitorování projektu dále sledovat pokrok projektu v konkrétních vymezených oblastech, v kterých byl identifikován v rámci evaluačního procesu prostor pro zefektivnění. Konkrétně by se měl projektový manaţer zaměřit zejména na skutečnosti, které mají oporu v doporučeních evaluační zprávy. Toto následné vyhodnocení ze strany projektového manaţera by se mělo uskutečnit zhruba 6-9 měsíců po dokončení tohoto evaluačního procesu. Krok F: Fokusní skupiny Kromě standardní evaluace projektu bude fungovat aţ pět fokusních skupin, které budou pokrývat témata se zvláštním významem pro implementaci operačního programu. Fokusní skupiny budou mít aţ 8 členů a budou sloţeny ze zástupců příjemců, klíčových partnerů a (případně) zahraničních odborníků. Přesnou podobu skupin a jejich témata stanoví zástupci ŘO ve spolupráci s externími poradci ŘO. Setkání fokusních skupin budou probíhat ve druhé polovině evaluačního procesu. Orientační seznam témat viz níţe (témata budou upřesněna v průběhu procesu evaluace). Vize a růst center Profesní růst/coaching, nábor zaměstnanců, kariérní postup Spolupráce s aplikační sférou Řízení know-how a duševního vlastnictví Obchodní a cenová politika Řízení klíčových zařízení Krok G: Syntéza evaluace Strategická syntéza zjištění bude vytvořena na konci evaluačního procesu. Provede ji příslušný zástupce ŘO ve spolupráci se svými externími poradci. Souhrnná zpráva zachytí hlavní zjištění jednotlivých zpráv, identifikuje opakující se problémy a společná témata a poskytne klíčovým aktérům (zejména monitorovacímu výboru OP, vedoucím manaţerům ŘO a Radě pro VaV apod.) přehled o situaci na úrovni prioritních os.
VERZE 4.1
9 / 50
Evaluační proces – Přehledná tabulka Následující tabulka shrnuje časové rámce a úkoly týkající se evaluačního procesu. 3 Krok
1
2 3 4 5
Aktivita Oznámení příjemci o zahájení evaluace Návštěva příjemce Poskytnutí vzoru sebehodnotící zprávy (SHZ) příjemci Výběr a uzavření smlouvy s evaluačním týmem Předloţení sebehodnotící zprávy ŘO Kontrola kvality SHZ
6
Předloţení vzoru evaluační zprávy, SHZ a dalších podpůrných dokumentů hodnotitelům
7
Předloţení indikativního seznamu specifických evaluačních otázek a seznamu dotazovaných osob ŘO Kontrola a finalizace indikativního seznamu specifických evaluačních otázek a seznamu dotazovaných osob Předloţení konečné verze evaluačních otázek a seznamu dotazovaných osob hodnotitelům
8
9
Výstup Přípravná fáze Odsouhlasení data zahájení evaluačního procesu s příjemcem
Odpovědná strana
Týden
0
ŘO
Příjemce vybaven k přípravě SHZ Najatý tým evaluačních odborníků SHZ
1
ŘO
1-10
ŘO OP VaVpI
7-8
Příjemce
SHZ pouţitelná pro účely evaluace
9-10
Hodnotitelé vybaveni všemi základními informacemi potřebnými k provedení evaluace
10
ŘO, příjemce (tam, kde jsou nutné revize) ŘO
12
Hodnotitelé
13
ŘO
13
ŘO
Klíčové otázky schválené ŘO
Konečná verze evaluačních otázek a seznamu dotazovaných osob
4
Evaluační návštěva
3
Časový rámec uvedený v tabulce slouţí pouze pro přehled. Očekává se však, ţe se evaluační proces bude milníků co nejvíce drţet. Některé lhůty v časovém rozvrhu (týkající se plnění hodnotitelů) jsou závazné. Týkají se odevzdání návrhu evaluačních otázek, návrhu zprávy a finální verze závěrečné zprávy. 4 ŘO se můţe poradit s příjemcem o konečném sloţení evaluačního týmu, aby bylo zajištěno, ţe všichni členové jsou pro tento úkol vhodnými kandidáty.
VERZE 4.1
10 / 50
10 11 12
Komunikace mezi evaluačním týmem a příjemcem na místě Podrobné šetření na místě Rozhovory s klíčovými stranami Evaluační návštěva dokončena
13
14 15 16
17
18 19 20
14 1. den
Hodnotitelé, příjemce
14 2. /3. den
Hodnotitelé, zástupci příjemce, popř. dalších relevantních subjektů Hodnotitelé, zástupci ŘO
Diskuze nad předběţnými 14 zjištěními se zástupci 2. /3. den 5 příjemce/ŘO Fáze podávání zpráv/zpětné vazby Navrţení a předloţení návrhu 15,16 evaluační zprávy ŘO Návrh evaluační Vnitřní kontrola kvality ze strany zprávy 17 ŘO Kontrola kvality návrhu zprávy a 18,19 připomínky ŘO/ Připomínky a navrţené Připomínky od příjemce revize předběţné Předloţení připomínek k návrhu zprávy předloţené 19 hodnotitelům do 2 zprávy od ŘO a příjemců týdnů od přijetí. hodnotitelům Začlenění připomínek do Konečná evaluační 20 konečné zprávy zpráva Schválení finální zprávy Schválená evaluační 21 zpráva Diskuze závěrů a doporučení Zpráva prezentována, 22-24 doporučení prodiskutována a schválena.
Hodnotitelé ŘO ŘO, příjemci
ŘO
Hodnotitelé ŘO Hodnotitelé, ŘO
Časový plán Projekty budou hodnoceny jeden po druhém od začátku roku 2012 do konce roku 2015. Práce na souhrnné zprávě bude zahájena ve 3. čtvrtletí 2015. Pořadí evaluace a přesná data budou stanovena na základě stavu realizace jednotlivých projektů. Orientační časový plán celého evaluačního projektu viz níţe. Orientační časový rámec Pilotní testování a zahájení Doladění metodologie Evaluace výzkumných center – PO 1 a 2 Tvorba souhrnné zprávy
5
2. čtvrtletí 2012 2-4. čtvrtletí 2012 2. čtvrtletí 2012 – 3. čtvrtletí 2015 3. čtvrtletí 2015
Zástupci ŘO se mohou účastnit evaluační návštěvy jako pozorovatelé a organizační podpora.
VERZE 4.1
11 / 50
3. Role hodnotitelů a jejich kvalifikační předpoklady Kandidáti se mohou o pozici hodnotitele ucházet dvěma způsoby. Buď odpoví na výzvu k registraci (vydanou ŘO) do databáze externích hodnotitelů ŘO dostupné na webové stránce MŠMT, nebo odpoví na individuální přímou ţádost od ŘO VaVpI. Aby mohli být kandidáti zařazeni do seznamu hodnotitelů, musejí splnit kvalifikační poţadavky definované v příslušné výzvě k registraci hodnotitelů (viz. Příloha 1 Základní předpoklady způsobilosti hodnotitelů a proces výběru hodnotitelů). Úkolem hodnotitelů je provádět průběţnou evaluaci projektů realizovaných v rámci PO 1 a 2 OP VaVpI s cílem posoudit skutečný stav implementace, míru naplňování cílů projektu a navrhnout opatření, která zajistí efektivní realizaci projektu. Hodnotitelé budou při evaluaci projektů úzce spolupracovat s příjemci OP VaVpI a zástupci ŘO. Evaluační tým se bude vţdy skládat z českých i zahraničních odborníků. Jejich výběr bude zaloţen na posouzení odborné příslušnosti k tematickému zaměření hodnoceného projektu a doposud získaným zkušenostem a kvalifikaci. Odborníci budou vybráni z databáze OP VaVpI dle definovaných kritérií a výzva k registraci proběhne v dostatečném časovém předstihu před zahájením evaluace (podrobně viz Příloha 1). Do databáze OP VaVpI můţe ŘO zahrnout také odborníky navrţené ze strany příjemce. Evaluační tým se bude skládat min. ze dvou odborníků (1 zahraniční a 1 český) a 1 vedoucího evaluátora, který bude zodpovědný za koordinaci evaluačního procesu příslušného projektu. Velikost a sloţení týmů budou určeny pro kaţdý projekt zvlášť tak, aby byla zajištěna optimální shoda mezi odborností hodnotitelů a tematickým zaměřením projektu. Hodnotitelé budou hodnotit projekty v rámci své osobní kapacity, nikoli jako zástupci svých zaměstnavatelů, své země nebo jiného subjektu. Předpokládá se, ţe hodnotitelé budou nezávislí, nestranní a objektivní, a budou zachovávat v průběhu celého procesu evaluace profesionální přístup. Zástupci ŘO odpovědní za proces evaluace se na něm rovněţ budou aktivně podílet (více o roli ŘO viz kapitola 4). Před zahájením svého úkolu musí hodnotitelé potvrdit podpisem svou nestrannost a přijmout platné podmínky mlčenlivosti. Hodnotitel pak bude vázán těmito podmínkami po celou dobu evaluace. Prohlášení pokrývající nestrannost a mlčenlivost tvoří Přílohu 4 této Příručky. Po individuální přípravě hodnotitel coby člen evaluačního týmu provede komplexní evaluaci zvoleného projektu či projektů. Tato evaluace proběhne zejména formou VERZE 4.1
12 / 50
evaluační návštěvy v místě realizace daného projektu. Hodnotitelé by na základě zjištěných informací měli vytvořit společnou evaluační zprávu, která je hlavním výstupem procesu evaluace. Hodnotitelé budou dále poţádáni, aby klíčovým stranám evaluace (především příjemcům a ŘO) prezentovali výsledky evaluace. Prezentace se uskuteční buď v prostorách ŘO, nebo na jiném předem určeném místě. Hodnotitelé mohou být poţádáni, aby dále doplnili návrh nebo konečnou verzi evaluační zprávy tak, aby splnila poţadované standardy kvality. Obecná doporučení hodnotitelům pro přípravu evaluační zprávy (viz také Příloha 2 „Vzor evaluační zprávy“) Zjištění a závěry by vţdy měly být opodstatněné a podloţené. Evaluační zpráva by měla mít náleţitou délku, tj. dostatečnou na to, aby pokryla všechny poţadované oblasti evaluace, aniţ by byla příliš dlouhá a špatně srozumitelná. Evaluace by měla být zaloţena na informacích získaných z dostupných dokumentů a zjištěných v průběhu evaluační návštěvy. Jakékoli jiné formy spekulace nebo názorů, které nelze ověřit, by hodnotitelé neměli brát v úvahu, ani je do zprávy zahrnovat. Zpráva by měla obsahovat řadu doporučení, která lze vyuţít během další spolupráce mezi ŘO a příjemcem. Tato doporučení by měla být velmi jasná a konkrétní. Neměla by být retrospektivní, tj. co se mělo udělat lépe v minulosti. Měla by být jasně zaměřena na budoucnost a nastínit konkrétní opatření, která se týkají důleţitých problémů zjištěných v průběhu procesu evaluace a uvedených ve zprávě. Doporučení by měla být obsaţena v samostatné sekci evaluační zprávy. Hodnotitelé by při formulování svých závěrů a doporučení neměli podléhat případnému pokusu o ovlivnění výsledků evaluace v případě negativních zjištění. Pokud je třeba se zabývat určitými problémy, hodnotitelé by je měli zmínit ve své zprávě a v rámci doporučení navrhnout řešení pro jejich odstranění.
VERZE 4.1
13 / 50
4. Role řídícího orgánu OP VaVpI ŘO odpovídá za nestranné posouzení kaţdého jednotlivého projektu v souladu s metodikou schválenou Vrchním ředitelem sekce IV/1 MŠMT. Zaměstnanci ŘO se budou přímo podílet na procesu evaluace. Jejich úkolem bude podporovat odborné hodnotitele a dohlíţet na ně během evaluačního procesu, zajišťovat metodické vedení a nabízet praktické rady a podporu po celou dobu jejich práce. Budou také poskytovat informace, které si evaluační tým vyţádá. Stručně řečeno budou usnadňovat hladkou a časově efektivní implementaci procesu evaluace. Rovněţ zajistí ochranu informací týkající se hodnocených projektů. Vybraní zaměstnanci ŘO nebo osoby jimi jmenované se mohou podílet na evaluačním procesu jako pozorovatelé. Zaměstnanci ŘO však nesmějí ţádným způsobem ovlivňovat názory nezávislých hodnotitelů ani zaujímat stanoviska k jednotlivým projektům.
VERZE 4.1
14 / 50
Příloha 1: Základní předpoklady způsobilosti hodnotitelů a proces výběru hodnotitelů A: Evaluační tým Evaluační týmy budou sloţeny ze zahraničních a českých odborníků. Evaluační tým budou tvořit minimálně dva vědečtí pracovníci se zkušenostmi z vědního oboru relevantního pro daný projekt.a evaluátor zodpovědný za vedení evaluačního týmu. Evaluátor bude zodpovědný za naplánování evaluace (ve spolupráci s Řídícím orgánem OP VaVpI a příjemcem), vedení evaluační mise, vypracování návrhu evaluační zprávy projektu a prezentace finální zprávy na evaluačním debriefingu. Hlavním úkolem evaluátora bude koordinace činnosti vědeckých pracovníků a sumarizace jejich poznatků do evaluační zprávy. Výběr jednotlivých členů týmu bude proveden na základě vyhodnocení profesních zkušeností jak v oblasti samotných evaluací, tak kvalifikace v oblasti VaVaI. Proces výběru členů evaluačního týmu je blíţe popsán v části B této přílohy. Evaluační tým bude sloţen minimálně ze dvou odborníků (1zahraniční a 1 český hodnotitel) a 1 evaluátora. Konkrétní sloţení a velikost evaluačního týmu pro kaţdý posuzovaný projekt bude určena tak, aby byla zajištěna optimální shoda mezi odbornými dovednostmi hodnotitelů a potřebami evaluace. Základní předpoklady způsobilosti hodnotitelů: Předpokladem způsobilosti hodnotitele je splnění všech níţe uvedených poţadavků. Zahraniční hodnotitelé 1. Zkušenosti s řízením výzkumného centra, tzn. zastávání pozice ve vrcholném nebo středním managementu takového centra po dobu alespoň 5 let. 2. Zkušenosti s evaluací projektů výzkumu a vývoje6 a/nebo zkušenosti s evaluací výzkumných organizací v délce alespoň 3 roky. 3. Zkušenosti s výzkumnou a inovační aktivitou v oblasti výzkumu a vývoje relevantní pro hodnocený projekt v délce minimálně 5 let. Čeští hodnotitelé 1. Zkušenosti s výzkumnou a inovační aktivitou v oblasti výzkumu a vývoje relevantní pro hodnocený projekt v délce minimálně 5 let. 2. Zkušenosti s řízením výzkumného centra, tzn. zastávání pozice ve vrcholném nebo středním managementu takového centra po dobu alespoň 5 let
6
Termín “projekt” je pouţíván v kontextu OP VaVpI k označení výzkumného centra, podpořeného v rámci OP VaVpI.
VERZE 4.1
15 / 50
3. Zkušenosti s evaluací projektů výzkumu a vývoje a/nebo zkušenosti s evaluací výzkumných organizací (v kaţdém případě minimálně po dobu 3 let). Vedoucí evaluátor Závazné 1. Zkušenost s evaluací intervencí realizovaných za přispění rozpočtu Evropské unie (projektů nebo programů) s vyuţitím základních evaluačních kritérií7 – minimálně po dobu 10 let, buď jako vedoucí týmu nebo jako evaluační expert. Evaluace, na kterých se evaluátor podílel, musely být provedeny minimálně ve dvou členských státech Evropské unie. 2. Výborná znalost anglického jazyka v ústním i písemném projevu. Hodnotitel by měl prokázat schopnost psát evaluační zprávu v anglickém jazyce. Evaluátor bude poţádán o zprostředkování8 minimální tří evaluačních zpráv – psaných v anglickém jazyce – u kterých je uveden jako autor nebo spoluautor. Nepovinné 1. Profesionální kvalifikace nebo zkušenost v oblasti výzkumu, vývoje a inovací. V ideálním případě bude mít evaluátor akademické vzdělání v související vědní oblasti, případně v takové vědní oblasti pracoval v souvislosti se svou profesí. Výhodou je téţ zkušenost s evaluací výzkumných center nebo podobných institucí. Posouzení kvalifikace odborných evaluátorů (vědeckých pracovníků) Řídící orgán OP VaVpI bude posuzovat vhodnost kandidátů na pozici odborného evaluátora (hodnotitele) na základě jejich expertního profilu za pouţití níţe uvedeného bodového systému. Zahraniční hodnotitelé Maximální bodové skóre – 100 Závazné 1. Zkušenosti s řízením výzkumného centra, tzn. zastávání pozice ve vrcholném nebo středním managementu takového centra po dobu alespoň 5 let. 25 bodů za splnění minimálních poţadavků. 2 body za kaţdý rok zkušeností nad minimální hranici 5 let aţ do výše 10 bodů (5 let zkušeností navíc).
7
Pro potřeby této evaluace jsou jimi míněny relevance, účinnost, efektivnost dopad a udrţitelnost. Více viz např. http://www.oecd.org/dac/evaluationofdevelopmentprogrammes/daccriteriaforevaluatingdevelopmentassistan ce.htm. 8 Předloţení zprávy nebo uvedení internetového odkazu.
VERZE 4.1
16 / 50
2. Zkušenosti s evaluací projektů výzkumu a vývoje9 a/nebo zkušenosti s evaluací výzkumných organizací v délce alespoň 3 roky. 20 bodů za splnění minimálních poţadavků. 2 body za kaţdý rok zkušeností nad minimální hranici aţ do výše 6 bodů (3 roky zkušeností navíc). 3. Zkušenosti s výzkumnou činností v oboru relevantním pro hodnocený projekt v délce minimálně 5 let. 20 bodů za splnění minimálních poţadavků. 2 body za kaţdý rok zkušeností nad minimální hranici aţ do výše 10 bodů (5 let zkušeností navíc). Nepovinné 4. Zkušenosti s evaluací projektů podpořených v rámci prioritních os 1 a 2 OP VaVpI (tímto druhem evaluace) 3 body za kaţdou provedenou evaluaci aţ do výše 9 bodů (3 provedené evaluace) Čeští hodnotitelé Maximální bodové skóre – 100 Závazné 1. Zkušenosti s výzkumnou činností v oboru relevantním pro hodnocený projekt v délce minimálně 5 let. 25 bodů za splnění minimálních poţadavků. 2 body za kaţdý rok zkušeností nad minimální hranici aţ do výše 10 bodů (5 let zkušeností navíc). 2. Zkušenosti s řízením výzkumného centra, tzn. zastávání pozice ve vrcholném nebo středním managementu takového centra po dobu alespoň 5 let. 20 bodů za splnění minimálních poţadavků. 2 body za kaţdý rok zkušeností nad minimální hranici aţ do výše 6 bodů (3 roky zkušeností navíc). 3. Zkušenosti s evaluací projektů výzkumu a vývoje a/nebo zkušenosti s evaluací výzkumných organizací (v kaţdém případě minimálně po dobu 3 let). 20 bodů za splnění minimálních poţadavků. 2 body za kaţdý rok zkušeností nad minimální hranici aţ do výše 10 bodů (5 let zkušeností navíc).
9
Termín “projekt” je pouţíván v kontextu OP VaVpI k označení výzkumného centra, podpořeného v rámci OP VaVpI.
VERZE 4.1
17 / 50
Nepovinné 4. Zkušenosti s evaluací projektů podpořených v rámci prioritních os 1 a 2 OP VaVpI (tímto druhem evaluace) 3 body za kaţdou provedenou evaluaci aţ do výše 9 bodů (3 provedené evaluace). Posouzení kvalifikace vedoucích evaluátorů Řídící orgán OP VaVpI bude posuzovat vhodnost kandidátů na pozici evaluátora na základě jejich expertního profilu za pouţití níţe uvedeného bodového systému. Maximální počet bodů, které můţe kandidát získat, je 100. 1. Zkušenost s evaluací finančních intervencí Evropské unie v délce nejméně 10 let – Maximální bodové skóre - 60 40 bodů za splnění minimálních poţadavků. 2 body za kaţdý rok zkušeností nad minimální hranici 10 let aţ do výše 10 bodů (5 let zkušeností navíc). 5 bodů za kaţdou doloţenou evaluaci v dalším členském státě k minimálně dvou povinným aţ do výše 10 bodů (2 členské státy navíc). 2. Znalost anglického jazyka a prokázaná schopnost tvorby evaluační zprávy – Maximální bodové skóre - 25 15 bodů za splnění minimálních poţadavků. 5 bodů za kaţdou další evaluační zprávu splňující kvalifikační kritéria aţ do výše 10 bodů (2 evaluační zprávy navíc). 3. Zkušenosti a kvalifikace v oblasti VaVaI – Maximální bodové skóre - 15 5 bodů za akademické vzdělání v přírodních a technických oborech (vyjma sociálních věd) minimálně bakalářského stupně NEBO minimálně 3 roky souvisejících profesionálních zkušeností. 5 bodů za alespoň jednu doloţenou evaluaci výzkumného centra nebo srovnatelné instituce z oblasti VaVaI. 5 bodů navíc za více neţ jednu doloţenou evaluaci tohoto typu (maximálně 5 bodů navíc). Experti s nejvyšším dosaţeným skóre budou vyzváni k potvrzení účasti na evaluačním procesu projektů v období 2013 – 2016. Zaměstnanecký poměr bude zaloţen na uzavírání Dohody o provedení práce na kaţdý kalendářní rok s rozsahem max. 300 hod./rok. Řídící orgán předpokládá angaţování maximálně 8 evaluátorů, kteří budou vybírání pro evaluaci jednotlivých projektů na základě aktuální časové dostupnosti a vhodnosti pro danou evaluaci.
VERZE 4.1
18 / 50
Všichni experti musejí doloţit profesní CV, vyplněný formulář s dotazy na poţadovanou kvalifikaci a čestné prohlášení, popř. další podklady stvrzující správnost uvedených údajů a splnění předpokladů způsobilosti. B: Proces výběru externích hodnotitelů (odborných evaluátorů) Evaluační proces Evaluace projektů bude probíhat na základě ročních evaluačních cyklů. Výběr projektů určených k evaluaci v daném cyklu bude zaloţen na stavu realizace projektů, tzn. jakého pokroku projekt dosáhl a jak daleko postoupil v realizaci od jejího zahájení. Projekty, které postoupily v realizaci nejdále, budou zařazeny do prvního evaluačního cyklu (2012), ostatní projekty budou podrobeny evaluaci ve druhém (2013) nebo třetím (2014) evaluačním cyklu v závislosti na pokroku realizace. Indikativní seznam projektů, které budou předmětem hodnocení, bude zveřejněn vţdy na začátku kaţdého cyklu na webových stránkách MŠMT. Definice “Externí hodnotitel” je externí odborník, od něhoţ je ŘO vyţadováno nezávislé hodnocení jakéhokoliv projektu. Externí hodnotitel můţe být zahraniční odborník i český odborník splňující kritéria uvedená v části A této přílohy. Výběr externích hodnotitelů Před začátkem evaluačního procesu zveřejní ŘO (Odbor řízení OP VaVpI – O 45) na webových stránkách MŠMT Výzvu k registraci externích hodnotitelů projektů podpořených v rámci prioritních os 1 a 2 OP VaVpI. Tato Výzva bude obsahovat poţadovaný expertní profil hodnotitele v souladu se základními předpoklady způsobilosti hodnotitele tak, jak jsou uvedeny v části A této přílohy. Společně s vyhlášením Výzvy k registraci externích hodnotitelů na stránkách MŠMT, evaluační jednotka ŘO OP VaVpI adresně osloví pomocí emailu vhodné externí hodnotitele, kteří jsou jiţ zařazeni v Databázi externích hodnotitelů (DEH), a u kterých je předpoklad, ţe budou splňovat stanovená kvalifikační kritéria a odbornou příslušnost k hodnocenému projektu. Oslovení bude obsahovat výzvu k deklaraci zájmu zúčastnit se procesu evaluace na stejném základě, jaký je určen pro přihlášení prostřednictvím stránek MŠMT – adresné oslovení potenciálních hodnotitelů v ţádném případě nezakládá právo na preferenci oproti kandidátům registrovaným prostřednictvím stránek MŠMT. Pro formální vyjádření zájmu mají všichni potenciální kandidáti lhůtu jeden kalendářní měsíc. Proces výběru vhodných externích posuzovatelů začne neprodleně po uplynutí této lhůty. Odborníci, kteří vyjádří svůj zájem účastnit se procesu evaluace po uplynutí termínu, budou zařazeni do DEH jako potenciální hodnotitelé pro další hodnocené projekty. VERZE 4.1
19 / 50
Po uplynutí měsíční lhůty sestaví evaluační jednotka ŘO OP VaVpI širší seznam (“long list”) externích hodnotitelů – českých i zahraničních, kteří vyjádřili svůj zájem účastnit se procesu evaluace v nadcházejícím evaluačním cyklu a splňují odborné i kvalifikační předpoklady. Tento seznam bude obsahovat informace o zkušenostech expertů, jejich kvalifikaci, případně záznam o jejich předchozí spolupráci s ŘO. Seznam potenciálních hodnotitelů společně posoudí vedoucí O452 (který je zodpovědný za celý evaluační proces), referent pro evaluace O452 a minimálně jeden externího poradce spolupracujícího s ŘO na přípravě a realizaci procesu evaluace. Úkolem projektového týmu je zajistit konzistenci seznamu s cíli evaluačního procesu a s projekty určenými k evaluaci v daném evaluačním cyklu. Sloţení evaluačního týmu pro jednotlivé projekty určí výše popsaný projektový tým následujícím způsobem: Odpovědní pracovníci ŘO OP VaVpI určí na základě širšího seznamu potenciální hodnotitele, jejichţ odborné zaměření je v přímé vazbě na daný projekt (např. nanotechnologie). Odborníci, kteří splní poţadavky vztahující se k danému projektu, budou umístěni na indikativní seznam (“short list”). Tento seznam bude následně rozdělen na dvě části – českou a zahraniční – tak, aby odpovídal stanovené metodice evaluace. Odpovědní pracovníci ŘO OP VaVpI provedou bodové hodnocení jednotlivých kandidátů na základě naplnění poţadavků stanovených v části A této přílohy. Na základě bodového hodnocení bude sestaveno pořadí českých a zahraničních odborných hodnotitelů. Český a zahraniční odborník, který dosáhl nejvyššího bodového skóre, bude vyzván k potvrzení účasti na evaluaci daného projektu. V případě rovnosti bodů na prvním místě, buď ve skupině českých, nebo ve skupině zahraničních odborníků, bude přistoupeno k losování ze seznamu kandidátů se shodným počtem bodů. V případě, ţe se dotyčný odborník nebude moci evaluace projektu účastnit, bude osloven odborný hodnotitel následující v pořadí vzešlém z bodového hodnocení.. Řídící orgán předpokládá angaţování menšího počtu vedoucích evaluátorů, kteří budou vybírání pro evaluaci jednotlivých projektů na základě aktuální časové dostupnosti a vhodnosti pro danou evaluaci. U těchto vedoucích evaluačních týmů předpokládá ŘO dlouhodobou spolupráci, proto budou vybírání ad hoc pro jednotlivé projekty. Výstupem procesu výběru externích hodnotitelů bude evaluační tým sloţený z vedoucího evaluátora, 1 – 2 zahraničních odborníků a 1 českého odborníka v oblasti evaluace VaV projektů. Proces výběru externích odborníků se bude opakovat pro kaţdý hodnocený projekt.
VERZE 4.1
20 / 50
Příloha 2: Pokyny pro vypracování Závěrečné zprávy Úvod Tato příloha představuje evaluační rámec, kterým by se hodnotitelé měli řídit při evaluaci projektů a sestavování své evaluační zprávy, jako součásti hodnocení projektů financovaných v rámci prioritních os (PO) 1 a 2 Operačního programu Výzkum a vývoj pro inovace (OP VaVpI). Příloha č. 2 je doplněna vzorem závěrečné evaluační zprávy, který je Přílohou č. 3 tohoto dokumentu. Řízení se těmito pokyny, stejně jako vzorem evaluační zprávy, by mělo být hodnotiteli povaţováno za závazné, tzn. závěrečná zpráva by se od nich neměla lišit ani obsahem, ani strukturou. Vzor evaluační zprávy je zaloţen na pěti DAC/OECD kritériích, tj. relevanci, účinnosti, efektivnosti, dopadu a udrţitelnosti. Kaţdému z kritérií je věnována vlastní kapitola obsahující sérii evaluačních otázek, které musí evaluátoři zodpovědět. Tyto otázky, společně s průvodními poznámkami v modrých textových polích, poskytují evaluátorům zřetelný návod k analýze předmětu evaluace, a zároveň mají zajistit, ţe všechny evaluační zprávy budou konzistentní z hlediska obsahu a struktury. Kaţdá kapitola obsahuje tabulku doporučení, kterou by hodnotitelé měli vyplnit. Doporučení by se měla vztahovat k současné či budoucí činnosti projektu, stejně jako k problémům relevantním pro příjemce nebo Řídící orgán (ŘO) OP VaVpI. Doporučení budou představovat základ pro náplň de-briefingu uzavírajícího evaluační proces. Při tvorbě doporučení bude po hodnotitelích poţadováno dodrţování následujících pokynů: Doporučení by měla být explicitně vztaţena k relevantnímu tématu a měla by specifikovat opatření nezbytné(á) k jeho řešení Doporučení by neměla být retrospektivní, tzn. neměla by se věnovat tomu, co mělo být v minulosti uděláno lépe. Doporučení by měla být číslována a propojena kříţovými odkazy s relevantními nálezy v textu evaluační zprávy za pouţití čísla/čísel odstavce/ů. Měl by být stanoven termín pro implementaci doporučení. Hodnotitelé nejsou povinni poskytnout doporučení v kaţdé části zprávy. Pokud tak neučiní, mělo by to být v souladu s prezentovanými závěry. Hodnotitelé by neměli předkládat v evaluační zprávě více neţ 10 hlavních doporučení. Z toho vyplývá, ţe poskytnutá doporučení by se měla týkat klíčových problémů projektu, a zároveň by měla být v maximální moţné míře jednoznačná, realistická a proveditelná.
VERZE 4.1
21 / 50
Zpráva hodnotitelů sestavená pomocí tohoto vzoru bude slouţit jako cenný mechanismus zpětné vazby pro dvě hlavní cílové skupiny – příjemce implementující projekt a řídící orgán (ŘO) odpovědný za celkový úspěch PO. Autoři zprávy by se tedy měli snaţit vytvořit zprávu, která má následující vlastnosti: Měla by být analytická. Zpráva by měla poskytnout řadu zjištění a závěrů zaloţených na analýze skutečností, k nimţ se dospělo během procesu evaluace. Hodnotitelé by neměli pouze představit fakta, která během evaluace zjistili. Měla by být stručná. Zpráva musí pokrýt všechny oblasti nastíněné ve vzoru. Zároveň by neměla být příliš dlouhá nebo zahrnovat příliš podrobná zjištění, pokud nebudou vyţadována. Hodnotitelé by měli sestavit zprávu ne delší neţ 20 stran. Měla by tedy být účelná a relevantní. Hodnotitelé by měli svou zprávu zaměřit na problémy, které jsou podle nich pro čtenáře (především příjemce a ŘO) nejdůleţitější a které mají vliv na úspěšné splnění projektu. V neposlední řadě by měla být čtivá. Kromě stručnosti a relevance by zpráva měla být napsána stylem, který je srozumitelný, a který bude ctít dobrou logickou návaznost. Měla by také obsahovat stručné shrnutí. Očekává se, ţe hodnotitelé ke svému posouzení plně a vhodně vyuţijí primární i sekundární zdroje informací. Tyto zdroje zahrnují: - Sebehodnotící zprávu příjemce - Technickou přílohu samotného projektu - Informace z jiných sekundárních zdrojů a dokumentace - Vlastní postřehy a dojmy z návštěvy pracoviště - Diskuze a rozhovory se členy výzkumného a realizačního týmu projektu - Diskuze a informace získané od jiných relevantních stran včetně zástupců ŘO, uţivatelů projektu, dozorčích rad, poradních orgánů a zahraničních partnerů příjemce Hodnotitelé by měli informovat ŘO o dalších dokumentech, které mohou před evaluační návštěvou poţadovat. Hodnotitelé by měli mít na paměti, ţe ve většině případů bude doplňující projektová dokumentace v češtině a ţe s výjimkou odůvodněných případů nebude přeloţena do angličtiny.
VERZE 4.1
22 / 50
Příloha 3: Vzor Závěrečné zprávy
Disclaimer Názory prezentované v této zprávě jsou názory jejích autorů a nereflektují nezbytně názory Ministerstva školství, mládeţe a tělovýchovy České republiky.
VERZE 4.1
23 / 50
Shrnutí (Tato část by měla mít maximálně 2 strany) 1. Prostředí evaluace (1 odstavec) 2. Závěry evaluace a. b. c. d. e.
Relevance Účinnost Efektivnost Dopad Udrţitelnost
3. Klíčová doporučení/příklady dobré praxe
VERZE 4.1
24 / 50
Úvod Zde by měli hodnotitelé uvést zejména následující: Základní údaje o hodnoceném projektu Popis evaluačního týmu Zdroje informací vyuţité v průběhu evaluace (vč. odkazu na seznam interview v příloze) Období, ve kterém evaluace probíhala a datum, ke kterému jsou závěry evaluace platné10 Poznámky k formátování textu Pouţitý typ písma: Nadpisy kapitol – Arial 16 zelená, tučná (dle vzoru zprávy). Text zprávy - Arial 12 Od oddílu Relevance by měl být kaţdý odstavec postupně číslován, tzn. 1, 2, 3, atd. Tam, kde je to vhodné by měly být pouţity kříţové odkazy v následujícím formátu: Viz odstavec 63. Soulad kříţových odkazů s textem by měl být zkontrolován před odevzdáním draftu evaluační zprávy ke kontrole kvality
Poznámky k tabulce doporučení Kaţdá část evaluační zprávy obsahuje tabulku doporučení, kterou by hodnotitelé měli vyplnit dle potřeby. Předepsaný formát viz níţe. Kaţdé doporučení by mělo být explicitně vztaţeno k relevantnímu tématu a mělo by specifikovat opatření nezbytné(á) k jeho řešení. Doporučení by měla být číslována a propojena kříţovými odkazy s relevantními nálezy v textu evaluační zprávy za pouţití čísla (čísel) odstavce(ů). Měl by být stanoven termín pro implementaci doporučení. Hodnotitelé nejsou povinni poskytnout doporučení v kaţdé části zprávy. Pokud tak neučiní, mělo by to být v souladu s prezentovanými závěry. Hodnotitelé by neměli předkládat více neţ 10 hlavních doporučení v celé evaluační zprávě. Z toho vyplývá, ţe poskytnutá doporučení by se měla týkat klíčových problémů projektu, a zároveň by měla být v maximální moţné míře jednoznačná, realistická a proveditelná.
10
Toto datum je datum, po kterém jiţ hodnotitelé nově zjištěné informace nebrali v úvahu, tzn. datum, ke kterému jsou nálezy evaluace platné.
VERZE 4.1
25 / 50
Relevance Relevance musí být posuzována dvojí perspektivou – relevance níţe uvedených aspektů v době schválení projektu (jak je uvedeno v technickém annexu) a relevance v současné době tak, jak shrnuje Sebehodnotící zpráva příjemce. Klíčovou záleţitostí v tomto tématu je logika (logický rámec) projektu. Hodnotitelé by měli zodpovědět následující otázky: 1. Odpovídá projekt z pohledu hodnotitelů v současné podobě: cílům Operačního programu (OP) /resp. příslušné prioritní osy (PO) (viz Technický annex a text OP)? potřebám relevantního výzkumného oboru (vycházejte primárně ze svých znalostí oboru při posuzování této otázky)? potřebám příjemce (je zřetelné, ţe projekt je pro příjemce potřebný,ţe je příjemce schopen zhodnotit přidělenou dotaci, má dostatečné kapacity dále vyuţít/zhodnotit realizované výsledky projektu)? 2. Změnila se podoba projektu od jeho schválení (tzn. je jeho současná podoba odlišná od podoby projektu, v jaké byl popsán v Technickém annexu)? Pokud ano, do jaké míry a jak zlepšily tyto změny relevantnost projektu vzhledem k potřebám oboru a příjemce? Neovlivnily provedené změny negativně relevantnost projektu vzhledem k těmto potřebám? Pokud ano, jak? 3. Existují nějaká další témata vztahující se k podobě projektu, které ovlivnili nějakým způsobem jeho relevanci? 4. Jaká opatření jsou potřebná k budoucímu posílení relevantnosti projektu vzhledem k potřebám oboru a příjemce? (ve vztahu k následující tabulce) 5. Existují nějaké další otázky vztahující se k logice (logickému rámci) projektu ovlivňující relevanci? Best practice Existují příklady dobré praxe ve Vašich mateřských institucích, které by mohli přispět ke zlepšení prvků relevance evaluovaného projektu? Pokud ano, uveďte je prosím, v tomto textovém poli.
VERZE 4.1
26 / 50
Doporučení pro tuto část Číslo Doporučení
VERZE 4.1
Relevantní Adresát odstavec(ce)
27 / 50
Datum implementace
Účinnost Instrukce pro hodnotitele k části Účinnost Tato část evaluační zprávy se zaměřuje na větší mnoţství oblastí pokrytých v Sebehodnotící zprávě příjemce (Self Assessment Report – SAR) a předpokládá se, ţe bude nejobsáhlejší částí evaluační zprávy. Hodnotitelé by měli mít během zpracovávání této části na paměti následující: Za prvé, očekává se, ţe hodnotitelé poskytnou analýzu těchto oblastí, vycházející z informací obsaţených v SAR, informací získaných během evaluační mise a poznatků vycházejících z jejich vlastních odborných zkušeností/pohledu na danou specifickou oblast výzkumu, které se projekt věnuje. Hodnotitelé by neměli opakovat informace obsaţené v SAR, ani je detailně rozvádět. Za druhé, při prezentaci zjištění hodnotitelů v této části je nezbytná stručnost - tato část zprávy by měla být dostatečně dlouhá na to, aby poskytla jasnou a úplnou odpověď na kaţdou evaluační otázku. Nicméně by neměla být příliš zdlouhavá nebo přespříliš detailní. Hodnotitelé by měli poskytnout detailní analýzu těch stránek projektu, které povaţují pro ně za významné, zatímco u méně důleţitých aspektů postačí jejich stručné zdůvodnění.
Hodnotitelé by měli zodpovědět následující otázky: 1. Jaké jsou dosavadní výkony managementu projektu / Jak je projekt řízen? 2. Jsou ustaveny dozorčí orgány? Prosíme, zhodnoťte jejich sloţení a fungování. 3. Jaké jsou dosavadní výkony projektu v klíčových oblastech? V této části by měla zpráva obsahovat stručné zhodnocení výkonnostních parametrů projektu. Za tímto účelem by hodnotitelé měli poskytnout odpovědi na následující otázky: Řízení lidských zdrojů: Do jaké míry je nastavení systému řízení lidských zdrojů dostačující k řádnému fungování projektu? Je takovýto systém schopen zajistit řádné dosahování stanovených cílů? Finanční / právní řízení: Do jaké míry jsou náleţitě řízeny finanční a právní aspekty projektu? Interakce s uţivateli: Jak je příjemce úspěšný v navazování spolupráce s aplikační sférou? Infrastruktura: Je jiţ k dispozici (pořízena) veškerá infrastruktura projektu a přístrojové vybavení? Je obojí funkční a řádně vyuţívané? Výzkumný program: Jaká je kvalita výzkumných programů?
VERZE 4.1
28 / 50
Mezinárodní spolupráce: Jak je příjemce úspěšný v aktivitách mezinárodní spolupráce? Další témata: Existují další výše nezmíněná témata podstatná pro operativní výkonnost projektu? 4. Jaká je kvalita vztahů mezi klíčovými subjekty spolupracujícími na realizaci projektu a jaká je koordinace aktivit mezi nimi? To zahrnuje mateřskou instituci(e), Řídící orgán/Ministerstvo (nebo ministerstva), další výzkumné instituce nebo centra v České republice nebo v zahraničí, průmysl atd. 5. Jaká jsou rizika ovlivňující úspěch projektu? Je si jich management vědom a jsou nastavena a přijata opatření k jejich minimalizaci/zvládnutí, pokud se rizika uskuteční? Best practice Existují příklady dobré praxe ve Vašich mateřských institucích, které by mohli přispět ke zlepšení prvků účinnosti evaluovaného projektu? Pokud ano, uveďte je. prosím, v tomto textovém poli. Doporučení pro tuto část Číslo Doporučení
VERZE 4.1
Relevantní Adresát odstavec(ce)
29 / 50
Datum implementace
Efektivnost Instrukce pro hodnotitele k části Efektivnost Díky tomu, ţe projekty mohou být stále v počáteční fázi fungování, můţe se stát, ţe pozorovatelných výstupů či výsledků bude pouze omezené mnoţství. V takovém případě se od hodnotitelů očekává, ţe budou vycházet ze svých zkušeností a poskytnou vyváţené hodnocení toho, jak vidí budoucí rozvoj projektu a posoudí, jak pravděpodobné je dosaţení plánovaných výstupů a výsledků. Měli by identifikovat potenciální rizika a překáţky při jejich dosahování, a to jak v projektu samotném (vnitřní prostředí), tak mimo něj (vnější prostředí). Vysvětlení, jakým způsobem se výstupy, výsledky a cíle váţí na evaluační kritéria a související otázky, je uveden v příloze Vzoru evaluační zprávy. Evaluátoři jsou vybízeni k pouţití přílohy při posuzování dosaţených výstupů a výsledků a faktorů, které je ovlivňují. Příloha je téţ uţitečná při hodnocení dopadu (viz. Příloha Závěrečné zprávy – Definice a příklady evaluačních kritérií DAC/OECD ve vztahu k evaluovaným projektům). Výstupy 1. Generuje jiţ projekt výstupy? Pokud ano, jaká je jejich kvalita? Mohou být zlepšeny, a pokud ano, jak? 2. Jaké má projekt vyhlídky na plné dosaţení plánovaných výstupů? 3. Jaké jsou faktory ovlivňující jejich dosaţení? Výsledky 4. Jsou v této fázi patrné nějaké výsledky? Pokud ano, jaké? Odpovídají výsledkům plánovaným/očekávaným v Technickém annexu projektu? (pokud se jedná o druh výsledku, jeho kvalitu a harmonogram dosaţení). 5. Jaké jsou vyhlídky na dosaţení očekávaných výsledků projektu? Jaké faktory ovlivňují jejich dosaţení?
Best practice Existují příklady dobré praxe ve Vašich mateřských institucích, které by mohli přispět ke zlepšení prvků efektivnosti evaluovaného projektu/aktivit? Pokud ano, uveďte je v tomto textovém poli.
VERZE 4.1
30 / 50
Doporučení pro tuto část Číslo Doporučení
VERZE 4.1
Relevantní Adresát odstavec(ce)
31 / 50
Datum implementace
Dopad Instrukce pro hodnotitele k části Dopad (vyhodnocení dopadu intervence) Při zodpovězení následujících otázek budou muset hodnotitelé, s největší pravděpodobností, vyuţít vlastních zkušeností a úsudku tak, aby byli schopni poskytnout kvalifikované posouzení budoucího dopadu projektu, aţ bude tento v plně provozní fázi. Toto hodnocení by mělo být zaloţeno na posouzení dosavadního vývoje projektu a očekávané budoucí výkonnosti, stejně tak jako na relevantních faktorech vnějšího prostředí, jako například rozvoji příslušného oboru v České republice i v zahraničí. 1. Dosáhne projekt svých plánovaných cílů? 2. Jaké jsou faktory ovlivňující jejich dosaţení? 3. Přispěje projekt k dosaţení cílů Prioritní osy,11 v rámci které je realizován (financován)? Cíle Prioritní osy 1 jsou následující: Vytvoření omezeného počtu center excelence, dobře vybavených VaV center s moderní, často jedinečnou infrastrukturou a kritickou velikostí tak, aby byla schopná přispívat k propojení a větší integraci předních českých VaV týmů s předními mezinárodními výzkumnými organizacemi a evropskými výzkumnými infrastrukturami; identifikovat, podpořit a posílit nejlepší výzkumné týmy, které získají nejlepší materiální podmínky pro svůj růst a rozvoj a současně moţnost zkoumat a bádat nad novými tématy a navazovat kontakty a strategická partnerství s předními mezinárodními partnery (soukromými i veřejnými) Cíle Prioritní osy 2 jsou následující: Vznik a rozvoj kvalitně vybavených VaV center zaměřených na aplikovaný výzkum a se silným, dlouhodobým partnerským vztahem s průmyslovou sférou (zvláště v oblasti smluvního výzkumu a poskytování technologických služeb); zvýšení počtu kvalifikovaných pracovníků se zkušenostmi v oblasti spolupráce s průmyslovým sektorem; prohloubení regionální ekonomické a technologické specializace; posílení spolupráce aplikované sféry ve prospěch specifických potřeb regionu; významnou měrou přispívat ke konkurenceschopnosti českých regionů. 4. Jaké jsou faktory pro dosaţení cílů Prioritní osy? 11
Berte v potaz odpovídající Prioritní osu, nehodící se smaţte.
VERZE 4.1
32 / 50
Best practice Existují příklady dobré praxe ve Vašich mateřských institucích, které by mohli přispět ke zlepšení prvků dopadu evaluovaného projektu? Pokud ano, uveďte jej v tomto textovém poli. Doporučení pro tuto část Číslo Doporučení
VERZE 4.1
Relevantní Adresát odstavec(ce)
33 / 50
Datum implementace
Udrţitelnost V této části se po hodnotitelích poţaduje určitý „výhled do budoucnosti“ a zhodnocení udrţitelnosti projektu. Měli by nabídnout vyváţené posouzení vyhlídek projektu na udrţitelnost poté, co bude ukončeno financování ze zdrojů poskytovaných OP VaVpI a posouzení faktorů určujících konečný osud projektu. Tyto faktory zahrnují: Financování centra během realizace projektu a po ukončení realizace; Budoucí strukturu a obsazení personálem (např. počet/struktura výzkumných programů, které budou udrţitelné do budoucna, počet zaměstnanců zaměstnaných v rámci projektu vis-a-vis udrţitelný počet zaměstnanců po ukončení realizace); Předpokládaný rozsah institucionální podpory ze strany mateřské instituce a dalších subjektů Politické vlivy ovlivňující budoucí rozvoj projektu, vědního oboru a/nebo výzkumu, vývoje a inovací obecně Jakékoliv právní aspekty provozu a financování výzkumného zařízení (např. otázky vztahující se ke státní/veřejné podpoře) Best practice Existují příklady dobré praxe ve Vašich mateřských institucích, které by mohli přispět ke zlepšení prvků udrţitelnosti evaluovaného projektu? Pokud ano, uveďte je, prosím, v tomto textovém poli. Doporučení pro tuto část Číslo Doporučení
VERZE 4.1
Relevantní Adresát odstavec(ce)
34 / 50
Datum implementace
Seznam zkratek Zkratka SAR
Plný název Sebehodnotící zpráva (Self Assessment Report)
Zkratky by měly být uváděny abecedně.
VERZE 4.1
35 / 50
Seznam provedených interview Jméno
VERZE 4.1
Pozice a název organizace
36 / 50
Příloha – Definice a příklady evaluačních kritérií dle metodiky DAC vztahující se k evaluaci projektů VÝSTUPY (EFEKTIVNOST)
VÝSLEDKY
DOPAD (CÍLE PROJEKTU)
ŠIRŠÍ DOPAD (CÍLE PRIORITNÍ OSY)
DO JAKÉ MÍRY JSOU VÝSLEDKY/VÝSTUPY
DO JAKÉ MÍRY JSOU
DO JAKÉ MÍRY VÝSTUPY ČI
VÝSLEDKY PROJEKTU
BEZPROSTŘEDNÍ NEBO STŘEDNĚDOBÝ
PROJEKTU VYUŢÍVÁNY
VYUŢÍVÁNY DALŠÍMI
DOPAD PŘISPĚL K PROMĚNĚ SOCIO-
PŘÍJEMCEM
SUBJEKTY, NA KTERÉ NEBYLY
EKONOMICKÉHO PROSTŘEDÍ
(EFEKTIVNOST) CO NOVÉHO VZNIKLO DÍKY REALIZACI PROJEKTU.
DEFINICE
VÝSLEDKY PŘÍMO ZAMEŘENY
PŘÍKLAD VZNIK/ROZŠÍŘENÍ
BUDOVY JSOU POSTAVENY ČI
NOVÉ/ZLEPŠENÉ
LEPŠÍ/VĚTŠÍ KAPACITA PRO
PROHLOUBENÍ EKONOMICKÉ A
VÝZKUMNÉHO
REKONSTRUOVÁNY
VÝZKUMNÉ PROGRAMY
APLIKOVANÝ VÝZKUM V
TECHNOLOGICKÉ SPECIALIZACE
VYBAVENÍ V INSTITUCI PŘÍJEMCE JE
(PROGRAM) NEBO
CÍLOVÉM REGIONU
REGIONU
INSTALOVÁNO A FUNKČNÍ
CENTRUM
CENTRA
POSÍLENÍ SPOLUPRÁCE APLIKAČNÍ SFÉRY DLE POTŘEB REGIONU
VYŠKOLENÍ NEBO ZAMĚSTNANÍ PRACOVNÍCI FUNKČNÍ MANAGEMENT
POSÍLENÍ KONKURENCESCHOPNOSTI REGIONÁLNÍ EKONOMIKY
FAKTORY
- M AKROEKONOMICKÉ PODMÍNKY
FUNGUJÍCÍ
DLOUHODOBÉ ZAJIŠTĚNÍ
OVLIVŇUJÍCÍ
POŘÍZENÍ POZEMKU PRO STAVBU/Y PROSTŘEDKY NA POŘÍZENÍ PŘÍSTROJOVÉHO
VÝZKUMNÉ ZAŘÍZENÍ
PROSTŘEDKŮ PRO PROVOZ
DORUČENÍ NEBO
VYBAVENÍ
DOSTATEČNÉ
VÝZKUMNÉHO CENTRA
DOSAŢENÍ VÝSLEDKŮ
BUDOVA ODPOVÍDAJÍCÍ POTŘEBÁM
MNOŢSTVÍ
PODPŮRNÝ LEGISLATIVNÍ
ČI DOPADŮ
PROVOZU PŘÍSTROJOVÉHO VYBAVENÍ
VÝZKUMNÉHO
RÁMEC
- PŘEVLÁDAJÍCÍ TRENDY V RELEVANTNÍ
PERSONÁL POTŘEBNÝ K PROVOZU A ÚDRŢBĚ PŘÍSTROJOVÉHO VYBAVENÍ (TECHNICI) ZAMĚSTNANCI DOSTUPNÍ PRO ZAŠKOLENÍ ČI
PERSONÁLU S
STABILNÍ INSTITUCIONÁLNÍ
OBLASTI VÝZKUMU A VÝVOJE
ODPOVÍDAJÍCÍ
KAPACITA
KVALIFIKACÍ
SPOLUPRÁCE S PARTNERY
NÁBOR
ZDROJE ZAJIŠŤUJÍCÍ
Z AKADEMICKÉ A
NASTAVENÉ A FUNKČNÍ NÁSTROJE
FINANCOVÁNÍ
INDUSTRIÁLNÍ SFÉRY
MANAGEMENTU A MANAŢERSKÉ POSTUPY
CENTRA/VÝZKUMNÝC H PROGRAMŮ
VERZE 4.1
37 / 50
- OBCHODNÍ KLIMA
Příloha 4: Šablona a související poţadavky na zpracování sebehodnotící zprávy Operační program Výzkum a vývoj pro inovace Průběţná evaluace projektů podpořených z prioritních os 1 a 2
Vzor (šablona) sebehodnotící zprávy příjemců
Název projektu: Jméno(a) autora: Datum:
Úvod Rádi bychom Vám poděkovali za čas, který věnujete vypracování sebehodnotící zprávy k vašemu projektu. Níţe navrţená šablona by vám měla být při tvorbě zprávy pomocným vodítkem. Slouţí k zajištění toho, aby dokument byl zpracován komplexně a pokrýval veškerá klíčová témata v potřebném detailu. Vypracovaná sebehodnotící zpráva bude slouţit jako jeden z klíčových dokumentů procesu evaluace. Ţádáme Vás proto, abyste se pokusili do dokumentu opravdu zahrnout veškeré informace, které odpovídají poţadavkům stanoveným v rámci jednotlivých částí šablony. Pokud však identifikujete některá témata, ke kterým se nebudete moci vyjádřit, popište prosím v dokumentu, z jakých důvodů to není moţné. V případě, ţe byste některé náleţitosti či poţadavky na zpracování povaţovali za nejasné, nebo pokud byste potřebovali jakékoliv další informace, neváhejte v této záleţitosti kontaktovat zástupce evaluační sekce ŘO OP VaVpI (aktuální kontaktní údaje naleznete na webových stránkách MŠMT).
VERZE 4.1
38 / 50
Sekce 1 – Řízení projektu Tato sekce by neměla být delší neţ 8 stran. Od autora zprávy se očekává, ţe se v této části mj. bude věnovat popisu změn, které nastaly v průběhu realizace projektu, popisu zdůvodnění těchto změn a dopadům, které vystaly v rámci (po) jejich implementaci. 1.1 Přehled (uspořádání) systému řízení organizace Poţadované informace: • Aktualizovaný organigram projektu; • Informace o činnosti a dosavadním fungování hlavního vedení v rámci řídící struktury projektu • Seznam lidí, kteří se podílejí v různých úrovních organizace na implementaci projektu a popis jejich umístění v organizaci; • Vyjádření k případnému překryvu rolí v jednotlivých orgánech. 1.2 Systém řízení na dozorové úrovni Uveďte prosím detaily o orgánech, které mají dohlíţet na projekt, např. dozorčí rada, výkonná rada atd. Poţadované informace: • Výčet členů, včetně jejich zkušeností a kvalifikace; • Práva, povinnosti a dosavadní aktivity jednotlivých členů; • Vyjádření k případnému překryvu rolí v jednotlivých orgánech. 1.3 Hlavní vedení projektu Uveďte prosím následující: • Jména a pozice výkonného vedení projektu/organizace, jejich kvalifikace a zkušenosti; • Dosavadní aktivity managementu v rámci projektu; • Vyjádření k případnému překryvu rolí. 1.4 Řízení rizik Vyjádřete se prosím k následujícímu: • identifikovaná rizika neúspěchu projektu; • opatření, která byla přijatá k jejich omezení/zvládnutí, pokud se vyskytla; • informace o rizicích, s nimiţ se příjemce v organizaci setkal a o preventivních opatřeních, která dosud učinil; • Dopady jednotlivých rizik, která byla doposud identifikována.
VERZE 4.1
39 / 50
1.5 Vztahy s klíčovými partnery Prosím uveďte: • Klíčové partnery projektu, a to jak interní (např. mateřská instituce příjemce), tak externí (další výzkumné instituce nebo centra v ČR, zahraničí); • Informace o struktuře, personálním zajištění útvaru, který buduje vztahy s klíčovými partnery; • Popis vztahů s klíčovými partnery. 1.6 Doplňková analýza Autor zprávy je v této části ţádán, aby uvedl další dodatečné informace relevantní pro téma projektového managementu: • Krátké komplexní zhodnocení úkolů nebo problémů, které se vyskytly v rámci této problematiky a jak se s nimi příjemce vyrovnal, • Nastínění klíčových budoucích úkolů/výzev, které jsou očekávány v následujících 3 letech. Sekce 2 – Lidské zdroje Tato sekce by neměla být delší neţ 6 stran. Autor je ţádán, aby uvedl (kde je to moţné) informace o změnách, ke kterým došlo v oblasti lidských zdrojů, a které nastaly v průběhu realizace projektu (změny oproti TA), zdůvodnění těchto změn a informace o dopadech těchto změn po jejich zavedení. 1.1 Politika lidských zdrojů v obecné rovině Popište prosím aspekty politiky lidských zdrojů v rámci vaší organizace, status jejího zavedení v rámci projektu zejména v rámci následujících oblastí: • nábor pracovníků; • hodnocení pracovních výkonů zaměstnanců; • kariérní růst; • disciplinární aspekty. 2.2 Projektový tým Uveďte prosím následující informace: • Počet výzkumníků zapojených do implementace projektu, jejich kvalifikace a zkušenosti (jak plánovaný počet uvedený v TA, tak aktuálně dosaţený) • Vytíţení projektového týmu a míra jeho zapojení v rámci implementace projektu včetně osob na částečný úvazek (toto můţe být prezentováno ve formě tabulky).
VERZE 4.1
40 / 50
2.3 Školení a profesní rozvoj Zde prosím uveďte následující informace: • Školící programy a příslušné kurzy pro nové zaměstnance • Profesní růst/coaching a kariérní postup pro stávající zaměstnance, stejně tak jako plánované zaměstnance 2.4 Další informace Očekává se, ţe v této části dokumentu autor uvede další dodatečné informace relevantní pro oblast lidských zdrojů. • Stručné komplexní vyhodnocení úkolů či problémů, které se v této oblasti objevily a jakým způsobem se s nimi příjemce vypořádal a s jakým výsledkem; • Stručný výčet budoucích témat/výzev, které jsme schopni očekávat v průběhu následujících cca 3 let. Sekce 3 – Finanční aspekty Tato sekce by neměla přesáhnout délku 5 stran. 1.1 Souhrnný rozpočet projektu (poloţky v Kč i EUR) Uveďte, prosím, v členění po letech následující informace: • Celkový rozpočet projektu; • Jednotlivé kategorie rozpočtu, tj. stavba, vybavení, platy, materiál, sluţby, nezpůsobilé výdaje • Jakékoliv změny nebo odchylky od plánovaného rozpočtu a jejich zdůvodnění 3.2 Finanční oddělení příjemce od mateřské instituce V této části prosím stručně popište, jak je tato oblast zajištěna a jaké jsou formy distribuce institucionálního financování. 3.3 Generování příjmů Zde ţádáme o stručný přehled k následujícím tématům • Popis plánovaného vs. dosaţeného příjmu, význačné rysy a problémy, vysvětlení odchylek zjištěných od plánovaných hodnot (pokud nějaké jsou); • Hlavní úspěchy/neúspěchy, kterých bylo doposud dosaţeno, budoucí plány a vyhlídky; • Politika/strategie reinvestice příjmů a zdrojů 3.4 Doplňkové informace Uveďte prosím další doplňkové informace relevantní k oblasti projektových finančních prostředků: • Stručné komplexní vyhodnocení úkolů či problémů, které se v této oblasti objevily a jakým způsobem se s nimi příjemce vypořádal a s jakým výsledkem;
VERZE 4.1
41 / 50
• Stručný výčet budoucích témat/výzev, které jsme schopni očekávat v průběhu následujících cca 3 let. Sekce 4 – Výzkumné programy Tato sekce by neměla být delší neţ 6 stran. 4.1 Pokrok v realizaci V této části prosím uveďte následující aspekty týkající se výzkumných programů: • Plánované cíle, výstupy/milníky, výsledky a monitorovací ukazatele jednotlivých individuálních výzkumných programů, které jsou financovány z realizovaného; • Výčet toho co bylo dosaţeno, popř. nedosaţeno včetně zdůvodnění • Stručný popis mezinárodní dimenze oblasti výzkumu v rámci centra, coţ zahrnuje: o vědeckou spolupráci o mobilitu 4.2 Doplňkové informace V této části je autor ţádán, aby uvedl následující dodatečné informace: • Stručné komplexní vyhodnocení úkolů či problémů, které se v této oblasti vyskytly, jakým způsobem se s nimi příjemce vypořádal a s jakým výsledkem; • Stručný výčet budoucích témat/výzev, které jsme schopni očekávat v průběhu následujících cca 3 let. Sekce 5 – Interakce s aplikační sférou/uţivateli Tato sekce by neměla být delší neţ 6 stran. V této sekci by měl příjemce co nejpodrobněji popsat, s jakým úspěchem projekt doposud přinášel výsledky a jak jsou tyto výsledky vyuţívány uţivateli / v aplikační sféře. Můţe se stát, ţe projekt doposud nepřinesl výrazné výsledky a ţe spolupráce s uţivateli je stále v počátečních fázích. V těchto případech by příjemce měl uvést, (a) čeho bylo dosaţeno, (b) míru, do níţ výsledky odpovídají závazkům uvedeným v TP, a (c) očekávané výsledky v krátkodobém aţ střednědobém časovém rámci (6–12 měsíců od přípravy této zprávy). Příjemce by měl konkrétně zmínit následující prvky: 5.1 Plánované a skutečné výsledky • Plánované a skutečné vyuţití výsledků výzkumu z jednotlivých výzkumných programů uţivateli
VERZE 4.1
42 / 50
• Plánované a dosaţené úrovně ukazatelů (počty a objemy smluv, pronájem vybavení atd.) 5.2
Transfer technologií a ochrana duševního vlastnictví • Strategie transferu technologií • Úspěchy a nesnáze v přenosu technologií • Politika řízení duševního vlastnictví a vyuţívání know-how
5.4
Obchodní politika/strategie • Stávající politika spolupráce s uţivateli • Obecná spolupráce s uţivateli a strategie rozšíření smluvní spolupráce • Obchodní politika včetně cen sluţeb a dosahování výnosů
5.5 Dodatečné informace Od zpracovatele se očekává, ţe v této části uvede následující doplňující informace: • Stručné komplexní vyhodnocení úkolů či problémů, které se v této oblasti objevily a jakým způsobem se s nimi příjemce vypořádal a s jakým výsledkem; • Stručný výčet budoucích témat/výzev, které jsme schopni očekávat v průběhu následujících cca 3 let. Sekce 6 – Infrastruktura a vybavení Informace v této sekci by neměly přesáhnout délku 4 stran. Příjemce by se v této části měl vyjádřit k následujícímu: 6.1
Budovy • Plánovaná výstavba/ rekonstrukce; • Její status (dokončeno, částečně dokončeno atd); • Stávající vyuţití
6.2
Zařízení, vybavení • Plánované vybavení, zařízení (popisované v TA) v porovnání s tím, co bylo skutečně dosaţeno; • Jeho stav (instalované, funkční, uvedené do provozu atd.) a jak odpovídá poţadavkům TA
6.3
Podrobnosti ohledně pouţívání vybavení a zařízení Vyuţití zařízení pro VaV příjemce; Vyuţití zařízení pro studijní účely; Míra, do níţ se pronajímá průmyslovým/jiným centrům pro komerční účely;
6.4
Dodatečné informace
VERZE 4.1
43 / 50
Od zpracovatele se očekává, ţe uvede v této části následující doplňující informace: • Stručné komplexní vyhodnocení úkolů či problémů, které se v této oblasti objevily a jakým způsobem se s nimi příjemce vypořádal a s jakým výsledkem; • Stručný výčet budoucích témat/výzev, které jsme schopni očekávat v průběhu následujících cca 3 let (např. jak zajistit, aby vybavení bylo ještě lépe vyuţitelné; plány pro jeho další budoucí vyuţití). Sekce 7 – Jiné připomínky, záleţitosti, otázky Tato sekce by neměla být delší neţ čtyři strany. V této části by měl příjemce stručně zmínit jakékoliv další klíčové otázky nezahrnuté v ostatních šesti sekcích, kterými by se podle jeho názoru měl evaluační tým zabývat. Jelikoţ je tato evaluační aktivita zaměřena především na poskytnutí zpětné vazby a podpory, neměl by se příjemce zdráhat zmínit i případné problémy a klást dotazy, aby hodnotitelé mohli být nápomocni procesu zlepšení/zefektivnění příslušných činností.
VERZE 4.1
44 / 50
Příloha 5: Prohlášení o nepodjatosti a mlčenlivosti odborných hodnotitelů projektů podporovaných v rámci prioritních os 1 a 2 OP VaVpI 1) Tímto prohlašuji, ţe a) si nejsem vědom/a toho, ţe bych byl/a ve vztahu k organizacím realizujícím projekty financované z OP VaVpI („instituce příjemců“), a ani si nejsem vědom/a ţádné skutečnosti, která by ovlivnila nebo mohla ovlivnit výkon funkce hodnotitele při evaluaci projektů těchto institucí. (Vztahem k instituci příjemce se rozumí jakýkoliv rodinný, pracovní, obchodní či obdobný vztah, který můţe ohrozit nezávislost hodnotitele při evaluaci); b) jsem se ţádným způsobem nepodílel/a na přípravě nebo realizaci ţádného z projektů, které mám hodnotit, ani nemám osobní zájem na jeho/jejich provedení; c) jsem si vědom/a skutečnosti, ţe pokud vznikne důvod k podjatosti v průběhu výkonu pracovního úkolu / evaluace, je mou povinností tuto skutečnost neprodleně oznámit řídícímu orgánu OP VaVpI. 2) Dále se zavazuji, ţe při výkonu činnosti hodnotitele a po jejím skončení budu zachovávat mlčenlivost o všech skutečnostech, o kterých se dozvím v souvislosti s evaluací projektů, a ţe neposkytnu vědomě ani z nedbalosti třetím osobám důvěrné informace, které se dozvím v souvislosti s celým procesem evaluace projektů v rámci OP VaVpI. Beru na vědomí, ţe důvěrné informace jsou zejména ty informace, které nejsou běţně dostupné z veřejných zdrojů, informace o posuzovaných subjektech, projektech apod., jeţ nejsou běţně dostupné z veřejně přístupných zdrojů, nebo téţ ty, které zástupci Ministerstva školství, mládeţe a tělovýchovy nebo zástupci posuzovaných subjektů za důvěrné označí. Dále se zavazuji, ţe budu postupovat v souladu s etickým kodexem OP VaVpI. Beru na vědomí, ţe jakékoliv porušení ustanovení tohoto prohlášení můţe mít za následek vznik nároku na náhradu škody. Beru na vědomí, ţe takto způsobenou škodou můţe být i poškození dobré pověsti Ministerstva školství, mládeţe a tělovýchovy. V ..................................... dne ............... ………………………...................
.......................................................
Jméno hodnotitele
Podpis
VERZE 4.1
45 / 50
Příloha 6: Etický kodex operačního programu Výzkum a vývoj pro inovace Platnost Etický kodex OP VaVpI (dále jen „Kodex“) je základní etickou normou prezentace Operačního programu Výzkum a vývoj pro inovace (dále jen „OP VaVpI“) a vystupování interních i externích pracovníků implementační struktury tohoto programu vůči veřejnosti i ve vzájemných vztazích. Kodex ustanovuje a popisuje zásady chování a jednání členů realizačního týmu OP VaVpI (dále jen „Člen“ nebo „Členové“) a týká se: zaměstnanců Ministerstva školství, mládeţe a tělovýchovy jako řídícího orgánu OP VaVpI; zaměstnanců Ministerstva školství, mládeţe a tělovýchovy pracujících na realizaci OP VaVpI; externích pracovníků podílejících se na OP VaVpI (např. členů pracovních skupin, externích hodnotitelů apod.); členů monitorovacího výboru OP VaVpI. Člen implementačního týmu OP VaVpI chápe svou činnost v rámci implementace a fungování OP VaVpI (dále jen „činnost“) jako sluţbu směřující k naplňování záměrů a cílů Evropského fondu pro regionální rozvoj jako jednoho z nástrojů prosazování politiky soudrţnosti Evropského společenství, za niţ nese odpovědnost, a proto se kromě plnění povinností vyplývajících z právních předpisů Evropského společenství a České republiky dobrovolně řídí následujícími společnými ustanoveními Kodexu.
Obecné zásady 1. Ustanovení Kodexu jsou povaţována za součást souboru závazných dokumentů, jimiţ je Člen povinen se řídit a dodrţovat je. 2. Při plnění svých povinností se Členové řídí zásadami zákonnosti, kvality, efektivnosti a etiky práce, zejména dodrţováním nestrannosti a rovného přístupu. 3. Řídící orgán OP VaVpI přispívá k uplatňování těchto zásad a tím i k efektivnímu procesu implementace OP VaVpI vytvářením podnětného pracovního prostředí a preferováním vztahů spolupráce, rovného přístupu a prosazováním etiky práce.
VERZE 4.1
46 / 50
Zásady zákonnosti 4. Člen se při své práci řídí Ústavou ČR, zákony a dalšími právními předpisy České republiky včetně předpisů, směrnic a nařízení upravujících proces implementace OP VaVpI. 5. Zároveň činí vše, co je nezbytné pro to, aby jednal v souladu s ustanoveními Kodexu. 6. Člen je povinen se zdrţet jednání, které by ohrozilo důvěryhodnost procesu realizace OP VaVpI. 7. Člen činí rozhodnutí svěřená do jeho kompetence a související s procesem implementace OP VaVpI nestranně a neúplatně, přičemţ zásadu poctivosti a neovlivnitelnosti dodrţuje jak vůči veřejnosti, tj. osobám a institucím stojícím vně implementační struktury, tak i vůči ostatním Členům. 8. Člen řeší záleţitosti spjaté s implementací OP VaVpI objektivně. Nejedná svévolně k újmě či prospěchu jakékoli fyzické či právnické osoby nebo skupiny osob. 9. V případě, ţe Člen zjistí podvodné či korupční jednání související s procesem implementace OP VaVpI, je povinen to neprodleně ohlásit řídícímu orgánu OP VaVpI.
Zásada kvality a efektivity 10. Člen pracuje v zájmu implementace OP VaVpI na vysoké odborné úrovni, kterou je povinen si studiem průběţně zvyšovat a doplňovat. Člen je povinen se zdrţet jednání, které by ohrozilo důvěryhodnost procesu realizace OP VaVpI. 11. Člen je povinen dbát na efektivní a ekonomické spravování či vyuţívání lidského potenciálu, finančních zdrojů a zařízení mu svěřených a pouţívat je výhradně k činnostem spojeným s realizací OP VaVpI.
Zásada etiky práce a rovného přístupu 12. Člen je povinen pracovat v zájmu implementace OP VaVpI odpovědně, čestně, svědomitě a ve shodě s posláním a cíli tohoto operačního programu. 13. Výkon práce Člena musí být spojen s maximální mírou slušnosti, porozumění, ochoty a dodrţováním všeobecných pravidel etické komunikace.
VERZE 4.1
47 / 50
14. Vůči veřejnosti, zejména vůči ţadatelům nebo příjemcům podpory OP VaVpI, i vůči zaměstnancům jiných sekcí implementační struktury bude Člen jednat ochotně a slušně a s nejvyšší mírou pochopení. 15. Člen ve všech svých aktivitách a v celém svém jednání dodrţuje zásadu rovného přístupu a jedná bez ohledu na pohlaví, etnický nebo sociální původ, sexuální orientaci, národnost, majetkové poměry, zdravotní stav, věk, státní příslušnost, rodinný stav či víru a náboţenství. Zásada kvality a efektivity 16. Člen poskytuje v rámci implementačního týmu potřebné informace související s jeho činností bez zbytečného prodlení, a to výhradně v rozsahu svého pracovního zařazení a z něj plynoucích kompetencí. 17. Člen nakládá s informacemi, které získal ve svém postavení, s nezbytnou diskrétností. Je povinen zachovávat mlčenlivost o skutečnostech týkajících se obchodních, ekonomických či osobních údajů jiných fyzických či právnických osob, které se podílejí na procesu implementace OP VaVpI nebo o to usilují. 18. Člen je povinen zdrţet se předání informací, které se dozví při výkonu svých pracovních povinností, pokud by tím mohl být negativně ovlivněn proces transparentnosti, rovného zacházení a nediskriminace vůči ţadatelům či příjemcům podpory. 19. Člen neuvede vědomě v omyl veřejnost sdělováním mylných či neověřených informací, nečiní nepravdivé nebo zavádějící prohlášení nebo záměrně nezamlčuje příslušné informace.
Střet zájmu a ohlášení zájmu 20. Člen se zdrţí takového jednání, které by vedlo ke střetu veřejného zájmu s jeho zájmem soukromým. 21. Člen nevyuţívá informace související s jeho činností v rámci implementace a fungování OP VaVpI k osobnímu prospěchu ani k prospěchu jiných osob. 22. V případě, ţe má Člen soukromý zájem na projektu, jímţ se má jako Člen zabývat, oznámí tuto skutečnost řídícímu orgánu OP VaVpI nebo svému nadřízenému, a to před projednáváním této věci. 23. V případech střetu zájmu, kdy Člen je předkladatelem či zpracovatelem projektu nebo se na zpracování podílel, nebo ho s předkladatelem či zpracovatelem pojí blízký vztah rodinný, citový, ekonomický či politický, se tento Člen dalšího projednávání a posuzování projektu či hlasování o něm nezúčastní.
VERZE 4.1
48 / 50
Dary a výhody 24. Člen nebude poţadovat nebo přijímat dary, laskavosti nebo jiné výhody, které by mohly ovlivnit jeho rozhodování nebo nestrannost. 25. Člen nedopustí, aby se ve spojení se svou činností dostal do pozice, v níţ by musel oplatit prokázanou laskavost, nebo která by ho vystavila neţádoucímu vlivu jiných osob. 26. Člen nenabízí ani neposkytuje ţádnou výhodu jakýmkoli způsobem spojenou s jeho činností. 27. Při výkonu své činnosti Člen neučiní anebo nenavrhne úkony, které by ho zvýhodnily v budoucím osobním nebo profesním ţivotě.
Oznámení nepřípustné činnosti a kontrola 28. V případě, ţe Člen zjistí újmu způsobenou nedbalým, podvodným či korupčním jednáním jiného Člena nebo jakékoliv osoby mimo implementační struktury, čímţ by se mohla narušit transparentnost, rovný přístup a princip nediskriminace procesu implementace OP VaVpI, bezprostředně oznámí tuto skutečnost řídícímu orgánu OP VaVpI, případně kontrolnímu či auditnímu útvaru. 29. Případné podezření z porušení ustanovení Kodexu prověří řídící orgán OP VaVpI na podnět Člena nebo občana. Výsledné zjištění oznámí monitorovacímu výboru OP VaVpI a zajistí archivaci dokumentů. V případě pozitivního zjištění postupuje dle platné legislativy a zabezpečí nápravu a plynulost implementačního procesu. 30. Člen si je vědom, ţe řídící orgán OP VaVpI a kontrolní mechanismy OP VaVpI mohou v případě zjištění závaţného porušení Kodexu sankcionovat toto porušení jako porušení povinností Člena spjatých s jeho pracovní pozicí v týmu. 31. Člen si je vědom, ţe porušení kodexu můţe vést ke zpochybnění celého průběhu implementace OP VaVpI, coţ můţe mít za následek neudělení či pozastavení příspěvku ze strany Evropského fondu pro regionální rozvoj.
Účinnost Kodex byl projednán a schválen na zasedání Monitorovacího výboru OP VaVpI dne 14. května 2009. Tímto dnem vstupuje v platnost a jakékoliv jeho změny či doplňky podléhají rozhodnutí Monitorovacího výboru OP VaVpI.
VERZE 4.1
49 / 50
Příloha 7: Skartace podkladů Beru na vědomí, ţe mi v rámci evaluace projektů prioritní osy 1 a/nebo 2 Operačního programu Výzkum a vývoj pro inovace (OP VaVpI) byly předány materiály, které obsahují důvěrné informace. Proto prohlašuji, ţe nejpozději do jednoho dne po skončení evaluace skartuji materiály předané či poskytnuté řídícím orgánem OP VaVpI týkající se této evaluace (včetně všech kopií, které jsem si pro vlastní potřebu zhotovil/a).
V ..................................... dne ...............
………………………...................
.......................................................
Jméno hodnotitele
Podpis
Za ŘO:
………………………………………
…………………………………………
Jméno
Podpis
VERZE 4.1
50 / 50
