ZJEDNODUŠENÍ A ZKVALITNĚNÍ ADMINISTRACE OP LZZ

ZJEDNODUŠENÍ A ZKVALITNĚNÍ ADMINISTRACE OP LZZ Část 1a – Zkvalitnění procesu výběru projektů a práce s hodnotiteli Závěrečná zpráva 22. června 2012 PODPORUJEME VAŠI BUDOUCNOST www.esfcr.cz

Obsah 1.

Úvod ......................................................................................................................................... 3

2.

Manažerské shrnutí.................................................................................................................. 4

I.

Analytická část ................................................................................................. 6 3.

Analýza hodnocení vzorku projektů OP LZZ............................................................................. 6 3.1

Shrnutí analýzy hodnocení grantových projektů ............................................................................................ 6

3.2

Analýza hodnocení individuálních projektů .................................................................................................... 7

3.3

Závěry analýzy reálného hodnocení projektů ............................................................................................... 12

3.4

Závěry analýzy cvičného hodnocení projektů ............................................................................................... 13

4.

Zhodnocení rizik nastavení hodnotících kritérií OP LZZ ......................................................... 18 4.1

Identifikace rizik hodnotících kritérií ............................................................................................................. 18

4.2

Shrnutí analýzy rizik ...................................................................................................................................... 31

5.

Porovnání hodnotícího a výběrového procesu operačních programů financovaných z ESF 34 5.1

Porovnání hodnotícího a výběrového procesu ESF operačních programů v ČR ........................................... 34

5.2

Komparace hodnotícího a výběrového procesu vybraných ESF operačních programů ze zemí EU ............. 37

II.

Návrhová část ................................................................................................ 60 6.

Návrhy na úpravu hodnotícího a výběrového procesu pro současné programové období .. 60 6.1

Výběrový proces ........................................................................................................................................... 60

6.2

Hodnotící proces ........................................................................................................................................... 63

7.

Návrhy na nastavení hodnotícího výběrového procesu pro programové období 2014+ ..... 99 7.1

Proč je změna nutná a žádoucí ..................................................................................................................... 99

7.2

Způsoby snížení počtu projektů hodnocených externími hodnotiteli .......................................................... 99

7.3

Návrh na úpravu hodnotícího a výběrového procesu ................................................................................. 102

7.4

Návrhy na změny ve způsobu věcného hodnocení ..................................................................................... 105

III.

Vzdělávací programy pro hodnotitele a výběrové komise ............................ 126

8.

9.

Vzdělávací program pro hodnotitele ................................................................................... 126 8.1

Východiska pro zpracování vzdělávacího programu pro hodnotitele ......................................................... 126

8.2

Struktura vzdělávacího programu pro hodnotitele..................................................................................... 126

8.3

Vyhodnocení realizace vzdělávání hodnotitelů .......................................................................................... 130

Vzdělávací program pro výběrové komise ........................................................................... 140

10. Seznam zkratek .................................................................................................................... 141

Přílohy .................................................................................................................... 143

Národní vzdělávací fond, 22. 6. 2012

1.

Úv o d

Zakázka Zjednodušení a zkvalitnění administrace OP LZZ byla zpracována společností Accenture Central Europe, B.V., na základě zadání Ministerstva práce a sociálních věcí ČR, Odboru pro řízení pomoci z ESF. Část 1a - Zkvalitnění procesu výběru projektů a práce s hodnotiteli byla zpracována subdodavatelsky společností Národní vzdělávací fond, o.p.s. Úkol byl realizován od září 2011 do konce května 2012. Průběžně byly k jednotlivým výstupům zpracovávány připomínky ze strany zadavatele a tyto připomínky jsou reflektovány ve výstupech zakázky a v této závěrečné zprávě. Cílem zakázky bylo přispět ke zvýšení kvality a efektivity hodnotícího a výběrového procesu v globálních grantech oblasti podpory 1.1 Adaptabilita OP LZZ. Požadované výstupy zakázky byly následující: a. 1. Analýza systému školení hodnotitelů a zdůvodnění navrhovaných změn 2. Modulově uspořádaný program a obsah školení pro stávající i nové hodnotitele 3. Vzdělávací materiály pro školení hodnotitelů, včetně příkladů pro praktická cvičení a sady testových otázek 4. Realizace školení pro hodnotitele/školitele hodnotitelů – počet běhů dle požadavků zadavatele b. 1. Návrh obsahu školení pro výběrové komise 2. Základní sada školících materiálů pro výběrové komise. c. 1. Zhodnocení současného systému hodnocení a výběru a návrh na úpravy pro další programové období Zakázka byla zpracována realizačním týmem NVF v následujícím složení: Ing. Jarmila Modrá – vedoucí týmu PhDr. Lenka Fardová Mgr. Jana Hrnčířová Konstantinová Ing. Jana Váňová MUDr. Roman Vyhnánek Ing. Pavlína Maříková Jana Březinová Realizační tým by rád vyjádřil své poděkování za podporu a součinnost ze strany týmu zadavatele Řídícího orgánu OP LZZ, jmenovitě pak Mgr. Ivě Sotolářové, která významnou měrou přispěla k realizaci zakázky.


Strana 3 / 143

2.

Manažerské shrnutí

Část analytická V první etapě této zakázky byla zpracována analýza hodnocení vzorku grantových projektů z globálních grantů oblasti podpory 1.1 a 3.4. Následně byla tato analýza doplněna o analýzu hodnocení 22 individuálních projektů napříč oblastmi podpory. Shrnutí uvedené analýzy je obsahem kapitoly 3. Vzhledem k tomu, že nejvíce rozdílů v hodnocení se opakovalo u stejných kritérií napříč všemi hodnocenými projekty, bylo možné konstatovat, že nestejná hodnocení nejsou převážně zapříčiněna nízkou kvalitou hodnocení, ale spíše nejednoznačně nastaveným hodnotícím rámcem u některých, i klíčových hodnotících kritérií, jako jsou komplexní kritéria A1 (Smysl a cíle projektu) a E2 (Přehlednost, srozumitelnost a věcná správnost rozpočtu). Zároveň u některých kritérií dochází k záměně jejich obsahu s kritérii posuzujícímu jinou stránku zkoumané oblasti - E1 (Přiměřenost rozpočtu) a E2 (Přehlednost, srozumitelnost a věcná správnost rozpočtu). Z tohoto důvodu bylo v další etapě přistoupeno k analýze rizikovosti jednotlivých kritérií obecného hodnotícího rámce, která tvoří kapitolu 4. Analýza rizikovosti hodnotících kritérií tuto hypotézu potvrdila. V první etapě byla rovněž provedena analýza procesu hodnocení a výběru projektů financovaných z ESF ve všech operačních programech v České republice. Byly porovnány postupy OP LZZ, OP VK a OPPA. Hodnotící a výběrový proces ve všech třech operačních programech probíhá obdobně, mírné rozdíly lze nalézt v metodice věcného hodnocení (různé váhy skupin kritérií, použití slovních deskriptorů, formulace hodnotících výroků) použití hodnotitelů v různých pozicích (externí hodnotitel, arbitr, zpravodaj, hodnotitelská komise, programová partnerství) a také způsob projednávání a schvalování projektů k realizaci se mírně liší (veřejné projednávání, porada vedení, výběrová komise, zastupitelstvo hl.m. Prahy). Na analýzu výběrového a hodnotícího procesu v operačních programech ESF v ČR v druhé etapě navázala analýza a komparace výběrového procesu v dalších zemích EU. Pro tuto komparaci byly vybrány na jedné straně nám blízké nové členské země EU (Slovensko, Polsko), a na druhé straně země, které ESF využívají dlouhodobě (Belgie – Vlámsko, Anglie, Skotsko a Rakousko). Zatímco v nových členských zemích jsou procesy velmi podobné těm, které jsou používány v ČR (hodnocení grantových projektů externími hodnotiteli), ve starých členských zemích většinou ve snaze o maximální zjednodušení, efektivitu a rychlost čerpání prostředků ESF, jsou projekty realizovány prostřednictvím uplatňování národních či regionálních programů a prostředky ESF jsou přidávány k rozpočtům organizací realizujících národní politiku. V některých zemích jsou ESF prostředky využívány výhradně prostřednictvím zadávání zakázek na služby a nikoliv přidělováním grantů, v jiných zemích jde o kombinaci obou přístupů. Systémové a inovativní projekty jsou někde financovány výhradně z národních zdrojů. Externí hodnotitelé jsou využíváni jen v některých zemích či ad hoc (kapitola 5).


Strana 4 / 143

Návrhová část V další části zprávy jsou zpracována odděleně doporučení pro změny hodnotícího a výběrového procesu, které lze přijmout ještě v tomto programovacím období a doporučení, která bude možné využít v programovacím období 2014+ (kapitoly 6 a 7). Již v první etapě práce byly doporučeny konkrétní formulační úpravy v dokumentaci pro výběr projektů, které vycházely ze studia dokumentace a řízených rozhovorů s členy výběrové komise a zástupci ŘO. V další etapě byla tato část rozšířena o konkrétní návrh rozšíření příručky pro hodnotitele, a to ve formě doplnění vymezení zdrojů a metodik pro hodnocení a popisu skutečností, za které má být slovní deskriptor snižován. Navíc byla zpracována doporučení pro systém práce hodnotitelů a hodnotících komisí, která by mohla přispět ke kvalitnějšímu posouzení projektových žádostí. Doporučení pro příští programovací období se týkají kvality a efektivity hodnotícího a výběrového procesu. V první řadě byl zpracován návrh na snížení počtu projektů hodnocených externími hodnotiteli, dále návrh na změnu kriteriálního rámce a metodiky hodnocení věcných kritérií, a také byly navrženy určité změny pro výběr projektů. Vzdělávací programy pro hodnotitele a výběrové komise V první etapě byl na základě dosavadního způsobu vzdělávání, na základě dotazníkového šetření a řízených rozhovorů zpracován sylabus vzdělávacího programu pro stávající a nové hodnotitele a pro členy výběrových komisí. Oba vzdělávací programy byly rozděleny do modulů obecného a specifického vzdělávání. Na základě připomínek zadavatele byly v druhé etapě zakázky zpracovány školící materiály pro vzdělávání hodnotitelů i členů výběrových komisí a následně byly realizovány čtyři běhy obecného vzdělávání pro hodnotitele. Po prvním, pilotním, běhu byl obsah školení upraven tak, aby lépe vyhovoval potřebám zúčastněných hodnotitelů. Součástí školení hodnotitelů bylo rovněž zpracování individuálního hodnocení referenčního projektu zúčastněnými hodnotiteli a poskytnutí individuální zpětné vazby ze strany lektorů s doporučeními, jak zkvalitnit hodnocení konkrétních hodnotitelů. Ze strany účastníků bylo školení hodnoceno převážně kladně a hodnotitelé hlavně oceňovali možnost diskuse a zpětně vazby i vstřícný přístup ze strany Řídícího orgánu. Na závěr je třeba upozornit na to, že v místech, kde je v závěrečné zprávě odkazováno na první etapu řešení zakázky, lze podrobné výstupy nalézt v Průběžné zprávě zakázky Zjednodušení a zkvalitnění administrace OP LZZ, Část 1a – Zkvalitnění procesu výběru a práce s hodnotiteli, ze dne 9. 3. 2012.


Strana 5 / 143

I.

Analytická část

3.

Analýza hodnocení vzorku projektů OP LZZ 3.1

Shrnutí analýzy hodnocení grantových projektů

Analýza hodnocení grantových projektů byla provedena v první etapě řešení zakázky a její zpracování a výsledky jsou součástí Průběžné zprávy. V dalším textu je tedy uvedeno pouze shrnutí těchto zjištění. Na základě systematického výběru byl z databáze MONIT7+ vybrán reprezentativní vzorek 500 grantových projektů z oblastí podpory 1.1 a 3.4, a to celkem z 8 výzev k předkládání žádostí od roku 2009. V rámci jednotlivých oblastí podpory byly projekty rozděleny na 2 skupiny podle počtu zpracovaných hodnocení (2 a 3 hodnocení). V těchto skupinách byla provedena detailní analýza rozdílu hodnocení jako celku i rozdílů v hodnocení jednotlivých posuzovaných kritérií, měřeného počty stupňů rozdílu mezi vybranými deskriptory v konkrétních kritériích u jednotlivých hodnotitelů. Shoda a rozdíly v hodnocení byly měřeny maximálním rozdílem mezi názory krajních hodnotitelů – rozdílem počtu stupňů mezi zvolenými deskriptory (počet stupňů rozdílu 0 – 4+, kdy 0 znamená shodně zvolené deskriptory, 1 – jsou zvoleny sousedící deskriptory, 4 – zvolen 1. a 5. deskriptor, resp. 2. a 6.). Na základě této analýzy bylo zjištěno, že mezi jednotlivými skupinami (oblastmi podpory s různým počtem hodnotitelů) existují určité rozdíly v hodnocení – větší rozdíly byly samozřejmě zjištěny u skupin se třemi hodnoceními, největší rozdíly jsou však napříč skupinami zapříčiněny nastavením několika kritérií, se kterými se hodnotitelům pracuje obtížněji. Jako zásadní problémy se jeví definování kritérií, u kterých se posuzuje více skutečností a kde navíc dané kritérium nabízí širší škálu slovních deskriptorů. Hodnotitelům není zcela zřejmé, za jaké skutečnosti snižovat slovní deskriptory, a z tohoto důvodu se objevuje vyšší míra subjektivnosti v posouzení těchto komplexních kritérií. Zároveň při posuzování více skutečností jim různí hodnotitelé přikládají různou váhu při snižování deskriptorů. Souhrnně jsou hlavní rozdíly v hodnocení jednotlivých kritérií v jednotlivých oblastech podpory/výzvách vyjádřeny níže v tabulce. Zeleně jsou označena kritéria, kde je shoda hodnocení vyšší než 50%, naopak červeně jsou označena kritéria, kde dochází k největším neshodám a u více než 20% hodnocení je rozdíl vyšší než 2 stupně deskriptorů. Z uvedené tabulky vyplývá, že míra nesouladu je prakticky přímo úměrná počtu deskriptorů u daného kritéria. Tabulka 1: Shoda hodnocení hodnotitelů u jednotlivých kritérií Počet deskriptorů OP 1.1 – 2 hodnocení

A1

A2

A3

B1

B2

B3

B4

C1

C2

D1

D2

D3

E1

E2

F1

F2

F3

5

3

4

3

3

6

5

6

3

4

4

5

4

6

4

4

4

OP 1.1 – 3 hodnocení OP 3.4 – výzva 54 OP 3.4 – výzva 76 ….….. - shoda hodnocení vyšší než 50%, ………. – ve více než 20% hodnocení je rozdíl o dva a více deskriptorů


Strana 6 / 143

Největší problémy byly identifikovány u dvou kritérií - A1 – Zdůvodnění potřebnosti a E2 – Přehlednost, srozumitelnost a věcná správnost rozpočtu. Identifikované příčiny velkých rozdílů u kritéria A1 jsou: i) široký předmět hodnocení – hodnotí se projekt jako celek, více dílčích aspektů, kvalita příloh ii) absence předpisu pro přílohy - u příloh není předepsáno, jak mají být zpracovány, hlavně v případě doložení analýzy potřeb (zda se jedná o potřeby cílové skupiny, či jejích vzdělávacích potřeb, a další) a jak takovou analýzu posuzovat (velmi často obsahuje obecné, všeobecně známé informace a údaje, nikoliv přesvědčivé údaje ve vazbě na konkrétní cílovou skupinu, místo dopadu atd.) iii) projekty bez přínosu a smyslu (nelze je vyřadit na tomto jediném kritériu) – např. projekty jsou napsány na objednávku formálně správně (splňují podmínky výzvy a projektového cyklu), avšak nejsou přínosné, ani smysluplné a v takovém případě se hodnotitelé často snaží snížit deskriptory i u ostatních kritérií tak, aby hodnocení dosáhlo nižší počet bodů než 65. iv) kritérium má pět slovních deskriptorů „vzdálenějších“ slovních deskriptorů.

–

velký

rozptyl

a

možnost

výběru

U kritéria E2 byly identifikovány zčásti shodné a z části jiné příčiny rozdílných hodnocení než u A1: i) zaměňování s kritériem E1 (přiměřenost rozpočtu). V kritériu E2 se hodnotí zařazení nákladů do položek a kapitol rozpočtu (jejich správnost), členění nákladů do položek a skupin a míra jejich konkretizace, posouzení způsobilých výdajů, posouzení zařazení nákladů do přímých nákladů, nepřímých nákladů a do kapitoly křížové financování, nikoliv rozsah rozpočtu ve vztahu k projektovým aktivitám a výstupům – to je obsahem kritéria E1. ii) široký předmět hodnocení – hodnotí se několik faktorů (přehlednost, srozumitelnost a věcná správnost), dále se hodnotí % limity jednotlivých kapitol dle aktuální výzvy iii) kritérium má šest slovních deskriptorů – opět velký rozptyl a možnost výběru „vzdálenějších“ slovních deskriptorů. Jako problematická se rovněž jeví kritéria B3 – Přínos projektu pro cílovou skupinu, B4 – způsob zapojení cílové skupiny a C1 – Kompetence žadatele, kde velké rozdíly byly identifikovány u 3 ze 4 sledovaných skupin. I u těchto kritérií se lze setkat s obdobnými příčinami rozdílu v hodnocení jako u prvních dvou výše jmenovaných kritérií a to je hodnocení více aspektů v rámci jednoho kritéria a široká škála deskriptorů.

3.2

Analýza hodnocení individuálních projektů

Z databáze MONIT7+ bylo vybráno 22 individuálních projektů, které prošly hodnocením u 2 – 5 hodnotitelů. Do výběru nebyly zařazeny projekty, které neprošly věcným hodnocením či projektová žádost byla stažena žadatelem či vyřazena pro nezájem žadatele.


Strana 7 / 143

Shoda a rozdíly v hodnocení byly měřeny maximálním rozdílem mezi názory hodnotitelů – rozdílem mezi zvolenými deskriptory (počet stupňů rozdílu 0 – 4+, kdy 0 znamená shodně zvolené deskriptory, 1 – jsou zvoleny sousedící deskriptory, 4 – zvolen 1. a 5. deskriptor, resp. 2. a 6.). Hodnotitelé se u jednoho projektu shodli na stejném stupni hodnocení ve 20 %, v 54 % případů se názory jednoho či více hodnotitelů odlišovaly o jeden stupeň. Rozdíly o dva stupně byly zaznamenány ve 21 % případů a v 5,4 % případů byl rozdíl větší. Nejvyšší míra shody byla zaznamenána u kritérií A2, B2 a C2. Největší rozdíly byly u kritérií A1, B4 a E2, obdobně jako u posuzovaných grantových projektů. Přestože rozdíl více než 2 deskriptory se objevuje marginálně, rozptyl v hodnocení je poměrně velký. Tabulka 2: Celkový přehled shody a rozdílů hodnocení všech kritérií u individuálních projektů

Celkem Podíl celkem 2 hodnotitelé

Rozdíl 0 1 2 75 201 78 20,1% 53,7% 20,9% 19 20 11

13 3,5% 0

7 1,9% 1

374 100,0% 51

2 hodnotitelé podíl 3 hodnotitelé 3 hodnotitelé podíl 4 hodnotitelé 4 hodnotitelé podíl 5 hodnotitelů 5 hodnotitelů podíl

37,3% 42 30,9% 5 9,8% 9 6,6%

0,0% 5 3,7% 4 7,8% 4 2,9%

2,0% 2 1,5% 0 0,0% 4 2,9%

100,0% 136 100,0% 51 100,0% 136 100,0%

39,2% 69 50,7% 31 60,8% 81 59,6%

21,6% 18 13,2% 11 21,6% 38 27,9%

3

4+

Celkem

Z uvedeného členění vyplývá, že s růstem počtu hodnotitelů roste počet vzdálenějších hodnocení, a tedy větší počet nezávislých hodnotitelů neznamená větší jistotu ve správnosti hodnocení, pokud jejich hodnocení nejsou vzájemně porovnána a korigována.


Strana 8 / 143

V následující tabulce je uvedena míra shody u hodnocení jednotlivých kritérií bez ohledu na počet hodnocení každého z projektů. I z této tabulky vyplývá, že největší rozdíly se, stejně jako u grantových projektů, objevují u kritérií A1, B4 a E2. Tabulka 3: Shoda hodnocení jednotlivých kritérií v % (bez ohledu na počet hodnotitelů) A1 Shoda (100 %)

A2

A3

B1

B2

B3

B4

4,5% 31,8% 27,3% 22,7% 31,8% 13,6% 18,2%

C1

C2

D1

D2

D3

E1

E2

F1

F2

F3

Průměr

9,1% 45,5%

9,1% 18,2% 18,2% 22,7% 13,6% 13,6% 27,3% 13,6%

20,1%

Rozdíl o 1 stupeň

50,0% 68,2% 59,1% 50,0% 68,2% 68,2% 40,9% 54,5% 54,5%

50,0% 54,5% 50,0% 59,1% 22,7% 68,2% 40,9% 54,5%

53,7%

Rozdíl o 2 stupně

27,3%

0,0%

9,1% 27,3%

0,0% 18,2% 18,2% 31,8%

0,0%

40,9% 27,3% 31,8% 13,6% 31,8% 18,2% 27,3% 31,8%

20,9%

Rozdíl o 3 stupně

9,1%

0,0%

4,5%

0,0%

0,0%

0,0% 18,2%

4,5%

0,0%

0,0%

0,0%

0,0%

4,5% 13,6%

0,0%

4,5%

0,0%

3,5%

Rozdíl o 4+ stupně

9,1%

0,0%

0,0%

0,0%

0,0%

0,0%

0,0%

0,0%

0,0%

0,0%

0,0%

0,0% 18,2%

0,0%

0,0%

0,0%

1,9%


4,5%

Strana 9/143

Na základě požadavku zadavatele byla analýza hodnocení individuálních projektů ještě doplněna o pohled na úroveň hodnocení jednotlivými hodnotiteli a jejich případným systematickým zatížením při hodnocení individuálních projektů a grantových projektů. Na hodnocení vybraných 22 individuálních projektů se podílelo 34 hodnotitelů. Množství projektů hodnocených jednotlivými hodnotiteli bylo různé od 1 do 9 projektů, celkově bylo zpracováno 81 hodnocení. U všech hodnotitelů byla prozkoumána jejich odchylka od průměrného hodnocení jednotlivých projektů. Z níže uvedené tabulky vyplývá, že téměř 1/4 hodnocení vykazovala větší odchylku od průměrného hodnocení než 10 %. Na základě uvedeného vzorku není možné činit kvalifikované závěry o kvalitě hodnocení jednotlivých hodnotitelů. Zdá se však, že hodnotitelé, kteří jsou využíváni častěji, nevykazují zásadní problémy, přestože i u nich se objevují vysoké odchylky od průměrného hodnocení. Naopak nelze usuzovat, že hodnotitelé, kteří nevykazují významné odchylky a hodnotili pouze 1 nebo 2 projekty jsou kvalitnější než ostatní. Tabulka 4: Odchylka hodnocení hodnotitelů od průměru hodnocení jednotlivých projektů Hodnotitel

Odchylka od průměru hodnocení v %

1

-0,35

3,74

-2,64

0,77

2,71

-9,09

-4,12

11,95

7,13

2

-1,07

-0,03

4,10

16,13

6,92

0,01

4,47

11,20

7,85

3

0,71

-1,86

4

0,96

5,69

5

0,90

5,61

6

-1,91

7

-3,66

-10,40

8

5,57

-14,56

9

-5,06

8,29

10

6,13

11

9,45

14,53

12

-2,89

2,10

13

5,04

14

-2,31

15

3,91

16

-4,34

17

-2,31

18

-1,20

26,56

19

-13,32

-17,40

20

-5,40

21

-13,08

22

18,48

23

0,63

24

-9,96

-0,18

25

9,33

0,18

-15,03

-9,16

2,36


Strana 10 / 143

26

12,68

1,45

15,75

27

-0,90

8,56

7,32

28

6,10

-5,90

10,60

29

-1,56

0,89

-10,80

-17,23

30

15,03

-0,76

3,62

3,56

31

-12,76

4,39

-6,46

32

13,18

33

32,62

34

20,11

6,90

2,53

U vybraných hodnotitelů, kteří hodnotili individuální projekty, byla navíc provedena analýza jejich hodnocení grantových projektů z výzvy 23 z oblasti podpory 1.1, Adaptabilita a konkurenceschopnost. Hodnotitel č. 2, který hodnotil 9 individuálních projektů, se podílel na hodnocení 11 grantových projektů z výzvy 23. Vzhledem k tomu, že grantové projekty jsou většinou hodnoceny pouze dvěma hodnotiteli, rozdíl od průměrného hodnocení není vypovídající, pokud se zároveň neanalyzuje hodnocení druhého hodnotitele. Ze zkoumaných 11 hodnocení se odchylka pohybovala nad 10 % pouze ve 3 případech, a to v takových případech, kdy druhým hodnotitelem byla stále stejná osoba, jejíž hodnocení se pohybuje extrémně vysoko. Odchylka hodnocení od průměrného hodnocení v % - hodnotitel č. 2 7,63 4,85 5,37

0,74 -2,65

-10,41

-10,38

-3,06

-1,08

-12,70 -5,10

Hodnotitel č. 13 naopak hodnotil pouze 1 individuální projekt, a převážně hodnotí grantové projekty. V jeho případě jsme analyzovali 11 ze 17 hodnocení ve výzvě č. 23. I v jeho případě byla vyšší odchylka ve 3 případech. Enormní odchylka 30% byla způsobena nejen rozdílem v hodnocení, ale také celkově nízkým hodnocením projektu. Odchylka hodnocení od průměrného hodnocení v % - hodnotitel č. 13 0,74 6,68 4,55 6,61

-8,31

0,11

-8,26

12,67

-4,06

30,29

13,79

Jako dalšího referenčního hodnotitele jsme zvolili hodnotitele č. 30, který hodnotitel 6 individuálních projektů, kdy výraznou odchylku zaznamenal pouze v jednom případě. V rámci výzvy 23 hodnotil 8 grantových projektů, a ve třech případech byla odchylka jeho hodnocení větší než 10%. Odchylka hodnocení od průměrného hodnocení v % - hodnotitel č. 30 8,36

8,13

5,92

16,93

5,44

6,84

13,06

12,23

Jako poslední hodnotitel, který má zkušenost s hodnocením individuálních projektů, byl vybrán hodnotitel č. 29. Hodnotil 4 individuální projekty, u nichž ve dvou případech byla odchylka jeho hodnocení vysoká. V rámci výzvy 23 hodnotil 8 grantových projektů a opět ve třech případech byla odchylka jeho hodnocení větší než 10%. Ve dvou případech byla vysoká odchylka v projektu se třemi hodnoceními, kde se první dvě hodnocení výrazně lišila, v prvním případě se třetí hodnotitel přiklonil k názoru hodnotitele č. 29, ve druhém případě ke druhému hodnotiteli. Odchylka hodnocení od průměrného hodnocení v % - hodnotitel č. 29 9,79

-30,07

-1,99


-6,45

5,15

-26,38

-6,90

-15,03

Strana 11 / 143

Pro porovnání ještě byla provedena analýza hodnocení dvou zkušených hodnotitelů, kteří hodnotí pouze grantové projekty. První hodnotitel (A) hodnotil ve výzvě č. 23 celkově 8 projektů. Ve třech případech byla zaznamenána výrazná odchylka, ve dvou z nich hodnotili projekt oba hodnotitelé ve shodě velmi nízko, přesto však mezi jejich hodnoceními byl výrazný rozdíl. Naopak ve třetím případě se názory výrazně lišily, přestože se jednalo o dva totožné hodnotitele, jak v předchozích případech. Odchylka hodnocení od průměrného hodnocení v % - hodnotitel A -1,54

-9,47

-1,47

-57,40

-5,84

6,26

-37,07

-57,59

Druhý hodnotitel (B) hodnotil ve výzvě č. 23 celkově 15 projektů, z nichž jsme analyzovali 8. I u tohoto hodnotitele se objevila vysoká odchylka u 3 projektů, z nichž 2 byly přehodnocovány třetím hodnotitelem. V obou případech hodnotitel B dal velmi nízké hodnocení a třetí hodnotitel se spíše blížil k názoru druhého hodnotitele. Odchylka hodnocení od průměrného hodnocení v % - hodnotitel B 3,67

-5,78

-6,52

-10,46

16,90

-2,23

-25,10

-1,18

V rámci uvedené analýzy se nepodařilo prokázat souvislost rozdílů v hodnocení grantových projektů mezi hodnotiteli, kteří hodnotí pouze grantové projekty a individuální i grantové projekty. Rozdílné výsledky se objevují u obou typů projektů (jak již bylo prokázáno dříve) a to nezávisle na typu hodnotitele. Obecně lze vypozorovat, že někteří hodnotitelé jsou přísnější, někteří pak mírnější a výše odchylek jejich hodnocení pak závisí na konkrétní volbě hodnotitelů pro daný projekt. Rozdíly jsou samozřejmě markantní u hodnocení grantových projektů, protože průměr hodnocení se počítá ze dvou hodnocení, zatímco u individuálních projektů se díky počtu hodnotitelů odchylka zplošťuje.

3.3 Závěry analýzy reálného hodnocení projektů Z analýzy hodnocení vzorku reálných projektů vyplynuly následující skutečnosti: 1. Hodnocení jednotlivých hodnotitelů jsou často diametrálně rozdílná díky různé kvalitě a preciznosti zpracování hodnotících posudků 2. Hodnocení jsou obecně zatížena systematickou chybou, která vzniká díky nejednoznačnosti posuzování složitěji uchopitelných kritérií (komplexní kritéria s mnoha stupni volnosti slovních deskriptorů) 3. Větší počet nezávislých hodnocení bez vzájemné zpětné vazby není přímo úměrný shodě v hodnocení, spíše naopak – zahrnuje více subjektivních názorů a bez jejich vzájemného porovnání a snahy nalézt správné jednotné stanovisko, postrádá smysl zadávat další nezávislá hodnocení 4. Nebyla nalezena příčinná souvislost mezi rozdílnými hodnoceními grantových a individuálních projektů u jednotlivých hodnotitelů – analyzovaná hodnocení hodnotitelů, hodnotících individuální i grantové projekty vykazovala obdobnou odchylku od hodnocení v obou případech (nelze považovat za reprezentativní vzorek). Ani v případě hodnotitelů, hodnotících pouze grantové projekty, se neprokázala vyšší shoda hodnocení. Národní vzdělávací fond, 22. 6. 2012

Strana 12 / 143

3.4

Závěry analýzy cvičného hodnocení projektů

Analýza vychází z posudků, které byly zpracovávány posuzovateli NVF v rámci realizovaného obecného školení pro hodnotitele (informace o realizaci školení jsou podrobněji v kapitole 8 této zprávy). V rámci školení zpracovávali účastníci (hodnotitelé OP LZZ) cvičné individuální hodnocení projektové žádosti vybraného referenčního projektu. Každý z účastníků školení, který zpracoval hodnocení referenčního projektu, obdržel zpětnou vazbu s komentářem ke každému hodnocenému věcnému kritériu. Dále každý z těchto účastníků obdržel posudek svého výkonu s celkovým shrnutím a přidělenou známkou. Obsahem posudku byla předem stanovená následující kritéria: -

soulad hodnocení s metodikou kvalita a srozumitelnost hodnotícího komentáře soulad hodnotícího komentáře a vybraného slovního deskriptoru kontextové hodnocení celkové hodnocení

Každé z těchto kritérií bylo oznámkováno (od 1 do 4) a současně byl uveden hodnotící komentář k naplnění daného kritéria. Každý z účastníků měl rovněž možnost individuální konzultace svého hodnocení a posudku s lektory školení. Z analyzovaných posudků, které byly vypracovány na základě vyhodnoceného referenčního projektu, vyplynuly skutečnosti (nedostatky), uvedené níže v tabulce č. 5. Jedná se o výčet všech identifikovaných nedostatků zjištěných při posuzování provedeného hodnocení referenčního projektu účastníky školení (hodnotiteli). Mezi časté (opakující) se nedostatky v hodnoceních patří: -

hodnocení věcného kritéria pouze částečně (hodnotitel nehodnotí všechny aspekty daného kritéria, např. v rámci kritéria A1 se soustředí pouze na jeden dílčí aspekt, a to potřebnost projektu, ale již neposuzuje další aspekty tohoto kritéria nebo v rámci kritéria D1 se zaměří pouze na zvolené aktivity projektu, ale již nehodnotí harmonogram a plánovanou délku projektu, nezbytnost (přiměřenost) všech aktivit, provázanost aktivit ve vazbě na vymezené cíle a výstupy, vazbu aktivit na rozpočet, navržený způsob realizace aktivit ad.),

-

ulpívání na jednom nedostatku, který má být předmětem hodnocení v rámci jednoho kritéria (ale hodnotitel jej neustále opakuje v dalších kritériích a snižuje za ně opakovaně slovní deskriptor, ačkoliv z hlediska pravidel projektového cyklu, jsou další kritéria věcně správná a v takovém případě hodnotitel žadatele poškozuje),

-

nezohlednění rizik / rizikových faktorů (a možných problému) v projektu nebo neupozornění na nedostatečná opatření, která by měla rizika eliminovat či jim předcházet (hodnotitel neidentifikuje možná rizika projektu, nebo si hodnotitel všimne možných rizikových faktorů, ale nedostatečně je okomentuje a nezohlednění je současně v rámci eliminačního kritéria D4). Tento nedostatek považujeme za velmi závažný.

Mezi menší nedostatky patří záměna kritérií (hodnotitel zamění věcné kritérium za jiné, např. místo aby hodnotil věcné kritérium C1 hodnotí kritérium C2 a zde již nemusí uvádět komentář, nebo místo, aby hodnotil přiměřenost rozpočtu E1, hodnotí kritérium E2) a také snížení deskriptoru bez řádného zdůvodnění v komentáři nebo komentář zcela chybí, pokud je nepovinný (hodnotitel sníží slovní deskriptor, ale z komentáře není zřejmé za jaký nedostatek/nedostatky). Mezi ojedinělé nedostatky patří domýšlení si či uvádění domněnek bez jasné argumentace. Národní vzdělávací fond, 22. 6. 2012

Strana 13 / 143

Tabulka 5: Nedostatky cvičného hodnocení referenčního projektu Oblasti

Dílčí nedostatky

- v rámci daného věcného kritéria byl vyhodnocen jiný předmět (předmět jiného kritéria)

Nesoulad s metodikou

- komentář neobsahuje vše, co je předmětem hodnocení daného kritéria

- záměna hodnotících kritérií Národní vzdělávací fond, 22. 6. 2012

Ilustrativní příklad

Příklad hodnocení věcného kritéria Vazba na výzvu A2: „Cíle projektu jsou v souladu s oblastí podpory. Nelze ale přesně posoudit, zda budou díky projektovým aktivitám skutečně naplněny, tudíž se jeví jako nerelevantní a ne zcela realistické.“ Hodnotitel nehodnotil kritérium A2 z věcné stránky, ale částečně kritérium A3. Příklad hodnocení věcného kritéria Vazba na výzvu A2: „Projekt je zaměřen na školení. Z osmi "klíčových aktivit" se pouze 2 týkají vzdělávání, přičemž pouze v KA 4 se opravdu jedná o zvýšení znalostí cílové skupiny, ovšem v naprosto minimální míře. Pro každého účastníka projektu je určeno pouze následující: 1) Modul Lektorského minima - 2 (!) hodiny; 2) Modul Legislativy - 3 hodiny; 3) Seminář Znalostních standardů finančních služeb - 8,5 hodiny, přičemž tento seminář není zaměřen na získání nových znalostí, ale pouze informuje, jaké znalosti a dovednosti jsou v Evropě očekávány od finančních poradců a zprostředkovatelů.Přímo vzdělávání se týkají pouze tyto náklady: 03.01.01.02, 03.01.01.03, 03.01.01.04, 03.01.01.05, 03.02.01.01 (jen 2 ks), 03.02.01.02 (jen 2 ks), 04.01.01, 04.04.01, 04.04.02, 04.04.03, 04.04.04, 04.04.05, 04.04.06 (teoreticky), 06.02.01, 06.02.02. Celkem 1 166 200 Kč.“ Komentář k tomuto kritériu není zcela relevantní, odpovídá jinému kritériu, spíše D1.

Příklad hodnocení věcného kritéria Aktivity a harmonogram projektu D1: „Navržené aktivity nepovedou k dosažení vytyčených cílů, neodpovídají potřebám CS a nemají tedy ani celospolečenský přínos. Aktivity jsou sice logicky popsány, ale je-li hlavním cílem projektu (i výzvy) profesní vzdělávání CS, tak pouhých 13,5 hodiny na naplnění tohoto cíle nestačí.“ Nedostatečný komentář, chybí podrobné a konkrétní důvody pro konstatování o nevyhovující náplni jednotlivých KA projektu. Současně nedošlo k posouzení harmonogramu a plánované délky projektu, nezbytnosti a potřebnosti všech aktivit pro tento charakter projektu, provázanosti KA na plánované výstupy a vazbu na rozpočet, navržený způsob realizace (metody práce s CS) ad. aspekty tohoto kritéria. Nejčastějším nedostatkem u kritéria Zdůvodnění potřebnosti projektu A1 je, že hodnotitelé se zaměřují na potřebnost a potřeby CS, nikoliv na další aspekty

Strana 14 / 143

věcného kritéria, a to na smysl a přínos projektu, inovativnost ad. U kritéria Zkušenosti žadatele C2 hodnotitelé hodnotí jen zkušenosti v práci s CS a ve věcně odborné tematické oblasti, ale opomíjí posoudit zkušenosti s řízením a realizací projektů obdobného charakteru. V rámci kritéria F1 – šíře a adekvátnost výběru monitorovacích indikátorů hodnotitel uvedl do komentáře: „U MI 07.46.13. Počet úspěšných absolventů kurzů celkem - hodnota 710 osob, chybí odůvodnění tohoto počtu. Jak se žadatel dostal k této hodnotě? Dále není v projektu specifikováno, jak budou hodnoceny závěrečné testy účastníků kurzů a jaká kritéria musí splnit, aby mohly být hodnoty započítány do MI. Postrádám i informaci jaké potvrzení (certifikát) účastníci za úspěšné absolvování získají (to se týká i případné certifikace lektorů)“ Hodnotitel však v komentáři zohlednil kritérium F2 nikoliv F1 – výběr monitorovacích ukazatelů ve vazbě na charakter aktivit, vybrané cílové skupiny, výstupy projektu.

Nesoulad s metodikou

V rámci kritéria C1 měl hodnotitel vyhodnotit velikost a složení realizačního týmu, velikost úvazků, náplň práce ad. aspekty věcného kritéria. Hodnotitel však vyhodnotil, a to ještě pouze částečně kritérium C2 – zkušenosti žadatele, viz komentář: „Žadatel je profesní organizací, která sdružuje fyzické osoby - poskytovatele finančních služeb a je specializovanou vzdělávací institucí pro oblast finančních služeb a má 5 let zkušeností v této oblasti“. Mezi další nejčastější příklady záměny kritérií,kromě šíře a adekvátnost MI (F1) X reálnost hodnot MI (F2, kompetence žadatele (C1) X zkušenosti žadatele (C2) patří ještě přiměřenost rozpočtu (E1) X věcná spránost, přehlednost a srozumitelnost rozpočtu (E2). V ojedinělých případech dochází k záměně také u: - zdůvodnění potřebnosti (A1) X vazba na výzvu (A2) - vazba na výzvu (A2) X cíle projektu (A3).

- příliš stručný a obecný komentář

Nedostatky v komentářích

Příklad komentáře kritéria Způsob zapojení a oslovení cílové skupiny B4: „Zapojení cílové skupiny je standardní.“

- příliš detailní komentář nebo ulpívání na vybraných detailech

- opisování informací Národní vzdělávací fond, 22. 6. 2012

Příklad hodnocení kritéria Vazba na cíle výzvy A2: „Cílem výzvy č. 23 je zvýšit odborné znalosti,

Strana 15 / 143

z projektové žádosti (nejedná se o hodnotící informace v komentáři)

- nezohlednění rizik/rizikových faktorů v rámci kritéria D4

- nesoulad jako takový (+/-)

Nesoulad slovního deskriptoru a komentáře

- snížený deskriptor není řádně zdůvodněn

Subjektivnost / domýšlení si - uvádění domněnek bez jasného podložení argumenty


dovednosti a kompetence zaměstnanců a zaměstnavatelů. Žadatel uvádí, že je projekt je zaměřen na školení o tom, co je v Evropě považováno za znalostní standard kvalifikovaného finančního poradce a zprostředkovatele, dále žadatel uvádí, že ...“

Příklad: - z projektu vyplývá, že žadatel nemá zkušenosti s řízením projektů obdobného charakteru, ale v projektové žádosti se objevuje nehomogenní velká cílová skupina z celé ČR a rozsáhlé množství klíčových aktivit =hodnotitel na tento rizikový faktor neupozornil - z projektu je zjevné, že se jedná o velké množství a rozsah KA, o velkou cílovou skupinu, ale plánovaná délka realizace projektu je krátká a hrozí, že nedojde k uskutečnění všech KA a tím i splnění deklarovaných cílů a výstupů =hodnotitel na tento rizikový faktor neupozornil

Příklad hodnocení věcného kritéria Kompetence žadatele C1 – udělen velmi snížený slovní deskriptor (malé kompetence) doplněný komentářem hodnotitele: “Realizační tým odpovídá realizaci aktivit, jedná se o celkem 7 pozic realizačního týmu. Úvazky a jejich výše odpovídá obsahu projektu. Složení týmu zaručuje naplnění cílů projektu, žadatel má zkušenost s podobnou realizací projektu, členové realizačního týmu jsou zaměstnanci žadatele, lze předpokládat, že svoji činnost, kterou budou vykonávat v rámci projektu, vykonávají i ve svém stávajícím zaměstnání, což zaručuje dosažení cílů projektu. Při posouzení pracovních úvazků a výše mezd lze konstatovat, že mzdy odpovídají reálným mzdám a úvazky jsou v pořádku.“ Komentář je pozitivní a bez uvedení jakýchkoli výhrad, přesto je hodnocení sníženo. Zvolený deskriptor by měl odpovídat komentáři. V případě tohoto projektu lze vytýkat nedostatečný popis aktivit odborných pozic a nejasnou kalkulaci jejich úvazků a dále nejasné vymezení kompetencí a činností mezi RT a dodavatelem.

Příklad hodnocení věcného kritéria D2: „Školení nebylo vyvoláno potřebou cílové skupiny školených ale potřebou žadatele školit a slaďovat standardy v dané oblasti. Je málo pravděpodobné, že by po skončení projektu byli poradci ochotni se účastnit placeného vzdělávání.“ Není zřejmé, proč se hodnotitel domnívá, že poradci nebudou ochotni za vzdělávání platit, tento komentář není relevantní. Hodnotitel má posoudit to, co je uvedeno v projektové žádosti, nikoli uvádět své ničím nepodložené domněnky. Případně každou takovou

Strana 16 / 143

pochybnost by měl řádně podložit.

Nepodložené hodnocení

Absence vnitřního kontextu

- snížení slovního deskriptoru bez uvedení důvodů u nepovinně komentovaných kritérií

- hodnocení jednotlivých kritérií mezi sebou nekoresponduje

Např. věcné kritérium Způsob zapojení cílové skupiny B4, hodnotitel vybral následující slovní deskriptor – „intenzivní a neadekvátní zapojení CS“ avšak neuvedl zdůvodnění snížení slovního deskriptoru v komentáři. Nicméně z projektu vyplývá, že CS byla oslovena dotazníkovým šetřením. Současně je nastíněn způsob práce s CS, didaktické formy a styly výuky (přednášky, workshopy), včetně zjišťování zpětné vazby účastníkům.

Příklad: Žadatel uvedl v rámci komentáře kritéria A1, že nejsou dostatečně, konkrétně a přesvědčivě identifikovány potřeby cílové skupiny. V rámci hodnocení kritéria B3 však uvedl, že je projekt vysoce přínosný, protože aktivity jsou vhodně zvolené a reagují na potřeby cílové skupiny (což v rámci A1 popřel).

Přísnost a opakované snížení slovního deskriptoru

- pokud je předmětem stejný / obdobný věcný předmět (ve vazbě, v kontextu s jiným kritériem), dochází k opakovanému snižování slovního deskriptoru

Příklad: hodnotitel snížil slovní deskriptor v rámci kritéria A1 za to, že nejsou dostatečně zohledněny (identifikovány) potřeby cílové skupiny, a tím i potřebnost projektu. Dále za tento nedostatek snížil deskriptor také v rámci kritéria A3, B2, B3, D1.

Příklad: Silnou stránkou projektu je jeho inovativnost a provázání cílů, KA a výstupů a potřeb CS. Slabou stránkou je nejasnost práce s CS, její velikost kontra předpokládaná nízká účast na akcích viz. plánovaná velikost monitorovacích indikátorů

Nedostatky v závěrečném hodnocení

- chybí celkové zhodnocení - absence jasných doporučení pro žadatele / VK - kopírování jednotlivých hodnotících komentářů - opisování informací z projektové žádosti - komentář je nepřehledný a nestrukturovaný - absence rizikových faktorů - nevyváženost informací (slabě vs. slabé stránky)


Strana 17 / 143

4.

Zhodnocení rizik nastavení hodnotících kritérií OP LZZ 4.1

Identifikace rizik hodnotících kritérií

Na základě diskuse uvnitř realizačního týmu byla provedena analýza a zhodnocení rizikovosti jednotlivých hodnotících kritérií, a to především s ohledem na odhalení hlavních rizikových faktorů snižujících objektivnost a transparentnost hodnocení a naopak zvyšujících chybovost a míru subjektivity při práci hodnotitelů. Jednotlivá hodnotící kritéria byla posouzena na základě tří rizik prostřednictvím pětistupňové škály (1 - 5; hodnota 1 = nejnižší riziko): 1) Vymezení kritéria Riziko je zaměřeno na srozumitelnost, přesnost a jasnost vymezení předmětu hodnotícího kritéria. Zohledněna je rovněž jednoznačnost interpretace předmětu hodnocení. Riziko je navázáno na nepochopení toho, co je předmětem hodnocení daného kritéria. Rizika byla stanovena s ohledem na: - míru konkrétnosti a srozumitelnosti popisu hodnotícího kritéria - překryv s jinými hodnotícími kritérii - kvalitu uvedeného ilustrativního příkladu 2) Obsah kritéria Riziko je zaměřeno na předmět obsahu hodnocení kritéria. Posuzuje se míra obecnosti kritéria a šíře záběru věcného vymezení kritéria. Riziko je vázáno na možnost nedodržování metodiky hodnocení. Rizika byla stanovena s ohledem na: - míru „uchopitelnosti“ předmětu kritéria - vazbu na konkrétní reference pro hodnocení a závislost na odborných znalostech hodnotitele - šíři zaměření hodnotícího kritéria (zaměření na jeden nebo více aspektů projektu) 3) Hodnocení kritéria Riziko je zaměřeno na nastavení hodnotící škály. Posuzuje se složitost a objektivita při výběru slovních deskriptorů. Riziko je navázáno na možnost subjektivní interpretace a následné nejednotnosti při výběru slovních deskriptorů. Rizika byla stanovena s ohledem na: - soulad formulace slovních deskriptorů s předmětem hodnocení kritéria - jednoznačnost znění slovních deskriptorů - počet stupňů škály slovních deskriptorů Všechna tři identifikovaná dílčí rizika zvyšují riziko netransparentního, metodicky nesprávného a subjektivního hodnocení a následnou nemožnost objektivního srovnání kvality projektů mezi sebou.


Strana 18 / 143

Tabulka 6:

1

2

3

4

5

Definovaná rizika a škála pro jejich posouzení Vymezení kritéria

Obsah kritéria

Hodnocení kritéria

Pregnantní a zcela srozumitelné vymezení kritéria Popis zajišťuje jednoznačnou interpretaci kritéria.

Jednoznačné kritérium Kritérium je úzce vymezeno. Naplnění kritéria je zcela navázáno na objektivní ukazatele (např. cena, indikátor)

Srozumitelné vymezení kritéria Popis zajišťuje srozumitelnou interpretaci kritéria, pro subjektivní interpretaci je ponechán jen marginální prostor. Nejednoznačné vymezení kritéria Popis kritéria je srozumitelný, ale není zcela přesný a ponechává prostor pro vlastní interpretaci.

Konkrétní kritérium Kritérium je zaměřeno na ohraničený konkrétní aspekt projektu. Vyhodnocení kritéria je zhledem k jeho předmětu téměř jednoznačné. Pro hodnocení je relevantní konkrétní reference. Obecné kritérium Kritérium je široce zaměřeno nebo zahrnuje více aspektů projektu. Hodnocení kritéria je závislé na expertním posouzení, konkrétní reference lze využít velmi okrajově. Vágní kritérium Kritérium je široce zaměřeno nebo zahrnuje více aspektů projektu Hodnocení je zcela závislé na expertním posouzení, hodnotitel nemá k dispozici konkrétní a jednoznačnou referenci pro vyhodnocení kritéria. Neurčité kritérium Obsah kritéria je uveden velmi neurčitě. Hodnotitel nemá objektivní měřítko pro hodnocení kritéria. Hodnocení je intuitivní a subjektivní.

Jednoznačné hodnocení Nastavení hodnotící škály je v úzké provázanosti na předmět hodnocení kritéria. Hodnotící deskriptory jsou pregnantně formulovány a jednoznačně interpretovatelné. Objektivní hodnocení Nastavení hodnotící škály jasnou má vazbu na předmět hodnocení kritéria. Hodnotící deskriptory jsou formulovány srozumitelně a je malý prostor pro subjektivní interpretaci. Subjektivní hodnocení Nastavení hodnotící škály má vazbu na předmět hodnocení kritéria. Hodnotící deskriptory obsahují nejednoznačné a subjektivně interpretované hodnotící výroky. Neobjektivní hodnocení Nastavení hodnotící škály má pouze částečnou vazbu na předmět kritéria. Hodnotící deskriptory obsahují nejednoznačné hodnotící výroky a jsou subjektivně interpretovatelné.

Nejasné vymezení kritéria Popis kritéria není zcela srozumitelný a ani přesný, je ponechán velký prostor pro vlastní interpretaci.

Nesrozumitelné vymezení kritéria Popis kritéria je nesrozumitelný, prostor je zcela ponechán pro vlastní interpretaci

Zcela neobjektivní hodnocení Nastavení hodnotící škály má nejasnou vazbu na předmět kritéria. Hodnotící deskriptory obsahují nejednoznačné a naprosto subjektivně interpretované hodnotící výroky.

Míra rizika 1 - 2 představuje přijatelnou míru rizika, hodnota 3 ukazuje na vyšší míru subjektivity hodnocení. Míra rizika 4 - 5 již znamenají nežádoucí stav, kdy objektivnost hodnocení zcela ustupuje intuitivnímu a subjektivnímu uchopení předmětu hodnocení kritéria a jeho zcela subjektivnímu zhodnocení.


Strana 19 / 143

Tabulka 7: Katalog rizik hodnotících kritérií OP LZZ

A1 Zdůvodnění potřebnosti projektu

míra rizika

A2 Vazba na cíle výzvy (oblasti podpory OP LZZ)

míra rizika A3 Zhodnocení cílů projektu

Vymezení kritéria - vymezení kritéria není jasně ohraničené, popis není zcela přesný a pro subjektivní výklad předmětu kritéria je ponechán velký prostor - není uveden ilustrativní příklad pro hodnocení kritéria

4 - kritérium je srozumitelně, ale ne zcela jednoznačně vymezeno a ponechává prostor pro subjektivní interpretaci (dvoustupňové posouzení kritéria soulad s cíli výzvy a oblastí podpory a soulad s podmínkami výzvy, tzn. má širší pojetí než jen ve vztahu k cílům, částečný překryv s kritériem B1) - není uveden ilustrativní příklad pro hodnocení kritéria

Obsah kritéria - kritérium zaměřené na více aspektů - nevyvážený popis mezi aspektem zdůvodnění potřebnosti a inovativností - reference lze využít jen okrajově, nejsou vymezeny požadavky na jejich kvalitu (např. co má obsahovat analýza potřebnosti, je relevantní uvést pouze existenci analýzy nebo je nutné specifikovat i její výstupy?, apod.) - hodnocení je velmi intuitivní a zcela závislé na odborném posouzení hodnotitele 4 - kritérium zaměřené na více aspektů - nevyváženost mezi názvem kritéria a jeho obsahem (dle názvu akcent na soulad s cíli, obsahem kritéria je ale i širší soulad s podmínkami výzvy) - reference lze využít jen okrajově, nejsou vymezeny požadavky na jejich kvalitu

Hodnocení kritéria - hodnotící škála má vazbu na předmět kritéria - znění slovních deskriptorů je subjektivně posuzovatelné - nejsou stanoveny požadavky na udělení nejvyššího slovního deskriptoru - není uvedeno, jakým způsobem snižovat hodnocení - není uveden způsob hodnocení inovativnosti - široká hodnotící škála (5 stupňů)

-

4 hodnotící škála má vazbu na předmět kritéria znění slovních deskriptorů je subjektivně posuzovatelné nejsou stanoveny požadavky na udělení nejvyššího slovního deskriptoru není uvedeno, jakým způsobem snižovat hodnocení 3 stupňová hodnotící škála (může svádět ke středovému hodnocení)

3 4 4 - vymezení kritéria je srozumitelné, ale ne - kritérium se zaměřuje na jeden - znění slovních deskriptorů počítá jen zcela přesné a ponechává výraznější aspekt s (ne)jasně vymezenými prostor pro subjektivní výklad předmětu - popis obsahu kritéria je nepřehledný a (ne)relevantními cíli a není ošetřena kritéria (zejména v souvislosti možnost, když je problém s vymezením a roztříštěný s neřešením případu metodicky - reference lze využít jen okrajově, pouze některých cílů projektu


Strana 20 / 143

míra rizika

B1 Jasné vymezení cílové skupiny

míra rizika

nesprávně nastavených cílů, kdy za cíle nejsou jasně vymezeny požadavky - znění slovních deskriptorů je proto velmi jsou vydávány výstupy nebo aktivity, jak na jejich kvalitu subjektivně posuzovatelné k cílům dojít; nebo pokud jen některé - není uvedeno, jakým způsobem snižovat z cílů jsou nastaveny správně, jsou hodnocen (např. i jak postupovat relevantní a jiné nejsou) při metodicky chybně nastavených cílech) - není uveden ilustrativní příklad pro hodnocení kritéria 3 4 4 - vymezení kritéria srozumitelné, ale ne - kritérium se zaměřuje na více aspektů - hodnotící škála má pouze částečnou zcela přesně ohraničené, pro subjektivní (relevantnost CS, kvalitativní vazbu na předmět kritéria (hodnotí výklad předmětu kritéria je ponechán a kvantitativní vymezení CS) kvalitu vymezení CS a nikoli relevantnost dílčí prostor (např. míra - nevyváženost mezi názvem kritéria a CS) „jasnosti“ vymezení CS; nejistota, na co jeho obsahem (dle názvu akcent na - znění slovních deskriptorů je proto klade kritérium akcent), při posuzování jasnost vymezení CS, kritérium ale subjektivně posuzovatelné způsobilosti cílové skupiny a územního řeší i zásadní další zásadní aspekt, - pouze 3 stupňová škála slovních dopadu přesah do kritéria A2 oprávněnost CS) deskriptorů (vzhledem k zaměření kritéria - ilustrativní příklad je zaměřen jinak, než - reference lze využít jen okrajově, by byla vhodnější 4 stupňová) metodika kritéria (vede k duplicitám nejsou jasně vymezeny požadavky na - znění slovních deskriptorů je vztaženo s kritérii B2, B3, B4 a C2) jejich kvalitu pouze k části předmětu hodnocení a způsobuje nejasnosti, co je kritéria předmětem kritéria - jsou stanoveny požadavky na max. hodnocení kritéria, ale ilustrativní příklad je nevhodně zvolen (není vztažen výlučně k tomuto kritériu) 4 4 5


Strana 21 / 143

B2 Přiměřenost cílové skupiny

míra rizika

B3 Přínos projektu pro cílovou skupinu

- vymezení oblasti hodnocení kritéria není zcela jasný (předmětem hodnocení má být přiměřenost CS posuzovaná z různých aspektů, zároveň jsou ale zahrnuty i předchozí zkušenosti žadatele s prací s CS, zaručení přijetí pozvání ke vstupu do projektu od CS, kontrolu oprávněnosti CS v geografickém smyslu), zřetelně se duplikuje s jinými hodnotícími kritérii (B1, B4, C1, D1, F1 a F3) a ponechává velký prostor pro subjektivní výklad předmětu kritéria - ilustrativní příklad není vhodně zvolený, jeho role je pro správné pochopení předmětu spíše záporná, částečně obsahuje, co je předmětem hodnocení jiných kritérií 4 - vymezení kritéria není zcela jasně ohraničené (přesah do kritéria A1 hodnocení potřebnosti) - je ponechán prostor pro subjektivní interpretaci - ilustrativní příklad uvádí alespoň obecně požadavky pro udělení max. bodového hodnocení, obsahově odpovídá zaměření kritéria, ale není ve vztahu k němu vyčerpávající

míra rizika


3

- obsah kritéria je neurčitý až zmatečný - nastavení hodnotící škály má nejasnou vazbu na předmět kritéria (předmětem - hodnotitel nemá jasné objektivní hodnocení kritéria je přiměřenost CS, měřítko pro posouzení kritéria deskriptory jsou vztaženy k potřebám CS), - hodnocení je zcela závislé v kombinaci s faktem, že jde o nepovinně na subjektivním posouzení komentované kritérium, je vysoké riziko neobjektivního i metodicky nesprávného hodnocení - nejsou stanoveny požadavky na udělení nejvyššího slovního deskriptoru - není uvedeno, jakým způsobem snižovat hodnocení - pouze 3 stupňová škála slovních deskriptorů (vzhledem k zaměření kritéria by byla vhodnější 4 stupňová)

5 5 - kritérium je zaměřeno na dva ne zcela - nastavení hodnotící škály má vazbu jasně ohraničené aspekt projektu na pouze na část předmětu hodnocení kritéria (přiměřenost jako taková) - při hodnocení převažuje subjektivní posouzení - 6 stupňová hodnotící škála je příliš široká - pro hodnocení jsou částečně - odstupňování jednotlivých deskriptorů je dohledatelné relevantní reference příliš jemné (např. rozdíl mezi „vysoký“ a „značný“ nebo „malý“ a „velmi malý“) a výrazně subjektivně interpretovatelné - není uvedeno, jakým způsobem snižovat hodnocení 4 4

Strana 22 / 143

B4 Způsob zapojení cílové skupiny

- popis vymezení kritéria není zcela srozumitelný a ani přesný, je ponechán velký prostor pro vlastní interpretaci - kritérium má jasné přesahy až duplicity s jinými hodnotícími kritérii (např. text k zaručení vstupu CS do projektu je uveden i u kritéria B2, popis odkazuje i na zkušenosti žadatele s prací s CS opět uvedeno i u kritéria B2 a zároveň představuje duplicitu s C2) - ilustrativní příklad není vyčerpávající, nepostihuje celou šíři předmětu hodnocení kritéria

míra rizika -

-

C1 Kompetence žadatele

-

-

míra rizika

4 vymezení kritéria je nejasně ohraničeno (kromě explicitně uvedené kompetence obsahuje i hodnocení přiměřenosti realizačního týmu) kritérium má úzkou vazbu na kritérium E1 a částečně se překrývá s kritérii B2 a B4 ve vymezení kritéria není zohledněn aspekt role dodavatele v projektu a jeho vliv na nastavení realizačního týmu první část ilustrativního příkladu uvádí nereálnou modelovou situaci a bez vazby na zohlednění v hodnocení kritéria popis vymezení kritéria není zcela srozumitelný a ani přesný, je ponechán velký prostor pro vlastní interpretaci 4


- obsah hodnocení kritéria je široce a nejasně ohraničen, patrné jsou přesahy až duplicity s jinými kritérii a zároveň není jasně uvedeno, které faktory při hodnocení kritéria pouze vzít v úvahu a upozornit na ně a za které snižovat hodnocení - popis obsahu kritéria je nejasně strukturovaný a nepřehledný - reference lze využít jen okrajově, nejsou jasně vymezeny požadavky na jejich kvalitu - hodnocení je závislé na subjektivním expertním posouzení 5 - kritérium se zaměřuje na více aspektů (kompetence a přiměřenost realizačního týmu) - kritérium je nutné hodnotit v těsném kontextu s kritérii E1 a B2, přičemž z popisu nevyplývá, na které nedostatky jen upozornit a za které snižovat hodnocení kritéria - popis obsahu kritéria je nejasně strukturovaný a nepřehledný - reference lze využít jen okrajově, nejsou jasně vymezeny požadavky na jejich kvalitu - hodnocení je závislé na subjektivním expertním posouzení

- nastavení hodnotící škály má vazbu na předmět hodnocení, ale je obtížně uchopitelné a subjektivně interpretovatelné - 5 stupňová škála slovních deskriptorů (lichý počet může svádět ke středovému hodnocení) - není uvedeno, jakým způsobem snižovat hodnocení (pouze odkaz na „přiměřené snížení“ bodů)

4

5

Strana 23 / 143

-

-

5 nastavení hodnotící škály se váže pouze k jednomu z posuzovaných aspektů (kompetenci žadatele) 6 stupňová hodnotící škála je příliš široká odstupňování jednotlivých deskriptorů je příliš jemné (např. rozdíl mezi „vysoký“ a „značný“ nebo „malý“ a „velmi malý“) a výrazně subjektivně interpretovatelné nejsou stanoveny požadavky na udělení nejvyššího slovního deskriptoru není uvedeno, jakým způsobem snižovat hodnocení

C2 Zkušenosti žadatele a členů týmu

míra rizika

C3 Partneři

míra rizika

- popis kritéria je srozumitelný, ale není - kritérium je zaměřeno na ohraničený zcela přesný a ponechává prostor pro konkrétní aspekt projektu, který však vlastní interpretaci zahrnuje dvě roviny (zkušenosti s realizací projektů a zkušenosti - kritérium se částečně překrývá s kritérii v odborně tematické oblasti projektu) B2 a B4 (zkušenosti s prací s CS) a není stanoveno, jakým způsobem - ve vymezení kritéria není zohledněn zohlednit případnou nevyváženost aspekt role dodavatele v projektu a jeho obou rovin v hodnocení vliv především na odbornou stránku - kritérium je nutno hodnotit v těsném projektu kontextu s kritérii B2 a není uvedeno, - ilustrativní příklad je uveden, alespoň na které nedostatky pouze upozornit v obecné rovině obsahuje informace a které promítnout do snížení kritéria pro udělení nejvyššího hodnocení kritéria hodnocení - pro hodnocení jsou částečně dohledatelné relevantní reference 3 3 - vymezení kritéria zajišťuje jednoznačnou - kritérium je zaměřeno na ohraničený interpretaci předmětu hodnocení konkrétní aspekt projektu - ilustrativní příklad je podrobný a vhodně - vyhodnocení kritéria je zhledem zvolený k jeho předmětu téměř jednoznačné - pro hodnocení jsou dohledatelné relevantní reference 1 1


Strana 24 / 143

- nastavení hodnotící škály má vazbu na předmět hodnocení kritéria - 3 stupňová hodnotící škála v kombinaci s ne zcela jasnou metodikou hodnocení kritéria může vést k preferenci středového hodnocení, zároveň ale snižuje riziko subjektivního hodnocení - není zcela propracováno, jakým způsobem snižovat hodnocení

2 kritérium nemá bodovou váhu

-

D1 Volba a popis klíčových aktivit a harmonogram projektu

míra rizika

- vymezení kritéria je široké a ne zcela - kritérium je primárně zaměřeno na jasně ohraničené a srozumitelné dva aspekty projektu, které spolu úzce souvisejí (rozsah a výstupy - vymezení kritéria ponechává prostor pro projektu a řízení času v projektu), vlastní interpretaci (zejm. v oblasti nicméně jejich souhrnné hodnocení je kontextového hodnocení kritéria a na co velmi náročné a obtížně uchopitelné klást při hodnocení důraz) - ilustrativní příklad je uveden, alespoň - není stanoveno, jakým způsobem zohlednit případnou nevyváženost v obecné rovině obsahuje informace obou rovin v hodnocení kritéria pro udělení nejvyššího hodnocení - není jasně stanoveno, jakým způsobem vyhodnotit „celospolečenský přínos“ projektu - kritérium se posuzuje kontextově a není jasně stanoveno, na které nedostatky pouze upozornit a které zohlednit v přiřazení slovního deskriptoru - při hodnocení obou rovin kritéria výrazně převažuje míra expertního posouzení nad využitelnosti konkrétních referencí 4 5


Strana 25 / 143

- nastavení hodnotící škály má vazbu na předmět hodnocení kritéria, resp. je obecně nastaveno, že nevylučuje žádnou z rovin hodnocení kritéria - volba slovního deskriptoru je subjektivně interpretovatelná - kritéria pro udělení maximálního hodnocení jsou stanovena - není uvedeno, jakým způsobem snižovat hodnocení - hodnocení kritéria je subjektivní

4

D2 Předpoklady pro udržitelnost projektu po skončení financování

míra rizika

D3 Kvalita řízení rizika

míra rizika

- vymezení kritéria je ohraničené a srozumitelné, pro subjektivní výklad předmětu kritéria je ponechán jen malý prostor (především v oblasti finanční udržitelnosti) - ve vymezení kritéria nejsou postihnuty všechny relevantní aspekty udržitelnosti v rámci OP LZZ (např. udržitelnost investičních řešení realizovaných v rámci křížového financování, institucionální udržitelnost atd.) - ilustrativní příklad nepopisuje optimální modelovou situaci (kladen důraz na finanční udržitelnost, která nemá u většiny projektů OP LZZ primární důležitost) 3 - popis kritéria je srozumitelný, ale není zcela přesný a ponechává prostor pro vlastní interpretaci - ve vymezení kritéria není řešeno metodicky nesprávné vymezení rizik (častá chyba v projektových žádostech), naopak u neinvestičních projektů nelze příliš předpokládat stanovení nákladnosti protirizikových opatření - ilustrativní příklad je z hlediska zásad projektového řízení nevhodně nastaven (u žádného projektu nelze předpokládat identifikaci všech vnějších a vnitřních rizikových faktorů) 4


- popis obsahu kritéria je nejasně strukturovaný a nepřehledný - některé věci jsou v kritériu popsány dvakrát, pouze jinými slovy - z popisu není jasné, na jaký aspekt udržitelnost klást důraz - při hodnocení kritéria převažuje míra expertního posouzení nad využitelnosti konkrétních referencí

- nastavení hodnotící škály má vazbu na předmět hodnocení kritéria - hodnotící deskriptory jsou formulovány srozumitelně a je malý prostor pro subjektivní interpretaci - 4 stupňová hodnotící škála se jeví jako optimální pro posouzení kritéria - není uvedeno, jakým způsobem snižovat hodnocení (pouze odkaz na „přiměřené snížení“ bodů)

4 2 - popis obsahu kritéria je nejasně - nastavení hodnotící škály má vazbu strukturovaný a nepřehledný na předmět hodnocení kritéria - reference lze využít jen okrajově, - 5 stupňová hodnotící škála v kombinaci nejsou jasně vymezeny požadavky s ne zcela jasnou metodikou hodnocení na jejich kvalitu kritéria může vést k preferenci středového hodnocení, zároveň ale - hodnocení je závislé na subjektivním snižuje riziko subjektivního hodnocení expertním posouzení - odstupňování slovních deskriptorů je subjektivně posuzovatelné (např. rozdíl mezi „zvlášť vysokou“ a „vysokou“ nebo „špatnou“ a „velice špatnou“ kvalitou řízení rizika) - není uvedeno, jakým způsobem snižovat hodnocení 4 4

Strana 26 / 143

D4 Rizikovost projektu

míra rizika

E1 Přiměřenost rozpočtu projektu jeho obsahové náplni a rozsahu

- popis zajišťuje srozumitelnou interpretaci kritéria, pro subjektivní interpretaci je ponechán jen marginální prostor (možná záměna s předmětem kritéria D3) - uvedené ilustrativní příklady jsou vhodně zvoleny 2 - popis zajišťuje srozumitelnou interpretaci kritéria, pro subjektivní interpretaci je ponechán jen marginální prostor (možná částečná záměna s předmětem hodnocení kritéria E2) - není uveden ilustrativní příklad pro hodnocení kritéria

míra rizika


2

- kritérium je zaměřeno na ohraničený kritérium nemá bodovou váhu konkrétní aspekt projektu - při hodnocení má velkou váhu subjektivní názor hodnotitele

3 - kritérium je zaměřeno na ohraničený - nastavení hodnotící škály má vazbu konkrétní aspekt projektu na předmět hodnocení kritéria - vyhodnocení kritéria je vzhledem - hodnotící deskriptory obsahují k jeho předmětu téměř jednoznačné nejednoznačné výroky s možností subjektivní interpretace (není stanovena - pro hodnocení jsou dohledatelné hranice mezi „mírným“ a relevantní reference „značným“ nad/pod-hodnocením rozpočtu - nejsou stanoveny požadavky na udělení nejvyššího slovního deskriptoru - nejsou stanovena kritéria pro volbu konkrétního deskriptoru 1 3

Strana 27 / 143

E2 Přehlednost, srozumitelnost a věcná správnost rozpočtu

- kritérium není zcela jasně ohraničené - kritérium zahrnuje několik rovin (možná částečná záměna s předmětem (přehlednost, srozumitelnost hodnocení kritéria E1) a věcnou správnost rozpočtu) - popis kritéria je srozumitelný, ale není - při hodnocení převažuje subjektivní zcela přesný a ponechává prostor pro názor vlastní interpretaci - hodnotitel nemá k dispozici konkrétní - ilustrativní příklad je uveden, ale je a jednoznačnou referenci pro velmi stručný obecný a i když je vztažen vyhodnocení kritéria k požadavkům pro maximální ohodnocení kritéria, neobsahuje např. aspekt uznatelnosti nákladů

míra rizika

F1 Šíře a adekvátnost výběru monitorovacích ukazatelů

míra rizika

4

4

- nastavení hodnotící škály má vazbu na předmět hodnocení kritéria, resp. je obecně nastaveno, že nevylučuje žádnou z rovin hodnocení kritéria - 6 stupňová hodnotící škála je příliš široká - odstupňování jednotlivých deskriptorů je příliš jemné (např. rozdíl mezi „vysoký“ a „značný“ nebo „malý“ a „velmi malý“) a výrazně subjektivně interpretovatelné - kritéria pro udělení maximálního hodnocení jsou obecně stanovena - není uvedeno, jakým způsobem snižovat hodnocení 5

- popis kritéria je srozumitelný, ale není - kritérium je zaměřeno na ohraničený - nastavení hodnotící škály má vazbu zcela přesný a ponechává prostor pro konkrétní aspekt projektu, který však na předmět hodnocení kritéria, resp. je subjektivní interpretaci (hrozí prolínání zahrnuje dvě odlišné roviny (volba obecně nastaveno, že nevylučuje žádnou s předmětem hodnocení kritéria F2 relevantních indikátorů a metodická z rovin hodnocení kritéria úzká souvztažnost mezi metodicky správnost nastavení indikátorů) - 4 stupňová hodnotící škála nepostihuje správně nastavenou hodnotou MI - vyhodnocení kritéria je vzhledem všechny reálné varianty (např. volba a popisu, jak žadatel k hodnotám MI k jeho předmětu téměř jednoznačné relevantních indikátorů, ale jejich dospěl) (přesto jsou v textu zavádějící metodicky nesprávné nastavení) - není uveden ilustrativní příklad pro informace hodnocení - volba slovního deskriptoru je subjektivně hodnocení kritéria „přiměřenosti“ MI vzhledem k cílům interpretovatelná a náplni projektu a dále hodnocení - kritéria pro udělení maximálního „kvality“ MI ve vazbě na KA, rozpočet, hodnocení jsou obecně stanovena CS atd.) - není uvedeno, jakým způsobem snižovat - pro hodnocení jsou k dispozici hodnocení relevantní reference 2 2 3


Strana 28 / 143

F2 Reálnost dosažení plánovaných hodnot

míra rizika

F3 Přiměřenost výsledků vzhledem k požadovaným prostředkům

míra rizika

- vymezení předmětu kritéria není zcela srozumitelné ani přesné a ponechává prostor pro subjektivní interpretaci (matoucí je především zařazení textu zaměřeného na metodiku posuzování inovativních produktů - věcně spadá pod kritérium F1; a dále první odstavec, kde se bez jasného odlišení mísí předmět hodnocení kritéria F1 a F2) - ilustrativní příklad je zaměřen pouze na jednu z rovin hodnocení kritéria (reálnost MI ve vazbě na výstupy projektu a další informace v textu žádosti), nepostihuje hodnocení reálnosti nastavených hodnot ve vztahu k projektu jako celku 4 - vymezení předmětu kritéria není srozumitelné ani přesné a ponechává velký prostor pro subjektivní interpretaci - nejasné je především vyrovnání se s přiznaným přesahem do kritéria E1 (tak, jak je kritérium vymezeno, by mělo mít název spíše „Přiměřenost rozpočtu projektu jeho výstupům“) - není uveden ilustrativní příklad pro hodnocení kritéria 5


- kritérium je zaměřeno na ohraničený konkrétní aspekt projektu, který však zahrnuje dvě odlišné roviny (reálnost dosažení nastavených hodnot a opora pro nastavené hodnoty v textu žádosti) - v popisu obsahu kritéria není řešen přesah do kritéria B2 (reálnost velikosti CS vs. přiměřenost velikosti CS) a jeho promítnutí do hodnocení - popis obsahu kritéria je nejasně strukturovaný a nepřehledný - pro hodnocení jsou k dispozici relevantní reference, ale zároveň vstupuje míra subjektivního posouzení (posouzení reálnosti obecně) 3 - kritérium je popsáno velmi vágně - posuzování výstupů projektu je vztaženo k rozpočtu jako celku; přitom do zhodnocení poměru „cena/výkon“ vstupují i další proměnné (charakter cílové skupiny, konkrétní vymezení nástrojů podpory apod.)

- nastavení hodnotící škály má vazbu pouze na jednu z rovin hodnocení kritéria (reálnost dosažení nastavených hodnot MI), rovina opory pro hodnoty MI v žádosti není zohledněna - volba slovního deskriptoru je proto subjektivně interpretovatelná - kritéria pro udělení maximálního hodnocení nejsou korektně nastavena (viz nedostatek v ilustrativním příkladu) - není uvedeno, jakým způsobem snižovat hodnocení

4

4

Strana 29 / 143

4 - nastavení hodnotící škály má vazbu na předmět hodnocení kritéria, resp. je obecně nastaveno, že nevylučuje žádnou z rovin hodnocení kritéria - volba slovního deskriptoru je subjektivně interpretovatelná - kritéria pro udělení maximálního hodnocení nejsou stanovena - není uvedeno, jakým způsobem snižovat hodnocení

G Horizontální témata

míra rizika

- popis kritéria není zcela srozumitelný - obsah kritéria je uveden velmi kritérium nemá bodovou váhu a ani přesný, je ponechán velký prostor neurčitě pro vlastní interpretaci - není k dispozici objektivní měřítko - kritérium se odvolává na posuzování pro hodnocení kritéria rozporu s horizontálními tématy, ale - kritérium se odvolává na příručku D3 není uvedeno, v čem rozpor může Horizontální témata, ale už není jasně spočívat uvedeno, jak s ní pro potřeby - není uveden ilustrativní příklad hodnocení pracovat, na co klást pro hodnocení kritéria důraz, aby nešlo pouze o formální posouzení kritéria - hodnocení je intuitivní a subjektivní 4 5 -


Strana 30 / 143

Graf 1: Rozložení hodnotících kritérií OP LZZ dle míry rizik

100% 90% 80% 70%

Míra rizika 5

60%

Míra rizika 4

50%

Míra rizika 3

40%

Míra rizika 2 Míra rizika 1

30% 20% 10% 0% Vymezení kritéria

4.2

Obsah kritéria

Hodnocení kritéria

Shrnutí analýzy rizik

Vymezení kritéria Vymezení předmětu kritéria je pouze u cca jedné třetiny hodnotících kritérií nastaveno uspokojivě, resp. je ponechán jen malý prostor pro subjektivní pochopení, co je předmětem hodnocení kritéria. Riziko nepochopení předmětu kritéria zvyšuje jeho nejasné ohraničení, přesahy až duplicity s jinými hodnotícími kritérii. Velmi rozdílná kvalita je u doprovodných ilustrativních příkladů. Většina ilustrativních příkladů není optimálně zvolena, popis je velmi obecný nebo obsahuje nepříliš reálné modelové situace, v některých případech se obsah ilustrativního příkladu zcela neváže k předmětu hodnocení daného kritéria (kritéria B1- Jasné vymezení cílové skupiny, B2 Přiměřenost cílové skupiny) nebo je vztažen k požadavkům pro udělení maximálního hodnocení, ale neobsahuje vyjádření ke všem aspektům, na které je kritérium zaměřeno (kritéria B4 – Způsob zapojení cílové skupiny a F2 - Reálnost dosažení plánovaných hodnot). U několika kritérií není ilustrativní příklad vůbec uveden (např. ve skupině kritérií A Smysl a cíle projektu není uveden ani u jednoho z kritérií). Obsah kritéria Zpracování z hlediska srozumitelnosti a přehlednosti popisu jednotlivých hodnotících kritérií má velmi rozdílnou úroveň. Některá kritéria jsou dobře strukturována a jejich popis je konkrétně popsán (např. C3 - Partneři, F1 - Šíře a adekvátnost výběru monitorovacích indikátorů, F2 Reálnost dosažení plánovaných hodnot), u jiných kritérií je popis velmi nepřehledný nebo příliš obecný nebo nesourodý a nevyplývá z něj, na co se má hodnotitel při posuzování kritéria zaměřit (např. A1 – Zdůvodnění potřebnosti projektu, B2 - Přiměřenost cílové skupiny, G – Horizontální témata). Dalším faktorem, který má vliv na způsob uchopení kritéria, je šíře jeho zaměření. Pokud je kritérium obsahově zaměřeno na více aspektů, které navíc mohou mít v projektové žádosti různou kvalitu zpracování, pak při absenci jasné metodiky postupuje hodnotitel intuitivně a jeho hodnotící soud je značně subjektivní. Národní vzdělávací fond, 22. 6. 2012

Strana 31 / 143

Hodnocení kritéria Metodika nastavení hodnotících deskriptorů a způsob jejich výběru představuje z hlediska rizikovosti nejslabší článek při realizaci věcného hodnocení. Vysoká rizikovost je způsobena především těmito faktory: -

absence metodiky pro přidělování konkrétních deskriptorů, tj. za jaké nedostatky a v jaké míře snižovat slovní deskriptor; u některých kritérií nejsou stanoveny ani požadavky pro udělení nejvyššího hodnocení

-

nutnost přiřazení jednoho slovního deskriptoru při hodnocení více aspektů (týká se obsahově široce zaměřených hodnotících kritérií)

-

příliš úzká (3 stupně) nebo naopak příliš široká (5 - 6 stupňů) škála slovních deskriptorů

-

velká role subjektivního uchopení definice slovních deskriptorů (např. subjektivní vnímání váhy pojmů „vysoký“ vs. „značný“, „malý“ vs. „velice malý“, „zcela adekvátní“ vs. „adekvátní“, „špatná“ vs. „velice špatná“, „nízká“ vs. „velmi nízká“)

-

nesoulad předmětu kritéria s definicí slovních deskriptorů (kritérium B2 - Přiměřenost cílové skupiny, částečně kritérium B1 – Jasné vymezení cílové skupiny), popř. slovní deskriptory nepokrývají celkovou šíři předmětu kritéria (kritéria C1 – Kompetence žadatele a F2 Reálnost dosažení plánovaných hodnot)

Graf 2: Souhrnný přehled rizikovosti jednotlivých kritérií OP LZZ 5,0 4,5 4,0 3,5 3,0 2,5 2,0 1,5 1,0 0,5 0,0 A1 A2 A3 B1 B2 B3 B4 C1 C2 C3 D1 D2 D3 D4 E1 E2 F1 F2 F3 G

Legenda: Vodorovná osa: A1 Zdůvodnění potřebnosti projektu A2 Vazba na cíle výzvy (oblasti podpory OP LZZ) A3 Zhodnocení cílů projektu B1 Jasné vymezení cílové skupiny B2 Přiměřenost cílové skupiny B3 Přínos projektu pro cílovou skupinu B4 Způsob zapojení cílové skupiny C1 Kompetence žadatele Národní vzdělávací fond, 22. 6. 2012

Svislá osa: Míra rizika 1,0 – 5,0 Stupnice míry rizika ..1.. Míra rizika 1 ..2.. Míra rizika 2 ..3.. Míra rizika 3 ..4 . Míra rizika 4 5.. Míra rizika 5 Strana 32 / 143

C2 C3 D1 D2 D3 D4 E1 E2 F1 F2 F3 G

Zkušenosti žadatele a členů týmu Partneři Volba a popis klíčových aktivit a harmonogram projektu Předpoklady pro udržitelnost projektu po skončení financování OP LZZ Kvalita řízení rizik Rizikovost projektu Přiměřenost rozpočtu projektu jeho obsahové náplni a rozsahu Přehlednost, srozumitelnost a věcná správnost rozpočtu Šíře a adekvátnost výběru monitorovacích indikátorů Reálnost kvantitativních hodnot monitorovacích indikátorů Přiměřenost výsledků vzhledem k požadovaným prostředkům Horizontální témata

Celkově nejrizikovější jsou ta kritéria, jejichž předmět hodnocení je široce zaměřen, není zcela jasně ohraničen a má přesahy do jiných hodnotících kritérií nebo se v některých aspektech s nimi dokonce překrývá. Rizikovost těchto kritérií pak umocňuje subjektivně uchopitelné nastavení hodnotící škály slovních deskriptorů.


Strana 33 / 143

5.

Porovnání hodnotícího a výběrového procesu operačních programů financovaných z ESF 5.1

Porovnání hodnotícího a výběrového procesu ESF operačních programů v ČR

Porovnání hodnotícího a výběrového procesu mezi operačními programy, financovanými z ESF v České republice v období 2007 – 2013, bylo provedeno v první etapě řešení zakázky, a týkalo se všech tří ESF operačních programů – OPPA, OP VK a OP LZZ. V rámci porovnání byly posouzeny následující faktory: 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13.

Kdo je hodnotitel/externí poradce Jak jsou získáváni externí hodnotitelé Podmínky, které musí externí hodnotitel splňovat Výběr externích hodnotitelů Smluvní vztah s externím hodnotitelem Zpětná vazba a rating hodnotitele Následná práce s hodnotiteli Systém přiřazování projektů hodnotitelům Proces hodnocení Délka provádění hodnocení / počet projektů na jednoho hodnotitele Monitorovací a informační systémy Metodologie hodnocení - typy hodnotících kritérií Přehled kritérií věcného hodnocení

Z porovnání jednotlivých operačních programů (OP LZZ, OPPA a OP VK), podmínek, postupů, procesů a použité metodologie uplatňující se při věcném hodnocení projektů vyplývá, že: -

-

-

-

nejširší spektrum osob, které se podílejí na procesu hodnocení projektů má OP VK. Vedle individuálních hodnotitelů se na hodnocení a výběru některých typů projektů podílí: arbitr (zpravodaj), zpravodaj grémia, grémium zpravodajů, zpravodaj výběrové komise, zpravodaj individuálního projektu národního, výběrová komise, expertní skupina; proces získávání uchazečů o pozici hodnotitelů je ve všech programech shodný, tj. prostřednictvím internetových stránek toho kterého Řídícího orgánu. Rovněž výběr externích hodnotitelů probíhá totožně prostřednictvím absolvování úvodních školení a úspěšného složení testu. U programu OP LZZ se navíc požaduje praktické vyhodnocení cvičného projektu (vybraná kritéria); některé z požadavků a podmínek na pozici hodnotitele jsou ve všech programech totožné (znalost českého jazyka, minimálně středoškolské vzdělání), pět let praxe v oboru blízkém zaměření hodnocených projektů jsou uvedeny pro OP LZZ a OP VK. V programu OPPA byla tato podmínka zpřísněna na 7 let. V případě hodnocení projektů prioritní osy 2, oblasti podpory 2.2 a prioritní osy 4 OP VK je požadováno vysokoškolské vzdělání. každý z operačních programů používá jiný informační systém. OP VK využívá vlastní informační systém Hodnotitelský modul (IS HOMO), OP LZZ využívá IS MONIT7+. V OPPA je hodnocení prováděno do samostatných formulářů, které se posléze vytisknou a podepíší;


Strana 34 / 143

-

-

-

-

systém přiřazování projektů nelze ovlivnit u programů OP LZZ a OP VK. K přiřazování projektů dochází prostřednictvím IS; samotný proces hodnocení projektů probíhá u všech programů podobně, přičemž v OP VK se podílí na hodnocení projektů širší spektrum osob (více viz výše); délka provádění hodnocení se u jednotlivých operačních programů liší, a to i podle počtu projektů, které v daném období hodnotitel hodnotí. Také se liší délka vykazování času, stráveném na jednom hodnocení; metodologie hodnocení je u každého z operačních programů mírně odlišná. Zatímco u OP VK je nejméně kritérií (ale jednotlivá kritéria mají široký obsah předmětu hodnocení), u OP LZZ a OPPA jsou kritéria téměř shodná (co do počtu i obsahu, jakoby jeden OP čerpal z metodiky druhého OP a jen některá z věcných kritérií byla mírně upravena). V OP LZZ se nepřidělují ke kritériu dosažené body, ale slovní deskriptor (za kterým se skrývá bodové ohodnocení). U OPPA se vyjadřuje souhlas či nesouhlas hodnotícím výrokem (více viz kapitola 7.4 část Doporučení k hodnotící stupnici). Příručka pro hodnotitele OP VK je rozpracována detailněji, než příručky ostatních programů, kromě konkrétních ilustrativních příkladů obsahu / předmětu hodnocení kritéria, popisuje, kdy lze udělit maximální počet bodů a naopak za co se body snižují; pouze v OPPA se hodnotí bodově i horizontální témata, u ostatních OP je tato oblast vylučovacím kritériem (pokud nejsou posuzovány jako specifická kritéria výzvy). V OPPA nejsou specifická kritéria. nejpropracovanější systém práce s hodnotiteli má OP LZZ. Evaluace hodnotitelů (zpětná vazba a hodnocení práce hodnotitelů) probíhá ve všech programech a hodnotitelé získávají zpětnou vazbu ke svým provedeným hodnocením. V OP LZZ funguje pro vyhodnocování hodnotitelů tzv. rating. Jsou zde stanovena transparentní a objektivní kritéria, podle kterých je práce hodnotitelů vyhodnocována. V OP VK je poskytována zpětná vazba i žádost o korekci hodnocení prostřednictvím systému HOMO.

Hodnotitelský systém HOMO v OP VK Na základě požadavku zadavatele byl následně prozkoumán elektronický hodnotící systém HOMO, využívaný při hodnocení žádostí o finanční podporu v OP VK. Jeho využití bylo konzultováno rovněž s hodnotiteli OP VK. Hodnotící systém umožňuje kromě elektronického zpracování hodnocení jednotlivých žádostí o financování také kompletní evidenci aktuálních stavů hodnocení a smluvních vztahů a umožňuje komunikaci v rámci přidělování, zpřesňování a přebírání hodnocení. Systém HOMO čerpá informace o žádostech ze systému MONIT7+ a naopak hodnotící formulář ze systému HOMO je transponován do záznamu projektu v systému MONIT7+. Tento hodnotící systém je složen z následujících modulů: 1.

Smlouvy (k přijetí, nepřijaté, lhůta vypršela, k odeslání, skartované, platné, dočerpané, nedočerpané, k proplacení).

2.

Přednabídky k hodnocení (k přijetí, odmítnuté, odebrané, přijaté)

3.

Nabídky k hodnocení (k přijetí, odmítnuté, odebrané, přijaté)

4.

Hodnocení (rozpracovaná, ke schválení, schválená, vrácená k doplnění, zneplatněná, zmeškaná, reportovaná

5.

Zprávy hodnotitele (odpovědět zpravodaji, zodpovězené)


Strana 35 / 143

6.

Výkazy práce (k odeslání, doručené, předané k proplacení).

Modul hodnocení zahrnuje hodnotící tabulku, která je prakticky totožná s hodnotící tabulkou, využívanou v systému MONIT7+ v rámci hodnocení žádostí o financování z OP LZZ. Dotázaní hodnotitelé nevidí velký rozdíl ve využití této hodnotící tabulky oproti systému MONIT7+ s výjimkou časové odezvy, která je v systému HOMO většinou kratší. Hodnotitelé však oceňují způsob předvýběru žádostí k hodnocení, kdy mají možnost nahlédnout do identifikace projektu (včetně stručného popisu projektu) a snáze mohou zjistit možný střet zájmů. Nabídky k hodnocení jsou generovány automaticky dle zaměření uvedeného v osobním nastavení hodnotitele. Upozornění o přednabídce je hodnotiteli odesláno e-mailem i SMS. Odpověď je očekávána do dvou pracovních dnů, jinak je projekt automaticky nabídnut jinému hodnotiteli. Hodnocení musí být zpracováno do 10 pracovních dnů od akceptace nabídky. Projektový manažer zkontroluje úplnost zaslaného hodnocení a po schválení pokračuje hodnotitel tiskem, podpisem a odesláním hodnotící tabulky zadavateli. V případě nedostatků hodnotitel hodnocení doplní dle upozornění projektového manažera do 2 pracovních dnů. Každá akce, včetně schválení hodnotící tabulky projektovým manažerem je komunikována e-mailem a SMS zprávou pro hodnotitele. Na začátku kalendářního měsíce se generuje výkaz práce, který hodnotitel pošle podepsaný zadavateli hodnocení. Hodnotitelé mají možnost v části Osobní nastavení zvolit maximální počet současně hodnocených projektů a rovněž určit termíny, kdy hodnotit nemohou. Na základě změn provedených v centrální databázi hodnotitelů zaručuje systém HOMO aktualizace nejpozději za 3 hodiny.


Strana 36 / 143

5.2

Komparace hodnotícího a výběrového procesu vybraných ESF operačních programů ze zemí EU

V rámci komparace hodnotícího a výběrové procesu v dalších zeních EU byly vybrány 2 zástupci nových členských zemí – Slovensko a Polsko a 4 operační programy zástupců starých členských zemí EU – Anglie, Skotsko, Belgie – Vlámsko a Rakousko. Nové členské země (Polsko a Slovensko) byly zvoleny z důvodů obdobné výchozí pozice, obdobných problémů, obdobného rozsahu finančních prostředků, obdobných přístupů. Starší členské země (Velká Británie - Anglie a Gibraltar a Skotsko, Rakousko, Belgie) byly vybrány pro jejich dlouhodobou zkušenost, poučení se z vlastních chyb, kvůli uplatňování maximálního zjednodušení při zachování transparentnosti. Tyto země využívají diametrálně odlišné postupy a mohou sloužit jako zdroj inspirace pro řízení ESF operačních programů v ČR. Naproti tomu nebyly použity příklady Německa a Francie, protože zde je uplatňována velká samostatnost zemí / regionů a v jednotlivých zemích / regionech jsou využívány rozličné postupy. Zatímco v nových členských zemích jsou procesy, včetně výběru a práce s hodnotiteli, velmi podobné těm, které jsou používány v ČR (hodnocení grantových projektů externími hodnotiteli), ve starých členských zemích většinou ve snaze o maximální zjednodušení, rychlost a efektivitu čerpání prostředků ESF jsou projekty realizovány prostřednictvím uplatňování národních či regionálních programů podpory a prostředky ESF jsou přidávány k rozpočtům organizací realizujících národní/regionální politiku. V některých zemích jsou ESF prostředky využívány výhradně prostřednictvím zadávání služeb a nikoliv přidělováním grantů, v jiných zemích jde o kombinaci obou přístupů. Systémové a inovativní projekty jsou v některých zemích financovány výhradně z národních zdrojů. Externí hodnotitelé jsou využíváni jen někde či ad hoc a v popisu procedur práci s nimi není věnována velká pozornost. Při porovnání kriteriálních rámců lze vysledovat, že hlavní důraz je kladen na potřebnost obsahu i nezbytnost vložení finančních prostředků, realizovatelnost – včetně partnerství, na horizontální témata, často i na inovativnost. Většina zemí má nastaven proces diskuse o projektech s možností změny doporučení (viz naše výběrové komise), někde probíhá diskuse mezi hodnotiteli již ve fázi hodnocení. Dále ve většině starých členských zemí existuje též odvolací proces proti rozhodnutí o nepřidělení grantových prostředků a v oprávněných případech je možno dosáhnout změny v posouzení projektu.


Strana 37 / 143

Tabulka 8: Komparace postupů souvisejících s hodnocením projektů ESF ve vybraných zemích v programovém období 2007-2013

Slovensko - OP ZaSI Operační program Zamestnanosť a sociálna inklúzia je zaměřen na podporu růstu zaměstnanosti zejména snižováním strukturální nezaměstnanosti v odlehlých regionech a to podporou vytváření nových pracovních míst a adaptability pracovníků.

Shrnutí programu

Program se skládá z 5 priorit. 1) Podpora růstu zaměstnanosti - motivace a příprava k výkonu k samostatné výdělečné činnosti, podpora podnikání a vzniku nových pracovních míst prostřednictvím „na míru šitých“ kurzů. 2) Podpora sociální inkluze - rovné příležitosti se zvláštním zřetelem na romskou komunitu. 3) Podpora růstu zaměstnanosti, sociální inkluze a budování kapacit v regionu Bratislava - podpora všech lidských zdrojů a podniků s cílem zvýšit zaměstnanost založenou na znalostech, rovné příležitosti, zlepšení kvality veřejné správy. 4) Budování kapacit a zvyšování kvality veřejné správy - na základě zlepšení procesního řízení organizace. Zlepšení kvality lidských zdrojů ve veřejné správě, nevládních organizacích, působících v oblasti sociální politiky a zaměstnanosti, zavedení systémů řízení kvality. 5) Podpora technické pomoci - příprava, programování, administrace, monitoring, hodnocení, informování a kontrola. Je financován z prostředků Evropského sociálního fondu a státního rozpočtu. Alokace programu: 8,82 mld. €, je 85 % z EU, 15 % ze státního rozpočtu Slovenské republiky. Informace lze získat: http://www.esf.gov.sk/new/index.php?SMC=1&id=1958 http://www.esf.gov.sk/new/index.php?SMC=1&id=56

Kdo je hodnotitel?

Hodnotitel musí být občanem SR. Musí být objektivní, čestný, diskrétní a zásadový. Musí znát programové dokumenty – operační program a programový manuál OP ZaSI. Musí mít zkušenosti a vědomosti z oblasti programování a/nebo implementace projektů a zkušenosti v oblasti strukturálních fondů získané ve veřejném, soukromém nebo neziskovém sektoru.


Strana 38 / 143

Podmínky, které musí externí hodnotitel splňovat

Získávání externích hodnotitelů (posuzovatelů, expertů, externích hodnotitelů, expertních poradců) Výběr hodnotitelů

Systém přiřazování projektů hodnotitelům

Požadavky na hodnotitele:  Bezúhonnost a způsobilost k právním úkonům  Středoškolské nebo vysokoškolské vzdělání (SŠ, VŠ)  Minimálně 2 roky praxe se strukturálními fondy  Minimálně 2 roky praxe v jedné z vyjmenovaných odborných oblastí (RLZ, trh práce, vzdělávání zaměstnanců, řízení společností, tvorba analýz pracovního prostředí apod.)  Nestrannost a nezávislost na žadatelích  Schopnost pracovat v týmu a pod časovým stresem  Zkušenost s hodnocením Externí hodnotitelé jsou získáváni otevřenými výzvami k podávání žádostí o pozici externího hodnotitele (doručené Sociální implementační agentuře - SIA). Jejich výběr je prováděn na základě informací, uvedených v životopisu a je svěřen pěti členné komisi, jmenované generálním ředitelem SIA. Komise o akceptaci externího hodnotitele hlasuje. Po ukončení hlasování je sestaven short-list, ze kterého jsou hodnotitelé konkrétních projektů vybíráni.

Hodnotitelé jsou vybíráni buď losováním z databáze (short-listu) externích hodnotitelů, nebo ze seznamu interních hodnotitelů ŘO, případně mohou být nominováni institucí z oblasti veřejné správy, která je věcně příslušná pro problematiku dané výzvy. Projekt hodnotí 2 vybraní hodnotitelé, fyzicky přítomní v prostorách ŘO. Pověření zaměstnanci prověřují na základě dostupných informací hodnotitele a členy výběrové komise, zda nejsou ve střetu zájmů. Kromě podpisu čestného prohlášení o nestrannosti a mlčenlivosti musí projít školením a podepsat převzetí jmenovacího dekretu. Hodnotitel je povinen:  absolvovat školení k hodnocení žádostí  podepsat čestné prohlášení o nestrannosti a zachování mlčenlivosti.  minimálně 1 den před hodnocením podepsat dohodu o provedení práce a podepsat převzetí jmenovacího dekretu Žádosti jsou hodnotitelům přidělované na základě losování z obálky za účasti min. 3 zástupců ŘO a všech přítomných hodnotitelů. Žádosti o finanční podporu předává hodnotiteli zaměstnanec ŘO postupně tak, aby každý hodnotitel hodnotil současně vždy pouze 1 žádost. Hodnocení probíhá ve vyhrazené místnosti a čase.


Strana 39 / 143

Proces hodnocení

Hodnotitelé vpisují hodnocení do hodnotících archů. Jednu žádost hodnotí zpravidla dva hodnotitelé nezávisle na sobě, ve stejné místnosti a čase. Nesmí si mezi sebou vyměňovat poznatky z hodnocení s výjimkou přípravy společného odborného hodnotícího posudku. Pokud hodnotí jednu žádost více hodnotitelů, musí se rovněž shodnout na vypracování společného odborného posudku. Posudek vypracují za účasti zaměstnance ŘO. Posudek obsahuje minimálně celkové bodové hodnocení jednotlivých hodnotitelů, celkové stanovisko = zda žádost vyhověla nebo nevyhověla (po zapracování doporučených změn), průměrný počet bodů od obou hodnotitelů.

Metodologie hodnocení

Kontrola a vyhlášení výsledků

Pokud se hodnotitelé neshodnou na obsahu Společného odborného hodnotícího posudku, jsou na jednání Výběrové komise předložena pouze jednotlivá hodnocení hodnotitelů a o finální verzi rozhodují členové Výběrové komise hlasováním. Kritéria jsou stanovena v každé výzvě. Ke každému kritériu jsou uváděny pomocné otázky. Jejich účelem je objasnit hodnotiteli, na které skutečnosti by se měl zaměřit. Pomocné otázky však nejsou pro hodnotitele závazné. Věcným hodnocením projde žádost, která splní procento bodů (je předem dáno v každé výzvě a pohybuje se mezi 60-70%). Splnění tohoto požadavku se posuzuje jako průměr bodového hodnocení obou hodnotitelů. Tzn., že jeden hodnotitel může dát 45% a druhý 70% a žádost postoupí. Bodování jednotlivých kritérií jsou vždy uvedena v každé konkrétní výzvě. Součet musí dát vždy 100%. Kritéria: Vhodnost a účelnost projektu 25-50% Způsob realizace projektu 10-25% Rozpočet a efektivita nákladů 10-25% Administrativa, odborná a technická kapacita žadatele 10-25% Udržitelnost projektu 10-25% Pověřený zaměstnanec ŘO prověřuje kvalitu práce hodnotitelů zkontrolováním hodnotícího archu od každého interního hodnotitele a od každého externího hodnotitele. Prověřuje: Vyplnění zdůvodnění hodnocení každého kritéria a každé skupiny kritérií, správnost vyplnění výsledného bodového hodnocení k váze každého kritéria, kompletnost vyplnění všech buněk v hodnotícím archu, akceptace doporučení pro odborného hodnotitele připravené ŘO po formálním hodnocení. Hodnotitel se doporučením řídit nemusí, ale v případě neakceptace musí toto odůvodnit. V případě snižování rozpočtu rovněž odůvodnění.


Strana 40 / 143

Polsko - OP KL

Shrnutí programu

Kdo je hodnotitel?

Operační program Lidský kapitál (Kapitał Ludzki) je zaměřen na efektivní řízení lidských zdrojů a jejich rozvoje. Soustředí na následující oblasti: Zaměstnanost, vzdělávání, sociální integrace, rozvoje adaptivní schopnosti pracovníků a podniků, jakož i otázky spojené s výstavbou účinné a efektivní veřejné správy na všech úrovních a zavedení řádné správy věcí veřejných. Hlavním cílem programu je zvýšení zaměstnanosti a sociální soudržnosti a dosažení tohoto cíle přispívá k realizaci šesti strategických cílů, které zahrnují:  Zvyšování úrovně ekonomické aktivity a zaměstnatelnosti nezaměstnaných a ekonomicky neaktivních  Snížení sociálního vyloučení  Zvýšení přizpůsobivosti pracovníků a podniků na změny v ekonomice  Šíření veřejného vzdělávání na všech stupních vzdělávacího procesu a zároveň zvýšit kvalitu vzdělávacích služeb a jejich silnější propojení s potřebami znalostní ekonomiky  Zvyšování kapacity veřejné správy v rozvojových politikách, poskytování vysoce kvalitních služeb a posílení mechanismů partnerství  Zvýšení územní soudržnosti. Program se skládá z 10 priorit jak na centrální, tak i regionální úrovni. Jsou určeny především na podporu efektivnosti institucionálních struktur a systémů a dále pro regionální složku, kde jsou určeny především na podporu jednotlivců a skupin. Ústředními tématy jsou podpora zaměstnanosti a sociální integrace, rozvoj lidských zdrojů a adaptačního potenciálu podniků, zlepšení zdravotního stavu pracovníků, vysoké kvality vzdělání, vysokoškolského vzdělávání a vědy a řádné správy věcí veřejných. Je financován z prostředků Evropského sociálního fondu a státního rozpočtu. Alokace programu: 1,5 mld. €, je 85 % z EU, k tomu veřejné zdroje 9,7 mld. činí 15 %. Informace lze získat: http://www.efs.gov.pl/WstepDoFunduszyEuropejskich/Strony/Oprogramie.aspx Zákon ze dne 6. prosince 2006 o zásadách rozvojové politiky zavádí instituci expert (hodnotitel). To umožní zapojit do procesu posuzování žádostí o financování i jiné osoby než zaměstnanců vybírající instituce. Cílem účasti odborníků na ověřování návrhu, je spolehlivé a nestranné hodnocení žádostí o grant osobami s odbornými znalostmi a dovednostmi v konkrétních oblastech zahrnutých do operačního programu.


Strana 41 / 143

Podmínky, které musí externí hodnotitel splňovat Získávání externích hodnotitelů (posuzovatelů, expertů, externích hodnotitelů, expertních poradců) Výběr hodnotitelů Systém přiřazování projektů hodnotitelům

Proces hodnocení

Požadavky na hodnotitele:  Musí jít o osobu zletilou  Plně způsobilou k právním úkonům  Bezúhonnou  S vyšším vzděláním (SŠ, VŠ)  Minimálně 2 roky praxe s operačními programy ESF  Nebyla dříve vyškrtnuta z databáze expertů Registrace hodnotitele probíhá v databázi hodnotitelů (Baza expertów). Uchazeč musí relevantně vyplnit dotazník, který obsahuje identifikační údaje, nejvyšší dosažené vzdělání, obor – specializace, praxi, zkušenosti v oblastech hodnocení. Ustanovení Čl. 31 odst. 9 zákona o zásadách rozvojové politiky stanovuje rozsah informací, které mají být zahrnuty do databáze hodnotitelů, která obsahuje jméno odborníka v oblasti operačního programu, která se specializuje na odborné a e-mail experty. Kompetence při vytváření databáze odborníků mohou být delegovány na zprostředkující subjekty.

Hodnotitelé se vybírají z databáze a dále při zasedání výběrové komise losováním, prováděným vedoucím výběrové komise KOP (komisja oceny projektów) na zasedání KOP za přítomnosti min. 3 členů KOP. V případě projektů v opatřeních 6.3, 7.3 a 9.5 OP KL, jejichž hodnota činí max. 50 tis. zl. je možno ohodnotit pouze 1 hodnotitelem. Databáze hodnotitelů (Baza expertów) je zveřejněna na stránkách institucí zapojených do provádění konkrétních operačních programů. Projekt hodnotí 2 hodnotitelé, kteří se vybírají losováním, prováděným vedoucím výběrové komise KOP (komisja oceny projektów) na zasedání KOP za přítomnosti min. 3 členů KOP. V případě projektů v opatřeních 6.3, 7.3 a 9.5 OP KL, jejichž hodnota činí max. 50 tis. zl. je možno ohodnotit pouze 1 hodnotitelem. Hodnotitel může:  Snížit rozpočet až o 25%, pokud je v rozporu s výdaji doporučenými pro OP KL nebo pokud podle jeho názoru neodpovídají reálným cenám.  Snížit rozpočet, pokud projekt nesplnil některé kritérium věcného nebo horizontálního hodnocení.  Zvýšit rozpočet až o 5% pokud je přesvědčen, že to povede k vyššímu stupni dosažení cílů projektu.  Navrhnout věcné změny v projektu.


Strana 42 / 143

Metodologie hodnocení


Hodnocení zaznamenávají do Karty věcného hodnocení, které na závěr odevzdávají k formálnímu vyhodnocení vedoucímu KOP. Navíc se zkoumá, zda se příliš neliší v hodnocení. Pokud ano, rozhodne vedoucí KOP (může uznat pozitivní hodnocení, nebo vzít průměr bodů za obecná kritéria od obou hodnotitelů). Vedoucí KOP své rozhodnutí rovněž vyznačí na Kartě hodnocení projektu. Projektu, který obdržel ve věcném hodnocení 60 bodů od každého z hodnotitelů, může být udělena prémie až 40 bodů ve výši a za podmínek definovaných v Operačním manuálu (je to součet vah bodů, připsaných každému strategickému (specifickému) kritériu, které projekt splnil. Projekt tedy může získat maximálně 140 bodů. V případech, kdy se hodnotitelé liší o méně než 30 bodů, vezme se střední hodnota všech bodů, tzn. jak za obecná kritéria, tak za specifická. V případě, že se liší o 30+ bodů, jde projekt buď k 3. hodnocení nebo si místo něj můžou vyžádat expertní posudek. Hodnocení 3. hodnotitelem - bere se střední hodnota z hodnocení arbitra a hodnocení toho ze dvou předchozích hodnotitelů, které je mu bodově bližší. Vedoucí KOP protokol o hodnocení projektu uzavírá. Vyhlašovatel písemně informuje žadatele o konečných výsledcích výběru projektů, na webových stránkách je rovněž k nahlédnutí zpráva o výběru - pořadí žadatelů.


Strana 43 / 143

Anglie - OP V Britském království je v programovém období 2007 – 2013 realizováno celkem 6 ESF Operačních programů. Jedná se o Operační programy pro Anglii a Gibraltar, Severní Irsko, dva programy pro Wales (Východní a Západní) a dva programy pro Skotsko (Highlands/ostrovy a Lowlands/Uplands). Jako celek se všechny ESF OP zaměřují na odstraňování překážek pro vstup na trh práce a zdokonalování dovedností pracovní síly. Tento oddíl se zaměřuje na Operační program pro Anglii a Gibraltar, který má vypracovány opatření pro dva Cíle, tj. pro Cíl Konvergence (Cornvall a ostrovy Scilly) a Cíl Regionální Konkurenceschopnost a Zaměstnanost, který zahrnuje všechny ty regiony, nezahrnuté v Cíli Konvergence. OP ESF Anglie a Gibraltar zahrnuje šest priorit:

Shrnutí programu

Rozšíření pracovních příležitostí Zkušená pracovní síla Technická asistence

Cíl Regionální Konkurenceschopnost a Zaměstnanost

Cíl Konvergence

Celá Anglie a Gibraltar (vyjma Cornwalu a ostrovů Scilly)

(Cornwall a ostrovy Scilly)

Priorita 1:Zvýšení pracovních příležitostí (1,794 mil € z ESF) Priorita 2: Rozvoj vzdělané a adaptabilní pracovní síly (984 € mil z ESF) Priorita 3: Technická asistence (116 mil € z ESF)

Priorita 4: Odstraňování bariér zaměstnanosti (75 mil € z ESF) Priorita 5: Zvýšení dovedností a znalostí pracovní síly na lokální úrovni (118 mil € z ESF) Priorita 6: Technická asistence (4 mil € z ESF)

Technická pomoc je určena na řízení, monitorování, evaluace, informační a kontrolní aktivity spojené s činnostmi Operačního programu. Prostředky ESF jsou v rámci OP Anglie a Gibraltar distribuovány prostřednictvím kofinancujících organizací (Co-financing Organisations – CFO).


Strana 44 / 143

CFO jsou veřejné instituce, které alokují prostředky ESF a státního rozpočtu na oblasti zaměstnanosti a zvyšování dovedností tak, aby prostředky ESF byly doplňkem k provádění národních programů. Klíčové CFO na národní úrovni jsou:

Department for Work and Pensions (Ministerstvo práce a penzí), které se zabývá oblastmi souvisejícími s podporou zaměstnanosti rodin v potížích (200 mil £), dobrovolnickými pracovními místy v tzv. Programu práce pro lidi na dávkách při pracovní neschopnosti a sociálních dávkách (66 mil £) 2. Skills Funding Agency (Agentura pro rozvoj odborných dovedností), zaměřuje se na mladé lidi, kteří postrádají dostatečné vzdělání, na vzdělávání při zaměstnání (154 mil £), podporou odborných dovedností pro nezaměstnané (98 mil. £), programem Next Step (47 mil £), poskytuje granty malým komunitním skupinám (12 mil £), na podporu odborných dovedností pro nadbytečné pracovníky (100 mil £), na podporu řemesel (181 mil £) 3. National Offender Management Service (Národní úřad pro pachatele trestných činů), který se zaměřuje na zaměstnanost a odborné dovednosti vězňů a propuštěných vězňů (89 mil £). 1.

Kromě těchto tří národních CFO, existují další CFO, které působí na regionální či lokální úrovni. V případě OP Anglie a Gibraltar to jsou následující organizace: Central Bedfordshire and Bedfordshire Borough Council – vyhlašuje tendry zaměřené na zvýšení uplatnitelnosti na trhu práce. Žádosti o projekt lze předkládat prostřednictvím webové aplikace přímo na stránkách rady.

Více informací o projektech a činnosti Central Bedfordshire and Bedfordshire Borough Council je možné vyhledat na:


Strana 45 / 143

http://www.centralbedfordshire.gov.uk/local-business/european-funding/european-social-fund.aspx East Midlands Local Authority Consortium Lincolnshire County Council jako součást East Midlands Local Authority Consortium vyhlásila tendrově nová výběrová řízení v oblasti ESF. Realizace zakázek byla zahájena v dubnu 2012 a bude ukončena v dubnu 2014. Zakázky se zaměřují: 1/ na mladé lidi od 19 do 24 let, kteří jsou zdravotně znevýhodnění a/nebo mají problémy se studiem a existuje riziko, že by opustili vzdělávací systém; 2/ na mladé lidi od 16 do 19 let, kterým poskytuje podporu při získávání odborných dovedností a zajišťuje jim školení tak, aby byli motivování k udržení si pracovního místa, popř. k dalšímu profesnímu růstu. Více informací o projektech a činnosti Central Midlands Local Authority Consortium je možné vyhledat na: http://www.lincolnshire.gov.uk/business/lcc-services-for-business/economic-regeneration/funding/european-social-fund-in-lincolnshire/esfnews/66630.article East of England Development Agency – podporuje zaměstnanost a mobilitu pracovní síly, sociální inkluzi a boj s chudobou a investuje do vzdělávání, získávání odborných dovedností a do celoživotního učení. Více informací o projektech a činnosti East of England Development Agency je možné vyhledat na: http://www.bis.gov.uk/policies/economicdevelopment/regional-support/rda-archive London Councils Více informací o projektech a činnosti London Councils je možné vyhledat na: http://www.londoncouncils.gov.uk/services/grants/esf/default.htm London Development Agency Greater London Authority Více informací o projektech a činnosti Greater London Authority je možné vyhledat na: http://www.london.gov.uk/priorities/youngpeople/education-training/lda/esf-youth-programme/gla-esf-youth-programme-2011-13 Národní vzdělávací fond, 22. 6. 2012

Strana 46 / 143

Luton Borough Council – vyhlašuje výběrová řízení zaměřená na vzdělávání a podporuje projekty podporující odborné dovednosti a zaměstnanost. Finanční alokace pro tzv. první finanční periodu (2008 – 2010) byla v hodnotě 1,250,000 £. Luton obdržel další dodatečnou částku ve výši 778,000 £ a v první finanční periodě využil částku ve výši 2,028,000 £. Alokace pro druhou finanční periodu (2011 - 2013) je 1,835,746 £. Dosud bylo vyhlášeno 5 kol výzev na celkem 15 projektů, které jsou nyní realizovány. Více informací o projektech a činnosti Luton Borough Council je možné vyhledat na:

http://www.luton.gov.uk/internet/business/european%20social%20fund%20(esf)/European%20Social%20Fund Alokace ESF programu pro Anglii a Gibraltar je 6,049 milionů €, kde 3,090 milionů € tvoří finanční prostředky ESF a 2.959 milionů € tvoří prostředky státního rozpočtu.

Informace lze získat: http://www.dwp.gov.uk/esf/about-esf/ nebo také http://ec.europa.eu/esf/main.jsp?catId=381&langId=en Jak je uvedeno výše, prostředky OP Anglie a Gibraltar jsou distribuovány prostřednictvím CFO. Na ně je rovněž přenesena odpovědnost za výběr projektů. Řídící orgán nastavil výběrová kritéria pro výběr CFOs a ESF divize Ministerstva práce a penzí ve spolupráci s úřadem vlády provedly hodnocení nabídek. Výběrová kritéria byla schvalována Řídícím výborem programu a mezi hlavní patřily následující:

Proces hodnocení

   

Kompetence (ukotvené legislativou) k zajišťování alespoň jedné oblasti popsané v operačním programu Být veřejnou institucí (dostává více než 50% finančních prostředků z centrální nebo místní vlády) Disponovat dostatečnými finančními prostředky ke kofinancování, které by byly dodány k prostředkům ESF – finanční plán je rozdělen do dvou období 2007-2010 a 2011 – 2013 Realizovat aktivity kofinancované z ESF prostřednictvím smluvních dodavatelů – poskytovatelů služeb, kteří budou dále vybráni ve veřejném výběrovém řízení (competitive tender).

Kromě výše zmíněného každý žadatel o pozici CFO musí ve své žádosti doložit a popsat, že disponuje dostatečnou kapacitou na zajištění těchto oblastí: 

Propojování financování – dostupnost, příslušná výše a zdroje pro kombinaci ESF a národních zdrojů (nemůže se jednat o spolufinancování prostřednictvím naturálního plnění (in-kind))


Strana 47 / 143

      

Lidské zdroje – doložení a popsání počtu, odborných kompetencí, znalostí a schopností týmu tak, aby byli jeho členové schopni zajistit veškeré činnosti požadované po CFO Účetní systém – musí umožňovat oddělené účetnictví pro finanční zdroje ESF a „dodávané“ národní finanční prostředky Audit – popis zajištění auditu Řízení informací – popis systému, který bude shromažďovat data od příjemců dotace, validovat je, třídit a poskytovat Řídícímu orgánu Evaluace – plnění plánu CFO pro využití prostředků ESF musí být pravidelně kvantitativně i kvalitativně vyhodnocováno. Řízení smluvních vztahů a monitorování – popis toho, jak budou dodavatelé služeb řízeni. Musí být zachován charakter plnění dodávky. Bude popsáno, jak bude řešena situace, pokud kvalita nebo rozsah dodávky neodpovídá smlouvě. Kvalita – všechny relevantní úkony budou podrobeny inspekci OFSTED (Office for Standards in Education, Children’s Services and Skills), musí být popsáno, jak bude zajištěno dosahování standardů kvality



Publicita - CFO musí splnit požadavky Nařízení ke strukturálním fondům a ESF



Veřejná podpora – musí být k dispozici systém, který monitoruje veřejnou podporu



Průřezová témata – popis zajištění implementace a mainstreamingu témat jako rovné příležitosti a generová rovnost a udržitelný rozvoj.

Uzavírání smluv s dodavateli služeb Výběr dodavatelů může proběhnout buď jako veřejná zakázka (competitive tendering) nebo jako výběr grantových projektů. Grant však může být využit pouze v případě financování dodavatelů paušální platbou (flat rates) kalkulovanou v jednotkových nákladech. Pokud je dodavatel vybrán prostřednictvím vyhlášení veřejné zakázky, musí CFO kontrolovat kvalitu dodávky v souladu s uzavřenou smlouvou, kde musí být jasně uvedena cena. Výběr dodavatelů Zákon o veřejných zakázkách umožňuje celkem 4 metody výběru dodavatele: 

Otevřenou proceduru (open procedure)



Uzavřenou proceduru (restricted procedure)



Proceduru vyjednávání (negotiated procedure)



Soutěžní dialog (competitive dialogue).


Strana 48 / 143

U otevřené procedury musí CFO přizvat do výběrového řízení každého, kdo odpověděl na inzerování/uveřejnění výběrového řízení. To zpravidla vede k velkému množství nabídek, z nichž některé mohou být nevhodné. Při této metodě tedy hrozí riziko nákladnosti aneefektivity, proto je doporučována jen v případech, kde se předpokládá nízký zájem. Uzavřená procedura obnáší vyzvání potenciálních dodavatelů ze strany CFO a následné vyplnění tzv. předkvalifikačního dotazníku (Pre Qualification Questionnaire - PQQ). CFO vyhodnocuje všechny PQQ a k dalšímu dopracování úplných nabídek osloví nejméně 5 dodavatelů. Jedná se o dvoukolový výběr. Dopracování nabídky prostřednictvím oslovení k dopracování ( Invitation to the Tender) již musí obsahovat popis konkrétních aktivit, výstupů a předpokládaných dosažených výsledků. Cílem této uzavřené procedury je zajištění dodavatelů na jednotlivé „balíky oblastí“, kteří vykazují nejlepší předpoklady a kvalifikaci pro úspěšnou realizaci. Úspěšný účastník výběrového řízení je vyrozuměn písemně (Intention to award letter). Zde je zároveň podána informace o možnosti odvolání neúspěšných uchazečů. CFO uzavírá zpravidla rámcovou smlouvu, která může být uzavřena maximálně na 4 roky. Tento proces se uskutečňuje prostřednictvím e-veřejných zakázek (e-procurrement process). Neúspěšným uchazečům je poskytována prostřednictvím dopisu (Award Decision Notice) zpětná vazba tak, aby bylo zřejmé, kde byla slabá místa v jejich nabídce. Procedura vyjednávání musí být předem dohodnuta a odsouhlasena Řídícím orgánem. Pokud je využívána, žádosti o platby, které jsou zasílány ESF divizi, musí představovat pouze výdaje, které vznikly poskytovateli dotace. Směrnice o veřejných zakázkách umožňuje tzv. soutěžní dialog a to zejména v případě „obzvláště komplexních zakázek“, kde se předpokládá, že použití otevřené i uzavřené procedury neumožní vyhodnocení nabídek. CFO musí upozornit Řídící orgán o použití této metody s předstihem. PQQ jsou hodnoceny formálním panelem vytvořeným z pracovníků CFO, zástupců místní samosprávy a pracovníků dalších CFO (viz výčet CFO v prvním části popisu), a dále nezávislým pozorovatelem. Hodnotí se zejména schopnost organizace, která PQQ podává, zajistit realizaci ESF programu a to prostřednictvím popisu zajištění procedur, finančním zdravím organizace, kapacitou pro zajištění a realizaci navrhovaných opatření v oblasti zaměstnanosti nebo vzdělávání. Kdo je hodnotitel?

Nabídky do výběrových řízení jsou otevírány za přítomnosti dvou osob, které kontrolují formální náležitosti a zaznamenávají je (počet kopií, termíny, podpisy apod.). V případě elektronického podání (e-procurrement) nabídku a její formální náležitosti kontroluje jedna osoba, která má přístupová práva do systému. Pro obsahové hodnocení jsou ad hoc najímáni specialisté a odborníci na danou oblast a rovněž ekonomové.


Strana 49 / 143


Každé CFO uveřejňuje na svých webových stránkách seznam projektů a realizátorů projektů (včetně subdodavatelů nebo projektových partnerů), přidělenou částku a stav projektu. Tato informace je generována na úroveň Řídícího orgánu a je čtvrtletně aktualizována.


Strana 50 / 143

Skotsko - OP Operační program ESF Skotsko (ESF Lowlands and Uplands Scotland Programme) má stanoveny následující priority: PRIORITA Priorita 1: Vstup do zaměstnanosti Priorita 2: Růst prostřednictvím zaměstnanosti Priorita 3: Zvýšení přístupu k celoživotnímu zaměstnání Priorita 5: Strategické dovednosti Shrnutí programu

ALOKACE 108 369 760 £ 53 918 826 £ 12 135 928 £ 56 110 930 £

Priorita 1 se zaměřuje na podporu neaktivních a nezaměstnaných lidí všech věkových kategorií při vstupu na trh práce. Důraz je kladen na odstraňování bariér a pozornost je soustředěna na ty nejkomplikovanější případy, například na lidi s kombinovaným zdravotním omezením. Priorita 2 podporuje rozvoj dovedností pracovní síly tak, aby byla udržena její zaměstnatelnost, produktivita, adaptabilita, inklusivní chování a povzbuzeny předpoklady k podnikání. Priorita 3 se zaměřuje na celoživotní vzdělávání s důrazem na lidi, kteří mají špatnou zkušenost z počátečního vzdělávání. Priorita 5 agreguje nevyčerpané prostředky z priorit 1, 2 a 3 a hlavním cílem je propojení potřeb a příležitostí na místní úrovni prostřednictvím naplňování místních strategií. Řídícím orgánem Programu ESF Skotsko je Ministerstvo průmyslu a celoživotního vzdělávání. Výkonem řízení programu je pověřena společnost ESEP Ltd., která řídí rovněž program ERDF. Alokace programu je 598 milionů €. Další informace o programu je možné získat: http://www.esep.co.uk/01-esf-programme.html


Strana 51 / 143

Ve Skotsku je ESF operační program realizován prostřednictvím projektů, které musí být konzistentní s cíli programu a musí přispět k naplnění záměrů programu. Tyto projekty jsou vybírány soutěží nabídek pro jednotlivé priority nebo prostřednictvím vyjednaných dohod se strategickými orgány pro implementaci (Strategic Delivery Bodies). V obou případech je důraz kladen na transparentnost a partnerský souhlas. Z důvodu zajištění soutěže a alokování dostatečného množství prostředků, je předkládání nabídek vyžadováno pod každou prioritou a obvykle odpovídá interval předkládání jednomu roku. Podmínky pro předložení projektu: -

žádost mohou předložit pouze organizace, které působí ve veřejném sektoru, místní samosprávy, organizace vyššího a dalšího vzdělávání, dobrovolnického sektoru nebo podobného charakteru. Nicméně každá organizace, která chce získat podporu z ESF OP, musí být registrována (za registraci organizací a kontrolu jejich vhodnosti odpovídá Zprostředkující subjekt);

Proces hodnocení

-

žádost je schvalována dvoukolově – 1. fáze – předložení žádosti ve stručné formě popisu projektového záměru (2 stránky). Jasně slabé projekty jsou vyřazeny již v této fázi, předkladatelé ostatních žádostí jsou požádáni o dopracování plné žádosti; 2. fáze – plná žádost prostřednictvím on-line systému.

-

žádosti jsou posuzovány z hlediska technické způsobilosti (prověřuje Zprostředkující subjekt). Tam, kde je informace neúplná nebo nejasná, tam se Zprostředkující subjekt dožaduje doplnění tak, aby mohla být žádost komplexně posouzena.

-

po tomto hodnocení následuje politické odsouhlasení záměru ze strany Skotské vlády a poradních skupin, které sestavuje Řídící orgán. Poradní skupiny jsou vytvořeny z odborníků, kteří působí v rámci partnerství financovaných ze SF, odborníků, kteří mají zkušenosti s přípravou a realizací projektů a dále úředníci skotské vlády, kteří dohlížejí na to, že projekty naplňují cíle Skotské vlády.

-

programový monitorovací výbor posuzuje návrhy a doporučení

-

jménem ministerstva je schváleno přidělení grantů.


Strana 52 / 143

Schéma vyhodnocení projektů při soutěži projektů:

Poradní skupina

Návrhy projektů

Návrhy projektů

Zprostředkující subjekt

Návrhy projektů

Programový monitorovací výbor

Poradní skupina

Ministr

Poradní skupina

V případě dohod se strategickými orgány pro implementaci (Strategic Delivery Bodies) platí obdobná procedura. -

dohody jsou hodnoceny Zprostředkujícím subjektem z pohledu technické přijatelnosti a vhodnosti zaměření

-

výsledné dohody jsou předmětem politického schvalování prostřednictvím Poradní skupiny a následně programovacím monitorovacím výborem, který dává doporučení k financování jednotlivých částí / komponent dohod. Pokud není některá z aktivit doporučena k financování, žadatel může monitorovacímu výboru navrhnout jinou, alternativní aktivitu.

-

následuje formální schválení a přidělení grantu jménem ministerstva.

Schéma vyhodnocení projektů v případě dohod:

Dohoda o výstupu



Speciální poradní skupina

Strana 53 / 143

Monitorovací výbor

Ministr

Hodnotící kritéria: Odůvodnění rozhodnutí

Hodnotící kritéria OP ESF Skotsko

4.1 – Strategický soulad (vysoký) 4.2 – Zdůvodnění potřebnosti (vysoká) 4.3 – Potřeba grantu (vysoká) 4.4 – Struktura a řízení (vysoká) 4.5 – Partnerství (střední) 4.6 – Horizontální témata (střední) Rovné příležitosti Environmentální udržitelnost Sociální inkluze 4.7 – Inovativnost a přidaná hodnota


Skóre (0-5)

Komentáře

(0-2) (0-2) (0-2)

Strana 54 / 143

Belgie – Vlámsko- OP Vlámský operační program Evropský sociální fond Flandry 2007 – 2013 se zaměřuje na celkem 5 priorit. Supervizi nad realizací programu má Monitorovací výbor (Flemish Monitoring Committee), který je složen ze zástupců sociálních partnerů, neziskového sektoru, zástupců státních institucí. Vzájemné nastavení priorit je nejlépe zřetelné z níže naznačeného schématu: 61%

Priorita 2: Nabídnutí šancí na trhu práce

15%

Priorita 3: Řízení firem a organizací s důrazem na lidský faktor Priorita 6: Technická asistence

10%

5: Priorita Transnacionalita 5% 4: Priorita Inovace 5%

Rovné příležitosti

Shrnutí programu

Priorita 1: Aktivizace talentů

4%

Priorita 1 se zaměřuje na aktivizaci talentů a jejich dlouhodobou integraci do trhu práce. Není přitom rozhodující, zda se jedná o absolventa, nezaměstnaného, zaměstnaného nebo sebezaměstnaného člověka. Aktivity podporované v této prioritě mají charakter zejména školení (např. on the job training), poradenství, coaching a jsou využívány nástroje APZ pro integraci na trh práce. Důležité jsou obě formy vzdělání – formální i neformální, včetně uznávání neformálního vzdělávání. Priorita 2 se zaměřuje na podporu sociální inkluze znevýhodněných skupin a na nabídnutí individuálních řešení jejich situace. Mezi tyto skupiny patří především zdravotně znevýhodnění, příslušníci minorit, starší lidé (50+), nízkokvalifikovaní, dlouhodobě nezaměstnaní, ale také lidé, kteří potřebují speciální asistenci nebo lidé pracující na chráněných pracovních místech. Priorita 3 se zaměřuje na vztah klimatu ve firmách a společnosti s důrazem na aspekt dlouhodobé integrace a sociální inkluze prostřednictvím schémat využívaných ve firmách. Pozornost je věnována rovněž slaďování rodinného a pracovního života. Priorita 4 je chápána průřezově a zaměřuje se na složku inovativnosti a zahrnuje rovněž sociální inovaci a její včlenění na vlámský trh práce. Průřezově je rovněž chápána Priorita 5, která podporuje neregionální a nadnárodní prvek při realizaci projektů ESF. Všechny tyto priority mají přispívat k udržitelné zaměstnanosti a stimulaci podnikatelství a jsou komplementární s cíli vlámského vládního investičního plánu pro zaměstnanost.


Strana 55 / 143

Vlámská agentura pro ESF (ESF Agentschap Vlaanderen) zajišťuje principy spolupráce a partnerství při realizaci projektů ESF. Spolupracuje s Vlámskými službami zaměstnanosti (VDAB), Úřadem pro odborné vzdělávání (Service for Vocational Training) a Agenturou pro vyhodnocování grantů pro oblast práce a sociální ekonomiky (Subsidieagentschap Werk en Sociale Economie), Radou pro sociální ekonomiku (Social Economic Council for Flanders), Agenturou pro podporu podnikatelských dovedností a Ministerstvem práce a sociální ekonomiky. Celkový rozpočet ESF OP Flandry je 1,111 mil €, z této částky je 468,8 mil € příspěvkem ESF. Další informace lze získat na: http://www.esf-agentschap.be/Templates/Home.aspx?id=252&LangType=1033

Kdo je hodnotitel?

Proces hodnocení

Monitorovací výbor má pod sebou 4 komise: 1/ Jedná se o Horizontální komisi, která je složená ze zástupců rezortů, sociálních partnerů a ředitelů úřadů práce 2/ Tematickou komisi, která nastavuje a definuje konkrétní priority pro jednotlivé výzvy. Stejná, tedy Tematická komise vybírá hodnotitele projektů a přebírá odpovědnost za rozhodnutí o schválení projektu v případě rozdílných názorů hodnotitelů. Složení Tematické komise se mění v návaznosti na předmět výzvy (vždy jsou osloveni příslušní tvůrci politik). Tematické komisi předsedá člen Řídícího orgánu. 3/ Evaluační komise provádí externí evaluace a definuje specifická témata, stanovuje pracovní programy pro evaluátory. V této komisi jsou zastoupeni členové monitorovacího výboru a Evropské komise, předsedá ji zástupce Ministerstva práce a sociální ekonomiky. 4/ Odvolací komise, je složená z pracovníků, kteří nebyli součástí předchozího výběrového procesu, a předsedá ji zástupce Řídícího orgánu. Je vyslyšena strana, která se odvolává i která hodnotila (předkladatel projektu a Vlámská agentura pro ESF) a jsou posouzeny zprávy a dokumenty vypovídající o učiněném rozhodnutí. Odvolací komise je odpovědná za konečné rozhodnutí.

Výzva k předložení projektu je vyhlašována minimálně na 8 týdnů, zpravidla je však termín pro předložení žádosti o projekt stanoven ve lhůtě 12 týdnů. Přímo ve výzvě je vymezen způsob hodnocení a hodnotící kritéria, přičemž Vlámská agentura pro ESF je vždy jedním z hodnotících orgánů/míst. Vypracovaná žádost o projekt je zasílána prostřednictvím elektronického systému a zároveň musí být doručena i ve dvou tištěných a podepsaných verzích. Žádost o projekt je zaslána třem různým hodnotitelům, kteří jsou vybráni k hodnocení projektů a připravují tři nezávislé posudky. Jména hodnotitelů obdrží Vlámská agentura pro ESF od jiných hodnotících orgánů a umožní jim přístup k elektronické žádosti v databázi. Vlámská agentura pro ESF na začátku hodnocení organizuje schůzku hodnotitelů, kde jsou podrobněji vysvětlována hodnotící kritéria, procedury a je poskytnuto vysvětlení k jednotným formulářům. To zaručuje, že všechna tři hodnocení jsou vypracována v intencích shodných hodnotících kritérií, instrukcí k hodnocení, bodování atp. Posudky od všech tří hodnotitelů jsou shromážděny ve Vlámské agentuře pro ESF, kde manažer programu vypracuje na jejich základě rozhodnutí o (ne)schválení projektu. Vlámská agentura pro ESF dále organizuje


Strana 56 / 143

Hodnotící kritéria


setkání hodnotitelů (Evaluators Meeting – EM), kteří návrh projektu a návrh rozhodnutí společně diskutují. Pokud je dosaženo konsensu, je vypracována zpráva, která je předložena ke schválení Tematické komisi. Ta kontroluje správnost procedury a nastavení a použití hodnotících kritérií. Pokud hodnotitelé ke konsensu nedospějí, rozhoduje o schválení či zamítnutí žádosti o projekt právě Tematická komise. Návazně jsou žadatelé informováni o výsledku, a pokud nedojde k odvolání je připravena smlouva (připravuje Vlámská agentura pro ESF) a je zaslána ke schválení a k podpisu žadateli/příjemci projektu. Následně je smlouva o projektu podepsána Řídícím orgánem a projekt může být zahájen. Celý hodnotící proces trvá nejdéle 3 měsíce. Při hodnocení projektů jsou sledována následující tři základní kritéria: 1/ relevance projektu 2/ proveditelnost projektu 3/ zajištění řízení projektu Každé z kritérií je ohodnoceno prostřednictvím sady hodnotících otázek a jejich součet vede k souhrnu bodů v hodnotě 100. V rámci každé výzvy je stanoven minimální počet bodů, které pro přijetí projektu musí žádost dosáhnout v každém kritériu. Většinou je tato proporce stanovena jako 70/60/60. Jestliže žádost o projekt dosáhne v některém z kritérií menší než stanovenou hodnotu, projekt není doporučen ke schválení. To však může být změněno v rámci EM, kde je o návrhu projektu hlouběji diskutováno, a jsou posuzovány jednotlivé argumenty. Těm je v této fázi přikládána větší hodnota než bodovému hodnocení a proto se může stát, že i projekt, který měl menší bodový limit dokonce ve dvou kritériích, může být schválen. Celý proces je zaznamenáván a je ukládán v elektronickém systému.


Strana 57 / 143

Rakousko - OP Operační program Zaměstnanost Rakousko (BESCHÄFTIGUNG ÖSTERREICH) je zaměřen na zvýšení zaměstnanosti prostřednictvím zvýšení kvalifikace zaměstnanců, zvýšením adaptability zaměstnanců i podniků, podporou sociálního začlenění např. pomoc lidem při návratu do zaměstnání/znovuzačlenění do pracovního života. Program se skládá z 6 priorit: 1. Zvýšení adaptability pracovníků a podniků - více využít potenciálu starších lidí ("aktivní a produktivní stárnutí"). Specifickými cíli jsou zlepšení personálního plánování a personálního rozvoje v podnicích, stejně tak jako stabilizace a zlepšení situace starších nebo méně kvalifikovaných zaměstnanců a zaměstnanců znovu se vracejících do zaměstnání. 2. Boj proti nezaměstnanosti. Cílem je trvalé začlenění skupin dotčených nezaměstnaností do trhu práce (starší lidé, méně kvalifikovaní, imigranti a ženy). Shrnutí programu

3. Sociální začleňování - zajištění pracovních míst pro lidi se zdravotním postižením a vytvoření rovných příležitostí v nejširším slova smyslu. Dalším cílem je integrace osob, ohrožených vyloučením z trhu práce do stabilního zaměstnaneckého poměru. 4. Celoživotní vzdělávání- zlepšení přístupu ke vzdělávání na všech stupních, zvyšování kvality vzdělávání, možnosti účasti na celoživotním vzdělávání pro znevýhodněné dospělé a pomoc při dokončení studia pro studující, kteří zároveň pečují o dítě. Specifické cíle: zlepšení znalosti německého jazyka dětí imigrantů, pružnost programů vzdělávání a zavádění standardů kvality ve vzdělávání dospělých. 5. Územní úmluvy - lepší koordinace na regionální a lokální úrovni, příprava integrované strategie. Alokace programu je 1 114 814 120 €, z čehož činí částka 472 272 560 € prostředky ESF a částka 642 541 560 € jsou národní prostředky. Informace lze získat na: http://ec.europa.eu/esf/main.jsp?catId=370&langId=de nebo http://www.esf.at/esf/esf/esf-in-oesterreich/ Administrace ESF je v Rakousku jiná, než v České republice. Hlavní rozdíl spočívá především v tom, že Řídící orgán není odpovědný za výběr projektů. Příslušné finanční alokace jsou převedeny přímo na Zprostředkující subjekty, jako například AMS – veřejné služby zaměstnanosti nebo


Strana 58 / 143

Proces hodnocení

Ministerstvo školství. Zprostředkující orgány pak odpovídají za výběr projektů přímo a proces výběru se pak odvíjí od typu projektů. Jedním příkladem projektů jsou klasické vzdělávací kurzy pro nezaměstnané, kdy je využíván standardní systém veřejných zakázek. Jiné typy projektů, například financování opatření pro zvýšení kvalifikace zaměstnaných lidí jsou nastaveny vnitřními předpisy. Zaměstnavatelé/podniky se mohou ucházet o projekt průběžně a kontrolováno je pouze splnění nastavených kritérií/indikátorů. Co není v Rakousku pro ESF typické, a co naopak známe z ČR, je vyhlašování výzev (call for proposals) a následný výběr projektů v globálních grantech. ESF bylo od samého počátku v Rakousku nastaveno tak, aby byly prostředky ESF 100% přidány k národním schématům (strategickým cílům politiky na národní úrovni) a nemusel být nastavován specifický systém ESF procedur. Tento přístup umožňuje rychlé a efektivní využití prostředků ESF.


Strana 59 / 143

II. Návrhová část 6.

Návrhy na úpravu hodnotícího a výběrového procesu pro současné programové období

V současném programovém období již nebude navrhováno přistoupit k radikálním změnám hodnotícího a výběrového procesu, nebudou navrhovány úpravy hodnotícího rámce a jeho jednotlivých kritérií ani zásahy do elektronického systému hodnocení. Dále jsou navrženy takové změny, které jsou vedeny snahou o vyšší efektivitu a správnost hodnotícího a výběrového procesu, a které se nezvyšují komplikovanost systému.

6.1

Výběrový proces

Návrhy na drobnější úpravy pro práci výběrových komisí byly prezentovány v průběžné zprávě formou doporučení změn v metodických materiálech (šlo spíše o dodržení konzistentnosti materiálů a přesnou specifikaci postupů než změny), z nich některé již byly zahrnuty do aktualizované podoby příručky pro hodnocení a výběr, jednacího řádu a statutu výběrové komise a standardizovaných výstupů z výběrové komise. Rovněž byla doporučena úprava vzdělávacího programu pro výběrové komise s vyšším důrazem na objasnění práv a povinností výběrové komise a jejích členů. Pro zkvalitnění informací pro rozhodování výběrových komisí je níže uveden návrh, jak pracovat s informacemi o již realizovaných projektech i pro porovnání žádostí o financování v aktuální výzvě. Pro výběr žádostí z výzvy č. 76 připravil Řídící orgán tabulku, nazvanou absorpční kapacita, která přehledně ukazuje, které okresy budou v případě realizace pokryty jednotlivými projekty. Tato informace je jistě důležitá z hlediska posouzení toho, zda se v některých regionech nerealizuje příliš mnoho projektů ve stejné oblasti podpory oproti jiným regionům. Pro kvalifikovaný výběr mezi kvalitně zpracovanými projekty však je třeba prozkoumat další informace z aktuální i předešlých výzev (pokud se výběrová komise nedrží striktně pořadí dle přidělených bodů z individuálního věcného hodnocení): 1. informace o tom, jakou cílovou skupinu projekt zahrnuje v daném regionu (umožní posoudit, zda potřeba nabízených služeb pro cílovou skupinu je vhodně pokryta) 2. zda se navrhované projekty nesoustředí většinově na omezený okruh účastníků a zda pokrytí požadavků výzvy vzhledem k cílovým skupinám je vyvážené (v případě nevyváženosti pak realizovat pouze skutečně potřebné množství projektů pro danou cílovou skupinu) 3. jaké projekty již realizoval a realizuje předkladatel žádosti z minulých výzev v dané oblasti podpory a jaká je přidaná hodnota nově navrhovaného projektu (zda žadatel pouze nerecykluje již realizované aktivity pro totožnou cílovou skupinu). Národní vzdělávací fond, 22. 6. 2012

Strana 60 / 143

Požadované informace by bylo možné zpracovat opět tabulkovou formou (viz níže tabulka 9), ale je třeba si uvědomit, že zpracování navrhované informace je poměrně náročné na přípravu před zasedáním výběrové komise. Ke zvážení dáváme návrh, aby v případě kladného posouzení žádosti hodnotitel předal vyhlašovateli následující informaci: Projekt → cílová skupina (typ, velikost) → region → realizované aktivity pro cílovou skupinu z předchozích projektů. Takovou informaci může nejlépe připravit hodnotitel, protože se podrobně seznamuje se žádostí i s potřebností projektu pro cílovou skupinu v rámci věcného hodnocení. Hodnotitel je rovněž schopen nejsnáze dohledat, zda žadatel uvedl informace o jím realizovaných projektech pro danou cílovou skupinu. Vyhlašovatel by pak uvedené informace o projektech ověřil v systému MONIT (problém třídění dle typu cílové skupiny). Další opatření, které by pomohlo výběrové komisi zlepšit její práci, by byla relevantní informace o předkladatelích, se kterými byly nedobré zkušenosti z realizace projektů. Byl by vytvářen „red list“ příjemců, kteří porušili závažně pravidla pro řízení projektů ESF (hlavně při porušení rozpočtové kázně; podrobnější pravidla by musela být zpracována a zveřejněna pro informaci předkladatelů). Před zapsáním příjemce na red list by byla dotčená organizace informována o důvodech zařazení na red list a měla by možnost se k výtkám vyjádřit. Red list by mohl být odstupňován od mírně rizikového až po nepřijatelného žadatele/příjemce (ten by se měl současně objevit na black listu nejen MPSV, ale i MMR). Při porovnávání obdobných projektů pro obdobnou cílovou skupinu by byla dávána přednost příjemcům nerizikovým či s nižším rizikem pro realizaci. V případě zavedení takového opatření však je třeba brát v úvahu zatížení poskytovatelů dohadovacími řízeními s problematickými příjemci, dotčenými zařazením na red či black list. Rovněž by bylo třeba zpracovat podmínky výmazu z red listu (nejlépe realizace bezproblémového projektu). Takové opatření by se nevztahovalo na příjemce zařazené na black list. Pro případ, kdy by mohlo dojít k vyloučení kvalitně zpracovaných projektů, se navrhuje možnost, aby výběrová komise mohla nahlédnout do cca dalších 20 projektů, které přesahují finanční limit dané výzvy Mimo výše uvedených nástrojů pro zkvalitnění práce výběrové komise je třeba vzít v úvahu i složení výběrové komise. Je vhodné, aby ve výběrové komisi měli odpovídající zastoupení odborníci z praxe z těch regionů, ve kterých se v rámci dané výzvy předkládá větší množství projektových žádostí. Toto však je možné pouze v případě, kdy výběrová komise je sestavována až na základě znalosti skutečně předložených žádostí. Výběrové komisi by měla být poskytnuta možnost dávat zpětnou vazbu o hodnotitelích v případě, kdy jsou s jejich prací hrubě nespokojeni a při jednání výběrové komise musí korigovat naprosto špatně postavené hodnocení. Takováto negativní informace by měla být zabudována do systému ratingu hodnotitelů (např. počet stížností výběrových komisí).


Strana 61 / 143

Tabulka 9: Absorpční kapacita výzvy XX Cílová skupina Projekt

Region

Žadatel typ

velikost


NUTS II

okres

Projekty žadatele pro cílovou skupinu

Termín realizace od

do

Strana 62 / 143

Region NUTS II

okres

Míra rizikovosti žadatele

6.2

Hodnotící proces

Část návrhů na úpravy hodnotícího procesu a práce s hodnotiteli byla uvedena v průběžné zprávě, hlavně formou doporučení spolupráce a komunikace s hodnotiteli. Valná část níže uvedených doporučení směřuje ke zpřesnění pracovních postupů hodnotitelů (hlavně zaměřené na posuzování problematických hodnotících kritérií) a k zintenzivnění práce s hodnotiteli (vzdělávání, poskytování zpětné vazby). 1. Na základě analýzy vzorku hodnocení i zkušeností ze školení hodnotitelů a z příkladu jiných operačních programů (OP VK) vyplývá, že hodnotitelé potřebují pro zvýšení kvality své práce zpětnou vazbu. Zároveň však bylo ověřeno, že i přes poskytnutí zpětné vazby se mnohdy rozdílné názory hodnotitelů nesblíží. Ani zajištění 3. hodnotícího posudku neznamená vždy správnější a kvalitnější posouzení projektu. Z tohoto důvodu navrhujeme následující úpravu hodnotícího procesu: i) pro grantové projekty: – 2 externí hodnotitelé provedou zhodnocení projektu do hodnotící tabulky v systému MONIT7+ -

-

-

v případě, kdy 2 externí hodnotitelé zpracují podstatně odlišná hodnocení (rozdíl více než 20 bodů), nastupuje svoji roli arbitr – tedy 3. hodnotitel, který zpracovává výsledný posudek, a to na základě předchozích dvou hodnocení arbitr se zaměřuje na kritéria, u kterých se hodnotitelé liší o 2 a více stupňů slovních deskriptorů a zdůvodní volbu jednoho, druhého či svého vlastního deskriptoru. U kritérií, kde je rozdíl nižší než 2 stupně slovních deskriptorů, vybere jedno z již zpracovaných hodnocení zásadně by se konečné hodnocení arbitra mělo nacházet v intervalu mezi oběma předchozími hodnoceními hodnocení arbitra se pak stává výsledným hodnocením projektu.

i) pro individuální projekty: plné hodnocení projektu zpracují všichni členové hodnotící komise, svá hodnocení na zasedání hodnotící komise prodiskutují a na základě konsenzu zpracují jediné společně výsledné hodnocení. Rozdílem oproti současnému stavu je to, že všichni členové hodnotící komise přicházejí na jednání s podrobnou znalostí projektu, včetně vlastního posouzení. Nehodnotí se shoda nebo rozdíly mezi jednotlivými hodnoceními, ale formuluje se shoda na jediném hodnocení, založená na kvalifikované a znalostí projektu podložené argumentaci členů hodnotící komise. 2. Vyhlašovatelé výzev budou poskytovat důslednou zpětnou vazbu nejen o výsledcích hodnotícího a výběrového procesu, ale též o důvodech snížení ratingu hodnotitele, tak aby se hodnotitel mohl poučit o svých nevhodných přístupech. 3. Řídící orgán uspořádá alespoň 1x ročně řadu seminářů pro hodnotitele, zaměřených na informace o novinkách v systému hodnocení a umožní výměnu zkušeností hodnotitelů formou diskuse. Výběr tématu k diskusi proběhne na ESF fóru. Nabídku témat připraví ŘO na základě identifikace nejproblémovějších oblastí hodnocení. Národní vzdělávací fond, 22. 6. 2012

Strana 63 / 143

Hodnocení individuálních projektů bude věnován specifický seminář, na který budou zváni pouze hodnotitelé s vysokým ratingem a se zkušeností s hodnocením individuálních projektů. Zároveň bude připraven a realizován vzdělávací seminář pro arbitry, kteří budou vybíráni ze skupiny hodnotitelů s nejvyšším ratingem. Vzdělávání bude zaměřeno nejen na vylepšení jejich hodnotitelských kvalit, ale hlavně na to, jak správně posuzovat 2 odlišná hodnocení a tvořit na jejich základě výsledné hodnocení. 4. Vzhledem k tomu, že příručka pro hodnotitele neřeší, jak tvořit komentář k vybranému slovnímu deskriptoru, ani to za jaké prohřešky snižovat slovní deskriptor, další návrh je zaměřen na snížení nedostatků věcného hodnocení. Tabulka 10: Návrhy opatření/řešení pro snížení nedostatků, identifikovaných v rámci závěrů analýzy hodnocení projektu OMEGA Identifikované nedostatky v hodnocení referenčního projektu Nesoulad s metodikou:

Reálná navrhovaná opatření ještě pro toto období

- v rámci daného věcného kritéria byl vyhodnocen jiný předmět (předmět jiného kritéria) - komentář neobsahuje vše, co je předmětem hodnocení Příručka pro hodnotitele: daného kritéria - zpřehlednit jednotlivé aspekty - záměna hodnotících kritérií hodnocení daného kritéria, např. Nedostatky v komentářích: strukturovat, označit tučně upozornit na záměnu v kritériích - příliš stručný a obecný komentář - doplnit požadavky a náležitosti - příliš detailní komentář nebo ulpívání na detailech komentáře (jaké informace má - opisování informací z projektové žádosti (nejedná komentář obsahovat) se o hodnotící informace v komentáři) - nezohlednění rizik/rizikových faktorů v rámci kritéria - doplnit informace ke každému hodnotícímu kritériu za jaké D4 nedostatky snižovat slovní deskriptor Nesoulad slovního deskriptoru a komentáře: - nesoulad jako takový (+/-) - snížený deskriptor není řádně zdůvodněn Subjektivnost / domýšlení si: - uvádění domněnek bez jasného podložení argumenty Nepodložené hodnocení: - snížení slovního deskriptoru bez uvedení důvodů u nepovinně komentovaných kritérií Absence vnitřního kontextu: - hodnocení jednotlivých kritérií mezi sebou nekoresponduje Přísnost a opakované snížení slovního deskriptoru:

Specifická školení: - upozorňovat na nedostatky v hodnoceních v rámci školení pro hodnotitele ESF fórum: - upozorňovat na nedostatky v hodnoceních prostřednictví m fóra Zpětná vazba hodnotiteli: - upozorňovat na nedostatky v hodnoceních prostřednictvím zpětné vazby hodnotiteli

- pokud je předmětem stejný / obdobný věcný předmět (ve vazbě, v kontextu s jiným kritériem), dochází k opakovanému snižování slovního deskriptoru Nedostatky v závěrečném hodnocení: - kopírování jednotlivých hodnotících komentářů Národní vzdělávací fond, 22. 6. 2012

Strana 64 / 143

-

opisování informací z projektové žádosti chybí celkové zhodnocení komentář je nepřehledný a nestrukturovaný absence rizikových faktorů nevyváženost informací (silné vs. slabé stránky) absence jasných doporučení pro žadatele / VK

Jedním z výše uvedených navrhovaných opatření je doplnění Příručky pro hodnotitele. Mezi taková doplnění navrhujeme: -

strukturovat jednotlivé aspekty daného kritéria, např. v odrážkách uvést, co je předmětem hodnocení daného kritéria (např. ve sloupci 2 v níže uvedené navrhované verzi kapitoly) tak, aby bylo kritérium při hodnocení vzato v potaz celé a současně nedocházelo k záměně s jiným kritériem

-

zpřehlednit (např. zvýraznit) jednotlivé aspekty každého kritéria (aby v textu nezapadly a nebyly opomenuty)

-

doplnit sloupec Zdroje hodnocení - k dohledání a získání informací pro hodnocení (nejen s odkazem na jednotlivé části projektové žádosti, ale i na metodické příručky a dokumenty)

-

doplnit sloupec Hodnocení a Komentář - sloupec obsahuje informace (příklady), za co by měl být snížen slovní deskriptor v každém věcném kritériu nebo naopak nesnižován (tak, aby nedocházelo k opakovanému snižování slovního deskriptoru) a co klíčového podstatného by měl obsahovat komentář.

-

Kromě uvedené úpravy a zpřehlednění navrhujeme na základě diskuse na závěrečném semináři rozšířit kombinovaná kritéria o kritérium A1 a B3. Vzhledem k tomu, že se jedná o komplexní kritéria, právo na eliminaci by mělo být v případě A1 vázáno na dílčí aspekty potřebnosti, hlavních přínosů, přidané hodnoty (v žádném případě ne na inovativnost). V případě B3 pak by se eliminace vztahovala k dílčímu aspektu vymezení zlepšení situace CS díky účasti v projektu. Tímto způsobem by bylo možné vyloučit nesmyslné a zbytečné projekty – „projekty pro projekty“, aniž by se hodnotitelé museli uchylovat ke snižování zástupných deskriptorů. Eliminace by samozřejmě musela být řádně zdůvodněna. V níže uvedeném návrhu na rozšíření příručky tato navrhovaná změna není zabudována, neboť se zde pracuje s textem aktuálně platné příručky a sloupec popisu kritéria není upravován. Zahrnutí do příručky je na rozhodnutí ŘO, zda takový zásah ještě realizovat v současném období.


Strana 65 / 143

Tabulka 11: Dílčí návrh na úpravu stávající verze Příručky pro hodnotitele, verze 1.3

A

Smysl a cíle projektu

Zdůvodnění potřebnosti projektu

Dílčí aspekty: - zdůvodnění realizace projektu (potřebnost projektu)

A1

- hlavní přínosy a smysl projektu - inovativnost projektu - myšlenka projektu - přidaná hodnota projektu

Skupina „Smysl a cíle projektu“ patří mezi jednu z nejdůležitějších oblastí pro hodnocení projektu. V rámci této skupiny kritérií by si měl hodnotitel odpovědět na otázky typu: Co projekt přinese? Proč by měl být spolufinancován ze zdrojů ESF? Jak naplňuje cíle pomoci? Toto kritérium patří mezi klíčová kritéria. Vysvětluje, proč by měl být projekt realizován, proč vznikl a kde jsou jeho hlavní přínosy, z čeho vychází (analýzy, zkušenosti, mapování potřeb, vyjádření jiných organizací – města atd.). Hodnotitel by zde měl srovnat předchozí (resp. současný) stav se stavem budoucím po realizaci žadatelova projektu, aby bylo možno posoudit efektivnost a přínos projektu (pokud tak učiní sám žadatel, pak hodnotitel toto posoudí). Je potřeba zhodnotit z pohledu trhu práce a současně z pohledu potřeby naplnit cíle – je projekt pro splnění cíle výzvy a pro situaci na trhu práce (v dané lokalitě) skutečně potřebný? Je potřebný pro uvedenou cílovou skupinu? Nejedná se pouze o obecné proklamace, že je třeba působit v dané oblasti a že vlastně cokoliv co se udělá je potřeba? Toto kritérium je kritériem komplexním, v rámci něho by měl hodnotitel vyjádřit míru přesvědčení, že projekt je potřebný.

Zdroje a metodika pro hodnocení

Projektová žádost / přílohy*, pokud jsou k dispozici: - Stručný obsah projektu - Zdůvodnění potřebnosti projektu - Inovativnost projektu - Příloha Analýza potřebnosti projektu - Příloha Analýza potřeb cílové skupiny - Příloha Vyjádření „třetí strany“ (zainteresovan ých subjektů, např. profesních sdružení, sociálních partnerů) je ale třeba posuzovat obezřetně (může být jen účelové!)

Hodnocení je prováděno pomocí pětistupňové škály s těmito slovními deskriptory:  velice přesvědčivé  přesvědčivé  průměrně přesvědčivé  málo přesvědčivé *pozn. přihlížet  nepřesvědčivé k přílohám, pokud jsou Hodnotitel by se měl k potřebnosti projektu znovu vrátit vymezeny výzvou jako


Strana 66 / 143

Hodnocení a komentář Ke snížení slovního deskriptoru dojde, pokud není popsáno, jakým způsobem byly zjištěny potřeby cílové skupiny nebo se jedná o obecné (všeobecně) známé informace, údaje a ničím nepodložené konstatování. Ke snížení dojde dle rozsahu konkrétních chybějících údajů nebo nedostatečně vysvětlených částí a na tuto skutečnost bude upozorněno v komentáři. Ke snížení deskriptoru musí dojít také pokud projekt není potřebný, potřebnost a přínos jsou jen deklarovány nebo jde o tzv. „projekt pro projekt“, tj. provozní a běžné organizační aktivity žadatele či projekt zařizovacího a vybavovacího charakteru. Ke snížení deskriptoru by nemělo docházet: - u principu inovativnosti (pokud je hodnocen jako specifické kritérium, pokud má jít o projekty inovativního charakteru) - ba naopak projekt inovativního charakteru by měl být

po přečtení celé žádosti a slovně své hodnocení okomentovat. V komentáři by se měl zaměřit i na to, zda je projekt inovativní, zda „má myšlenku“ apod. Princip inovativnosti znamená podporu vytváření a prosazování nových nástrojů v oblastech rozvoje lidských zdrojů podporovaných z ESF. Prostřednictvím tohoto principu je v OP LZZ podporován vývoj a využití inovací, které představují nové, netradiční přístupy a řešení využitelná v projektech zaměřených zejména na osoby ohrožené sociálním vyloučením či na osoby ze společnosti a trhu práce již vyloučené. Financování inovací je opodstatněné především pokud lze předpokládat možnost jejich následného šíření a prosazování do široké praxe (tzv. mainstreaming). Pro více informací o principu inovativnosti doporučujeme pracovat také s metodikou D1 Příručka pro žadatele, kde je princip inovativnosti podrobněji popsán.

Vazba na cíle výzvy (oblasti podpory OP LZZ)

A2

Dílčí aspekty: - soulad projektu s výzvou (přijatelnost projektu) a se specifickými kritérii výzvy - soulad projektu

Kritérium hodnotí, zda a nakolik je projekt v souladu s vyhlašovanou výzvou popř. s širším kontextem dané oblasti podpory OP LZZ. Projekt musí splňovat podmínky dané výzvy a naplňovat cíle OP LZZ. Hodnotitel posuzuje, do jaké míry projekt s tématem souvisí nebo jak jej doplňuje. Jedná se o kritérium kombinované. Tudíž je třeba se nejprve vypořádat se skutečností, zda zde existuje vazba na cíle výzvy (oblasti podpory OP LZZ) a pokud ano, jak těsná. Pokud projekt nemá vazbu na cíle samotné výzvy, je třeba toto zdůvodnit, konkretizovat přesně, kde dochází k rozporu s výzvou (aktivity, cílová skupina, místo dopadu apod.), aby výběrová komise mohla kvalifikovaně rozhodnout o vyloučení projektu. Těsnost vazby je třeba zachytit v rámci níže uvedené třístupňové škály. Hodnocení je prováděno pomocí třístupňové škály s těmito


povinné nebo pokud jsou k projektové žádosti doloženy. Metodika: - Výzva k předkládání žádostí - D1 Příručka pro žadatele (vysvětlení principu inovativnosti v OP LZZ)

Projektová žádost / přílohy, pokud jsou k dispozici: - Stručný obsah projektu - Zdůvodnění potřebnosti projektu - Charakteristika hlavních cílů projektu Metodika: - Výzva k předkládání žádostí - Prováděcí dokument OP LZZ

Strana 67 / 143

deskriptorem zvýhodněn (pokud není hodnoceno kritérium inovativnosti jako specifické kritérium). V komentáři by se mělo objevit, zda projekt obsahuje inovativní prvky, které jsou pro úspěšnou realizaci významné nebo pro jeho realizaci nemají zásadní charakter. - za přínos projektu (hodnocen u kritéria B3)

K udělení nejnižšího slovního deskriptoru dojde, pokud projekt není v souladu s pravidly a podmínkami výzvy (nesplňuje přijatelnost žadatele/partnera, klíčových aktivit, cílů, cílové skupiny, regionální vymezení projektu ad.). V případě podezření na nesoulad s výzvou, je nutné uvést komentář do kritéria D4. Ke snížení deskriptoru dojde, pokud projekt není v souladu se záměry stanovenými v oblasti podpory (výzvy) nebo nemá potenciál přispět k naplňování cílů výzvy (oblasti podpory OP LZZ).

s danou oblastí podpory - míra v souladu s výzvou - naplňování cílů pomoci OP LZZ

A3

Zhodnocení cílů projektu

Dílčí aspekty: - konkrétní cíle - jasné vymezení cílů (i metodicky správné)

slovními deskriptory:  velice těsná vazba  těsná vazba  přijatelná vazba Poznámka: To, že jsou v projektové žádosti uvedeny obecné cíle výzvy, ještě neznamená, že projekt je s nimi v souladu. Všechny žádosti, které prošly do věcného hodnocení, jsou zřejmě z formální stránky v souladu s výzvou, je ale třeba hlubšího zamyšlení souladu s věcnou stránkou výzvy. V rámci tohoto kritéria by měl hodnotitel posoudit, zda popsané cíle projektu jsou jasně vymezené a relevantní. Posuzují se cíle samotného projektu, nikoliv vazba na cíle výzvy (která je hodnocená v rámci kritéria A2). Kritérium ukazuje, jak si předkladatel projektu stanovil cíle, zdali jsou realistické, zda odpovídají vymezeným potřebám a problémům (viz kritérium A1) a jsou s nimi v souladu, zda jsou dostatečně popsané, zda je možné (vzhledem k časovému harmonogramu, obsazení realizačního týmu) jich dosáhnout. Žadatel si může v rámci projektu stanovit více cílů různé závažnosti. Jasné stanovení cíle projektu reflektuje schopnost žadatele přesně definovat záměr projektu, vypovídá o celkové orientaci žadatele v dané problematice. Hodnocení je prováděno pomocí čtyřstupňové škály s těmito slovními deskriptory:  cíle jsou jasně vymezené a relevantní  cíle nejsou zcela jasně vymezené a jsou relevantní  cíle jsou jasně vymezené, ale nejsou relevantní  cíle jsou nejasně vymezené a nejsou relevantní

Komentář musí obsahovat konkrétní informaci o tom, v čem není projekt v souladu s výzvou. (v případě snížení slovního deskriptoru je třeba specifikovat nedostatek).

Projektová žádost/přílohy: - Charakteristika hlavních cílů projektu - Stručný obsah projektu - Harmonogram realizace - Hodnoty indikátorů - Vazba aktivit projektu na potřeby cílové skupiny - Příloha Analýza potřebnosti projektu - Příloha Analýza potřeb cílové skupiny

Metodika: - Výzva k předkládání žádostí

Při posouzení cílů projektu může být vhodnou pomůckou metoda SMART využívaná při hodnocení kvality projektových cílů. Cíle


Strana 68 / 143

Ke snížení slovního deskriptoru dojde, pokud nejsou cíle: - konkrétní, jednoznačně vymezené (tj. musí být zřejmé, čeho chce žadatel dosáhnout), identifikované (např. jsou zaměňovány aktivitami nebo přínosy) nebo jsou rozporuplné, relevantní (tj. ve vazbě na popsané aktivity projektu nebo neodpovídají vymezeným potřebám), objektivně měřitelné (kvantitativní), časově ohraničené. Pokud jsou cíle nerealistické (nedosažitelné), je nutné kromě snížení deskriptoru, uvést v komentáři proč a v čem. Žadatelem vymezené cíle je potřeba posoudit nikoliv konstatovat jejich existenci (popis) a deklarování v projektové žádosti. Nežádoucí je také cíle do komentáře opisovat.

- relevantnost cílů (v souladu s potřebami, ve vazbě na aktivity) - realistické cíle - kvantitativní a kvalitativní cíle

B

Cílová skupina

Jasné vymezení cílové skupiny B1

projektu by měly být S (Specific = konkrétní) M (Measurable = měřitelné), A (Achievable = dosažitelné), T (Time-bounded = časově ohraničené). Tuto metodu doporučujeme využít přiměřeně k celkovému kontextu a charakteru projektu. Příklad nejasného komentáře: hodnotitel uvede „cíl je velmi nekonkrétní“, ale chybí, v čem je cíl nekonkrétní. Cíle projektu musí být dohledatelné – přestože se objeví v jiné než k tomu určené části žádosti, jsou považovány za popsané. Cíl projektu by měl být specifičtější, úžeji zaměřen než cíl celé výzvy, mělo by být jasné, že žadatel ví, PROČ chce dělat zrovna toto (že stanovený projektový záměr skutečně povede ke stanovenému kvantifikovanému cíli, který svým způsobem přispěje ke splnění obecného cíle daného výzvou). Skupina kritérií „Cílová skupina“ obsahuje čtyři kritéria a hodnotitel by se měl zaměřit na tyto otázky: Je cílová skupina jasně vymezená? Odpovídá zvolená skupina realitě a vychází z analýzy? Je projekt pro zvolenou cílovou skupinu přínosný? Je práce s cílovou skupinou (její zapojení) adekvátní jejímu charakteru? Toto kritérium je kombinované. Tudíž je třeba se nejprve vypořádat se skutečností, zda projekt bude mít dopad na cílové skupiny na území vymezeném ve výzvě a pokud ano, tak jaký. Pokud projekt nemá takový dopad, je třeba toto zdůvodnit, aby výběrová komise mohla kvalifikovaně rozhodnout o vyloučení projektu. V rámci tohoto kritéria by měl hodnotitel posoudit, zda popsaná cílová skupina je dobře vymezená, zda její specifikace je konkrétní a zda je z projektu jasné, pro koho je určen. Cílovou skupinou jsou míněni jednotlivci příp. organizace, pro které je projekt určen (tedy ti, kteří budou těžit z výstupů projektu). Projekt musí jasně popsat,



Hodnocení a komentář

Projektová žádost/přílohy: - Popis a způsob zapojení cílové skupiny - Stručný obsah projektu - Hodnoty indikátorů - Klíčové aktivity - Příloha Analýza potřeb

Ke snížení slovního deskriptoru dojde, pokud chybí charakteristika (popis) cílové skupiny (tj., nebude jasně a konkrétně vymezeno o koho jde: např. muži/ženy, věk, vlastnosti, potřeby/omezení, lokalita, sociální vrstva, popis pracovní pozice ad. relevantní ve vazbě na vymezení zvolené CS - chybějící nebo nedostatečné schopnosti, vlastnosti) nebo pokud popis CS nebude

Strana 69 / 143

Dílčí aspekty:

pro kterou cílovou skupinu je jeho projekt určen.

- oprávněnost CS

Popis cílové skupiny by měl být širší než pouze vyjmenování CS Metodika: daných výzvou. Projektové aktivity by měly být cílené a mělo - Výzva k předkládání žádostí by být jasné, že žadatel ví, s kým přesně bude v projektu pracovat, na koho působit a proč. Dále musí být jasné, že žadatel si je vědom toho, jaké problémy jím vybraná cílová skupina (v daném regionu působení) má, a že jeho projekt bude tyto problémy skutečně přímo řešit. Popis by měl obsahovat jasné vymezení konkrétních pozic, ne obecné označení cílové skupiny – pracovníci v přímé péči apod., dále také rozčlenění cílové skupiny, specifikaci a konkretizaci cílové skupiny (popis cílové skupiny, prostředí, pracovní pozice v organizaci, popis problémů cílové skupiny a jejich zhodnocení).

- kvantifikace CS - konkrétní popis /charakteristika CS - dopad projektu na CS

cílové skupiny

Hodnocení je prováděno pomocí třístupňové škály s těmito slovními deskriptory:  jasně vymezená  ne zcela jasně vymezená  špatně vymezená Příklad: Maximum získá projekt, který jasně a logicky popisuje, jakým způsobem byly cílové skupiny identifikovány, například vlastním průzkumem nebo z podkladů úřadu práce. Z projektu musí být jasná velikost cílové skupiny a velikost cílové skupiny musí odpovídat kapacitním možnostem žadatele případně i jeho partnerů. V projektu by mělo být uvedeno, zda žadatel s cílovou skupinou již pracoval nebo s ní bude pracovat poprvé. Skutečnost, že žadatel s touto cílovou skupinou ještě nepracoval, by však neměla být sama o sobě důvodem ke snížení bodového ohodnocení; žadatel mohl dosud pracovat úspěšně s obdobnými skupinami. Vždy je třeba vycházet z konkrétního projektu. Národní vzdělávací fond, 22. 6. 2012

Strana 70 / 143

odpovídat vymezení CS.

Pokud nebude jasně stanovena velikost CS nebo nebude v souladu s uvedenými MI, je nutné na tento rozpor upozornit v komentáři.

Pokud hodnotitel zjistí, že žadatel/partner nemá zkušenosti v práci s CS nebo je popis v projektové žádosti nepřesvědčivý, zohlední tuto skutečnost v komentáři, ale nebude za ni v rámci tohoto kritéria snížen slovní deskriptor.

Přiměřenost cílové skupiny

Dílčí aspekty: Přiměřenost CS vzhledem k:

B2

- její velikosti, sociální struktuře a potřebám - potřebnosti, cílům a rozpočtu - ke kapacitám žadatele

Přiměřenost cílové skupiny je v tomto kritériu chápána jako „statisticko-sociální přiměřenost“. Cílová skupina by měla být přiměřená nejen z hlediska její velikosti, sociální struktury, ale měla by vycházet i z analýzy potřeb, pokud je součástí žádosti. Přiměřenost je třeba posuzovat/poměřovat zejména k potřebnosti, cílům a rozpočtu projektu. Dále je třeba brát v potaz velikost dané skupiny na vymezeném území (stát/kraj/obec) a reálnost jejího zapojení do projektu uvedenou v žádosti. Kritérium dále hodnotí, zda je velikost cílové skupiny přiměřená ke kapacitním možnostem žadatele nebo jeho partnerů. Hodnotí znalost problémů cílové skupiny a dostatečné zkušenosti s prací s cílovou skupinou, zapojení partnerů do práce s cílovou skupinou. Z projektu by mělo také vyplývat, zda a jaké má žadatel na cílovou skupinu kontakty, zda s touto cílovou skupinou již pracoval a je-li zaručeno, že cílová skupina přijme jeho pozvání k účasti v projektu. K návrhu projektu může být připojeno i stanovisko zástupců cílové skupiny

Projektová žádost/přílohy: - Popis a způsob zapojení cílové skupiny - Hodnoty indikátorů - Dopady a místa realizace - Příloha Analýza potřeb cílové skupiny

Metodika: - Výzva k předkládání žádostí

Dále je potřeba zkontrolovat, kde je to relevantní, zda projekt není zaměřen na cílové skupiny osob na území hl. města Prahy („místo realizace“ projektu ale může být v Praze). V případě pracovníků je rozhodující místo zaměstnání. Hodnocení je prováděno pomocí třístupňové škály s těmito slovními deskriptory:  vychází z potřeb cílové skupiny  částečně vychází z potřeb cílové skupiny  nevychází z potřeb cílové skupiny Příklad: Pokud velikost cílové skupiny nekoresponduje s kapacitními možnostmi žadatele a případně i partnerů nebo není z projektu


Strana 71 / 143

Pokud výběr cílové skupiny není zcela odpovídající potřebám realizace projektu a její velikost není v projektu konkrétně a dostatečně (přesvědčivě) zdůvodněna a opodstatněna a neodpovídá finančním možnostem rozpočtu, musí dojít k adekvátnímu snížení slovního deskriptoru. Ke snížení slovního deskriptoru dojde také, pokud velikost CS neodpovídá kapacitním možnostem žadatele a příp. partnera. Pokud existuje dílčí pochybnost o některém aspektu, je na to nutné v komentáři upozornit (v čem a proč). Pokud hodnotitel zjistí, že žadatel/partner nemá zkušenosti v práci s CS nebo je popis v projektové žádosti nepřesvědčivý, zohlední tuto skutečnost v komentáři, ale nebude za ni v rámci tohoto kritéria snížen slovní deskriptor.

Přínos projektu pro cílovou skupinu

Dílčí aspekty: - vymezení potřeb a problémů

B3

- existence vazby mezi aktivitami projektu a přínosem pro CS - vymezení zlepšení CS díky účasti v projektu

- reálnost přínosů

zřejmé, jakým způsobem byla cílová skupina vybrána, nebo žadatel a partneři nemají dostatečné zkušenosti s prací s cílovou skupinou, sníží hodnotitel přiměřeným způsobem hodnocení. Jde o velmi důležité kritérium, jež vyjadřuje dopad na cílovou skupinu. Je odlišné od kritéria A1 „Zdůvodnění potřebnosti záměru“, v rámci kterého by žadatel měl popsat problém na vyšší úrovni abstrakce. V tomto kritériu se věnuje hmatatelným a kvantifikovatelným přínosům. Žadatel by měl prokázat a kvalitativně popsat vazbu mezi potřebností projektu a přínosem pro cílovou skupinu (popř. cílové skupiny). Z žádosti musí být patrné, že žadatel ví (např. z analýzy potřeb, nikoliv pouze obecně ve společnosti šířené informace), jaké potřeby (problémy, bariéry apod.) cílová skupina má, a že daný projekt k řešení těchto problémů skutečně přispívá a jak. Projekt musí konkrétně uvést, jak se zlepší postavení cílové skupiny po ukončení projektu. Hodnotitel posoudí, zda je přínos projektu pro cílovou skupinu skutečný, nikoliv pouze deklarovaný žadatelem.

Ke snížení slovního deskriptoru dojde, pokud očekávaný přínos projektu: Projektová žádost/přílohy: - Vazba aktivit projektu na potřeby cílové skupiny - Stručný obsah projektu - Zdůvodnění potřebnosti projektu - Příloha Analýza potřeb cílové skupiny

-

-

-

není zdůvodněn a/nebo není reálný, není přesvědčivě popsán a/nebo jsou uváděny jen proklamativní fráze a/nebo jeho dosažení se nejeví příliš reálné, je popsán obecně a/nebo jen částečně a/nebo existují pochybnosti o jeho dosažení v deklarované míře, existují pochybnosti/ výhrady (v čem) k některému aspektu (jakému).

Ke snížení slovního deskriptoru dojde také pokud, není zřejmé, zda a skutečně dojde ke změně postavení CS (nejen) na trhu (ale podle charakteru CS i ve společnosti).

Hodnocení je prováděno pomocí šestistupňové škály s těmito slovními deskriptory:  vysoký  značný  střední  malý  velice malý  žádný Příklad: Maximální počet bodů získá projekt, ve kterém je jasně popsána vazba mezi aktivitami projektu a jejich dopady na cílovou skupinu, proč a jakým způsobem problémy cílové skupiny řeší. Projekt musí jasně a konkrétně vyjádřit očekávaný přínos projektu pro cílovou


-

Strana 72 / 143

Způsob zapojení cílové skupiny Věcný obsah kritéria:

B4

- způsob oslovení CS/získávání a výběr CS do projektu (kontakty na CS) - kritéria výběru CS do projektu - způsob práce s CS

skupinu. Pokud není z projektu jasné, jak projekt cílovou skupinu ovlivní nebo je konstatováno obecně, že například navrhované školení povede ke zvýšení zaměstnanosti cílové skupiny, sníží hodnotitel přiměřeným způsobem hodnocení. V rámci tohoto kritéria by mělo být posouzeno, zda způsob práce s cílovou skupinou v průběhu celého projektu odpovídá charakteru této skupiny a je dostatečně intenzivní. Hodnotí se také, jak bude získávána cílová skupina pro účast v projektu, jak budou vybírání (a např. motivováni) účastníci atd. Kritérium hodnotí způsob získávání a výběru zástupců cílových skupin pro účast v projektu, způsob kampaně (např. v médiích) vedoucí k upoutání pozornosti cílové skupiny a způsob práce s cílovou skupinou. Pokud projekt jasně nepopisuje způsob získání a výběru cílové skupiny, například obsahuje pouze obecné konstatování, že budou osloveni nezaměstnaní v daném regionu nebo není z projektu jasné, jakým způsobem bude prováděn výběr účastníků projektu nebo není zajištěna dostatečná informovanost o projektu u cílových skupin, případně návrh není příliš reálný, sníží hodnotitel přiměřeným způsobem hodnocení. Z projektu by mělo také vyplývat, zda a jaké má žadatel na cílovou skupinu kontakty, zda s touto cílovou skupinou již pracoval a je-li zaručeno, že cílová skupina přijme jeho pozvání k účasti v projektu. K návrhu projektu může být připojeno i stanovisko zástupců cílové skupiny. EH zhodnotí, jakým způsobem se cílová skupina podílí na projektu a zda je zvolený způsob zapojení vhodný pro konkrétní cílovou skupinu. Kritérium zhodnotí způsoby oslovení a výběru cílové skupiny (a jejich efekt), jejich motivování k účasti na projektu – zajištění naplnění stanoveného počtu zapojených osob, pokud může existovat riziko, že cílová skupina nebude sama aktivně tento typ projektu vyhledávat, pak by mělo být ošetřeno, i jak se bude


Ke snížení slovního deskriptoru dojde pokud navržený způsob oslovení/zapojení CS do projektu a/nebo způsob práce s CS:

Projektová žádost/přílohy: - Popis a způsob zapojení cílové skupiny - Publicita - Popis možných rizik ohrožující realizaci projektu - Příloha Analýza potřeb cílové skupiny

Strana 73 / 143

není adekvátní (formy/techniky oslovení a způsob práce s CS neodpovídá jejímu charakteru) je popsán nebo je odpovídající, ale není dostatečný (v čem) a/nebo vykazuje nedostatky (např. ve způsobu výběru nebo v práci s CS) či existuje pochybnost, zda bude dostatečně motivující (v čem)

Ke snížení slovního deskriptoru dojde také pokud, nejsou jasně a konkrétně stanovena kritéria pro výběr CS do projektu nebo pokud nebude jasné, jak se dozví oprávněná CS o možnosti zapojení se do projektu. V komentáři by mělo být uvedeno, zda má žadatel kontakty na CS, zda je zaručeno, že se CS účastní aktivit projektu nebo zda již s CS pracuje/pracoval. V případě velkého snížení slovního deskriptoru by měl hodnotitel

postupovat při velkém počtu předčasně odcházejících osob. Dále také, zda budou účastníci zapojeni přímo, aktivně. Hodnocení je prováděno pomocí pětistupňové škály s těmito slovními deskriptory:  intenzivní a adekvátní zapojení  dílčí a adekvátní zapojení  intenzivní a neadekvátní zapojení  dílčí a neadekvátní zapojení  nedostatečné zapojení

Příklad: Maximální hodnocení obdrží projekt, který jasně popisuje, jakým způsobem budou cílové skupiny kontaktovány a zda tento způsob je reálný. Například není příliš reálné, že si zájemci o rekvalifikaci z řad Romů nebo starší lidé najdou informaci o projektu na internetu. Z projektu musí být zřejmé, jak bude prováděn výběr účastníků cílové skupiny, například podle délky nezaměstnanosti. Projekt musí popsat, jakým způsobem (metodou) se bude s cílovou skupinou pracovat, aby se do projektu zapojila. Způsob propagace nebo náboru musí být adekvátní k cílové skupině. Musí být zajištěna informovanost přiměřeného počtu potenciálních účastníků projektu odpovídajícím způsobem.


Strana 74 / 143

do komentáře uvést doporučení či relevantní návrhy (poté je uvést žadateli také do závěrečného hodnocení).

C

Žadatel

Kompetence žadatele

Dílčí aspekty: - složení a velikost realizačního týmu - velikost úvazků a popis rolí

C1

- poměr velikosti týmu (úvazků) k charakteru (rozsahu aktivit a velikosti CS) projektu - přihlédnout k požadovaným jednotkovým (mzdovým/platový m) nákladům

Přestože skupina kritérií zaměřená na žadatele má relativně malou váhu, ve skutečnosti tomu tak není, neboť v rámci celého souboru kritérií lze vysledovat určitou závislost mezi kvalitou žadatele a kvalitou celého projektu. Skupina obsahuje 2 kritéria zaměřená na kompetenci žadatele a jeho zkušenosti. Třetí kritérium má specifický charakter. Kompetence žadatele by měla být hodnocena zejména z hlediska složení realizačního týmu a jeho administrativní kapacity. Hodnotitel by měl posoudit, zda žadatel (a členové jeho týmu) jsou zárukou pro naplnění cílů projektu. Jedná se o důležité kritérium z hlediska hodnocení, neboť nekompetentní žadatel se stává rizikovým faktorem úspěšnosti dosažení cílů projektu. Hodnotí se zde konkrétní personální zabezpečení navrhovaného projektu – popis realizačního týmu, popis úvazků a pracovních rolí. Velikost týmu musí odpovídat velikosti cílové skupiny obsluhované projektem a rozsahu plánovaných aktivit. Rovněž je třeba posuzovat vazbu na rozpočet projektu. Jsou-li hodnotiteli známy skutečnosti, které by mohly vést k problémům při realizaci projektu, hodnotitel tyto skutečnosti uvede společně se zdrojem, ze kterého čerpá. EH zhodnotí složení a velikost realizačního týmu, administrativní kapacita – výše úvazků jednotlivých pozic, finanční náročnost, popis pracovních náplní (tak aby se zabránilo duplicitě činností, nad/podhodnocení personálního složení týmu …) ve vztahu k cíli resp. k plánovaným aktivitám atd. – případně uvést konkrétní návrh krácení úvazků.


Nezaměňovat s kritériem C2! Ke snížení slovního deskriptoru dojde pokud hodnotitel: Projektová žádost/přílohy: - Realizační tým - Partner projektu - Popis možných rizik ohrožující realizaci projektu - Klíčové aktivity - Rozpočet projektu - Výběrová řízení

Hodnocení je prováděno pomocí šestistupňové škály s těmito slovními deskriptory:  velice dobrá  značná  střední



- navrhuje snížení členů realizačního týmu, kteří nejsou pro realizaci projektu nezbytní (nebo mají duplicitní náplň práce či vzhledem k objemu nákupu služeb, které budou zajištěny dodavatelsky) nebo pokud - navrhuje snížení pracovních úvazků (neboť neodpovídají popisu náplně práce) nebo jsou nadsazené Nebo naopak, pokud se jeví realizační tým poddimenzovaný z hlediska vyšších požadavků na intenzitu práce s cílovou skupinou nebo pokud není z popisu jasné kdo a v jakém rozsahu bude s CS pracovat (podle charakteru CS). V komentáři by mělo být upozorněno, pokud se v náplni práce objevují aktivity, které svým charakterem spadají do nepřímých nákladů a není

Strana 75 / 143

  

Zkušenosti žadatele a členů týmu

Dílčí aspekty:

C2

- zkušenosti s odbornou problematickou, kterou projekt řeší - zkušenosti v práci s cílovou skupinou - zkušenost s řízením, realizací a administrací projektů

Příklad: Není například příliš reálné, aby žadatel s malým projektovým týmem a nízkými úvazky proškolil všechny nezaměstnané ženy v regionu. Pozice asistenta finančního manažera projektu je zbytečná, asistent dle náplně jeho činnosti dubluje práci finančního manažera. Navrhuji zrušení této pozice. Úvazek 1,0 manažera projektu je vzhledem k pracovní náplni nadhodnocený, navrhuji krácení na 0,5 úvazku. Jde o další podstatné kritérium, neboť rovněž souvisí s celkovou rizikovostí projektu. Kritérium by mělo reálně zhodnotit personální složení týmu žadatele s ohledem na již realizované projekty a kontextově zhodnotit význam zapojení externích členů týmu (např. i v podobě partnerství) s ohledem na jejich potřebnost pro realizaci projektu, zkušenosti a předchozí spolupráci. V žádném případě nelze v rámci tohoto kritéria diskriminovat žadatele, kteří sice sami nemají zkušenosti s realizací projektů, ale členové týmu, příp. partneři ano. Při posuzování schopnosti žadatele úspěšně administrovat projekt nás zajímá především: odborná zkušenost (znalost konkrétní řešené problematiky) a zkušenosti s řízením projektů (znalosti projektového řízení, praktické zkušenosti s realizovanými projekty odpovídajícího rozsahu). Není nutné, aby se jednalo pouze o zkušenosti s projekty OP LZZ (potažmo ESF), ale je možné hodnotit zkušenosti s administrací jiných dotačních projektů, projektů soukromých dárců, komerčních projektů apod. Mělo by se tedy hodnotit, zda má žadatel zajištěný odborný tým se zkušenostmi (vlastní pracovníci, partner/ři, externisté, nákup


tento fakt žadatelem popsán (že budou tyto činnosti hrazeny z nepřímých nákladů). V takovém případě, lze rovněž navrhnout zkrácení pracovního úvazku.

malá velmi malá zcela nedostatečná

Projektová žádost/přílohy: - Stručná charakteristika organizace a zkušenosti v oblasti zaměření projektu - Realizační tým - Partner projektu - Popis možných rizik ohrožující realizaci projektu - Relevantní přílohy (např. profesní životopisy členů realizačního týmu)

Strana 76 / 143

Max. slovní deskriptor nelze udělit pokud: - žadatel/partner nebo alespoň členové realizačního týmu nemají předchozí zkušenosti související s předmětem projektu, a to v rovině odborné (věcně zaměřené, v práci s CS ad.) i technické, - uvedené informace o zkušenostech nevyplývají z celkové úrovně kvality projektu (ověřit si předchozí zkušenosti žadatele, např. o podpořených projektech). - pokud žadatel/partner nebo členové realizačního týmu nemají zkušenosti z projektového managementu (realizace, řízení, administrace projektu)

obdobného charakteru (ESF i jiných dotačních titulů)

- personální složení a zkušenosti členů týmu (i externí zapojení s přehlednutím jejich potřebnosti a zohlednění předchozí spolupráce)

služby)? Měly by se také zohlednit již realizované projekty, zkušenosti s řízením projektů, s cílovou skupinou… Hodnotitel by měl vycházet z informací, které doložil žadatel v žádosti a přílohách, neměl by domýšlet informace za žadatele, ale současně informace je možné ověřovat! Například je možné vycházet i z informací o již podpořených projektech, které jsou dostupné na webových stánkách: http://www.esfcr.cz/modules/projects/index.php?lred=1. Hodnocení je prováděno pomocí třístupňové škály s těmito slovními deskriptory:  vyhovující zcela cílům projektu  vyhovující dílčím způsobem cílům projektu  nevyhovující cílům projektu U posuzování tohoto kritéria může existovat nebezpečí prolínání s předcházejícím kritériem C1 „Kompetence žadatele“. Kritérium C1 se zaměřuje na celkovou kompetentnost včetně početního složení týmů atd., zatímco kritérium C2 „Zkušenosti žadatele a členů týmu“ se zaměřuje na minulé zkušenosti.

Příklad: Maximální hodnocení obdrží projekt, ze kterého bude patrno, že žadatel, členové týmu nebo partner má zkušenosti s realizací obdobných projektů, případně je z projektu zřejmé, že zkušenosti nemají vazbu na realizovaný projekt nebo projekt dává jasné předpoklady pro úspěšnou realizaci i bez předchozích zkušeností žadatele. Hledisko by nemělo být chápáno jako diskriminační vůči subjektům, které nemají žádné nebo mají menší zkušenosti s obdobnými projekty. Pokud žadatel nebude mít žádné nebo malé zkušenosti a zároveň bude z projektu patrno, že si žadatel s realizací neví příliš rady, sníží hodnotitel přiměřeným způsobem hodnocení. Národní vzdělávací fond, 22. 6. 2012

Strana 77 / 143

Pokud se některý z těchto aspektů jeví jako rizikový a mohl by ohrozit zdárnou realizaci projektu, měl by být tento rizikový faktor zohledněn také v komentáři kritéria D4.

Partneři

Dílčí aspekty: - naplnění znaků partnerství (eliminace umělých partnerství)

C3

- přínos partnerství pro projekt (příp. přidaná hodnota) - jasné role partnera v projektu - způsob zapojení partnera - partner vs. skrytý dodavatel

Toto kritérium má povahu komentovaného kritéria. Cílem hodnocení dle tohoto kritéria je určit, zda se jedná o oprávněné partnerství v OP LZZ, tzn. zda splňuje znaky projektového partnerství vymezené v Příručce pro žadatele (a současně zda splňuje podmínky stanovené příslušnou výzvou, pokud jsou v ní stanoveny), a dále ohodnotit kvalitu projektového partnerství. V případě, že se nejedná o oprávněné partnerství, ale o partnerství, v rámci kterého dochází k obcházení pravidel pro zadávání zakázek v projektech OP LZZ (partner je v roli dodavatele služeb nebo zboží a dojde tak k nehospodárnému a neúčelnému využití přidělených prostředků), hodnotitel v povinném komentáři doporučí výběrové komisi takový projekt vyloučit a uvede pro to jasné zdůvodnění. Naplňování principu partnerství je prioritou EU na všech úrovních, včetně projektové, a to zejména s ohledem na možnost zvolit komplexnější řešení problémů cílových skupin, využít zdrojů a kapacit partnerů včetně jejich dovedností a znalostí o situaci cílových skupin, zvýšit rozsah a dopad projektu a v neposlední řadě zajistit větší udržitelnost podpořených aktivit. Kritérium tedy hodnotí, nakolik je partnerství v daném projektu přínosem pro realizaci jeho aktivit a dosažení stanovených cílů. To bude hodnoceno na základě několika znaků: - Vztah mezi partnery je založen na spolupráci všech partnerů při přípravě a realizaci projektu včetně jeho monitoringu a vyhodnocování. V projektové žádosti by tak mj. měla být zřejmá komunikace mezi partnery o záměru projektu a jeho společném rozpracování.

Projektová žádost/přílohy: - Realizační tým - Partner projektu (Způsob zapojení partnerů do realizace projektu a Stručná charakteristika organizace /partnera/ a zkušenosti v oblasti zaměření projektu) - Udržitelnost aktivit projektu po skončení podpory z OP LZZ - Přílohy (např. rozdělení rozpočtu dle nákladů žadatele a partnera/partnerů) Metodika: - Výzva k předkládání žádostí - D1 Příručka pro žadatele (vysvětlení principu partnerství v projektech OP LZZ)

- Existují rozhodovací mechanismy, které umožní každému z partnerů podílet se na rozhodování o projektu, a to již ve fázi jeho přípravy. Společné rozhodování partnerů (ne jen spolupráce nebo konzultace) odlišuje projektové partnerství od dodavatelsko-


Strana 78 / 143

Pokud nejsou některé z níže uvedených aspektů v projektu splněny, měl by o nich komentář informovat či na ně upozornit, zejména pokud jde o: - nenaplnění znaků partnerství dle pravidel OP LZZ, - není zjevný pro projekt,

přínos

partnerství

- nejsou jasné role a zapojení partnera (společná příprava projektu, na jakých aktivitách se bude partner podílet, komunikace mezi žadatelem a partnerem, způsob řízení projektu, kvalita projektového partnerství, rozhodovací pravomoci ad.), - podezření na skrytého dodavatele (v čem). Toto podezření je rovněž nutné uvést do komentáře kritéria D4.

odběratelského vztahu. - Účast partnerů je opodstatněná a nezastupitelná - existuje funkční nezastupitelnost partnerů vzhledem k výstupům. V žádosti musí být jasně uvedeno, jakou přidanou hodnotu přináší partner do projektu a proč by projekt byl nerealizovatelný, nebo obtížně realizovatelný, pokud by partner do projektu nebyl zapojen. Nezastupitelnost může být dvojí: a) partner je nezastupitelný, jestliže by jeho neúčastí nebyly dosaženy hodnoty monitorovacích ukazatelů (např. jsou-li partnerem dva podniky, které si nechávají proškolit zaměstnance, jsou oba nezastupitelné vzhledem k výstupům, neboť každý přispívá určitým počtem podpořených osob), b) partner je nezastupitelný, jestliže v rámci projektu plní podstatnou funkci, kterou nemůže vykonávat žádný z ostatních partnerů (vč. příjemce) a která nemůže být opomenuta bez rizika nesplnění cílů a monitorovacích ukazatelů projektu. Vzhledem k tomu, že kritérium je eliminační, hodnotitel zohlední kvalitu a přidanou hodnotu partnerství v rámci hodnotících kritérií C1 a C2. Příklad: Vhodný partner přináší unikátní znalosti a dovednosti žadateli a dává předpoklad úspěšné budoucí spolupráce po skončení projektu OP LZZ. Pokud to umožňuje výzva, partner může být jiné právní formy, velikosti, místa apod. Žadatelé by se neměli uměle snažit pokrýt celé spektrum různých partnerů s cílem zdánlivě naplnit principy OP LZZ. Podobně při stejné kvalitě žádosti vyšší počet partnerů není z principu lepší než nižší počet partnerů (ostatně vyšší počet partnerů zvyšuje nároky na rozpočet a na koordinaci aktivit). Zcela nepřijatelným partnerem je dodavatel standardního zboží a služeb, které je možné koupit běžně na trhu (např. školení běžných IT kursů, ekonomických, marketingových apod. dovedností, účetnictví, audit, právní poradenství, výpočetní Národní vzdělávací fond, 22. 6. 2012

Strana 79 / 143

technika, kancelářské potřeby a vybavení). Tyto služby by měly být v zájmu nákladové efektivnosti a transparentnosti poptávány na trhu. Zjištění takového typu partnerství by mělo vést k vyloučení projektu pro porušení pravidel o výběru dodavatelů z OP LZZ. Zvláštní pozornost je potřeba věnovat hodnocení kvality a přidané hodnoty partnerství u projektů v oblasti podpory 5.1 Mezinárodní spolupráce, kde je partnerství s alespoň jedním partnerem ze zemí EU povinnou součástí projektu. Mezinárodní partnerství je v těchto projektech klíčovým prvkem odlišujícím tyto projekty od projektů v jiných oblastech podpory, Mezinárodní partner je partnerem bez finančního příspěvku. Jeho role a přidaná hodnota pro projekt musí být jasně popsána a zdůvodněna a musí být naplněny všechny výše uvedené principy partnerství. Pozn. Územní samosprávné celky a organizační složky státu mohou být partnerem – ale pouze BEZ FINANČNÍHO PŘÍSPĚVKU1 Z žádosti není možné vždy jasně určit, zda se jedná opravdu o partnera s finančním příspěvkem. V hodnocení je potřeba na to upozornit, ale „nesnižovat za to body“.

1

S výjimkou ÚP ČR v prioritní ose 2 a v oblasti podpory 1.1


Strana 80 / 143

D

Projektové řízení, udržitelnost a rizikovost projektu

Volba a popis klíčových aktivit a harmonogram projektu Dílčí aspekty. - adekvátnost aktivit k zaměření projektu - adekvátnost aktivit a fází projektu ve vztahu k potřebám CS - vazba aktivit na cíle

D1

- navržený způsob realizace (metody, techniky, formy) - logické propojení klíčových aktivit - reálnost

Tato skupina kritérií se snaží postihnout kvalitu projektového řízení v rámci celého projektu s tím, že se hodnotí i předpoklady pro udržitelnost projektu po skončení financování v rámci výzvy. Snaží se zodpovědět otázku, zda když bude projekt financován, bude jeho realizace organizačně zvládnutelná. Klíčovým kritériem je i rizikovost projektu a samotná kvalita managementu rizika. Celková významnost těchto kritérií je značná. Nejdůležitější kritérium v rámci této skupiny je zaměřeno na volbu a popis klíčových aktivit projektu včetně reálného harmonogramu. V rámci této skupiny je třeba posuzovat nejen samotnou adekvátnost klíčových aktivit k náplni projektu, ale i ve vztahu ke „společenskému přínosu“ projektu. Je nutné zhodnotit, zda jsou aktivity pro projekt nezbytné a sledují cíl/cíle projektu. Kritérium hodnotí navržený způsob realizace projektu, resp. zda klíčové aktivity a fáze projektu, jejich plánování a metody realizace jsou odpovídající vzhledem k potřebám cílových skupin a možnostem žadatele a jeho partnerů (realizačního týmu). Zároveň hodnotí, zda lze navrhovanými aktivitami dosáhnout vytčených cílů projektu. Aktivity musí být jasně strukturovány, a musí na sebe logicky navazovat či se vzájemně překrývat také z časového hlediska. Každý projekt je časově omezen, a je nezbytné posoudit, zda doba realizace odpovídá vytčeným cílům a aktivitám, zda jsou jednotlivé aktivity vhodně načasovány, tak aby bylo možné je zrealizovat a dokončit. Zda v závěru projektu počítá harmonogram s vyšší administrativní náročností ukončení projektu apod. Aktivity by měly být vyváženy, tedy realizací všech aktivit by mělo být dosaženo cílů projektu. V seznamu aktivit by neměly žádné podstatné aktivity chybět; stejně tak by zde neměly být zbytečné aktivity bez významného přínosu naplnění cíle projektu. Je třeba



Projektová žádost/přílohy: - Klíčové aktivity - Harmonogram realizace - Zdůvodnění potřebnosti projektu - Charakteristika hlavních cílů projektu - Popis a způsob zapojení cílové skupiny - Popis možných rizik ohrožující realizaci projektu - Hodnoty indikátorů - Příloha Analýza potřebnosti projektu - Příloha Analýza potřeb cílové skupiny

Strana 81 / 143


Ke snížení slovního deskriptoru dojde pokud: - klíčové aktivity nejsou logicky provázány, časová dotace aktivit je neodpovídající, - navržený harmonogram vykazuje nedostatky v provázanosti fází, dílčích činností (doprovodných aktivit) a/nebo v provázanosti klíčových aktivit, - jsou identifikovány významné nedostatky v provázanosti a časové dotaci aktivit, - navržený harmonogram neumožní zdárnou plynulou realizaci projektu. Ke snížení dojde také pokud klíčové aktivity: - nejsou navrženy zcela adekvátně cílům projektu a/nebo nejsou konkrétně popsány, nelze dobře posoudit jejich návaznost na položky rozpočtu a výstupy projektu, - z popisu aktivit existuje pochybnost

harmonogramu a délky projektu - celospolečenský přínos projektu – v kontextu výzvy

mít na paměti, že některé aktivity jsou povinné z podstaty projektu OP LZZ, především vykonávání administrativních činností a povinné publicity. Hodnotitel zde posuzuje realizaci projektu v kontextu ostatních částí žádosti (cíle, výsledky a výstupy, rozpočet). V případě doprovodných aktivit je potřeba zhodnotit vazbu na cíl projektu, potřebnost, efektivnost, smysluplnost: např. supervize, teambuilding, tvorba DVD/publikace, vytvoření knihovny, poradenství pro cílovou skupinu, konference… Jsou klíčové aktivity skutečně řešením projektu pro cílovou skupinu, nebo se jedná o financování běžných aktivit žadatele? Hodnotitel také hodnotí přiměřenost časové dotace na jednotlivé klíčové aktivity v harmonogramu realizace projektu – případně uvede konkrétní krácení časové dotace klíčových aktivit v harmonogramu (to se také musí promítnout i do návrhu krácení rozpočtu). Příklad: • u aktivity č. 2 navrhuji krácení o jeden měsíc + zdůvodnění Hodnocení je prováděno pomocí čtyřstupňové škály s těmito slovními deskriptory:  zcela adekvátní k náplni projektu  adekvátní k náplni projektu  částečně nevyhovující náplni projektu  nevyhovující náplni projektu Příklad: Maximální hodnocení obdrží projekt, který jasně a konkrétně popisuje plánované aktivity s logickou vazbou na harmonogram a jednotlivá stádia realizace projektu. Způsob plánování a realizace


Strana 82 / 143

o některých aspektech realizace (v čem), např. v návaznosti na položky rozpočtu, výstupy, cíle, - popis aktivit je obecný, nekonkrétní (v čem), - jsou navrženy částečně nedostatečným způsobem (v čem), a/nebo netransparentně, - klíčové aktivity nebo jejich popis nekoresponduje s náplní projektu. V komentáři by se měla objevit informace o tom, zda jsou všechny popsané aktivity, potřebné, efektivní a smysluplné, příp. doporučit jejich vypuštění a navržení krácení délky projektu. V případě, že hodnotitel zjistí nějaké rizikové faktory (např. krátkou časovou dotaci na některé z klíčových aktivit nebo celý projekt), které by mohly ohrozit zdárnou realizaci projektu, uvede tuto skutečnost do komentáře kritéria D4.

musí odpovídat možnostem žadatele a jeho partnerů (již hodnoceným kritériem C1 „Kompetence žadatele“). Plánované aktivity musí být relevantní záměru (cílům, výsledků a výstupům) projektu. Z popisu aktivit je zřejmé, že jsou uskutečnitelné, navazují na sebe, nevylučují se navzájem a jsou časově zvládnutelné. Aktivity mohou být logicky uspořádány do jednotlivých stádií nebo etap (hlavně u déle trvajících projektů), pokud je to vhodné. Pokud je popis aktivit příliš obecný, není z něj jasné, co a jak chce žadatel realizovat, například navrhuje školení, ze kterého není patrno, co má být jeho obsahem, jak dlouho má trvat, pro kolik účastníků je určeno, kde se bude konat, jaké materiály účastníci obdrží nebo není realizace příliš reálná (například žadatel plánuje realizovat pět školení ve velmi krátké době bez odpovídajícího technického a lektorského zabezpečení), projekt nepřináší nic nového ani nenavazuje na stávající postupy nebo řešení, sníží hodnotitel přiměřeným způsobem hodnocení. Pro hodnocení logiky projektu, tj. zda klíčové aktivity vedou ke splnění cíle a k výstupům projektu, je možné použít metodu tzv. logického rámce. Popis metody naleznete na http://www.esfcr.cz/file/8077/. U investovaných prostředků je vhodné znát, jaké budou další efekty investice, tedy jak bude s výsledky nakládáno po skončení financování OP LZZ.

D2

Předpoklady pro udržitelnost projektu po skončení financování OP LZZ

Ke snížení slovního deskriptoru dojde pokud: Projektová žádost/přílohy: - Udržitelnost aktivit projektu po skončení podpory z OP LZZ

V této části je třeba zhodnotit alespoň předpoklady pro udržitelnost projektu v kontextu celé žádosti projektu – ze záměru projektu musí být hodnotiteli zřejmé, zda projekt a jeho výsledky se uplatní v další činnosti žadatele případně jiné organizace či instituce a mají potenciál pokračovat i po skončení financování, Metodika: či nikoliv. Účelem financování projektů z ESF (OP LZZ) je nastartování smysluplných aktivit s perspektivou jejich pokračování. Může


-D2 Příručka pro příjemce (popis udržitelnosti)

Strana 83 / 143

- není plánováno pokračování a/nebo jak budou aktivity pokračovat, příp. z jakých zdrojů, - aktivity/projekt nemají potenciál pro udržitelnost aktivit/výstupů/ produktů, (do komentáře uvede hodnotitel v čem a proč projekt nebo jeho aktivity nemají potenciál pokračovat), - nejsou uvedeny konkrétní zdroje pro další pokračování

Dílčí aspekty: - pokračování činností po skončení projektu (zda a jak) - nastartování smysluplných aktivit s perspektivou jejich pokračování - zdroje financování po skončení projektu - prokázání udržitelnosti

se jednat např. o vyškolení pracovníků, kteří budou svoje poznatky dále uplatňovat; posílení kapacit organizace, která bude schopna efektivněji nakládat s lidským kapitálem, nebo jen na určitý vývoj či přenos (a ověření) inovativního řešení atp. Tyto aktivity by v ideálním případě měly svou udržitelnost prokázat generováním finančních zdrojů, resp. měly by být samofinancovatelné. Kritérium hodnotí, zda budou činnosti projektu pokračovat i po ukončení financování z OP LZZ, zda se žadatel zamyslel nad tím, jaké jsou další zdroje financování, zda budou tyto činnosti v budoucnu soběstačné. Obecně by měl projekt usilovat o soběstačnost, neboť OP LZZ poskytuje pouze financování časově omezené. Hodnotitel také hodnotí, jakým způsobem žadatel plánuje šířit výstupy projektu a zda je toto šíření pouze formální, či je efektivní a využitelné i pro ostatní organizace. Hodnocení je prováděno pomocí čtyřstupňové škály s těmito slovními deskriptory:  vysoké  přiměřené  malé  žádné Příklad: Maximální hodnocení obdrží projekt, který vhodným způsobem popíše, jakým způsobem bude pokračovat jeho realizace financovaná z jiných zdrojů, pokud je to pro danou aktivitu možné, nebo jeho výsledky jsou opakovatelné. Projekt musí mít jasně definované zdroje financování po ukončení podpory z OP LZZ; musí být zřejmé, že tyto zdroje jsou reálné a dosažitelné pro tento projekt.


Strana 84 / 143

(finanční/personální/institucionální) - není jasné, jak bude naloženo s investicemi projektu (jak bude sloužit zrekonstruovaná a/nebo zařízená učebna, kdo bude spravovat a/nebo z čeho bude podporován webový portál), - pokud není popsán způsob dalšího využití a šíření výstupů / produktů projektu, - pokud je popis zajištění udržitelnosti jen deklarovaný nebo není reálný. Pokud se jedná o projekt, jehož aktivity a výstupy lze diseminovat nebo mají multiplikační efekt, tj. lze je využít v jiném regionu či organizaci, měl by komentář tyto poznatky obsahovat, současně je lze vyzdvihnout v závěrečném hodnocení.

Pokud je z projektu zřejmé, že nemá další zdroje, spoléhá se pouze na prostředky OP LZZ, není u něj předpoklad dalšího pokračování, výsledky jsou úzce zaměřené na žadatele bez možnosti jejich opakování, sníží hodnotitel přiměřeným způsobem hodnocení.

Kvalita řízení rizika Dílčí aspekty: - identifikované rizikové faktory (potenciální problémy)

D3

- významnost rizik (malá, střední, vysoká) - opatření na snížení/eliminaci rizik - kvalita řízení rizik

Stejně tak hodnotitel sníží hodnocení slohového cvičení plného ne zcela reálných a důvěryhodných slibů. Jedná se o relativně významné kritérium zaměřené na zhodnocení kvality managementu rizika, neboť sebelepší projekt, ve kterém Projektová nebude na rizika brán zřetel, může skončit fiaskem. V rámci tohoto žádost/přílohy: kritéria by hodnotitel měl posoudit, zda jsou identifikovány klíčové - Popis možných rizik ohrožující realizaci rizikové faktory (potenciální problémy při realizaci a fungování projektu projektu) a jaká je jejich významnost. Dále, zda jsou v rámci projektu popsána opatření na snížení rizika, jaká je jejich nákladnost z hlediska celkové finanční náročnosti projektu atd. Žadatel by měl vzhledem k rozsahu projektu srozumitelně identifikovat/popsat rizika, zhodnotit závažnost a pravděpodobnost výskytu rizika a popsat způsob, jak takovému riziku předcházet, resp. jej eliminovat. Popis by měl odpovídat údajům z projektu (zejména vazba na rozpočet, lidské zdroje a klíčové aktivity s harmonogramem). Hodnocení je prováděno pomocí pětistupňové škály s těmito slovními deskriptory:  zvláště vysoká  vysoká  průměrná  špatná  velice špatná Příklad: Maximální hodnocení obdrží projekt, ze kterého je zřejmé, že žadatel se zamyslel nad skutečností, že projekt bude končit


Strana 85 / 143

Ke snížení slovního deskriptoru dojde pokud: - nejsou identifikována hlavní rizika vztahující se k projektu, včetně uvedení pravděpodobnosti výskytu a míry dopadu, - pokud opatření, jimiž mají být rizika/rizikové faktory eliminovány, řešeny nebo má být rizikům předcházeno, nejsou dostatečná a adekvátní, což by mohlo ohrozit zdárnou realizaci projektu. Pokud hodnotitel při posouzení projektové žádosti identifikuje další rizika a/nebo žadatelem popsaná rizika budou tak závažná a opatření k jejich řešení nedostatečná (obecná, vágní), měl by komentář tyto údaje obsahovat. Současně by měly být zohledněny v závěrečném komentáři.

za několik let od podání žádosti a že v této době může dojít (dojde) k výskytu určitých rizikových situací. Žadatel identifikoval všechny vnější a vnitřní faktory rizika a plánuje opatření na řešení výskytu nejpravděpodobnějších a nejzávažnějších faktorů rizika.

Rizikovost projektu

Dílčí aspekty:

D4

- reálná míra rizikovosti projektu neodstraněná vhodným řízením projektu - doporučení /nedoporučení projektu k realizaci - další identifikovaná rizika/ rizikové faktory

Pokud je z žádosti zřejmé, že je v této části např. přepsána pasáž z učebnic a příruček o projektovém řízení bez valné vazby k předkládanému projektu, sníží hodnotitel přiměřeným způsobem hodnocení. V rámci předchozího kritéria D3 byla posuzována pouze kvalita řízení rizika. Jelikož kritérium D3 není eliminační, tedy projekt nevyřazuje, ale pouze snižuje počet dosažených bodů, nemělo by se stát, aby vysoce rizikový projekt skutečně podpořen byl. V případě vysoké rizikovost projektu by neměl být financován, Projektová neboť pravděpodobnost jeho úspěšné realizace je velmi nízká. žádost/přílohy: - popis možných rizik V rámci tohoto komentovaného kritéria by měl hodnotitel ohrožující realizaci posoudit, zda projekt je či není rizikový, příp. je vysoce rizikový. projektu Své stanovisko by měl vysvětlit v komentáři s tím, že případně - kontext projektové nedoporučuje projekt k realizaci vzhledem k jeho vysoké žádosti rizikovosti. Posuzuje se reálná míra rizikovosti, a adekvátnost a relevance zavedených opatření. V případě opomenutí patrného rizika je třeba toto riziko uvést. Zde je důležité si uvědomit, že mohou existovat např. málo rizikové projekty se špatným řízením rizika (takže málo rizikové). Zde se neposuzuje kvalita řízení rizika, ale právě reálná míra rizikovosti neodstraněná vhodným řízením rizika. Proto vždy musí posuzovat toto kritérium ve vazbě na kritérium D3. Rizikovost projektu může vyplývat jak z vnitřních předpokladů žadatele (nedostatečná zkušenost s rozsáhlými projekty, nedostatečná kapacita realizačního týmu nebo partnerů, nekvalitně sestavený rozpočet rizika na straně řešené problematiky


Strana 86 / 143

Komentář by měl obsahovat: - zda a do jaké míry (konkrétně v čem) je/není projekt rizikový, - stanovisko s vysvětlením zda je/ není projekt doporučován k realizaci vzhledem k jeho rizikovosti - další identifikovaná rizika (např. žadatel nepočítá s uskutečněním VŘ, ačkoliv mu tato povinnost vyplývá z rozpočtu nebo diskriminační výběr CS, nedostatečná délka realizace projektu s ohledem na rozsah klíčových aktivit, reálné nenaplnění MI, nesoulad s výzvou, nesoulad s veřejnou podporou, nedodržení znaků partnerství ad.)

samé, logistická a komunikační náročnost řízení projektu, fluktuace týmu, schopnost zpracovat výsledky), ale i z vnějších faktorů (špatně zvolená cílová skupina, regionální specifika rizika na straně dodavatelů, ekonomické okolnosti, poptávka, nedostatek cílové skupiny). Rizikovost projektu může souviset i s jinými skutečnostmi, které jsou hodnotiteli známy (v rámci tzv. kontextového hodnocení), a na které může výběrovou komisi upozornit v rámci tohoto eliminačního kritéria. Příklady: • Zvolený realizační tým je značně podhodnocen vzhledem ke stanoveným aktivitám. Pokud si žadatel neuvědomuje, jaká rizika mohou v době realizace projektu nastat, vzniká riziko, že realizaci podhodnotil a je ohrožena podstata projektu, jeho kvalita a hodnotné naplnění cílů. • Z popisu projektové žádosti nevyplývá zájem cílové skupiny o zapojení do projektu - hrozí zde riziko nezapojení cílové skupiny do projektu (aktivity), nenaplnění indikátorů, žadatel si tohoto rizika není vědom a nemá připraveno žádné opatření.


Strana 87 / 143

E

Rozpočet projektu

Přiměřenost rozpočtu projektu jeho obsahové náplni a rozsahu Dílčí aspekty:

E1

- obvyklé ceny v místě a čase - přiměřenost rozpočtu s ohledem na realizační tým a výše úvazků - přiměřenost rozpočtu na velikost a charakter cílové skupiny - vazba položek rozpočtu na popis klíčových aktivit

V rámci skupiny „Rozpočet projektu“ by měl hodnotitel posoudit, zda je podle jeho názoru rozpočet projektu přiměřený vzhledem k celkovému záměru, zda je přehledný a srozumitelný a zda je věcně správný. Velmi významné kritérium se zaměřuje na celkovou přiměřenost rozpočtu projektu jeho obsahové náplni a rozsahu, tj. dílčím aktivitám a předpokládaným výstupům projektu. Hodnotitel by měl posoudit, zda dosažení předpokládaných cílů není příliš nákladné, či naopak, zda rozpočet není podhodnocen, což by při realizaci mohlo vést k ohrožení kvality celého projektu. Při hodnocení je nezbytné zejména posoudit vztah mezi cílovou skupinou, klíčovými aktivitami a výstupy projektu ve vazbě na jednotlivé rozpočtové položky. Přiměřenost je třeba zkoumat jak u jednotlivých položek projektu, resp. skupin, tak rozpočtu jako celku, aby se nestalo, že se posuzují pouze marginální položky z rozpočtu a závažnější zůstanou stranou pozornosti. Nejsou jednotlivé položky nadsazené (tj. odpovídají cenám v místě obvyklým)? Jsou veškeré uvedené náklady nezbytné pro realizaci projektu apod.? Obvyklou se rozumí cena, která by byla dosažena při prodejích stejného, popřípadě obdobného majetku nebo při poskytování stejné nebo obdobné služby v obvyklém obchodním styku v tuzemsku ke dni ocenění. Pro porovnání položek zařazených do osobních nákladů s obvyklou výší v daném oboru, čase a místě lze využít Informační systém o průměrném výdělku (ISPV), který je dostupný na adrese www.mpsv.cz/ISPV.php. Pokud vyhlašovatel stanovil v dané výzvě limity mzdových výdajů případně obvyklé ceny pro nákup zboží a služeb, porovnávají se položky v rozpočtu s těmito limity. Mělo by se posoudit zdůvodnění jednotlivých položek v rozpočtu vzhledem ke klíčovým aktivitám, zda nákup PC, mobilů, techniky apod. koresponduje s velikostí realizačního týmu, potřebou cílové



Hodnocení a komentář Ke snížení slovního deskriptoru dojde, pokud:

Projektová - rozpočet je nadhodnocen/ žádost/přílohy: podhodnocen o více než 10 %, - Rozpočet projektu - nejsou dodrženy doporučené limity - Klíčové aktivity na mzdy/platy, služby, zboží - (Další informace) a zároveň nejsou tyto jednotky - Přílohy projektu (např. adekvátně zdůvodněny (proč došlo Zdůvodnění položek k jejich navýšení) rozpočtu, Podrobný - položky nákladů nejsou nezbytné rozpočet projektu a efektivní nebo není zdůvodněna s komentářem apod.) jejich potřebnost (zjevná nadbytečnost) Metodika: - položky rozpočtu nemají vazbu - Výzva k předkládání na některou z klíčových aktivit žádostí (specifikace % dochází ke krácení osobních limitů pro kapitoly nákladů, kdy jsou identifikovány rozpočtu) nadhodnocené úvazky nebo - Přílohy výzvy nadbytečné (duplicitní) pozice k předkládání žádostí v realizačním týmu (Obvyklé mzdy / platy - dochází krácení rozpočtu ve vazbě v OP LZZ a Obvyklé na doporučené krácení délky ceny zařízení a projektu (měsíční náklady) vybavení v OP LZZ) - D5 Metodika způsobilých výdajů V případě krácení rozpočtu by měl - Materiály ze komentář obsahovat konkrétní specifického školení položky, včetně vyčíslení krácení hodnotitelů a zdůvodnění krácení (příp. navržení

Strana 88 / 143

jednotkové ceny po zkrácení). Dále je vhodné uvést celkovou částku

- nezbytnost, potřebnost, efektivnost nákladů

skupiny, aktivitami atd.

navrženého krácení rozpočtu.

Je výše rozpočtu přiměřená vzhledem k výstupům projektu?

Pokud se v rozpočtu objevují nezpůsobilé výdaje, hodnotitel na to v komentáři upozorní, včetně navržení odstranění těchto položek z rozpočtu, ale slovní deskriptor nesnižuje (sníží jej u dalšího kritéria E2).

Komentář by měl obsahovat návrh krácení veškerých položek, které jsou duplicitní, nad stanovené limity, neodůvodněné, spadají do nepřímých nákladů + zdůvodnění tohoto krácení. Doporučujeme použít vzorovou tabulku2 krácení (nebo alespoň postupovat obdobným způsobem při vyčíslování krácení) a zkopírovat tyto informace i do Závěrečného hodnocení H. Hodnocení je prováděno pomocí čtyřstupňové škály s těmito slovními deskriptory:  rozpočet je zcela přiměřený  rozpočet je mírně nadhodnocen či podhodnocen  rozpočet je velmi nadhodnocen či podhodnocen  zcela nepřiměřený Hodnotitel by měl svoje hodnocení komentovat, minimálně z toho hlediska, zda rozpočet shledává nadhodnocený či podhodnocený a proč. Pokud hodnotitel shledá rozpočet nadhodnocen, musí navrhnout zkrácení rozpočtu, včetně přesné kvantifikace a uvést, kterých položek rozpočtu se týká včetně uvedení zdroje, ze kterého hodnotitel vychází pro stanovení krácených sazeb – např. přehled služeb nějaké firmy, tabulky platů atd. Dále by měl popsat dopady takového zkrácení zejména ve vztahu k cíli projektu a klíčovým aktivitám. Pokud hodnotitel shledá rozpočet podhodnocený, kromě zdůvodnění by měl tento aspekt současně promítnout i do eliminačního kritéria D4 Rizikovost.

2

Vzorovou tabulku naleznete na konci kapitoly 10 této příručky


Strana 89 / 143

I finanční řízení projektu je nezbytným předpokladem pro úspěšnou realizaci. V tomto kritériu by se mělo posoudit, zda je rozpočet přehledný a srozumitelný a zda je věcně správný – zda Metodika: jsou dílčí položky rozpočtu zařazeny do správných kategorií atd.

- D5 Metodika

Přehlednost, srozumitelnost a věcná správnost rozpočtu

Dílčí aspekty:

E2 - přehlednost a jasnost členění (do kapitol, položek, skupin) - srozumitelnost - věcná správnost rozpočtu (zařazení nákladů do kapitol, přímých/nepřímých nákladů a křížového financování) - způsobilost výdajů

Přehledností lze rozumět jasnost členění nákladů do položek způsobilých výdajů a skupin a míru jejich konkretizace. Srozumitelností lze rozumět, - Výzva k předkládání že kromě přehlednosti lze obsahově pochopit a souhlasit žádostí (konkretizace limitů pro nákup s jednotlivými položkami a jejich seskupováním do logických služeb, pro nepřímé celků. Věcnou správností je míněn zejména soulad se způsobilými náklady a pro křížové výdaji, které je možné z projektu hradit. Hodnotí se zdůvodnění položek v rozpočtu, jasná vazba na aktivity (srozumitelnost), rozklíčování jednotlivých položek. Kontrolují se jednotlivé limity výzvy (Příloha výzvy - zařízení a vybavení, osobní náklady realizačního týmu) a limitů rozpočtových kapitol (Metodika způsobilých výdajů), správné zařazení jednotlivých položek – položky související s cílovou skupinou (cestovné, stravné, ubytování , ...)jsou zařazeny v kapitole přímá podpora, v rozpočtu jen přímé náklady, nepřímé náklady vymezovat (př. poplatky za vedení účtu, agenda účetní, personální, publicita, kancelářské potřeby, cestovné, stravné, ubytování realizačního týmu atd.) – viz Metodika způsobilých výdajů.

financování)

Hodnocení je prováděno pomocí šestistupňové škály s těmito slovními deskriptory:  vysoká  značná  střední  malá  velice malá  zcela nedostatečná


Strana 90 / 143

Ke snížení slovního deskriptoru dojde pokud: - se v rozpočtu projektu nacházejí nezpůsobilé výdaje (nelze hradit z projektu) - rozpočet projektu není věcně správný: např. nesprávné zařazení nákladů do kapitol rozpočtu (položek), včetně nesprávně uvedených nepřímých nákladů v přímých nákladech nebo nesprávně zařazených nákladů na křížové financování a další - rozpočet není srozumitelný (obsahuje agregované, seskupené položky nebo není zřejmý účel výdaje položky) - nejsou dodrženy % limity kapitol (stanovené ve výzvě). Komentář by měl obsahovat zhodnocení: věcné správnosti, srozumitelnosti a přehlednosti rozpočtu.

Dílčí aspekty tohoto věcného kritéria hodnocení nezaměňovat s předmětem aspektů, které mají být hodnoceny v rámci kritéria E1.

F

Výsledky a výstupy

Šíře a adekvátnost výběru monitorovacích indikátorů

Dílčí aspekty:

F1 - vhodnost monitorovacích indikátorů - počet monitorovacích indikátorů (věcná náplň) - vazba MI ke zvolené cílové skupině, aktivitám,

Příklad: Maximální hodnocení obdrží projekt, kde jsou položky detailně popsány, jsou srozumitelné a uvedeny ve správných (relevantních) kategoriích rozpočtu. Klíčová skupina kritérií v podstatě hodnotí reálnost postupů při naplňování výsledků/výstupů. Hodnotitel se v rámci této skupiny zaměřuje na hodnocení výběru monitorovacích indikátorů, věrohodnost jejich hodnot a celkovou přiměřenost vzhledem k požadovaným prostředkům. V rámci tohoto kritéria by měl hodnotitel zvážit, zda žadatel zvolil vhodné monitorovací indikátory, a to jak z hlediska jejich počtu, tak věcné náplně. Není cílem, aby žadatelé zvolili všechny indikátory, když se pro jejich projekt nehodí. Hodnotí se tedy jejich přiměřenost vzhledem k cílům a náplni projektu.


Ke snížení slovního deskriptoru dojde pokud: Projektová žádost/přílohy: - Hodnoty indikátorů

Toto kritérium posuzuje kvalitu navržených monitorovacích indikátorů. Při hodnocení monitorovacích indikátorů je třeba brát Metodika: v úvahu jejich vazbu na jiné části žádosti (klíčové aktivity, - Výzva k předkládání žádostí rozpočet, cílovou skupinu atd.) a jejich výběr by toto měl odrážet. Hodnotí se, zda žadatel zvolil vhodný indikátor, zda jsou hodnoty indikátorů správně nastaveny, zda je popis zvolených MI v souladu s Metodikou monitorovacích indikátorů. Zhodnocení probíhá z hlediska počtu i věcné náplně.

- D8 Metodika monitorovacích indikátorů

Toto kritérium posuzuje kvalitu navržených monitorovacích indikátorů. Při hodnocení monitorovacích indikátorů je třeba brát v úvahu jejich vazbu na jiné části žádosti (klíčové aktivity, rozpočet, cílovou skupinu atd.) a jejich výběr by toto měl odrážet. Hodnocení je prováděno pomocí čtyřstupňové škály s těmito slovními deskriptory:  zcela přiměřená  zčásti přiměřená



Strana 91 / 143

- chybí některý z MI předepsaných výzvou (pokud je pro projekt relevantní). Současně je potřeba tento nedostatek uvést do komentáře. - nebyl žadatelem vybrán dostatečný počet MI ve vazbě na zaměření projektu (aktivity, cílové skupiny, výstupy), - některý z MI je nastaven nejednoznačně, z popisu projektu nelze posoudit, jaké výstupy/ výsledky mají být sledovány (produkty, jejich počet).

výstupům ad. ve vazbě na náplň projektu (nebo výzvu)

Reálnost dosažení plánovaných hodnot monitorovacích indikátorů Dílčí aspekty:

F2

- věrohodnost kvantitativních hodnot MI - jasnost, konkrétnost a reálnost výstupů a výsledků (kvantifikace hodnot CS, výstupů) - reálnost MI (jejich dosažení)

 

zčásti nepřiměřená nepřiměřená

Za zcela přiměřené lze považovat vhodně zvolené indikátory v dostatečném počtu. Toto kritérium lze považovat za nejvýznamnější v rámci této skupiny. Hodnotitel by měl posoudit, zda kvantitativní hodnoty zvolených monitorovacích ukazatelů jsou věrohodné. Vhodně zvolené monitorovací ukazatele nejsou zárukou, že předpokládané Projektová hodnoty budou dosaženy a právě víra v reálnost plánovaných žádost/přílohy: - Hodnoty indikátorů kvantitativních hodnot je obsahem tohoto kritéria. - Popis a způsob

Mělo by být jednoznačně popsáno, jak žadatel k MI dospěl (není zapojení cílové skupiny rozpor mezi textem žádosti a hodnotami indikátorů + jejich popisem v kapitole č. 14 žádosti, příp. v přílohách. Posuzuje se - (Další informace) také, zda lze indikátory (jejich hodnoty) jednoznačně přiřadit k výstupům jednotlivých aktivit a reálnost a věrohodnost Metodika: - D8 Metodika plánovaných hodnot. Hodnocení je prováděno pomocí čtyřstupňové škály s těmito slovními deskriptory:  vysoká  střední  nízká  velmi nízká

monitorovacích indikátorů

Příklad: Maximální hodnocení obdrží projekt, ze kterého je jasné, co je výsledkem a výstupem projektu. Může to být například počet osob, které získají zaměstnání, kvalifikaci, pracovní zkušenost nebo kvalitnější vzdělávání, ale i konkrétní popis publikace (počet výtisků, přibližný rozsah apod.), vytvoření webové stránky nebo databáze s obecně využitelnými údaji, které lze aplikovat v jiném místě nebo u jiné cílové skupiny (například kurikula vytvořená


Strana 92 / 143

Ke snížení slovního deskriptoru dojde, pokud hodnota navržených indikátorů: - není přiměřená navrženým aktivitám, cílové skupině a reálnost jejich naplnění je malá, - je přiměřená navrženým aktivitám a cílové skupině, jeví se jako reálná, avšak byly shledány chyby v jejich počtu (součtu), - reálnost dosažení plánovaných hodnot není přesvědčivá nebo dosahuje nedostatky (v komentáři uvést v čem) a je nutná úprava hodnot MI, - hodnoty jsou nastaveny nejednoznačně, nepřiměřeně, nevhodně a/nebo nereálně nebo z popisu projektu nelze hodnotu stanovit - hodnoty se jeví jako nízké či nepřiměřené (zejména pokud jde o počet úspěšných absolventů ve vazbě na počet zapojených osob) - nejsou metodicky nastaveny správně - není jasné (srozumitelné), jak žadatel k hodnotám dospěl - nejsou uvedeny reálně (velmi nadhodnocené, nerealistické).

v rámci projektu budou k dispozici i jiným vzdělávacím střediskům, která je mohou využít při rekvalifikaci stejné nebo obdobné cílové skupiny). Pokud jsou výstupy nebo výsledky formulovány nejasně a nekonkrétně, není zřejmé, co je vlastně výstupem nebo výstupy neodpovídají plně nebo částečně navrhovaným aktivitám, sníží hodnotitel přiměřeným způsobem hodnocení. Při posuzování monitorovacího indikátoru „Počet vytvořených/inovativních produktů“ je třeba zvážit naplnění principu inovativnosti, kdy vytvořený produkt má být jeho výstupem. Inovativní produkt v tomto smyslu pak představuje nástroj, kterým je poskytována podpora cílovým skupinám a současně představuje nové, netradiční přístupy a řešení využitelná v projektech zaměřených zejména na osoby ohrožené sociálním vyloučením či na osoby ze společnosti a trhu práce již vyloučené, např. vzdělávací program, kurz, metodika, e-learningový produkt, webový portál, rekvalifikační modul, integrační postupy, vzdělávací pomůcka, nástroj politik zaměstnanosti, sociálního začleňování a RLZ apod. V případě, že deklarovaný počet vytvořených/inovativních produktů dle externího hodnotitele neodpovídá tomuto chápání produktů, sníží odpovídajícím způsobem hodnocení tohoto kritéria. Navíc je možné na tuto skutečnost upozornit výběrovou komisi, která může podmínit případnou podporu žadateli úpravou monitorovacích indikátorů. Pro více informací o principu inovativnosti doporučujeme pracovat také s publikací D1 Příručka pro žadatele a D8 Metodika monitorovacích indikátorů, kde je princip inovativnosti a jeho návaznost na indikátory podrobněji popsán.


Strana 93 / 143

Přiměřenost výsledků vzhledem k požadovaným prostředkům

F3

Dílčí aspekty:

- přiměřenost poměru cena/výkon (výsledků a výstupů ve vazbě na požadované prostředky)

G

Rozpor s horizontálními tématy

Přestože toto kritérium se částečně překrývá s kritériem E1, je vhodné, aby jej hodnotitel posoudil v kontextu této skupiny kritérií. V rámci (tohoto) kritéria F3 „Přiměřenost výsledků vzhledem k požadovaným prostředkům“ hodnotitel posuzuje, zda výsledky projektu jsou přiměřené vzhledem k požadovaným prostředkům, tzn., zda poměr „cena/výkon“ je přiměřený. Kritérium E1 „Přiměřenost rozpočtu projektu jeho obsahové náplni a rozsahu“ je komplexnější, dívá se na rozpočet jako na celek. Kritérium má úmyslně relativně menší váhu (i když je bezesporu velmi významné) právě z toho důvodu, že zde existuje těsná vazba mezi kritériem E1.

Projektová žádost/přílohy: - Hodnoty indikátorů - Rozpočet projektu

Komentář by měl obsahovat výrok k celkovým požadovaným nákladům projektu ve vazbě na plánované výstupy, výsledky a cíle projektu – zda a do jaké míry jsou/nejsou přiměřené (odpovídající), efektivně vynaložené.

Při hodnocení je vhodné mít na paměti, že prostředky OP LZZ pochází z národních zdrojů i zdrojů evropských zemí, které musely být vytvořeny daňovými poplatníky, kteří očekávají hospodárné nakládání s jejich zdroji. Hodnocení je prováděno pomocí čtyřstupňové škály s těmito slovními deskriptory:  zcela přiměřená  mírně nadhodnocená či podhodnocená  velmi nadhodnocená či podhodnocená  zcela nepřiměřená Kritérium vztahující se k horizontálním tématům reaguje na politiky EU, tzn., že všechny projekty jej musí respektovat. Tato oblast žádostí se v programovém období 2004 - 2006 vyznačovala vysokou mírou zbytečné tvořivosti. Žadatelé ani hodnotitelé Projektová žádost/přílohy: v podstatě nevěděli, jak s horizontálními tématy pracovat.

- Horizontální témata

Jedná se o kritérium, ve kterém hodnotitel svým komentářem - Popis a způsob posuzuje, zda projekt není v rozporu s horizontálními tématy. zapojení cílové skupiny V rámci OP LZZ může být podpořen pouze projekt, jenž je z hlediska horizontálních témat pozitivní či neutrální. Nelze Metodika:


Strana 94 / 143

Komentář by mě obsahovat zhodnocení: - zda jsou v projektu aktivity či opatření na podporu rovných příležitostí, - a jakým způsobem jsou/budou prostřednictvím navrhovaných aktivit rovné příležitosti naplňovány (složení realizačního týmu, kritéria pro výběr cílové skupiny,

podpořit projekty, které by na horizontální témata měly negativní - D3 Horizontální témata vliv. Jedná se o kritérium eliminační. Pokud je projekt v rozporu s těmito principy a cíli, je třeba, aby hodnotitel popsal tuto skutečnost do hodnotící tabulky. Na základě toho pak výběrová komise může posoudit případné vyřazení projektu. Za účelem kvalifikovaného rozhodnutí je pro hodnotitele nezbytné pracovat také s publikací Horizontální témata (Příloha D3 OM OP LZZ), kde jsou podrobně popsány principy a cíle obou horizontálních témat (rovných příležitostí a udržitelného rozvoje), a také dotazník s nápovědou, podle které žadatel postupuje při vyplňování žádosti o finanční podporu.

doprovodná opatření ad.), - vztah projektu k udržitelnému rozvoji, zejména jeho pilířům, - zda projekt obsahuje návrhy vedoucí k omezování vlivů na životní prostředí (podle charakteru projektu), - zda a jak projekt vede k povědomí o udržitelném rozvoji, k uvážlivému využívání přírodních zdrojů (podle charakteru projektu), - přínos projektu k posilování sociálního (tradic, hodnot) a ekonomického (hospodárného) pilíře udržitelnosti. - Komentář by měl obsahovat dopad na horizontální témata (pozitivní, neutrální, negativní – v čem). V případě, že dojde k podezření na negativní dopad projektu na některé z uvedených horizontálních kritérií, je nutné tento fakt zohlednit rovněž v kritériu D4 a v závěrečném komentáři.

H

Slovní komentář hodnotitele k celému projektu. Zde by měl vyjádřit své stanovisko k libovolnému z kritérií, které považuje za důležité a rovněž zhodnotit celkový dojem z projektu a příp. vyzdvihnout body k diskusi pro výběrovou komisi. Rovněž by se zde měly objevit skutečnosti, které nebylo možné postihnout v rámci hodnocení projektu, ale hodnotitel je považuje za významné. Závěrečné hodnocení však musí korespondovat s dílčími hodnoceními jednotlivých kritérií.

Závěrečný komentář by měl být: Projektová žádost/přílohy: - celá projektová žádost - všechny relevantní přílohy

V komentáři musí hodnotitel shromáždit veškeré zásadní Národní vzdělávací fond, 22. 6. 2012

Strana 95 / 143

- přehledný a strukturovaný - měl by postihovat zásadní a podstatné informace (pro žadatele/výběrovou komisi), zejména pokud jde o zdůvodnění potřebnosti projektu, nastavení cílů projektu, cílová skupina,

připomínky a označit silné a slabé stránky projektu. Komentář musí rovněž obsahovat veškeré další informace, které by dle názoru hodnotitele měla výběrová komise mít předtím, než učiní závěrečné rozhodnutí o výběru projektu. Závěrečné zhodnocení - celkové zhodnocení projektu (o jak vysoce kvalitní projekt se jedná) - silné stránky - slabé stránky - upozornění na rizika, problémy - vyhodnocení specifických kritérií výzvy - vyjádření k rozpočtu

- doporučení pro žadatele

Tato část bude předána žadateli, je proto vhodné ji psát jasným a srozumitelným jazykem, a zároveň uvést relevantní informace pro výběrovou komisi a administrátory. Smyslem je podat doporučení pro další hodnocení projektu, které nemohly být uvedeny v jiných částech žádosti, jakož i shrnout silné a slabé stránky, které by v dílčích komentářích mohly být přehlédnuty. Na základě komentářů v této části by si žadatel měl udělat představu o možnostech zdokonalení žádosti, aniž by mu to ovšem dávalo jasný návod, který když dodrží, žádost garantovaně uspěje. Věnujte prosím této části obzvláštní péči a čas. Pokyny a doporučení: • Nekopírovat text z předchozích kritérií bez jakékoliv úpravy – v případě použití citace dílčích kritérií v rozumné míře je nutné upravit celkový formát závěrečného komentáře • Neuvádět odkazy na předchozí kritéria. • Nepopisovat či neopisovat obsah projektu. • Závěrečné hodnocení je jedinou zprávou, kterou má žadatel k dispozici v případě neschválení projektu (a na základě které často opětovně předkládá přepracovaný projekt) – tzn. uvést a konkretizovat všechny zásadní připomínky k projektu. Závěrečné hodnocení musí být pro žadatele srozumitelné a bez chyb! • Jednoznačně popsat kladné a záporné stránky projektu (tak, aby bylo žadateli hodnocení projektu jasné i bez hodnocení dílčích kritérií). Současně rozdělení do silných a slabých stránek slouží ke kontrole (více a zásadní silné stránky – doporučeno k podpoře a naopak).


Strana 96 / 143

kompetence a kapacita žadatele, klíčové aktivity, monitorovací ukazatele, projektový cyklus, - měl by obsahovat zhodnocení silných projektu,

souhrnné stránek

- slabých stránek projektu, - vyjádření k rozpočtu projektu (přiměřenost, návrh krácení – identifikace položky a vyčíslení), - příp. návrhy na vyřazení projektových aktivit, krácení délky projektu, - obsahovat rizika/rizikové faktory, které by mohly ovlivnit zdárnou realizaci projektu, - další informace, pokud nebyly promítnuty do jednotlivých hodnotících kritérií (a jsou důležité, např. k výběrovým řízením, publicitě, veřejné podpoře) - souhrnné vyhodnocení specifických kritérií - příp. doporučení pro žadatele

- závěrečné či NEDOPORUČENÍ k financování.

DOPORUČENÍ projektu

• Uvést zásadní/významné skutečnosti, na základě kterých je projekt hodnotitelem doporučen či nedoporučen k podpoře a získal příslušný počet bodů za obecná kritéria. • Pokud bude projekt navržen k vyřazení, ale přesto považuje hodnotitel projektový záměr za dobrý, je možné navrhnout projekt k dopracování – uvést konkrétní body, které budou zpětnou vazbou pro žadatele pro případné přepracování projektu do další výzvy. • Informace jsou důležité také pro výběrovou komisi, (ve výstupní sestavě M30 pro VK pouze jednotlivá závěrečná hodnocení). • V případě navrhovaného krácení rozpočtu – prosíme zkopírovat informace z kritéria E1! • Vyvarovat se formulací „žadatel upřesní“, žadatel „rozklíčuje“ atd. Během výběrového procesu nemůžeme chtít po žadateli žádné upřesňující informace. Buď hodnotitel navrhne zcela konkrétní úpravu, kterou se pak bude zabývat výběrová komise, nebo nechá daný bod bez připomínek. Konkrétní definice, popis a způsob hodnocení jsou stanoveny vyhlašovatelem výzvy (ZS/ŘO). Hodnotitel s ním bude před Projektová žádost/přílohy: samotným procesem hodnocení seznámen.

- celá projektová žádost

Specifická kritéria CH - podle výzvy

Tato kritéria reflektují specifickou potřebu vyplývající z dané výzvy - všechny relevantní a umožňují vyhlašovateli přesně nasměrovat podpořené projekty přílohy cílům výzvy. Tato kritéria mohou například umožnit zohlednit cíle politik a strategií. Mezi specifickými požadavky by se neměla objevit kritéria zvýhodňující skupiny předkladatelů (např. důraz na předchozí akreditaci kurzu u MŠMT, členství v zájmovém sdružení podnikatelů apod.). Kritérium specifické požadavky může souviset se specifickými přílohami, které jsou na jeho základě požadovány ve výzvě, a jsou proto také předmětem hodnocení tohoto kritéria.


Strana 97 / 143

Podle požadavků výzvy.

Kromě návrhů na zefektivnění současného systému hodnocení projektů navrhujeme další 2 dílčí opatření ke snížení počtu hodnocených projektů či omezení jejich plného hodnocení. 1. Snížit počet zbytečně přehodnocovaných projektů lze v případě, kdy je u obou hodnotitelů odlišný závěrečný výrok a doporučení k financování projektu (ano x ne) a zároveň rozdíl mezi oběma hodnoceními je ≤ 10, a neprovádí se 3. Hodnocení. Výsledné bodové hodnocení je pak průměrem obou zpracovaných hodnocení. 2. V případě, kdy jsou využívány jednotkové náklady a paušální částky v rozpočtu, usnadňuje se hodnocení v kriteriích E1 a F3 následujícím způsobem: Jednotkové ceny E1 – u pevně stanovených jednotek poskytovatelem (závazně ve výzvě) – nehodnotí se přiměřenost rozpočtu, pokud rozpočet obsahuje pouze jednotkové ceny E1 – u stanovených žadatelem v dílčích částech rozpočtu – musí být hodnocena kalkulace jednotky i rozpočet jako celek F3 – přiměřenost výsledků vzhledem k požadovaným prostředkům – nehodnotí se, pouze komentuje. Paušální částky Hodnotí se vazba na F2 – reálnost kvantitativních hodnot MI V případě paušálních částek v nepřímých nákladech – nehodnotí se, pouze se kontroluje dodržení limitu V případě paušálních částek, zahrnutých do přímých nákladů (např. ve vazbě na poskytnutou službu pro X osob) se paušální částka nehodnotí (hodnoceno v kalkulaci jednotkové ceny), pouze probíhá formální kontrola výpočtu. Podrobně se jednotkovým nákladům a paušálním platbám věnuje část projektu 1b – v 7. kapitole zprávy za tuto část zakázky.


Strana 98 / 143

7.

Návrhy na nastavení hodnotícího výběrového procesu pro programové období 2014+ 7.1

Proč je změna nutná a žádoucí

Řídící orgán OP LZZ v současném programovém období vyvinul úsilí o úpravu hodnotícího a výběrového procesu tak, aby probíhal rychleji, efektivněji a věcně správně. Některé změny v nastavení hodnotícího a výběrového procesu přinesly zlepšení (podrobnější popisy v příručce pro hodnotitele, zpětná vazba hodnotitelům), jiné naopak proces částečně zkomplikovaly (přidělování projektů losováním, bez možnosti náhledu na obsah projektu a původně též bez identifikace partnerů projektu). Další rozvoj systému nutně neznamená jeho další detailní precizaci, ale provedení takových změn, případně i zjednodušení, které odstraní nefungující či špatně fungující části hodnotícího a výběrového procesu a nahradí je lépe fungujícími. Jako základní problém celého systému se jeví těžkopádná a finančně náročná práce při hodnocení věcné kvality projektů. Jádrem problému je přetrvávající rozdílné subjektivní hodnocení jednotlivými hodnotiteli (výběr rozdílných deskriptorů u jednotlivých kritérií, hlavně těch komplexních, nedůsledné posuzování smyslu a rizik proveditelnosti projektu), které zvyšuje nároky na třetí hodnocení mnoha grantových projektů a ještě dalších (4-5) hodnocení u individuálních projektů. Mnohdy ani další nezávislá hodnocení nezvyšují kvalitu posouzení, pouze dávají prostor pro výběr „podobných“ hodnocení (to neznamená, že správnějších). Proto se naše návrhy zaměřují na zefektivnění procesu věcného hodnocení, úpravu hodnotících kritérií a deskriptorů, na zkvalitnění popisů v příručce pro hodnocení, na systematickou práci s hodnotiteli, včetně zpětné vazby, ale také na změnu procesu hodnocení u systémových projektů a v neposlední řadě na zjednodušení a snížení počtu projektů, které musí procházet hodnocením externích hodnotitelů. Naše návrhy vycházejí z analýzy vzorku dosavadních hodnocení OP LZZ, metodických podkladů a příruček Řídícího orgánu, zpětné vazby ze školení hodnotitelů a z příkladů hodnotícího a výběrového procesu v jiných ESF operačních programech v ČR i v dalších zemích EU.

7.2

Způsoby snížení počtu projektů hodnocených externími hodnotiteli

Snížení počtu projektů hodnocených externími hodnotiteli je možné ovlivnit na dvou úrovních: na vstupu, a to prostřednictvím dosažení snížení absolutního počtu předkládaných žádostí anebo systémově, a to změnou ve způsobu implementace jednotlivých typů projektů. Snížení počtu hodnocených projektů na základě absolutního snížení počtu předkládaných žádostí lze dosáhnout lepším zacílením výzev. Jednak prostřednictvím stanovením omezení z hlediska předkladatelů, cílových skupin, typů aktivit apod., aby se předešlo situaci, kdy předkladatelé, kteří neuspěli ve výzvě v jedné oblasti podpory, nemohli lehce svoji žádost „překlopit“ do jiné oblasti podpory. Takové žádosti většinou vykazují nízkou kvalitu a jejich nové hodnocení často vede k jejich nedoporučení (při bližším studiu hodnotitel pozná, že se jedná o upravenou žádost, která nemá skutečné zacílení na danou oblast podpory). A dále prostřednictvím stanovení minimálních standardů, vycházejících ze specifických požadavků v dané oblasti podpory (např. z hlediska jednotlivých nástrojů intervence), které musí předkládaný projekt splňovat. Zároveň je možno ve výzvě stanovit objem finančních prostředků na konkrétní oblasti aktivit. De facto se jedná o vyhlášení několika „částečných“ výzev v jedné výzvě a projekty, které se přihlásí Národní vzdělávací fond, 22. 6. 2012

Strana 99 / 143

k různým oblastem aktivit, jsou pak porovnávány separátně. Při převisu /nedostatku projektů v jednotlivých oblastech aktivit pak o případné realokaci či nevyčerpání prostředků v rámci výzvy rozhoduje výběrová komise. Vyšší účinnosti v dosažení snížení počtu hodnocených projektů lze dosáhnout změnou ve způsobu implementace jednotlivých typů projektů. Projekty lze rozdělit do několika skupin (viz Strategická evaluace OP LZZ, DHV, NVF, 2012), u kterých je možno nastavit různý způsob implementace a také různý způsob hodnocení a výběru: Základní členění projektů je možné z hlediska jejich obsahového zaměření, na: -

systémové (jejich předmětem je změna v systému určité veřejné služby, tj. ve struktuře a funkcích systému, bez přímého bezprostředního dopadu na konkrétní příslušníky cílové skupiny)

-

aplikační (jejich předmětem jsou výstupy, tj. produkty a služby, z nichž mají přímý užitek konkrétní příslušníci cílové skupiny) Aplikační projekty lze dále členit na: - mainstreamové (vzájemně podobné projekty s přednastavenými cíli, s nízkou specifičností problému i řešení, stejnorodými aktivitami a výstupy a s předem kalkulovanými náklady, jedná se více méně o projekty typové, šablonovité). - specificky zaměřené (projekty vzájemně málo podobné, reagující na specifika problému, potřeb cílových skupin i samotného žadatele, s rozmanitými aktivitami a výstupy, s jedinečně formulovanými cíli a hodnotami výstupů a výsledků). Specificky zaměřené projekty se dále člení na: - inovativní (vysoce inovativní až unikátní, přesto s potenciálem šíření jejich výstupů). - ostatní (projekty, které jsou jedinečné pro realizovaný subjekt, avšak využívající již existující postupy).

Kromě hlediska obsahového zaměření je možné projekty členit ještě z hlediska územního dopadu na projekty národní, regionální a lokální (komunitní). Protože projekty výše uvedených typů jsou různě komplexní, specifické, rozsáhlé a náročné na řízení, nároky na komplexnost popisu projektové žádosti by měly být různé a rovněž by mělo i při jejich hodnocení být postupováno adekvátně nárokům, které jsou na tyto různé typy projektů kladeny. 1. Aplikační projekty ii)

Z hlediska hodnocení se jako nejjednodušší a s nejmenšími nároky na odborné posouzení jeví projekty mainstreamové, zpravidla lokální či regionální dimenze. Nabízí se zde možnost projekty popsat formou šablony pro konkrétní cílovou skupinu, případně i region (tento typ používá pro základní a střední školy OP VK), a z této šablony bude žadatel vybírat z nabídky možných aktivit. Aktivity budou oceněny jednotkovým způsobem. Z takto nadefinovaného popisu projektu je zřejmé, že bude posuzována pouze oprávněnost žadatele, formální


Strana 100 / 143

správnost vyplnění šablony a dodržení limitů a nebude kladen nárok na odborné posuzování externími hodnotiteli z hlediska potřebnosti a smyslu (Žadatel osloví přesně identifikovanou cílovou skupinu, vykoná aktivity a dostane proplacené jednotkové náklady za odvedené služby pro příslušníky cílové skupiny). Většina současných vzdělávacích projektů neinovativního typu by mohla být zařazena do takového schématu a to bez odborného posuzování obsahu. Jako alternativa mainstreamových grantových projektů se nabízí vytvoření mainstreamových národních/regionálních programů podpory (tak, jak bylo umožněno v rámci RIPů krajských poboček Úřadu práce ČR), kde by subjekty veřejné správy poptávaly služby pro konkrétní cílové skupiny, a současní předkladatelé grantových projektů by soutěžili o veřejné zakázky v poptávaných službách. Za výběr dodavatele by byl zodpovědný realizátor národního/regionálního programu podpory. Takový postup je běžný v několika zemích EU (např. Velká Británie - Anglie, Rakousko). Vzhledem k problémům s veřejnými zakázkami v ČR a jejich vnímání neziskovými organizacemi i podnikatelskými subjekty však musí být dobře připraveno prostředí pro masivnější realizaci takového přístupu, včetně vysvětlující kampaně pro neziskový sektor. Takový přístup by kromě snížení počtu hodnocených projektů měl za následek i zjednodušení implementace projektů – kontrola dodávek služeb místo podrobného monitorování mnoha drobných projektů. iii) U specificky zaměřených ostatních aplikačních projektů bude i nadále trvat potřeba odborného posuzování, obdobného současnému způsobu hodnocení, se zřetelem na potřebnost projektu pro danou cílovou skupinu, ekonomickou výhodnost a kvalifikované řízení projektu. iv) U specificky zaměřených inovativních projektů by pak měl být navíc posuzován smysl, možný dopad a diseminační potenciál inovace dalším odborníkem z dané odborné oblasti (a to bez vazby na konkrétní projektový cyklus). 2. Systémové projekty Zásadně se nesníží počet hodnotitelských posuzování systémových projektů, spíše by se měl změnit způsob jejich generování/plánování, způsob jejich posuzování i pečlivý výběr hodnotitelů. Dále je třeba věnovat pozornost kriteriálnímu rámci, který by měl být pro systémové projekty odlišný od projektů aplikačních. Daleko větší důraz by měl být kladen na kritéria posuzující potřebnost projektu a jeho možný dopad, méně pak již popisu cílové skupiny, protože projekty systémového charakteru by měly odpovídat na jasně definované problémy cílové skupiny, případně celé populace. Tyto analýzy by měly přecházet generování projektu a bez jejich existence by neměl projekt ani vzniknout. Vzhledem k tomu, že systémové projekty zpracovávají předem známé subjekty veřejné správy, měla by být spíše věnována pozornost jejich včasné přípravě a rovněž subjektu, který bude stvrzovat výběr projektového záměru k realizaci. Toto však je pojednáno v následující kapitole.


Strana 101 / 143

7.3 Návrh na úpravu hodnotícího a výběrového procesu Pro příští programovací období navrhujeme přesunout zodpovědnost za hodnocení a výběr projektů na odborné subjekty (Zprostředkující subjekty) a z pozice Řídícího orgánu provádět pouze metodickou, poradenskou, schvalovací a kontrolní činnost. Administrace hodnocení, výběru i realizace jednotlivých projektů není ve většině starých členských zemí zodpovědností Řídícího orgánu a bylo by vhodné se vrátit i k praxi, která v ČR byla využívána již ve Phare. Realizaci programů Phare dle schváleného plánu, včetně výběru projektů, prováděly realizační agentury a metodickou a kontrolní roli prováděla Evropská komise prostřednictvím Delegace EK v Praze. V okamžiku vstupu do EU Česká republika prostřednictvím Řídících orgánů převzala zodpovědnost za realizaci programů, a proto by role Řídícího orgánu měla být vrácena do pozice řídící a kontrolní, nikoliv výkonné. Subjekty, zodpovědné za realizaci politiky ve své oblasti (Zprostředkující subjekty a zároveň Příjemci podpory) by ESF využívaly k realizaci této politiky prostřednictvím vlastních programů podpory (s možným využitím realizačních agentur). Programy podpory by byly realizovány formou aplikačních projektů, a to buď grantovými projekty či veřejnými zakázkami. V roli Příjemce by pak tyto subjekty vystupovaly u systémových projektů. Pro jednotlivé, výše uvedené typy projektů by měl být hodnotící a výběrový proces specifikován dle atributů jednotlivých typů. Proces hodnocení a výběru pro jednotlivé typy projektů 1. Aplikační mainstreamové projekty i) Základem pro zjednodušené hodnocení mainstreamových projektů je vytvoření typových šablon pro jednotlivé typy služeb pro cílové skupiny – programy podpory. ii) Pro hodnocení oprávněnosti požadavku na podporu by byl vytvořen jednoduchý check-list, ve kterém by pracovníci ZS/realizační agentury zkontrolovali oprávněnost a formální správnost požadavku (nehodnotila by se potřebnost – ta by byla zaručena formou šablony, ani žadatelova schopnost projektového řízení). iii) Pro určitý časový úsek a danou finanční alokaci by byla výzva k předkládání žádostí otevřena a hodnocena průběžně, až do vyčerpání alokace – stejně jako je tomu např. u národních programů podpory v oblasti bydlení, zateplování apod. Neprobíhala by soutěž v uzavřených výzvách a projekty by nebyly vybírány výběrovou komisí, jejich schvalování by probíhalo regionálním či národním subjektem pouze na základě posouzení oprávněnosti žádosti až do vyčerpání alokace či identifikace potřebnosti změny v nastavení programu podpory. Před vyhlášením programu podpory by alokace bylo vhodné nastavit regionálně na základě provedené analýzy potřeb. 2. Aplikační projekty specifické, ostatní i inovativní i)

Základem pro věcné hodnocení specifických projektů by měla být projektová žádost, obdobného tvaru jako je využívána v rámci OP LZZ. Základním rámcem pro posouzení kvality projektů zůstane soubor upravených věcných kritérií (inovovaná příručka pro hodnotitele).

ii)

Výzvy pro specifické projekty asi bude vhodné zachovat spíše v časově uzavřené formě a výběr projektů by měl, stejně jako v současné době, probíhat formou soutěže kvality projektových


Strana 102 / 143

žádostí, protože by se mělo jednat o jedinečné návrhy ať již z hlediska využití žadatelem či s potenciálem šíření nového produktu, postupu. iii) Věcné hodnocení budou i nadále provádět externí hodnotitelé, zásadně by se však měly změnit požadavky na jejich odbornost a zkušenost a práce s nimi. iv) Výběr hodnotitelů pro konkrétní oblasti podpory by měl být prováděn na základě jejich prokázané odbornosti v dané oblasti, nikoliv na jejich zájmu o hodnocení dané oblasti. Registrace do databáze by měla proběhnout na základě předložené zkrácené formy životopisu (zaměřené hlavně na prokázanou odbornost a zkušenost v poptávané oblasti). Počet vybraných oblastí by neměl být omezován administrativně, ale prokázanou či neprokázanou odborností a zkušeností. Jako doplňkové kritérium by mělo být využito ratingu hodnotitelů, kteří již hodnotili v OP LZZ. Neměla by však být uzavřena možnost vstupu nových expertů do databáze, ani by stávající hodnotitelé neměli být upřednostňováni před kvalifikovanými novými hodnotiteli. v)

Hodnotitelé by měli i nadále procházet školením, na začátku programu včetně seznámení s obsahem a implementační strukturou “nového programu“, v dalších fázích pak s novinkami v procesu hodnocení a poskytováním prostoru pro diskusi a zpětnou vazbu (viz návrh na toto programovací období – kapitola 6).

vi) Pokud budou jako první krok přijaty změny v hodnocení, navrhované v bodě 1 kapitoly 6 (zavedení arbitrážního 3. hodnocení pro grantové projekty – zde míněno pro specifické projekty), bylo by vhodné zavést funkci zpravodaje, který by na výběrové komisi prezentoval sjednocené výsledky hodnocení projektů a jeho zdůvodnění. Zpravodajem by byl jeden z hodnotitelů, v případě použití arbitra by tímto zpravodajem byl arbitr. Prozatím tuto funkci zastávají pracovníci poskytovatele, kteří však o hodnocení mají pouze částečné či hodnotitelem zprostředkované informace a navíc většinou mají pouze teoretické odborné znalosti v dané oblasti. vii) Zvážit, zda funkci zpravodajů využívat pro všechny hodnocené projekty či jen pro ty, u kterých byla shoda nalezena až po konzultaci dvou hodnotitelů či po využití arbitra. viii) U projektů velkého rozsahu by bylo vhodné i nadále využívat institutu hodnotících komisí s modifikací fungování, která byla navržena již v kapitole 6 (vytvoření odborného posudku všemi členy hodnotící komise a vypracování jediného společného hodnocení). ix) V procesu práce výběrové komise není nutné nastavovat změny, vyjma možného využití zpravodajů projektů. x)

U inovačních projektů, které mají ambici vytvořit inovaci využitelnou i v jiných organizacích či při poskytování obdobných služeb, je navrhováno zavést povinné odborné posouzení inovací, vzešlých z projektu na konci jeho realizační fáze. Na základě posouzení kvality a obecnější využitelnosti inovace (produktu) by příjemci mohli využít opce, která by byla vázána na diseminaci výsledků projektu po skončení realizační fáze projektu. V případě, kdy inovační potenciál výsledků projektu by nebyl dostatečný, diseminační fáze projektu by se nerealizovala a opčně přidělené prostředky by byly využity pro jiné projekty.


Strana 103 / 143

3. Systémové projekty i)

Proces přípravy, hodnocení a výběru systémových projektů k realizaci by měl doznat zásadní změnu. Pokud se ČR rozhodne i v dalším programovém období využívat prostředky ESF na systémové projekty (není tomu tak ve všech členských zemích EU), pak by měla být věnována patřičná pozornost již samotné přípravě projektových záměrů.

ii)

Projektové záměry v závazné struktuře (zjednodušené oproti úplné projektové žádosti) by byly předkládány žadatelem – subjektem veřejné správy k formálnímu posouzení a posouzení přijatelnosti Řídícímu orgánu. Projektový záměr by musel být podložen kvalifikovanou analýzou potřebnosti takového projektu a obsahovat rámcový rozpočet projektu.

iii) Na základě kladného posouzení přijatelnosti by byly Řídícím orgánem vyžádány alespoň 3 odborné posudky projektového záměru (ve vazbě na analýzu potřebnosti). iv) Výběr záměru systémového projektu k dalšímu rozpracování by probíhal Monitorovacím výborem operačního programu a to na základě odborných posudků. Členové Monitorovacího výboru by obdrželi popis projektového záměru i odborné posudky v předstihu a s upozorněním, že budou na zasedání projekty diskutovat a schvalovat k realizaci. Jako zpravodaj projektu by na Monitorovací výbor mohl být přizván žadatel i odborní posuzovatelé. Tím by bylo dosaženo partnerského posouzení zásadních projektů a to v souladu s principy fungování strukturálních fondů EU a realizace systémových projektů by průběžně napomáhala zkvalitnění veřejné politiky v oblasti zaměstnanosti a sociální integrace. v)

V případě, kdy pro danou oblast politiky existuje kolektivní orgán na národní úrovni (např. Rada vlády pro národnostní menšiny nebo Vládní výbor pro zdravotně postižené, Rada vlády pro konkurenceschopnost a informační společnost), bude tento projektový záměr před předložením Monitorovacímu výboru projednán a doporučen tímto tělesem, které potvrdí, že projektový záměr je v souladu s národní strategií a politikou v dané oblasti. V takovém případě pak Monitorovací výbor projektový záměr pouze bere na vědomí.

vi) Na základě rozhodnutí Monitorovacího výboru by byl projektový záměr rozpracován do podoby projektové žádosti, která by pak byla posuzována z hlediska projektového cyklu a realizovatelnosti projektu. Zde je na zvážení, zda využít odborné posuzovatele opětovně, či zda v této fázi by posouzení bylo prováděno pracovníky Řídícího orgánu. Přikláníme se k názoru, že odborní posuzovatelé by měli přinejmenším posoudit konzistentnost projektové žádosti se schváleným projektovým záměrem. vii) Projektová žádost i kriteriální rámec pro systémové projekty by musely zaznamenat určité změny. Kritéria současného hodnotícího rámce skupiny A a B by se posunula do fáze hodnocení projektového záměru. Ve druhé fázi již by byla kontrolována pouze konzistentnost projektové žádosti se schváleným záměrem a další kritéria by se soustředila na realizovatelnost/rizikovost projektu. Stejně tak informace o cílové skupině a její velikosti by již neměla být posuzována ve druhé fázi, to by bylo opět zpracováno již v posouzení projektového záměru a jeho vazby na analýzu potřeb cílové skupiny. viii) K realizaci by byl projekt uvolněn na základě rozhodnutí Řídícího orgánu po uzavření posouzení konzistentnosti projektové žádosti se schváleným projektovým záměrem a naplněním pravidel kvalitně zpracovaného projektového cyklu v projektové žádosti.


Strana 104 / 143

ix) Informace o zahájení/důvodech nezahájení systémového projektu by byla předkládána Monitorovacímu výboru, stejně tak by na základě průběžné evaluace projektu mohl být projekt zastaven v případě nekorektního vývoje projektu (zastavení prací, odchýlení se od původního záměru bez dostatečného podložení a schválení, atd.). Pro všechny navrhované změny bude nutné přizpůsobit softwarovou podporu (modifikace projektových žádostí na šablony, projektové záměry, hodnotitelské rozhraní přizpůsobit kriteriálnímu rámci jednotlivých typů projektů a připravit uživatelsky přátelské formuláře žádostí i hodnotících tabulek – včetně grafické úpravy a možnosti formátování textu).

7.4 Návrhy na změny ve způsobu věcného hodnocení Obecně by se mělo hodnocení projektů posunout od posuzování kvality popisu projektového cyklu k hodnocení obsahové kvality nabízených výstupů a výsledků projektu a reálnosti jejich dosažení. Ze zkušeností ze současného programového období je jasné, že hodnocením projdou úspěšně profesionálně zpracované žádosti o financování a to mnohdy bez ohledu na přidanou hodnotu navrhovaného projektu. Základní východiska Při zpracování návrhů úprav hodnotících kritérií pro období 2014+ jsme vycházeli ze tří hlavních zdrojů: a) analýzy rizik hodnotících kritérií OP LZZ b) obsahové analýzy hodnotících kritérií OP LZZ c) analýzy vzorku hodnocení 500 projektů OP LZZ Tyto zdroje byly dále doplněny o výstupy z řízených rozhovorů s věcnými hodnotiteli OP LZZ a o výstupy z dotazníkového šetření mezi hodnotiteli OP LZZ (realizováno na podzim 2011) a výstupy ze zpětnovazebních dotazníků ze školení vybraného vzorku hodnotitelů (realizovaných v dubnu a květnu 2012). Hlavní nedostatky v nastavení systému věcného hodnocení v OP LZZ Z výše uvedených analýz vyplynulo, že při posuzování většiny hodnotících kritérií nelze postupovat na základě objektivních ukazatelů, ale je uplatňováno převažující subjektivní hodnocení. Důvodem je především nejednoznačné až nejasné vymezení hodnotících kritérií, kdy předmět hodnocení není jasně ohraničen a dochází k přesahům, popř. i duplicitám s jinými hodnotícími kritérii, a to buď v rámci stejné skupiny hodnotících kritérií, nebo i napříč různými skupinami hodnotících kritérií. Negativní roli hraje rovněž široké zaměření obsahu některých hodnotících kritérií, kdy v rámci jednoho hodnotícího výroku je třeba postihnout více aspektů projektu, které mohou vykazovat různou kvalitativní úroveň a které navíc spolu ne vždy úzce souvisejí. Závažný nedostatek pak představuje i systém slovních deskriptorů, který není vázán na doprovodnou metodiku vymezující kritéria pro udělování jednotlivých slovních deskriptorů, resp. tato metodika Národní vzdělávací fond, 22. 6. 2012

Strana 105 / 143

není zpracována. U některých kritérií nejsou ani nastaveny požadavky pro udělení maximálního hodnocení. Premisa, kdy důvod pro udělení konkrétního slovního deskriptoru je obsažen už v jeho formulaci, se v praxi ukázal jako disfunkční. A to z již výše uvedených důvodů nejednoznačných formulací slovních deskriptorů nebo jejich nesouladu s předmětem hodnocení kritéria. Do hodnocení se tak vnáší prvek intuitivního a posléze i značně subjektivního uchopení hodnocení. Celkově lze shrnout, že ze stávající metodiky hodnotících kritérií není zcela jasné, co se má hodnotit, ani jak se má hodnotit. Za problematické lze také označit rozložení procentuálních vah průřezových témat ve věcném hodnocení. Na hodnocení věcné podstaty a přínosu projektu a jeho vazby na naplňování cílů oblasti podpory připadá jen cca 25 %. Naopak zhruba 65 % je přiřazeno oblasti zajištění realizace projektu, kde je navíc kladen důraz na hodnocení formálního a technického zpracování projektů. Zbylých 10 % pokrývá hodnocení hospodárnosti a efektivnosti projektu. V praxi tak dochází k nežádoucímu stavu, kdy jsou metodikou zvýhodňovány projektové žádosti připravené zkušenými žadateli, kteří sice „umí projekt napsat“, ale jeho reálný přínos bývá malý, resp. stávající metodika je nastavena tak, že pokud je projekt kvalitně řemeslně zpracován, ale jeho přínosy jsou velmi malé, pak hodnotitel postupující v souladu s metodikou nemá prakticky jinou možnost, než takový projekt doporučit k podpoře. Jak vyplynulo z dotazníkového šetření i z řízených rozhovorů, je tento stav negativně vnímán věcnými hodnotiteli, kteří se snaží projekty „bez obsahu“ nebo psané „na oko“ znevýhodnit jinak, většinou prostřednictvím umělého přehodnocování projektu (zejm. v nepovinně komentovaných kritériích je prostor pro umělou manipulaci s výsledným bodovým hodnocením projektu; využíváno je také složených kritérií, kdy je kladen negativní akcent na vybraný aspekt kritéria). Tento stav je rovněž nežádoucí, protože dochází k deformaci celého systému metodiky hodnocení. Do verze 1.3 Příručky pro hodnotitele byl včleněn nástroj tzv. kontextového hodnocení, jehož smyslem je posun od mechanického hodnocení dle nastaveného kriteriálního rámce ke skutečně „expertnímu“ posouzení projektové žádosti. Hodnotitel má do svého posudku vnést vlastní knowhow, odborné znalosti a zkušenosti s praxe, znalosti regionálních specifik apod. V Příručce pro hodnotitele však není již jasně uvedeno, jak „procesně“ toto kontextové hodnocení zakomponovat do vlastního hodnocení jednotlivých kritérií, jakou mu přikládat váhu, tzn., do jaké míry může kontextové hodnocení ovlivnit výběr slovního deskriptoru apod., a dále do jaké míry může hodnocení kontextu ovlivnit výsledné hodnocení projektu jako celku. Aplikaci tzv. kontextového hodnocení v praxi zatím nelze hodnotit, resp. neexistují relevantní data. K dispozici je pouze zpětná vazba ze školení hodnotitelů (duben - květen 2012), na kterých bylo tzv. kontextové hodnocení zařazeno jako jedno z probíraných témat. Z reakcí hodnotitelů vyplývá problém s nejednoznačným uchopením tzv. kontextového hodnocení jako celku a lze očekávat rozdílné způsoby jeho aplikace v praxi. Úroveň zpracování tzv. kontextového hodnocení přitom bude mít vliv na rating hodnotitele. Bez uplatnění tzv. kontextového hodnocení by hodnotitel neměl dosáhnout na nejlepší hodnocení v rámci subkritéria 1. Hodnocení projektu v rámci ratingové známky vztažené ke kvalitě hodnocení. S tím souvisí riziko uplatňování vlastního know-how za každou cenu a zaměňování tzv. kontextového hodnocení za nepodložené hodnotící soudy, resp. za prosté domýšlení si.


Strana 106 / 143

Tabulka 12: Zhodnocení stávajících hodnotících kritérií OP LZZ a návrhy na realizaci změn v období 2014+ Skupina kritérií A Smysl a cíle projektu Anotace významu této skupiny kritérií z Příručky pro hodnotitele: „Skupina „Smysl a cíle projektu“ patří mezi jednu z nejdůležitějších oblastí pro hodnocení projektu. V rámci této skupiny kritérií by si měl hodnotitel odpovědět na otázky typu: Co projekt přinese? Proč by měl být spolufinancován ze zdrojů ESF? Jak naplňuje cíle pomoci?“ A1 Zdůvodnění potřebnosti projektu Váha kritéria Předmět hodnocení Zjištěné nedostatky 8% Jedná se o komplexní kritérium, které Kritérium zahrnuje 3 rozdílné aspekty, které je nutné zahrnuje několik rovin: hodnotit naráz. 1) potřebnost projektu Kritérium bylo prvotně nastaveno na posouzení zdůvodnění 2) přínosy projektu potřebnosti projektu a zmíněn byl i aspekt inovativnosti. 3) inovativnost projektu V rámci revizí Příručky pro hodnotitele byl přidán aspekt přínosů projektu, který do té doby v metodice chyběl. Prostým zasazením komponenty přínosů projektu do stávajícího rámce kritéria A1 došlo k deformaci posuzování kritéria jako celku, a to i ve vztahu k nastavené škále slovních deskriptorů, které jsou nastaveny ve vztahu k potřebnosti, resp. zdůvodnění potřebnosti. Celkově není jasné, na co klást při hodnocení kritéria důraz a jakým způsobem zohledňovat zapojení všech komponent kritéria. Problém je i nastavení slovních deskriptorů, které odkazují na přesvědčivost zdůvodnění potřebnosti (tzn. na kvalitu popisu zdůvodnění potřebnosti), a nikoli na potřebnost jako takovou.


Strana 107 / 143

Návrh řešení Navrhujeme kritérium zúžit na posuzování přínosů projektu. Tento aspekt může zohledňovat i míru inovativnosti projektu (inovativnost však není chápána jako samostatná komponenta). Určující pro posouzení přínosů projektu by měl být popis stávající situace v projektem řešené oblasti a popis, čeho chce projekt dosáhnout. Povinnou přílohou projektové žádosti by měla být vstupní analýza, u které by měly být nastaveny základní parametry pro její zpracování (zpracování vzorové struktury vstupní analýzy však nedoporučujeme). Zhodnocení přínosů projektu představuje klíčové kritérium, proto doporučujeme kritériu přiřadit nejvyšší % váhu.

A2 Vazba na cíle výzvy (oblasti podpory OP LZZ) Váha kritéria Předmět hodnocení 4% Kritérium hodnotí míru těsnosti projektu ve vztahu k výzvě, popř. dané oblasti podpory. Kritérium slouží jako pojistka pro projekty, které jsou hraniční z hlediska přijatelnosti, a vyhlašovatel výzvy nebyl v rámci hodnocení přijatelnosti schopen posoudit, zda projekt tato kritéria splňuje či ne.

A3 Zhodnocení cílů projektu Váha kritéria Předmět hodnocení 8% Kritérium hodnotí jednak kvalitu vymezení cílů projektu. Hodnotí se, zda odpovídají vymezeným potřebám a problémům (vazba na kritérium A1), zda jsou realistické (vazba na kritérium D1 a F2), zda jsou v souladu s definovanými aktivitami (vazba na kritérium D1).


Zjištěné nedostatky V metodice není vůbec popsáno, jak při posuzování míry těsnosti postupovat, na základě jakých atributů těsnost určit (shoda cílů projektu s cíli výzvy?, míra shody klíčových aktivit s aktivitami vymezenými ve výzvě?, vazba na specifické cíle výzvy?, reflexe specifik výzvy?). Jako problematické se jeví i využití kritéria jako pojistky pro posouzení projektů, které jsou z hlediska přijatelnosti na hraně. Pouze z textu Příručky pro hodnotitele není jasné, na základě čeho by měl hodnotitel vynést rozhodující soud. V praxi pak v mnoha sporných případech hodnotitel samostatně nedokáže rozhodnout, zda projekt je či není v souladu s výzvou ani po podrobném přečtení projektové žádosti a kontextovém posouzení projektu, a problematický projekt konzultuje s vyhlašovatelem výzvy.

Návrh řešení Navrhujeme opustit původní koncept kombinovaného kritéria a posuzování míry těsnosti vazby primárně ve vztahu ke splnění kritérií přijatelnosti. Doporučujeme kritérium hodnotit z pohledu potřebnosti projektu v kontextu celkové strategie zaměření výzvy, popř. oblasti podpory. Kritéria A1 a A2 by měla být hodnocena kontextově. U projektu, který slibuje jen velmi malý přínos, nelze očekávat vysokou potřebnost a těsnou vazbu na strategii zaměření výzvy a naopak.

Zjištěné nedostatky Hlavní problém při posuzování kritéria je založen již v problematickém zvládnutí nastavení cílů projektu ze strany žadatele. Ve většině projektů jsou cíle metodicky nesprávně nastaveny (např. místo cílů jsou uvedeny aktivity, cíle nejsou konkrétní ani měřitelné apod.). Pokud nejsou cíle jasně definovány, je problematické vyhodnocení kritéria tak, jak požaduje metodika. Dalším problémem je metodické vymezení kritéria. Posuzování probíhá především kontextově, ve vazbě na jiná kritéria, tzn. že předmět hodnocení je z jiného pohledu obsažen i v jiných kritériích a zde se posouzení duplikuje. Vyhodnocení kritéria je nesnadné rovněž z hlediska přiřazování slovních deskriptorů, které nepostihují všechny reálné varianty (nepočítá se s kombinací, kdy některé z cílů nejsou relevantní a jiné ano, resp. některé z cílů nejsou jasně vymezené a jiné ano).

Návrh řešení Na základě uvedených problémů při posuzování kritéria navrhujeme hodnocení cílů projektu v rámci samostatného kritéria vypustit. Navrhujeme zařadit kritérium zaměřené na vnitřní logiku či konzistentnost projektu, které by bylo nazíráno šířeji než jen skrze cíle projektu. Vnitřní logiku projektu navrhujeme posuzovat po linii: záměr a cíle projektu - obsah klíčových aktivit výstupy klíčových aktivit - výstupy a výsledky projektu (tzn. monitorovací indikátory).

Strana 108 / 143

Skupina kritérií B Cílová skupina Anotace významu této skupiny kritérií z Příručky pro hodnotitele: „Skupina kritérií „Cílová skupina“ obsahuje čtyři kritéria a hodnotitel by se měl zaměřit na tyto otázky: Je cílová skupina jasně vymezená? Odpovídá zvolená skupina realitě a vychází z analýzy? Je projekt pro zvolenou cílovou skupinu přínosný? Je práce s cílovou skupinou (její zapojení) adekvátní jejímu charakteru?“ B1 Jasné vymezení cílové skupiny Váha kritéria Předmět hodnocení 3% Kritérium hodnotí dopad projektu na cílové skupiny na území vymezeném ve výzvě. Kritérium dále hodnotí kvalitu popisu cílové skupiny. Kritérium současně hodnotí, zda jsou vymezeny problémy cílové skupiny a zda je projekt bude řešit.


Zjištěné nedostatky Předmět kritéria je nejasně ohraničen. Cílová skupina se hodnotí jak z hlediska její oprávněnosti, ale vztažené pouze k území dopadu projektu. V rámci kritéria je tedy řešen jeden z aspektů přijatelnosti projektu. Obdobně jako v kritériu A2 zde jde o pojistku pro vyhlašovatele výzvy. Primárně bylo těžiště kritéria nastaveno na hodnocení kvality vymezení cílové skupiny. Z textu Příručky pro hodnotitele však není zcela jasné, na základě jakých kritérií hodnocení provést. V rámci revizí Příručky pro hodnotitele bylo posouzení vymezení cílové skupiny rozšířeno o další rozměr, a to o zhodnocení vymezení problémů cílové skupiny a rovněž, zda projekt bude tyto vymezené problémy cílové skupiny řešit. Tím však dochází k duplicitě s kritériem B3. Naprosto matoucí je znění ilustrativního příkladu, který do kritéria vnáší posuzování způsobu identifikace cílové skupiny, přiměřenost velikosti cílové skupiny vzhledem ke kapacitním možnostem žadatele a zkušenosti žadatele s prací s cílovou skupinou, tj. odkazuje na kritéria B2, B3, B4 a C2. Nastavení slovních deskriptorů je předmětně vztaženo pouze k aspektu, jak jasně je vymezena cílová skupina. Celkově není z popisu jasné, co přesně je třeba v kritériu hodnotit, které nedostatky zohlednit v přidělení příslušného slovního deskriptoru a na které pouze upozornit v komentáři. Strana 109 / 143

Návrh řešení Navrhujeme opustit původní koncept kombinovaného kritéria a posouzení oprávněnosti cílové skupiny z hlediska území dopadu rozhodnout v rámci hodnocení splnění kritérií přijatelnosti. Předmět kritéria navrhujeme zúžit na posouzení vymezení cílové skupiny (kvantitativní a kvalitativní vymezení cílové skupiny, včetně identifikace problémů cílové skupiny).

B2 Přiměřenost cílové skupiny Váha kritéria Předmět hodnocení 4,5 % Kritérium hodnotí několik ne zcela souvisejících aspektů týkající se cílové skupiny. Hodnotí se přiměřenost cílové skupiny z hlediska její velikosti, sociální struktury i potřeb. Dále se hodnotí přiměřenost cílové skupiny z hlediska její velikosti na daném území a reálnost jejího zapojení do projektu. Kritérium hodnotí přiměřenost velikosti cílové skupiny vzhledem ke kapacitním možnostem žadatele. Dále hodnotí znalost problémů cílové skupiny a dostatečné zkušenosti s prací s cílovou skupinou, a zda z projektu vyplývá zájem cílové skupiny o účast v projektu.

B3 Přínos projektu pro cílovou skupinu Váha kritéria Předmět hodnocení 4,5 % Kritérium hodnotí kvalitativní popis vazby mezi potřebností projektu a přínosem projektu pro cílovou skupinu. Kritérium dále hodnotí faktický přínos projektu pro cílovou skupinu.


Zjištěné nedostatky Hodnotící kritérium je nastaveno značně nesrozumitelně, zahrnuje několik spolu nesouvisejících aspektů. Dílčí části předmětu kritéria jsou obsaženy a hodnoceny v jiných hodnotících kritériích (znalost / vymezení problémů cílové skupiny - kritérium B1, přiměřenost velikosti cílové skupiny - kritérium F2, reálnost zapojení cílové skupiny do projektu - kritérium B4, přiměřenost cílové skupiny vzhledem ke kapacitním možnostem žadatele - kritérium C1, zkušenosti s prací s cílovou skupinou - kritérium C2, B1 a B4). Ve formulaci ilustrativního příkladu dochází k rozporu s textem ilustrativního příkladu u kritéria B1 ve způsobu posuzování zkušeností žadatele s prací s cílovou skupinou: Kritérium B1: „Skutečnost, že žadatel s touto cílovou skupinou ještě nepracoval byvšak neměla být sama o sobě důvodem ke snížení bodového ohodnocení, žadatel mohl dosud pracovat úspěšně s obdobnými skupinami.“ Kritérium B2: „…nebo žadatel a partneři nemají dostatečné zkušenosti s prací s cílovou skupinou, sníží hodnotitel přiměřeným způsobem hodnocení.“ Nastavení škály slovních deskriptorů není v souladu s předmětem kritéria, neboť hodnotí, do jaké míry přiměřenost cílové skupiny vychází z potřeb cílové skupiny.

Návrh řešení Vzhledem k tomu, že dílčí části kritéria jsou obsaženy v jiných hodnotících kritériích, doporučujeme toho kritérium vypustit.

Zjištěné nedostatky Není zcela jasné, na co se při hodnocení kritéria soustředit. Při hodnocení celkového přínosu nebo vazby mezi potřebností a přínosem dochází k částečnému překryvu s kritériem A1. Znění slovních deskriptorů je navázáno jen na zhodnocení samotného přínosu pro cílovou skupinu. Při výběru slovních deskriptorů je problematické využití nabízené škály

Návrh řešení Vzhledem k tomu, že nelze dost dobře oddělit přínos projektu jako celku a přínos projektu pro cílovou skupinu, doporučujeme hodnocení přínosu projektu pro cílovou skupinu zahrnout do hodnocení kritéria A1.

Strana 110 / 143

(šestistupňová jemně odstínovaná škála bez jasného kvalitativního měřítka a se subjektivně interpretovatelnými hodnotícími soudy). B4 Způsob zapojení cílové skupiny Váha kritéria Předmět hodnocení 3% Kritérium hodnotí způsob zapojení cílové skupiny v rámci několika rovin: 1) způsob oslovení cílové skupiny 2) způsob získávání a výběru cílové skupiny do projektu 3) způsob práce (a jeho adekvátnost) s cílovou skupinou v průběhu celého projektu Kritérium dále hodnotí, zda má žadatel na cílovou skupinu kontakty, zda má dostatečné zkušenosti s prací s cílovou skupinou a zda z projektu vyplývá zájem cílové skupiny o účast v projektu.

Zjištěné nedostatky Hodnotící kritérium je nastaveno značně nesrozumitelně, zahrnuje několik spolu nesouvisejících aspektů. Některé jeho dílčí části jsou obsaženy v hodnocení jiných kritérií (posuzování zkušeností s prací s cílovou skupinou duplicita s kritérii B1, B2 a C2, zaručení zájmu cílové skupiny vstoupit do projektu duplicita s kritériem B2). V rámci revize Příručky pro hodnotitele byl obsah hodnocení kritéria doplněn o posouzení, zda je ošetřeno riziko zapojení účastníků do projektu a předčasné odcházení z projektu. Tím přibývá v hodnocení kritéria další rozměr, který však není metodicky jasně ošetřen a kritérium se dostává do částečného překryvu s kritériem D3.

Návrh řešení Doporučujeme zúžit předmět hodnocení kritéria pouze na posouzení způsobu práce s cílovou skupinou, a to před zahájením i v průběhu projektu. Ostatní aspekty kritéria doporučujeme vypustit a hodnotit v rámci jiných kritérií.

Skupina kritérií C Žadatel Anotace významu této skupiny kritérií z Příručky pro hodnotitele: „Přestože skupina kritérií zaměřená na žadatele má relativně malou váhu, ve skutečnosti tomu tak není, neboť v rámci celého souboru kritérií lze vysledovat určitou závislost mezi kvalitou žadatele a kvalitou celého projektu. Skupina obsahuje 2 kritéria zaměřená na kompetenci žadatele a jeho zkušenosti. Třetí kritérium má specifický charakter.“ C1 Kompetence žadatele Váha kritéria Předmět hodnocení 6% Kritérium hodnotí personální zabezpečení projektu, a to z hlediska složení realizačního týmu z hlediska vymezení pracovních pozic, nastavené výše úvazků, popis pracovních náplní, finanční náročnost.


Zjištěné nedostatky Předmět hodnocení kritéria není zcela jasně vymezen a ohraničen. Hovoří se o personálním zabezpečení projektu, ale jen ve vztahu pouze k realizačnímu týmu. Role dodavatele v projektu není vůbec zohledněna. Na druhou stranu se v kritériu hodnotí finanční náročnost, resp. přiměřenost nákladů na realizační tým, čímž dochází k přesahu do kritéria E1. V kritériu jsou uvedeny dva ilustrativní příklady, přičemž Strana 111 / 143

Návrh řešení Doporučujeme kritérium zúžit na posouzení kapacity realizačního týmu, a to ve vztahu k velikosti cílové skupiny, věcné náplně projektu a objemu činností zajišťovaných dodavatelsky. Doporučujeme z hodnocení kritéria vyřadit posouzení realizačního týmu

první z nich obsahuje nereálnou modelovou situaci a pro z hlediska finanční náročnosti. lepší pochopení předmětu kritéria nemá žádný význam. Druhý ilustrativní příklad se pak zaměřuje pouze na jeden aspekt hodnocení kritéria. Z metodiky jasně nevyplývá, co je hlavním předmětem hodnocení kritéria a které aspekty zohlednit pouze kontextově. Zhodnocení samotného přínosu pro cílovou skupinu je problematické využití nabízené škály slovních deskriptorů (šestistupňová jemně odstínovaná škála se subjektivně interpretovatelnými hodnotícími soudy). C2 Zkušenosti žadatele a členů týmu Váha kritéria Předmět hodnocení 4% Kritérium hodnotí, zda má žadatel nebo členové realizačního týmu předchozí zkušenosti s realizací projektů. Předchozí zkušenosti jsou posuzovány v rámci dvou rovin: 1) zkušenosti s realizací projektů 2) odborná zkušenost

C3 Partneři Váha kritéria nebodované kritérium

Předmět hodnocení Kritérium hodnotí, zda jsou při zapojení partnera nebo partnerů do projektu splněny všechny znaky oprávněného partnerství.


Zjištěné nedostatky Kritérium zahrnuje dva odlišné aspekty, přičemž metodika neřeší, jakým způsobem zohledňovat jejich váhu při celkovém hodnocení kritéria. Metodika rovněž neřeší, na základě jakých kritérií přistupovat ke kvalitativnímu posuzování předchozích zkušeností (je např. uvedeno, že není nutné, aby měl žadatel předchozí zkušenosti s projekty ESF, „ale je možné hodnotit zkušenosti s administrací jiných dotačních projektů, projektů soukromých dárců, komerčních projektů apod.“; není již uvedeno, jaká má být těmto zkušenostem přikládána váha; dále tyto odlišné typy projektů kladou jiné nároky na řízení a administraci projektu, proto jejich využití jako reference je problematické).

Návrh řešení Doporučujeme znění kritéria zpřesnit a posuzování zkušeností vztáhnout např. ke kvalitativně vymezenému referenčnímu projektu (jasně definovaná obsahová příbuznost s předkládaným projektem a nejlépe procentuálně vymezený srovnatelný finanční objem).

Zjištěné nedostatky Předmět hodnocení kritéria je podrobně specifikován. Kritérium je ale postaveno jako eliminační, tj. jeho cílem není hodnocení kvality a přidané hodnoty partnerství v rámci projektu, ale pouze vyloučení projektů, které nevykazují povinné atributy oprávněného partnerství.

Návrh řešení Doporučujeme ujasnit, zda má být kritérium postaveno jako eliminační nebo zda jeho cílem má být i hodnocení kvality navrženého partnerství. V prvním případě lze na rozpor s principem partnerství upozornit v závěrečném komentáři.

Strana 112 / 143

Kvalitu partnerství pak doporučujeme posuzovat v rámci ostatních relevantních kritérií a dále u těch výzev, které ve kterých hraje zásadní roli, a to formou specifického kritéria. Nedoporučujeme partnerství posuzovat v rámci samostatného hodnotícího kritéria.

Skupina kritérií D Projektové řízení, udržitelnost a rizikovost projektu Anotace významu této skupiny kritérií z Příručky pro hodnotitele: „Tato skupina kritérií se snaží postihnout kvalitu projektového řízení v rámci celého projektu s tím, že se hodnotí i předpoklady pro udržitelnost projektu po skončení financování v rámci výzvy. Snaží se zodpovědět otázku, zda když bude projekt financován, bude jeho realizace organizačně zvládnutelná. Klíčovým kritériem je i rizikovost projektu a samotná kvalita managementu rizika. Celková významnost těchto kritérií je značná.“ D1 Volba a popis klíčových aktivit a harmonogram projektu Váha kritéria Předmět hodnocení 12 % Kritérium hodnotí způsob realizace projektu kontextově k nastaveným cílům projektu, potřebám cílové skupiny a možnostem realizačního týmu. Kritérium dále hodnotí navrženou obsahovou kompozici klíčových aktivit projektu, jejich logickou provázanost a přiměřenost nastaveného časového harmonogramu. Do hodnocení má být rovněž zohledněn „celospolečenský přínos“ projektu.


Zjištěné nedostatky Kritérium je nastaveno široce a není jasně ohraničené. V metodice není konkrétně uvedeno, jak se vypořádat s kontextovým hodnocením kritéria, které nedostatky zohlednit v bodovém hodnocení a na které pouze upozornit v hodnotícím komentáři. Značně problematické je posuzování harmonogramu projektu, resp. přiměřenosti délky trvání jednotlivých aktivit. Zpracování detailního harmonogramu v projektové žádosti nemá velkou vypovídací hodnotu, protože bývá nastaven velmi orientačně (změny harmonogramu jsou pak nejčastějšími změnami realizovanými v průběhu projektu). Z kritéria není jasné, jakým způsobem má být posuzován a vyhodnocen „celospolečenský přínos“ projektu.

Strana 113 / 143

Návrh řešení Předmět kritéria doporučujeme zúžit na posouzení kvality, nezbytnosti a logické provázanosti klíčových aktivit. Posouzení nastavení klíčových aktivit v kontextu s cíli projektu navrhujeme řešit v rámci nově navrženého kritéria D2. Posouzení kontextu s personálním zajištěním projektu navrhujeme řešit v rámci kritéria C1. Vzhledem k problematickému posuzování detailního nastavení harmonogramu navrhujeme zjištěné nedostatky typu příliš krátká doba realizace projektu, absence časových rezerv řešit v rámci posouzení rizikovosti projektu.

Navrhujeme, aby „celospolečenský přínos“ projektu byl řešen v rámci posouzení nově navrženého kritéria A1. D2 Předpoklady pro udržitelnost projektu po skončení financování OP LZZ Váha kritéria Předmět hodnocení Zjištěné nedostatky 3% Kritérium hodnotí, zda je v projektu Způsob hodnocení kritéria je nastaven nesrozumitelně. potenciál pro pokračování jeho aktivit V textu hodnocení kritéria i ilustrativním příkladu se např. i po skončení finanční podpory. několikrát hovoří o finanční udržitelnosti projektu, ale způsob jejího posouzení není jasně řešen. Metodika naopak neřeší jiné aspekty udržitelnosti, které jsou pro projekty OP LZZ příznačnější (např. institucionální udržitelnost, zejm. u projektů realizovaných v partnerství, řešení udržitelnosti v projektu realizovaných investic z křížového financování apod.). D3 Kvalita řízení rizik Váha kritéria Předmět hodnocení 5% Kritérium hodnotí kvalitu řízení rizik jako celku, identifikaci rizikových faktorů projektu a stanovení protirizikových opatření.


Zjištěné nedostatky Způsob hodnocení kritéria není nastaven srozumitelně a navíc vykazuje metodické nedostatky z hlediska řízení rizik v rámci projektového řízení. Např. se uvádí, že žadatel by měl „popsat způsob, jak takovému riziku předcházet, resp. jej eliminovat“. Eliminace, tedy vyloučení rizika je však pouze jednou z několika možných reakcí na zjištěná rizika (mezi další odezvy na rizika patří např. zmírnění, přesunutí, sdílení nebo akceptace rizika). Dále pak v ilustrativním příkladu je udělení maximálního hodnocení vázáno na situaci, kdy „žadatel identifikoval všechny vnější a vnitřní faktory rizika a plánuje opatření na řešení výskytu nejpravděpodobnějších a nejzávažnějších faktorů rizika“. Z hlediska projektového řízení však nelze u žádného projektu zpracovat vyčerpávající katalog možných rizik. Rizika se navíc v průběhu projektu mění (některá vznikají, jiná zanikají). Celkově je hodnocení kritéria značně problematické, neboť na jedné straně není v drtivé většině řízení rizik správně Strana 114 / 143

Návrh řešení Udržitelnost projektu je třeba posuzovat v rámci samostatného kritéria. Doporučujeme zpřesnit metodiku hodnocení kritéria a zaměřit ji tak, aby se více vztahovala na projekty, jejichž hlavním smyslem je investice do rozvoje lidských zdrojů. Rovněž doporučujeme zvýšení bodové váhy kritéria. Návrh řešení Hodnocení kvality řízení rizik nedoporučujeme řešit v rámci samostatného kritéria a navrhujeme ho přesunout do hodnocení rizikovosti projektu jako celku.

zpracováno (není provedeno posouzení rizik, zaměňují se rizika za jejich dopady, používají se „univerzální rizika“ aplikovatelná na většinu projektů obdobného typu) a na druhé straně ani metodika pro jeho posuzování není nastavena korektně. D4 Rizikovost projektu Váha kritéria Předmět hodnocení Zjištěné nedostatky nebodované Kritérium hodnotí reálnou míru Ve způsobu hodnocení kritéria nejsou stanoveny jasně kritérium rizikovosti projektu, tzn., hodnocení se požadavky na obsahovou náplň hodnotícího komentáře, je opírá o expertní úsudek hodnotitele. pouze uvedeno, co se má při hodnocení kritéria zohlednit. Reálně tak hrozí značná nevyrovnanost úrovně zpracování hodnotících komentářů.

Návrh řešení Způsob hodnocení kritéria v zásadě navrhujeme ponechat i nadále tak, jak je nyní nastaven. Jako součást rizikovosti projektu navrhujeme včlenit zohlednit i kvalitu řízení rizik nastavenou žadatelem. Kritériu doporučujeme přiřadit bodovou váhu, aby posouzení rizikovosti projektu mohlo být vztaženo k objektivním referencím. Dále doporučujeme stanovit požadavky na strukturu a obsah hodnotícího komentáře.

Skupina kritérií E Rozpočet projektu Anotace významu této skupiny kritérií z Příručky pro hodnotitele: „V rámci skupiny „Rozpočet projektu“ by měl hodnotitel posoudit, zda je podle jeho názoru rozpočet projektu přiměřený vzhledem k celkovému záměru, zda je přehledný a srozumitelný a zda je věcně správný.“ E1 Přiměřenost rozpočtu jeho obsahové náplni a rozsahu Váha kritéria Předmět hodnocení 10,5 % Kritérium primárně hodnotí celkovou přiměřenost rozpočtu projektu jeho obsahové náplni a rozsahu, tj. dílčím aktivitám a předpokládaným výstupům projektu. Národní vzdělávací fond, 22. 6. 2012

Zjištěné nedostatky Při hodnocení kritéria dochází k přesahům do dalších kritérií (přiměřenost nákladů na realizační tým - kritérium C1; přiměřenost rozpočtu projektu vzhledem k jeho výstupům kritérium F3; posouzení zdůvodnění položek rozpočtu vzhledem ke klíčovým aktivitám - kritérium E2) a není Strana 115 / 143

Návrh řešení Doporučujeme předmět hodnocení kritéria zúžit na posouzení přiměřenosti jednotkových cen rozpočtu i rozpočtu jako celku. Při hodnocení přiměřenosti nelze

Dalšími aspekty hodnocení kritéria je metodicky ošetřeno, posouzení nezbytnosti položek při hodnocení kritéria. zařazených do rozpočtu a zdůvodnění jednotlivých položek v rozpočtu vzhledem ke klíčovým aktivitám.

jak

tyto

aspekty

zohlednit vypustit vazbu na zdůvodnění položek v textové části žádosti, pak ale musí být jasně vymezena hranice mezi kritérii E1 a E2.

E2 Přehlednost, srozumitelnost a věcná správnost rozpočtu Váha kritéria Předmět hodnocení Zjištěné nedostatky 4,5 % Kritérium hodnotí přehlednost, Způsob hodnocení kritéria je nastaven nesrozumitelně, není srozumitelnost, a věcnou správnost jasně stanoveno, co je myšleno pojmy „přehlednost“, rozpočtu. „srozumitelnost“ a „věcná správnost“. Např. „věcná správnost“ je na jednom místě vztažena k tomu, „zda jsou dílčí položky rozpočtu zařazeny do správných kategorií atd.“, jinde pak je uvedeno, že „věcnou správností je míněn zejména soulad se způsobilými výdaji, které je možné z projektu hradit“. V rámci kritéria posuzované dodržení limitů pro jednotlivé skupiny výdajů se posuzuje již v rámci hodnocení přijatelnosti (kritérium č. 9). Kritérium E2 není nastaveno eliminačně, na nedodržení procentuálních limitů lze pouze upozornit, resp. snížit hodnocení. Tak ale dochází k nerovné soutěži.

Návrh řešení Posuzování kvality zpracování rozpočtu je na místě posuzovat v rámci samostatného kritéria. Je však třeba zpřesnit metodiku kritéria tak, aby byla srozumitelná. Z hodnocení kritéria doporučujeme vypustit posuzování dodržení limitů pro jednotlivé skupiny výdajů, neboť to je již předmětem hodnocení přijatelnosti.

Skupina kritérií F Výsledky a výstupy Anotace významu této skupiny kritérií z Příručky pro hodnotitele: „Klíčová skupina kritérií v podstatě hodnotí reálnost postupů při naplňování výsledků/výstupů. Hodnotitel se v rámci této skupiny zaměřuje na hodnocení výběru monitorovacích indikátorů, věrohodnost jejich hodnot a celkovou přiměřenost vzhledem k požadovaným prostředkům.“ F1 Šíře a adekvátnost výběru monitorovacích indikátorů Váha kritéria Předmět hodnocení 7% Kritérium hodnotí, zda jsou monitorovací indikátory zvoleny vhodně, a to jak z hlediska jejich počtu (zda jsou vybrány všechny pro projekt relevantní indikátory), tak věcné náplně Národní vzdělávací fond, 22. 6. 2012

Zjištěné nedostatky Kritérium je nastaveno zřetelně (patří mezi nejméně riziková kritéria vůbec). Přesto jsou v textu některé zavádějící informace, např. hodnocení „přiměřenosti“ MI vzhledem k cílům a náplni projektu a dále hodnocení „kvality“ MI ve vazbě Strana 116 / 143

Návrh řešení Doporučujeme i nadále zachování kritéria při nastavení jednoznačně interpretovatelné metodiky hodnocení kritéria a úpravě hodnotící stupnice.

(zda jsou indikátory metodicky správně).

nastaveny na KA, rozpočet, CS atd. Kritérium bylo prvotně nastaveno nepříliš jasně. Nebylo čitelné, jakým způsobem uchopit hodnocení kvality monitorovacích ukazatelů. V rámci revize Příručky pro hodnotitele bylo doplněno hodnocení metodické správnosti nastavení monitorovacích ukazatelů. Tomu už ale neodpovídá stupnice slovních deskriptorů (zcela přiměřená - zčásti přiměřená - zčásti nepřiměřená - nepřiměřená), která akcentuje kvantitativní komponentu kritéria a hodnocení kvality, tj. soulad se metodikou, svým zněním neobsáhne. F2 Reálnost kvantitativních hodnot monitorovacích indikátorů Váha kritéria Předmět hodnocení Zjištěné nedostatky 8% Kritérium hodnotí, zda jsou kvantitativní Kritérium není metodicky nastaveno příliš zřetelně. Matoucí hodnoty monitorovacích indikátorů je v rámci revize Příručky pro příjemce doplněný text nastaveny reálně a věrohodně. zaměřený na posuzování inovativních produktů (odkazuje tedy na posouzení souladu s metodikou, což je předmětem hodnocení kritéria F1). V popisu obsahu kritéria není řešen přesah do kritéria B2 (reálnost velikosti CS vs. přiměřenost velikosti CS) a jeho promítnutí do hodnocení. Jako nevhodný se jeví zvolený ilustrativní příklad, který odkazuje na posouzení jasného formulování výstupů projektu a neřeší vůbec aspekt reálného nastavení těchto hodnot, který by měl být těžištěm hodnocení tohoto kritéria. F3 Přiměřenost výsledků vzhledem k požadovaným prostředkům Váha kritéria Předmět hodnocení Zjištěné nedostatky 5% Kritérium hodnotí přiměřenost poměru Kritérium je popsáno značně nejasně a nevyplývá z něj, „cena/výkon“, tzn., zda výstupy projektu co konkrétně má hodnotitel posuzovat a o jaké kvalitativní jsou přiměřené vynaloženým finančním ukazatele se při hodnocení opírat. prostředkům. Nevyjasněný zůstává i přiznaný překryv s kritériem E1 (u tohoto kritéria je tendence volit stejný slovní deskriptor jako v kritériu E1, jak ukazuje analýza vzorku projektů).


Strana 117 / 143

Návrh řešení Doporučujeme i nadále zachování kritéria při nastavení jednoznačně interpretovatelné metodiky hodnocení kritéria.

Návrh řešení Hodnocení přiměřenosti výsledků vzhledem k požadovaným prostředkům může mít v rámci hodnocení své opodstatnění, ale musí být zcela jasné, jakým způsobem kritérium uchopit, aby ve výsledku nebylo kontraproduktivní (hrozba kladného hodnocení projektů

s nadsazenými výstupy anebo podhodnoceným rozpočtem, tzn. rozpor s kritériem F2). V případě nemožnosti nastavení objektivní metodiky posuzování kritéria doporučujeme jeho vypuštění.

G Rozpor s horizontálními tématy G Rozpor s horizontálními tématy Váha kritéria Předmět hodnocení Zjištěné nedostatky nebodované Kritérium hodnotí, zda projekt je či není Kritérium je vymezeno negativně jako eliminační a hodnotí kritérium v rozporu s horizontálními tématy. pouze soulad či nesoulad s principy horizontálních témat. Takto nastavené hodnocení nepřináší žádnou přidanou hodnotu ze strany hodnotitele.


Strana 118 / 143

Návrh řešení Pokud by předmětem posuzování horizontálních témat mělo být pouhé rozhodnutí, zda projekt je či není s nimi v rozporu, pak navrhujeme kritérium vypustit a posoudit v rámci hodnocení přijatelnosti. Hodnocení horizontálních témat v rámci věcného hodnocení by mělo smysl, pokud by bylo koncipováno alespoň jako kombinované a posuzoval by se vliv projektu na naplňování těchto témat, tzn. projekty s negativním vlivem, neutrálním vlivem, pozitivním vlivem či projekty přímo zaměřené na vymezená horizontální témata. Pak by ale musela být i zpřesněna metodika a jasně vymezeny charakteristiky negativního, neutrálního a pozitivního vlivu a přímého zaměření projektu na horizontální témata.

Zjednodušený návrh kriteriálního rámce pro aplikační specifické projekty Na základě výše uvedené analýzy stávajícího kriteriálního rámce pro projekty OP LZZ, navrhujeme jednodušší variantu, která by nicméně měla postihnout všechny zásadní aspekty pro výběr kvalitních projektových žádostí: 

přínos projektu - protože jde z hlediska posuzování kvality projektového záměru o klíčová kritéria, navrhujeme, aby byla výrazně zvýšena váha těchto kritérií



navrhujeme eliminovat křížové posuzování vnitřní logiky v rámci jednotlivých kritérií a doporučujeme zařadit samostatné kritérium, v jehož rámci by se posuzovala konzistentnost a vnitřní logika projektu



navrhujeme opustit koncept kombinovaných, resp. eliminačních kritérií, jako pojistky pro identifikaci projektů, které nebyly vyfiltrovány v rámci posuzování přijatelnosti



navrhujeme vypustit ta kritéria, která jsou z velké části posuzována v rámci jiných kritérií



navrhujeme předmět každého kritéria zacílit na jasně ohraničenou oblast

Tyto návrhy jsou promítnuty do níže uvedeného příkladu zjednodušeného kriteriálního rámce. Váhy jednotlivých kritérií jsou vyjádřeny pouze ilustrativně na barevně odstupňované škále. Pro návrh konkrétních procentuálních vah jednotlivých kritérií by bylo nutné provést detailní analýzu, která přesahuje možnosti této zakázky. Tabulka 13: Příklad návrhu zjednodušeného kriteriálního rámce pro aplikační specifické projekty Název kritéria

Zaměření kritéria

Typ kritéria

Váha kritéria

Posouzení celkového přínosu projektu. A1 Přínos projektu

/Pozn. bude zahrnovat i zhodnocení přínosu projektu pro cílovou skupinu; jako součást přínosu projektu může být posouzena i inovativnost projektu/

A2 Potřebnost projektu/vazba na cíle výzvy (oblasti podpory)

Posouzení potřebnosti projektu v kontextu celkové strategie zaměření výzvy, popř. oblasti podpory. Posouzení vymezení cílové skupiny z hlediska kvantitativního a kvalitativního, včetně identifikace problémů cílové skupiny. Posouzení způsobu práce s cílovou skupinou před zahájením i v průběhu projektu. Posouzení kapacity realizačního týmu, a to ve vztahu k velikosti cílové skupiny, věcné náplni projektu a objemu činností zajišťovaných dodavatelsky Posouzení předchozích zkušenosti žadatele nebo členů realizačního týmu s realizací obdobných projektů (tematicky i obdobného finančního objemu). Posouzení kvality, nezbytnosti a logické provázanosti klíčových aktivit a řízení projektu.

B1 Vymezení cílové skupiny B2 Způsob zapojení cílové skupiny C1 Kapacita realizačního týmu

C2 Zkušenosti žadatele a členů týmu D1 Způsob realizace projektu Národní vzdělávací fond, 22. 6. 2012

K

K

H H H

H

H

Strana 119 / 143

D2 Konzistentnost projektu D3 Rizikovost projektu E1 Přiměřenost rozpočtu E2 Kvalita zpracování rozpočtu F1 Nastavení monitorovacích indikátorů F2 Adekvátnost monitorovacích indikátorů F3 Udržitelnost projektu G Vazba na horizontální témata

Posouzení vnitřní konzistentnosti projektu (vazby mezi záměrem a cíli projektu obsahem klíčových aktivit - výstupy klíčových aktivit - výstupy a výsledky projektu). Posouzení reálné míry rizikovosti projektu. Posouzení přiměřenosti (hospodárnosti) jednotkových cen rozpočtu i rozpočtu jako celku. Posuzování kvality zpracování rozpočtu, a to především z hlediska zřetelnosti vazeb rozpočtu na klíčové aktivity projektu. Posouzení volby adekvátního počtu monitorovacích ukazatelů a metodické správnosti nastavení jejich cílových hodnot. Posouzení reálnosti nastavení cílových hodnot monitorovacích indikátorů. Posouzení udržitelnosti projektu. Posouzení vztahu projektu k naplňování horizontálních témat.

H

K H

H

H

H H K

Legenda H = hodnotící kritérium K = kombinované kritérium Hodnotící škála nejnižší váha

nejvyšší váha

Specifická kritéria Specifická kritéria jsou nástrojem, který umožňuje v hodnocení zohlednit zaměření jednotlivých výzev, resp. těch aspektů, na které klade výzva důraz. Uplatnění specifických kritérií je smysluplné především u programů se širokým spektrem záběru, jako je právě OP LZZ. Hlavní výhodou specifických kritérií je, že nejsou stanovena centrálně a nejsou rigidní. Specifická kritéria nastavují vyhlašovatelé výzev, tedy subjekty, které jsou věcnými gestory jednotlivých intervencí operačního programu, a v rámci implementační struktury nejlépe rozumí věcné oblasti, na kterou je daná výzva zaměřena. Na druhou stranu tato výhoda vždy a priori neznamená optimální nastavení specifických kritérií, resp. metodiky jejich hodnocení. 3 Další výhodou specifických kritérií pak je skutečnost, že mohou sloužit jako pružný nástroj reakce na změny socioekonomické situace nebo dalších aktuálních problémů ve společnosti, jejichž řešení může operační program ovlivnit.

3

Viz např. RegioPartner, s.r.o., ZÁVĚREČNÁ ZPRÁVA - Roční operační vyhodnocení OP LZZ 2009, Praha 2010


Strana 120 / 143

Doporučujeme, aby byla specifická kritéria jako doplňkový nástroj pro věcné hodnocení zachována i pro další programové období. Rovněž doporučujeme několik hlavních obecných zásad pro jejich nastavení, aby mohlo být v maximální míře využito jejich potenciálu:     

úzká vazba na zaměření cílů výzvy a oblasti podpory úzká vazba na aktuální problémy ve společnosti, věcně související se zaměřením výzvy jednoznačně definovaný předmět specifického kritéria / specifických kritérií vyvarování se překryvu s předmětem hodnocení některého z obecných kritérií (specifická kritéria nicméně mohou obecná kritéria vhodně doplňovat) jednoznačná a precizně zpracovaná doprovodná metodika pro hodnocení specifického kritéria / specifických kritérií (definice předmětu kritéria, vysvětlení významu kritéria v kontextu dané výzvy, doprovodná metodika pro přiřazování konkrétní bodové hodnoty či slovního deskriptoru, ilustrativní příklad, požadavky na náležitosti hodnotícího komentáře z hlediska struktury a obsahu)jako příklad může sloužit specifické kritérium č. 1 - Tvorba nových pracovních míst a podpora umístění na volná pracovní místa ve výzvě 91 pro globální grant oblasti podpory 2.1.

Zjednodušený návrh kriteriálního rámce pro systémové projekty V předchozí kapitole byla naznačena procedura výběru systémových projektů. Expertní posouzení kvality systémových projektů by do výběrového procesu vstupovalo ve dvou fázích. V první fázi bude alespoň třem věcným hodnotitelům (expertům na danou oblast) předložen k posouzení projektový záměr. Hodnotitelé by postupovali při svém hodnocení v souladu s kriteriálním rámcem, zaměřeným na posouzení potřebnosti a přínosu projektu. Tabulka 14: Příklad zjednodušeného kriteriálního rámce pro expertní posouzení projektového záměru systémových projektů Název kritéria S1a Potřebnost projektu

S1b Vazba na rozvojové strategie a politiky S1c Vymezení cílové skupiny S1d Přínos projektu


Zaměření kritéria

Typ kritéria

Posouzení zdůvodnění potřebnosti projektu, popsaného v projektovém záměru, resp. kvality doložené analýzy problému (vstupní analýza, věcná analýza, strategická analýza apod.)

H

Vazba na strategie a politiky v dané věcné oblasti (např. politika zaměstnanosti, politika boje s chudobou) na předmětné úrovni (národní, regionální)

H

Posouzení kvantitativního a kvalitativního vymezení cílové skupiny, včetně identifikace problémů cílové skupiny

H

Posouzení celkového přínosu projektu z hlediska změny systému poskytování dané služby a přínosu pro cílovou skupinu.

H

Váha kritéria

Strana 121 / 143

Ve druhé fázi by již byl posuzován kompletně popsaný projekt ve specifické projektové žádosti, ve které již by nebyla posuzována potřebnost projektu, ale konzistentnost jeho obsahu se schváleným projektovým záměrem a kvalita zpracování projektového cyklu. Tabulka 15: Příklad zjednodušeného kriteriálního rámce pro expertní posouzení systémových projektů Název kritéria S2a Soulad s projektovým záměrem

Typ kritéria

Zaměření kritéria Posouzení věcného souladu se schváleným projektovým záměrem (pokud by se projekt věcně odchyloval od schváleného projektového záměru, projekt by se dále neposuzoval a inovovaný projektový záměr by znovu musel projít úvodní schvalovací procedurou)

S2b Způsob realizace projektu

S2c Rozpočet projektu S2d

Kvalita monitorovacích indikátorů S2f Udržitelnost projektu

E

Posouzení kvality, nezbytnosti a logické provázanosti klíčových aktivit, způsobu řízení projektu, včetně nastavení nástrojů průběžné vnitřní evaluace

H

Posouzení hospodárnosti rozpočtu (posouzení kalkulace veřejné zakázky)

H

Posouzení reálné míry rizikovosti projektu

Rizikovost projektu S2e

Váha kritéria

H

Kvalitativní posouzení výstupů projektu (vždy se bude jednat o ukazatele nově vytvořených nebo inovovaných produktů)

H

Posouzení udržitelnosti (zabezpečení realizace opatření, nástroje)

H

projektu vytvořeného

Legenda H = hodnotící kritérium E = eliminační kritérium Hodnotící škála nejnižší váha


nejvyšší váha

Strana 122 / 143

Doporučení k hodnotící stupnici Komparace systémů hodnocení ve stávajících programech ESF v ČR V programech spolufinancovaných z ESF se v současné době využívají 2 systémy pro vyjádření hodnotícího soudu v jednotlivých hodnotících kritériích, resp. jejich kombinace. OP VK využívá systému bodové stupnice o rozdílných intervalech dle váhy jednotlivých kritérií, resp. subkritérií. Tento systém byl prvotně označen jako vysoce rizikový, protože k bodovým škálám nebyla zpracována podrobná doprovodná metodika4, a byl jednou z příčin pro vysoké procento arbitrážních hodnocení. V poslední revizi Příručky pro věcné hodnocení a výběr projektů OP VK (verze 8) je již alespoň stručná metodika pro udělování bodových hodnot obsažena. Jediným nebodovaným kritériem je vylučovací kritérium Horizontální témata. Vztah projektu k horizontálním tématům je zhodnocen v komentáři (nepřidělují se body ani se nevybírá slovní deskriptor). V OP VK jsou všechna kritéria povinně komentovaná. OPPA využívá systém standardizovaných slovních deskriptorů (stupnice „Ano“ - „Spíše ano“ „Spíše ne“ - „Ne“), které jsou vztaženy k předdefinovanému výroku kritéria. Tento systém má oproti OP LZZ tu výhodu, že nedochází k nesouladu mezi zaměřením kritéria a definicí slovních deskriptorů. Vybraný slovní deskriptor se automaticky převádí na číselnou hodnotu (tzn. odpovídající počet bodů), která je hodnotiteli viditelná. Příručka pro expertní posouzení neobsahuje podrobně rozpracovanou doprovodnou metodiku pro výběr konkrétního slovního deskriptoru, a tudíž do hodnocení kritérií vstupuje v menší či větší míře subjektivní prvek. U všech hodnotících kritérií musí být k vybranému slovnímu deskriptoru přiřazen odpovídající hodnotící komentář. OP LZZ oba tyto systémy kombinuje. Při posuzování obecných kritérií jsou přiřazovány slovní deskriptory, u některých kritérií je hodnotící komentář povinný (kritéria A1, A2, A3, B1, B3, C1, D1, E1, F2) u některých není (kritéria B2, B4, C2, D2, D3, E2, F1, F3). Tři kritéria (C3, D4 a G), která jsou nastavena jako eliminační, mají povahu pouze komentovaných kritérií, tj. nemají žádnou bodovou váhu a jejich hodnocení se nepromítne do výsledného bodového výsledku projektové žádosti. OP LZZ pracuje ještě s tzv. kombinovanými kritérii, která mají bodovou váhu, tzn., že jsou hodnocena prostřednictvím slovních deskriptorů, jsou povinně komentovaná, ale zároveň slouží jako vylučovací (kritéria A2, B1). Při posuzování specifických kritérií OP LZZ používá bodovou stupnici o různých intervalech (záleží na konkrétní výzvě). Metodika hodnotících kritérií obsahuje rozpracovanou metodiku pro přiřazování konkrétních číselných hodnot.

4

Evaluace a optimalizace nastavení systému hodnocení projektů operačních programů v programovém období 2007 – 2013 (PROJEKT NOK), s. 32


Strana 123 / 143

Z výše uvedené zjednodušené komparace vyplývá, že na projekty zaměřené na rozvoj lidských zdrojů lze aplikovat oba přístupy. Výhody a nevýhody každého ze systémů jsou shrnuty v následující tabulce. Tabulka 16: Výhody a nevýhody systémů hodnocení Systém hodnocení

Výhody - možnost využití standardizované

škály pro všechna kritéria Stupnice slovních deskriptorů

Bodová stupnice

(viz např. viz metodika pro expertní hodnocení OPPA, který pracuje se škálou „Ano“, „Spíše ano“, „Spíše ne“, „Ne“)

- postačující jen několikastupňová hodnotící škála i u kritérií s velkou významností a vysokou procentní vahou - jednoduché a jasné vyjádření pomocí číselné hodnoty - využití u složených kritérií (každé z komponent kritéria lze vyčlenit vlastní bodový „podinterval“ (viz např.metodika pro věcné hodnocení OP VK)

Check-list

- bodová váha kritéria se vypočítá automaticky - eliminace subjektivního přístupu v přiřazování bodů nebo slovního deskriptoru

Nevýhody - vysoké nároky na jasnou formulaci slovních deskriptorů - obtížné hodnocení složených kritérií - nutnost podrobné a precizní metodiky pro přiřazování slovních deskriptorů - nemožnost zcela eliminovat prvek subjektivity

- široký bodový interval u kritérií s velkou významností a vysokou procentní vahou - nutnost zpracování podrobné a precizní metodiky pro přiřazování slovních deskriptorů - nemožnost zcela eliminovat prvek subjektivity - náročnost specifikace uzavřených otázek - riziko nejednoznačných otázek - riziko nemožnosti volby Ano/Ne - nezbytnost testování na rozsáhlejším vzorku

Určující pro výběr vhodného systému hodnocení je kompozice kriteriálního rámce. Pokud bude obsahovat složená kritéria, která postihují více aspektů projektu, je vhodnější zvolit bodovou škálu, kdy každá z komponent hodnocení bude tvořit subkritérium s vymezením dílčího bodovacího intervalu. Tím se předejde nežádoucímu stavu, kdy je více aspektů projektu hodnoceno prostřednictvím souhrnného hodnotícího soudu (tj. systém slovních deskriptorů). Pokud bude kriteriální rámec obsahovat úzce zaměřená kritéria, ke kterým lze vztáhnout jednoznačné slovní hodnocení, je možné využít předností systému pracujícího se slovními deskriptory, tj. především možnosti aplikace omezené škály hodnotících deskriptorů (optimální jsou 4 stupně hodnotící škály) pro všechna kritéria, bez ohledu na jejich procentuální váhu v souhrnném hodnocení. Pro realizaci obou systémů tak, aby mohly generovat srovnatelné výstupy (tzn. eliminovat subjektivní chápání předmětu hodnocení a sladění přístupu po linii závažnost zjištěných nedostatků - volba příslušného deskriptoru nebo udělení příslušného počtu bodů), je však nezbytná kvalitní metodická báze, tj. musí být zpracována detailní doprovodná metodika, která bude jasně určovat kritéria, na základě kterých bude přiřazena konkrétní bodová hodnota nebo Národní vzdělávací fond, 22. 6. 2012

Strana 124 / 143

konkrétní slovní deskriptor. Pokud bude vybrán jeden z přístupů, doporučujeme ho již nekombinovat s dalším. V případě aplikace systému využívajícího slovních deskriptorů obecně doporučujeme používat škálu se sudým počtem variant (optimálně 4 stupně u všech kritérií) a vyvarovat se znění deskriptorů typu „střední“, „průměrný“, „ne zcela jasně vymezený“, „průměrně přesvědčivý“ apod. Výrok slovního deskriptoru musí bezpodmínečně ladit se zaměřením kritéria. Pokud není možné pregnantně definovat konkrétní deskriptory formulované dle zaměření konkrétního kritéria, doporučujeme využít standardizované škály slovních deskriptorů vázané na hodnotící výrok daného kritéria. I zde platí doporučení oba přístupy nekombinovat. Jako alternativní systém k oběma zavedeným postupům uvádíme hodnocení pomocí check-listu. Ke každému z hodnotících kritérií by byla formulována sada uzavřených otázek, u kterých by hodnotitel zaškrtl variantu „Ano“ nebo „Ne“. Bodové hodnocení kritéria by se dopočítalo na základě zadaného algoritmu automaticky. Hodnotitel by ke každému kritériu uvedl slovní komentář, ze kterého by vyplývala vazba na odpovědi na otázky v check-listu.


Strana 125 / 143

III. Vzdělávací programy pro hodnotitele a výběrové komise 8.

Vzdělávací program pro hodnotitele

8.1

Východiska pro zpracování vzdělávacího programu pro hodnotitele

Řídící orgán identifikoval velké rozdíly v kvalitě práce jednotlivých hodnotitelů, které se s postupem realizace OP LZZ nesnižují a počet „vynucených“ třetích hodnocení neklesá. Proto zadavatel požadoval přípravu a realizaci nového (adaptovaného) vzdělávacího programu pro hodnotitele. V první etapě zakázky byla zpracována analýza vzdělávacích potřeb začínajících i stávajících hodnotitelů (podložená dotazníkovým šetřením u Řídícího orgánu, externího administrátora a vybraných hodnotitelů). Na základě výsledků analýzy vzdělávacích potřeb a na základě analýzy hodnocení jednotlivých hodnotících kritérií vybraných 500 grantových a 22 individuálních projektů byl navržen i) obecný modulový vzdělávací program v rozsahu 2 + 2 dny (1 výukový den, 2 dny samostatné práce hodnotitelů, 1 zpětnovazební a konzultační den) ii) specifický modulový vzdělávací program pro jednotlivé výzvy k předkládání projektů v rozsahu 2 x 2 – 3 hodiny (1 den seznámení se specifiky výzvy, 1 den zpětná vazba po ukončení výzvy)

8.2

Struktura vzdělávacího programu pro hodnotitele

Obecný vzdělávací program byl navržen ve formě šablon jednotlivých modulů, kde byl specifikován název, cíl, výstup, časová dotace i forma výukových materiálů. Tento plný popis je součástí průběžné zprávy. Obsah obecného vzdělávacího programu byl rozložen do 12 modulů A - L, z nich první 3 byly více teoretické a informační, další moduly se soustředily na praktickou ukázku hodnocení referenčního projektu, samostatnou práci hodnotitelů a poskytnuté zpětné vazby k práci hodnotitelů i spokojenosti s realizovaným školením. Na základě zpětné vazby od účastníků školení (jednalo se o stávající hodnotitele, nikoliv nové), byla struktura obecných modulů A – C upravena do formy lépe vyhovující zkušeným hodnotitelům, včetně úpravy konkrétního programu školení a vypracování nové verze výukových materiálů (obojí v příloze č. 1). Pro specifická školení byly zpracovány pouze návrhy obsahu 11 modulů, vzdělávací materiály nebyly ke konkrétní výzvě zpracovávány.


Strana 126 / 143

Následně uvádíme obsah upravených modulů A – C školení hodnotitelů (ostatní již byly předmětem průběžné zprávy) : Název vzdělávacího programu

Obecné školení hodnotitelů OP LZZ

Název modulu

A: Projekty OP LZZ

Cíl

Seznámit hodnotitele s požadavky na hodnocení projektů, včetně upozornění na rozdílnost při hodnocení individuálních a grantových projektů, jak posuzovat cíle projektu, partnerství a horizontální témata. Seznámit s výsledky analýzy hodnocení vzorku grantových projektů a možných důvodů pro velké rozdíly v hodnocení některých kritérií

Výstup

Po absolvování modulu bude hodnotitel:  znát potenciální vyhlašovatele výzvy OP LZZ  znát základní rozdíl mezi hodnocením IP a GP  znát jak je popsán dobrý projekt  znát princip metody SMART při nastavování a hodnocení kvality nastavení cílů projektu, bude schopen při hodnocení projektů posoudit cíle, obsah (aktivity), výstupy (indikátory), očekávané přínosy  znát horizontální témata OP LZZ a posoudit jejich zohlednění v projektech (i ve vazbě na cílové skupiny a realizační tým)  umět posoudit význam partnerství pro projekt  vědět, která kritéria jsou problematická z hlediska hodnocení

Klíčová slova

ESF, OP LZZ, globální grant, individuální projekt, cíle projektu, metoda SMART, partner v projektu, horizontální témata, hodnotící kritéria

Forma a metody

Představení, výklad, otázky a vyjasnění

Časový rozsah

30 minut

Podkladové materiály

PWP Prezentace


Strana 127 / 143

Název vzdělávacího programu


Název modulu

B: Kvalita projektu

Cíl

Vysvětlit základní rámec hodnotícího procesu a metod, které nemožno použít k definování kvalitního projektu a řízení projektových rizik

Výstup

Po absolvování modulu bude hodnotitel:  znát proces hodnocení projektů  znát svoji roli v posouzení přijatelnosti projektu  znát základní rámec věcného hodnocení projektů  jaké charakteristiky má mít kvalitní projekt  umět použít metodu logického rámce k posouzení kvality projektu (na příkladu konkrétního projektu)  znát základy analýzy a řízení rizik 

seznámit se s některými metodami identifikace rizik

 znát základy analýzy silných a slabých stránek (SWOT)

Klíčová slova

Hodnotící proces, hodnocení přijatelnosti, věcné hodnocení, obecná a specifická kritéria, IPRM, metoda logického rámce, SWOT analýza

Forma a metody

Představení, výklad, cvičení, diskuse

Časový rozsah

45 minut


PWP Prezentace, matice logického rámce


Strana 128 / 143

Název vzdělávacího programu


Název modulu

C: Podpůrné nástroje pro hodnocení

Cíl

Seznámit hodnotitele s aktuálními dokumenty pro hodnocení, s aktualizací příručky pro hodnotitele verze 1.3, se systémem poskytování zpětné vazby o hodnocení

Výstup

Po absolvování modulu bude budoucí hodnotitel:  mít aktuální přehled o metodikách a dokumentech pro hodnocení projektových žádostí  znát aktualizované informace z příručky pro hodnotitele verze 1.3 (a dalších zásadních změn provedených od této revize) - Zpětná vazba k věcnému hodnocení - Rating a kritéria pro posouzení práce hodnotitele - Databáze hodnotitelů, profil hodnotitele - Školení hodnotitelů - Hodnotící tabulka (kontextové hodnocení) - Věcné hodnocení projektu (popis kritérií) - Etický kodex  Umět použít kontextové hodnocení vědět, kde na ESF fóru najde informace o svém hodnocení i zpětnou vazbu o hodnocení partnerského hodnotitele konkrétního projektu

Klíčová slova

příručky, metodiky, hodnocení projektů, Benefit7, MONIT7+, ESF fórum

Forma a metody

Představení, výklad, otázky a vyjasnění

Časový rozsah

60 minut


PWP Prezentace


Strana 129 / 143

8.3

Vyhodnocení realizace vzdělávání hodnotitelů

Obecné školení pro hodnotitele se konalo ve čtyřech bězích v dubnu a květnu 2012 v níže uvedených termínech: 16. 4. – 20. 4. 2012 v Praze – pilotní běh 3. 5. – 10. 5. 2012 v Praze 15. 5. – 23. 5. 2012 v Brně 24. 5. – 31. 5. 2012 v Praze Program prezenčního školení byl soustředěn do úvodního a závěrečného dne. První den se věnoval teoretickým poznatkům z oblasti hodnocení projektů a prezentaci modelového hodnocení referenčního projektu ALFA. V mezidobí mezi prvním a závěrečným dnem probíhalo zpracování hodnocení referenčního projektu OMEGA/BETA účastníky školení a posouzení kvality jejich hodnocení posuzovateli (2 lektoři a 6 vybraných zkušených hodnotitelů). Poslední den pak byl soustředěn na shrnutí výsledků cvičného hodnocení a diskusi o hodnocení jednotlivých kritérií. Na závěr školení vypracovali účastníci školení odborný test. Celkově vzděláváním prošlo 129 účastníků, z nich 120 zpracovalo hodnocení projektu (3 hodnocení došla až po termínu zpracování souhrnného hodnocení, avšak posouzení kvality hodnocení přesto obdrželi) a 119 vypracovalo závěrečný test. Zpětnou vazbu ve formě hodnotícího dotazníku poskytlo 114 účastníků školení. Vyhodnocení kvality zpracování hodnocení jednotlivých účastníků školení bylo provedeno ve formě komentářů do hodnotících formulářů projektu OMEGA, zpracovaných hodnotiteli a dále vypracováním posudků výkonu hodnotitelů na základě níže uvedených kritérií 1. 2. 3. 4.

Soulad hodnocení s metodikou Kvalita a srozumitelnost hodnotícího komentáře Soulad hodnotícího komentáře a vybraného slovního deskriptoru Kontextové hodnocení

Celkové hodnocení pak bylo průměrnou známkou za uvedená kritéria, v rozsahu 1 – 4. Přidělené známky se pohybovaly v rozmezí 1 – 3, průměrná známka byla 1,76. Závěrečný test byl koncipován formou „One-choice“, ale přesto byl poměrně náročný, tak aby se podařilo rozvrstvení hodnotitelů podle znalostí i podle schopnosti nalézt chybná řešení. Některé otázky byly jednodušší (proces hodnocení a výběru projektů, kontextové hodnocení, nepřímé náklady) a počet správných odpovědí dosahoval maxima, jiné otázky byly pro mnohé složité (oprávněnost žadatele, partnerství). Na základě testu nelze vyvozovat, že danou oblast hodnotitelé neznají, mnohdy to bylo dáno náročností otázky. Přesto však výsledky testu byly poměrně dobré, průměrný počet správných odpovědí byl 8,76 ze 12 otázek, nejvyšší počet správných odpovědí dosáhl pouze jeden účastník, na opačném konci spektra se pohyboval také 1 účastník s pouhými 4 správnými odpověďmi. Prvního běhu školení se kromě hodnotitelů zúčastnili jako pozorovatelé rovněž zástupci Řídícího orgánu OP LZZ, všech běhů se jako aktivně vystupující lektor zúčastnil rovněž zástupce Řídícího orgánu. Školení připravili a realizovali pracovníci NVF.


Strana 130 / 143

1. VYHODNOCENÍ REFERENČNÍHO PROJEKTU OMEGA / BETA Školení hodnotitelů, Praha + Brno, duben - květen 2012 Souhrnné statistické shrnutí a) Celkové hodnocení Počet zpracovaných hodnocení Doporučen k financování - ANO Doporučen k financování - NE Max. bodové hodnocení Min. bodové hodnocení

117 39 78 35,465 bodů 91,235 bodů

b) Rozložení bodů - obecná kritéria Interval 1 - 9 bodů Interval 10 - 19 bodů Interval 20 - 29 bodů Interval 30 - 39 bodů Interval 40 - 49 bodů Interval 50 - 59 bodů Interval 60 - 69 bodů Interval 70 - 79 bodů Interval 80 - 89 bodů Interval 90 - 100 bodů

0 0 0 3 21 34 32 18 8 1

c) Rozložení bodů - specifické kritérium 0 bodů / nehodnoceno 1 bod 2 body 3 body 5 bodů


7 7 4 42 8

Strana 131 / 143

A1 Zdůvodnění potřebnosti projektu velice přesvědčivé přesvědčivé průměrně přesvědčivé málo přesvědčivé nepřesvědčivé A2 Vazba na cíle výzvy velice těsná vazba těsná vazba přijatelná vazba A3 Zhodnocení cílů projektu jasně vymezené a relevantní cíle nejsou zcela jasně vymezené a jsou relevantní cíle jsou jasně vymezené, ale nejsou relevantní cíle jsou nejasně vymezené a nejsou relevantní B1 Jasné vymezení cílové skupiny jasně vymezená ne zcela jasně vymezená patně vymezená B2 Přiměřenost cílové skupiny vychází z potřeb cílové skupiny částečně vychází z potřeb cílové skupiny nevychází z potřeb cílové skupiny B3 Přínos projektu pro cílovou skupinu vysoký značný střední malý velice malý žádný B4 Způsob zapojení cílové skupiny intenzivní a adekvátní zapojení dílčí a adekvátní zapojení intenzivní a neadekvátní zapojení dílčí a neadekvátní zapojení zcela nedostatečné žádný deskriptor C1 Kompetence žadatele velice dobrá značná střední malá velmi malá zcela nedostatečná C2 Zkušenosti žadatele a členů týmu vyhovující zcela cílům projektu vyhovující dílčím způsobem cílům projektu nevyhovující cílům projektu


1. běh

2. běh

3. běh

4. běh

souhrn

0% 19% 29% 38% 14%

3% 21% 55% 21% 0%

8% 31% 42% 19% 0%

8% 28% 36% 22% 6%

5% 25% 42% 24% 4%

29% 33% 38%

24% 52% 24%

31% 46% 23%

31% 50% 19%

28% 47% 25%

19% 33% 24% 19%

20% 50% 18% 12%

27% 46% 19% 8%

25% 41% 17% 17%

23% 44% 19% 14%

19% 81% 0%

35% 59% 6%

38% 58% 4%

31% 56% 13%

32% 62% 6%

14% 76% 10%

38% 53% 9%

35% 65% 0%

33% 67% 0%

32% 64% 4%

5% 5% 28% 48% 14% 0%

3% 12% 67% 12% 6% 0%

15% 8% 46% 31% 0% 0%

6% 25% 44% 22% 0% 3%

7% 14% 49% 26% 3% 1%

5% 43% 24% 18% 5% 5%

12% 50% 9% 29% 0% -

46% 35% 4% 15% 0% -

31% 33% 11% 17% 8% -

24% 40% 11% 21% 3% 1%

5% 38% 43% 14% 0% 0%

18% 21% 52% 6% 3% 0%

4% 46% 38% 8% 4% 0%

11% 45% 33% 11% 0% 0%

10% 37% 42% 9% 2% 0%

43% 52% 5%

41% 59% 0%

35% 65% 0%

47% 53% 0%

42% 57% 1%

Strana 132 / 143

D1 Volba a popis klíčových aktivit a harmonogram projektu zcela adekvátní k náplni projektu 0% adekvátní k náplni projektu 28% částečně nevyhovující náplni projektu 62% nevyhovující náplni projektu 10% žádný deskriptor D2 Předpoklady pro udržitelnost projektu vysoké 29% přiměřené 38% malé 33% žádné 0% D3 Kvalita řízení rizik zvláště vysoká 0% vysoká 5% průměrná 71% špatná 24% velice špatná 0% E1 Přiměřenost rozpočtu projektu jeho obsahové náplni a rozsahu rozpočet je zcela přiměřený 14% rozpočet je mírně nadhodnocen či podhodnocen 57% rozpočet je velmi nadhodnocen či podhodnocen 29% zcela nepřiměřený 0% E1 Přiměřenost rozpočtu projektu jeho obsahové náplni a rozsahu vysoká 5% značná 32% střední 24% malá 24% velice malá 5% zcela nedostatečná 5% žádný deskriptor 5% F1 Šíře a adekvátnost výběru monitorovacích indikátorů zcela přiměřená 66% zčásti přiměřená 19% zčásti nepřiměřená 10% nepřiměřená 0% žádný deskriptor 5% F2 Reálnost kvantitativních hodnot monitorovacích indikátorů vysoká 14% stření 48% nízká 38% velmi nízká 0% žádný deskriptor F3 Přiměřenost výsledků vzhledem k požadovaným prostředkům zcela přiměřená 19% mírně nadhodnocená či podhodnocená 38% velmi nadhodnocená či podhodnocená 33% zcela nepřiměřená 5% žádný deskriptor 5%


3% 26% 65% 6% -

4% 27% 62% 8% -

3% 42% 44% 8% 3%

3% 32% 56% 8% 1%

15% 59% 26% 0%

23% 58% 19% 0%

22% 61% 17% 0%

21% 56% 23% 0%

0% 6% 79% 15% 0%

4% 19% 65% 12% 0%

0% 31% 38% 31% 0%

1% 16% 62% 21% 0%

0% 71% 29% 0%

0% 88% 12% 0%

3% 64% 33% 0%

3% 70% 27% 0%

6% 44% 32% 9% 3% 3% 3%

15% 28% 42% 15% 0% 0% -

11% 42% 33% 8% 3% 0% 3%

9% 38% 33% 12% 3% 2% 3%

59% 35% 6% 0% -

85% 15% 0% 0% -

70% 19% 11% 0% -

69% 23% 7% 0% 1%

15% 76% 9% 0% -

19% 69% 8% 0% 4%

22% 67% 8% 3% -

18% 67% 13% 1% 1%

24% 49% 18% 9% -

8% 77% 15% 0% -

14% 64% 22% 0% -

16% 58% 21% 4% 1%

Strana 133 / 143

Grafické znázornění hodnocení obecných kritérií A1 Zdůvodnění potřebnosti projektu

A2 Vazba na cíle výzvy

A3 Zhodnocení cílů projektu

B1 Jasné vymezení cílové skupiny


B2 Přiměřenost cílové skupiny

Strana 134 / 143

B3 Přínos projektu pro cílovou skupinu

C1 Kompetence žadatele

D1 Volba a popis klíčových aktivit a harmonogram projektu


B4 Způsob zapojení cílové skupiny

C2 Zkušenosti žadatele a členů týmu

D2 Předpoklady pro udržitelnost projektu

Strana 135 / 143

D3 Kvalita řízení rizik

E2 Přehlednost, srozumitelnost a věcná správnost rozpočtu


E1 Přiměřenost rozpočtu projektu jeho obsahové náplni a rozsahu

F1 Šíře a adekvátnost výběru monitorovacích indikátorů

Strana 136 / 143

F2 Reálnost kvantitativních hodnot monitorovacích indikátorů

F3 Přiměřenost výsledků vzhledem k požadovaným prostředkům

Podrobný rozbor výsledků hodnocení referenčního projektu OMEGA v jednotlivých bězích školení je uveden v příloze 3.


Strana 137 / 143

2. VYHODNOCENÍ TESTU ODBORNÝCH DOVEDNOSTÍ Test zpracovalo 119 hodnotitelů, 1., 3. a 4. běh ve variantě, 2, běh pak ve variantě B. Oba testy byly zaměřeny na stejnou problematiku a jejich obtížnost byla srovnatelná. Celkově bylo rozložení správných odpovědí následující: Počet správných odpovědí 12 11 10 9 8 7 6 5 4

Počet účastníků školení 1 18 26 30 21 19 1 2 1

Úspěšnost správného zodpovězení jednotlivých otázek byla následující: Otázka - téma

Počet správných odpovědí

Počet špatných odpovědí

1 – oprávněná cílová skupina

102

17

2 – oprávněná cílová skupina

104

15

3 – způsobilost individuálního projektu

69

50

4 – oprávněnost žadatele grantového projektu

56

63

5 – obsah výzvy

91

28

6 – partnerství v projektech

47

72

7 – nepřímé náklady

116

6

8 – křížové financování

115

4

9 – způsobilost výdajů

93

26

10 – horizontální témata

25

94

11 – kontextové hodnocení

117

2

12 – proces hodnocení a výběru projektů

115

4

Celková chybovost se pohybovala na úrovni 26,7 %. Souhrn hodnocení zpracování testů za jednotlivé běhy je uveden v příloze 3.


Strana 138 / 143

3. ZPĚTNÁ VAZBA ÚČASTNÍKŮ – HODNOTÍCÍ DOTAZNÍK Celkově bylo školení účastníky hodnoceno velmi pozitivně, nejvíce oceňovali poskytnutí individuální zpětné vazby ke cvičnému hodnocení a možnost diskuse nad problematickými kritérii hodnocení. Celkové hodnocení školení bylo oceněno známkou 1 v 56%, 2 ve 40 % a 3 v 4 %, průměrná známka byla 1,46. Nejvyšší ocenění za strukturu vzdělávacího programu přidělilo 84 % respondentů, obsah jednotlivých modulů byl oceněn průměrně od známky 1,0 do známky 1,9, průměrná známka byla 1,4. Lektorky byly oceněny známkami od 1,0 do 1,6, průměrná známka byla 1,17. Horší hodnocení měla 1 lektorka (2,47), která byla po prvním pilotním běhu nahrazena jinou. Vzdělávací materiály označilo známkou 1 60% účastníků, organizaci a technické zabezpečení školení hodnotilo známkou 1 rovněž 60% účastníků. Vyhodnocení zpětné vazby od účastníků za jednotlivé běhy školení, včetně komentářů k jednotlivým otázkám, jsou uvedeny v příloze 3.


Strana 139 / 143

9.

Vzdělávací program pro výběrové komise

Obsah vzdělávacího programu byl navržen již v první etapě projektu na základě analýzy stávajícího školení výběrových komisí a požadavků, které vyplynuly ze studia relevantní dokumentace (Příručky pro hodnocení a výběr, Statut a Jednací řád výběrové komise a dokumentů předkládaných výběrové komisi. Dalším vstupem do návrhu vzdělávacího programu pro výběrové komise byly řízené rozhovory se členy výběrové komise a zástupcem Řídícího orgánu. Vzdělávací program byl navržen ve struktuře 3 modulů, z nich 2 jsou obecné – první je zaměřen na seznámení s projekty OP LZZ a systémem jejich hodnocení, druhý pak na pravidla pro práci výběrových komisí. Poslední z modulů je zaměřen na specifické informace o hodnocené výzvě. Zásadní změna obsahu školení výběrových komisí nebyla navrhována, obsah inovovaného programu se však více zaměřuje na práva a povinnosti členů výběrové komise, i komise jako celku, při posuzování návrhů hodnotitelů a zdůvodnění oproti původnímu hodnocení. Po schválení obsahu vzdělávacího programu zadavatelem byly ve druhé etapě prací zpracovány prezentace všech tří modulů, 3. pak konkrétně pro výzvu č. 88. Na základě několika připomínek ze strany zadavatele byla zpracována finální verze prezentací, která je obsahem přílohy 2 této zprávy.


Strana 140 / 143

10. Seznam zkratek AMS

Arbeitsmarktservice Österreich – veřejné služby zaměstnanosti v Rakousku

APZ CFO

Co-financing Organisation - kofinancující organizace

CS

Cílová skupina

ČR

Česká republika

EK

Evropská komise

ERDF

European Regional Development Fund -Evropský fond regionálního rozvoje

ESF

Evropský sociální fond

EU

Evropská unie

GP

Grantový projekt

IP

Individuální projekt

IS HOMO

Informační systém Hodnotitelský modul (využíváno v OP VK)

IS MONIT7+

Informační systémy spravované řídícími orgány a využívané také zprostředkujícími subjekty pro administraci projektů

KA

Klíčová aktivita

MI

Monitorovací indikátor

MMR

Ministerstvo pro místní rozvoj

MPSV

Ministerstvo práce a sociálních věcí

MŠMT

Ministerstvo školství, mládeže a tělovýchovy

NUTS II

Nomenclature des Unites Territoriales Statistique - Nomenklatura územních statistických jednotek, úroveň Region soudržnosti

NVF

Národní vzdělávací fond

OP KL

(Kapitał Ludzki)

OP LZZ

Operační program Lidské zdroje a zaměstnanost

OP VK

Operační program Vzdělávání pro konkurenceschopnost

OP ZaSI

Zamestnanosť a sociálna inklúzia

OPPA

Operační program Praha Adaptabilita

PQQ

Pre Qualification Questionnaire - předkvalifikační dotazník

RLZ

Rozvoj lidských zdrojů

RT

Realizační tým


Strana 141 / 143

ŘO

Řídící orgán

SIA

Sociální implementační agentura

SMART

Metoda ke stanovování cílů např. v rámci projektového řízení (Specific, Measurable, Attainable, Relevant, Time-bound)

SR

Slovenská republika

SŠ

Střední škola

SWOT

Analýza silných a slabých stránek

ÚP ČR VDAB VK

Úřad práce České republiky Vlaamse Dienst voor Arbeidsbemiddeling en Beroepsopleidingen (Vlámská služba pro zaměstnanost a odborné vzdělávání) Výběrová komise

VŠ

Vysoká škola

ZS



Strana 142 / 143

Přílohy 1.

Sada vzdělávacích materiálů pro hodnotitele

2.

Sada vzdělávacích materiálů pro výběrové komise

3.

Vyhodnocení realizace 4 běhů vzdělávání pro hodnotitele

3.1 – 3.4 Souhrn hodnocení projektu OMEGA Souhrn hodnocení testů účastníků školení Souhrn zpětné vazby od účastníků školení 3.5 Individuální posudky hodnotitelů (pouze elektronicky) 4.

Vzor hodnotícího dotazníku pro účastníky vzdělávání hodnotitelů

5.

Vzor testu pro účastníky vzdělávání hodnotitelů

6.

Materiály pro závěrečný seminář

Samostatné tištěné přílohy tvoří: 7.

Originály hodnotících dotazníků vzdělávaných hodnotitelů

8.

Originály vyhodnocených testů vzdělávaných hodnotitelů


Strana 143 / 143

ZJEDNODUŠENÍ A ZKVALITNĚNÍ ADMINISTRACE OP LZZ

Recommend Documents