EVALUACE OP V LETECH VÝSLEDKY META-EVALUAČNÍHO ŠETŘENÍ Mgr. Jiří Remr, Ph.D., MBA

EVALUACE OP V LETECH 2004 - 2012 VÝSLEDKY META-EVALUAČNÍHO ŠETŘENÍ

KONFERENCE 2013

Odpovědnost za výsledky a výzvy pro 2014+

EVALUACE OP V LETECH 2004 – 2012 VÝSLEDKY META-EVALUAČNÍHO ŠETŘENÍ Mgr. Jiří Remr, Ph.D., MBA 28. 5. 2013

1


Obsah Programová teorie Pozornost věnovaná zainteresovaným stranám Implementace závěrů Transparentní metodika Objektivita, exaktnost Souhrnné vyhodnocení

2


Metodika meta-evaluace I. (předmět meta-evaluace) Velikost zkoumaného souboru:

176 evaluačních zpráv

Postup provedení meta-evaluace: každá zpráva byla hodnocena třemi nezávislými posuzovateli; celkem tedy bylo provedeno 528 hodnocení

individuální hodnocení byla sjednocena; koeficient shody činí 87 %

byl vytvořen souhrn všech hodnocených evaluačních zpráv

3


Metodika meta-evaluace II. (kritéria meta-evaluace) Celkový počet hodnotících kritérií: Programová teorie Charakteristika programu, jeho principů a mechanismů působení Popis teorie programu (Program Theory) Popis kontextu evaluace …

59 ukazatelů ( v 7 dimenzích) Pozornost věnovaná zainteresovaným stranám Odhad vhodnosti aktivit vykonaných v rámci programu vzhledem k potřebám cílových skupin Identifikace jednotlivých zainteresovaných stran Specifikace přínosu pro cílovou skupinu …

4


Metodika meta-evaluace II. (kritéria meta-evaluace)

pozornost věnovaná zainteresovaným stranám

objektivita, exaktnost 4

výkonnost, efektivnost programová teorie

3

transparentní metodika

2 1

implementace závěrů orientace na výsledky

Pozn.: 4 = nejlepší; 1 = nejhorší

5


Charakteristika evaluačních zpráv Finanční zdroj

Programové období 130 evaluací

46 evaluací

3 7 45 67

74

55 23 období 2004‐2006

období 2007‐2013 údaje jsou v procentech

ESF

ERDF

FS

jiný

26 údaje jsou v procentech období období 2004‐2006 2007‐2013

Zdroj: INESAN, 2013

6


Charakteristika evaluačních zpráv Typ evaluace

Rok zpracování zpráv

on‐going

30

hodnocení systému implementace

17

ex‐ante

12

další ad‐hoc

11

hodnocení komunikačních aktivit

10

hodnocení absorpční kapacity

6

tématická evaluce

5

STRATeval ex‐post

1

interim

1

jiný typ

Zdroj: INESAN, 2013

2

2012 2011 2010 2009 2008 2007 2006 2005 2004

20 16 12 16 9 9 12 5 1

7 Pozn.: ∑ = 100 % údaje jsou v procentech

7


Programová teorie

8


Charakteristika programu, jeho principů a mechanismů působení podle programového období období 2004 ‐ 2006

žádná 8%

podrobná 32%

období 2007 ‐ 2013

73 20

27 70

10

podle finančního zdroje ESF

54

ERDF

26

FS

25

38

8

67

8

50

25

podle rozsahu evaluační zprávy méně než 40 stránek

povrchní 60%

40 ‐ 99 stránek

16 28

100 a více stránek Zdroj: INESAN, 2013

podrobná

70

povrchní

14 64

50

8 46

4

údaje jsou v procentech žádná

9


Pozornost věnovaná zainteresovaným stranám 10


Identifikace jednotlivých zainteresovaných stran podle typu evaluace ex‐ante 5

podrobná 17% žádná 35%

on‐going hodnocení komunikačních aktivit

48

10

48

44

46

41

59

podle programového období období 2004 ‐ 2006 období 2007 ‐ 2013

22

58

12

20

36

52


povrchní 48%

Zdroj: INESAN, 2013

podrobná

28

66

6

ERDF

13

40

47

FS

13

38

50

povrchní

údaje jsou v procentech žádná

11


Implementace závěrů

12


Návrh konkrétních kroků ke zlepšení v definovaných oblastech žádný 2%

podle programového období období 2004 ‐ 2006

povrchní 25%

88

období 2007 ‐ 2013

69

12 28

3


64

40 ‐ 99 stránek

podrobný 73%

32

73

100 a více stránek

5 27

82

17 2

údaje jsou v procentech Zdroj: INESAN, 2013

podrobný

povrchní

žádný

13


Specifikace silných a slabých stránek posuzovaného programu/projektu použití SWOT analýzy 28%

ano 43% ne 57%

specifikace silných a slabých stránek 72%

období 2004 ‐ 2006

73

období 2007 ‐ 2013 ano Zdroj: INESAN, 2013

34 ne

27 66

údaje jsou v procentech

období 2004 ‐ 2006 období 2007 ‐ 2013

23 30

77 70

údaje jsou v procentech použití SWOT analýzy specifikace silných a slabých stránek

14


Transparentní metodika

15


Popis metodiky provedené evaluace

podle typu evaluace povinná

žádný 7%

43

nepovinná

podrobný 51%

45

13

57

40

3


36

40 ‐ 99 stránek

50 50

100 a více stránek

14 44

63

6 33

4

36

2


povrchní 42%

62

ERDF FS

46

42

25

12

63

13

údaje jsou v procentech Zdroj: INESAN, 2013

podrobný

povrchní

žádný

16


Provedení sekundárního × primárního výzkumu v rámci evaluace provedení sekundárního i primárního výzkumu 56%

neproveden žádný výzkum 15%

provedení primárního výzkumu 14%

Zdroj: INESAN, 2013

provedení sekundárního výzkumu 15%

podle typu evaluace ex‐ante

33

14

tématická evaluce

75

hodnocení komunikačních aktivit

82

52

13 13

6 12

údaje jsou v procentech provedení sekundárního i primárního výzkumu provedení sekundárního výzkumu provedení primárního výzkumu neproveden žádný výzkum

17


Provedení kvalitativního výzkumu celkem

68

ESF

74

ERDF

ESF

68 57

FS

63

podle typu evaluace

75

podle typu evaluace ex‐ante

52

29

tématická evaluce hodnocení absorpční kapacity

63 60

podle data zpracování evaluační zprávy 70

do roku 2006

2007 ‐ 2012

68

2007 ‐ 2012


75 80

podle data zpracování evaluační zprávy

do roku 2006

Zdroj: INESAN, 2013

63

ERDF

60

FS

tématická evaluce hodnocení absorpční kapacity

celkem

podle finančního zdroje


ex‐ante

Provedení kvantitativního výzkumu

42 68


18


Objektivita, exaktnost

19


Využití exaktních informací uvádění jen slovních hodnot 12%


exaktní informace nejsou uváděny 12%

ESF

ERDF 11

uvádění jak konkrétních, tak i slovních hodnot 15%

uvádění jen konkrétních hodnot 61% Zdroj: INESAN, 2013

22

FS

58

6

14

61

17

11

63

25 13

podle data zpracování evaluační zprávy do roku 2006 2007 ‐ 2012

9 17

55 63

12 12

24 8

údaje jsou v procentech uvádění jak konkrétních, tak i slovních hodnot uvádění jen konkrétních hodnot uvádění jen slovních hodnot exaktní informace nejsou uváděny

20


Tabulky a grafy dokládající popisované jevy ani tabulky, ani grafy 6% jen grafy 2%

jen tabulky 30% Zdroj: INESAN, 2013

podle operačního programu tabulky i grafy 62%

OP Vzdělávání pro konkurenceschopnost

88

13

OP Doprava

80

20

OP Lidské zdroje a zaměstnanost

53

OP Podnikání a inovace

50

Integrovaný OP

40

tabulky i grafy jen tabulky jen grafy ani tabulky, ani grafy

40 7 50 20

40


21


Souhrnné vyhodnocení

22


Souhrnné vyhodnocení jednotlivých oblastí objektivita, exaktnost 4 pozornost věnovaná zainteresovaným stranám

3


2 1 implementace závěrů

výkonnost, efektivnost

Zdroj: INESAN, 2013

programová teorie

orientace na výsledky

Pozn.: 4 = nejlepší 1 = nejhorší

23


Souhrnné vyhodnocení jednotlivých oblastí (diference mezi dvěma operačními programy) objektivita, exaktnost 4 pozornost věnovaná zainteresovaným stranám

3

OP Vzdělávání pro konkurenceschopnost OP Rozvoj lidských zdrojů


2 1 implementace závěrů

výkonnost, efektivnost

Zdroj: INESAN, 2013

programová teorie



24


Souhrnné vyhodnocení jednotlivých oblastí (podle finančního zdroje) ESF

objektivita, exaktnost 4 pozornost věnovaná zainteresovaným stranám

3

ERDF FS transparentní metodika

2 1 výkonnost, efektivnost

Zdroj: INESAN, 2013

implementace závěrů

programová teorie



25


Závěry

26


Mezi provedenými evaluacemi existují významné rozdíly (zejména v popisu metod, v designu a ve způsobu zpracování). Postupem času dochází k postupnému zlepšování prováděných evaluací; nevíce viditelný pokrok je ve využívání exaktních informací, v realizaci kvantitativních výzkumů a v odhadu účelnosti vynakládaných prostředků. Většina evaluací věnuje nedostatečnou pozornost identifikaci zainteresovaných stran. Výjimku v tomto ohledu představují evaluace komunikačních aktivit a evaluace financované z ESF; tyto evaluace se vyznačují podrobným popisem zainteresovaných stran.

27


Děkuji za pozornost Mgr. Jiří REMR, Ph.D., MBA [email protected] + 420 602 373 855

28

EVALUACE OP V LETECH VÝSLEDKY META-EVALUAČNÍHO ŠETŘENÍ Mgr. Jiří Remr, Ph.D., MBA

Recommend Documents