Ergo 2014, 9, 2, 11–16 DOI: 10.2478/ergo-2014-0005
Metodologické nedostatky stávajícího hodnocení programů výzkumu, vývoje a inovací v ČR Stávající metodika i vlastní způsob hodnocení programů výzkumu, vývoje a inovací (VaVaI) v České republice jsou nedostatečné. Cílem tohoto článku je na základě porovnání se způsobem a přístupy hodnocení programů VaVaI ve vybraných zemích EU s vyspělou evaluační kulturou poukázat na přetrvávající metodologické nedostatky v hodnocení programů VaVaI. Hlavním nedostatkem je, že hodnocení programů není integrální součástí jejich tvorby a realizace a není chápáno jako nástroj pro efektivní využívání veřejných prostředků. Hodnocení je prováděno pouze formálně na základě prostého popisu základních informací o programech a jejich výstupech s cílem splnit požadavky metodiky souhrnného hodnocení ukončených programů, která však není metodikou, ale spíše popisem průběhu souhrnného hodnocení a obsahu zprávy z hodnocení. Nedostatečné hodnocení programů však není jen důsledkem nedostatečné metodiky, ale také nejednoznačného legislativního zakotvení povinnosti poskytovatelů hodnotit programy a využívat výsledky hodnocení pro zefektivnění správy veřejných financí.
Vladislav Čadil Technologické centrum AV ČR Recenzovaná přehledová stať Obdrženo redakcí: 21. 2. 2014 Přijato k publikování: 23. 4. 2014
Klíčová slova: evaluace, programy výzkumu, vývoje a inovací, metodika hodnocení
Methodological weaknesses of the current R&D&I programmes evaluation in the Czech Republic The current methodology and the real way of R&D&I programmes evaluation in the Czech Republic are insufficient. The article aims to point out main methodological weaknesses of the programme evaluation on the basis of comparison with evaluation approaches in selected EU countries with high level of evaluation culture. The main deficiency is that evaluation of programmes is not an integral part of their elaboration and implementation, and is not perceived as a tool for effective utilisation of public sources. Evaluation is carried out only in a very formalistic manner based on mere description of basic information and programmes outputs with the aim of meeting all requirements of the methodology of aggregate evaluation of completed programmes, which is not a methodology in the strict sense; rather it is a description of the process of evaluation and the contents of the evaluation report. Underdeveloped evaluation is not just a result of the insufficient methodology, but an ambiguous legislative definition of providers` responsibilities in programmes evaluation and utilisation of evaluation results for effective administration of public funds.
Vladislav Čadil Technology Centre ASCR Peer-reviewed synoptic paper Received: 21. 2. 2014 Accepted for publishing: 23. 4. 2014
Key words: evaluation, R&D&I programmes, evaluation methodology
Význam hodnocení programů výzkumu, vývoje a inovací (VaVaI) se v jednotlivých zemích EU, ale i na úrovni celé EU, neustále zvyšuje. Hodnocení programů má v jednotlivých zemích různě dlouhou tradici, která odráží ekonomický a politický vývoj (a také úroveň rozvoje včetně politické kultury). Zatímco např. v Německu začaly být programy a jiné nástroje politiky VaVaI hodnoceny v průběhu sedmdesátých let, ve Velké Británii zintenzivnilo hodnocení na počátku osmdesátých let, ale v Rakousku v souvislosti s navýšením veřejných prostředků na VaVaI až v průběhu devadesátých let (více viz profily zemí na portálu
Ergo / červen 2014 / Technologické centrum Akademie věd ČR
Erawatch [1]). V ČR se věnuje pozornost systematickému hodnocení programů VaVaI až od roku 2004, kdy Rada pro výzkum, vývoj a inovace (RVVI) na základě usnesení vlády č. 644 ze dne 23. června 2004 schválila Metodiku hodnocení výzkumu a vývoje a jeho výsledků. Způsob hodnocení programů v ČR a jeho výsledky včetně způsobu jejich využití při řízení programů a politik VaVaI však neodpovídá zahraničním přístupům, jak je opakovaně zdůrazňováno v Reformě systému VaVaI v ČR [2], Národní politice VaVaI [3] i ve zjištěních mezinárodního auditu systému VaVaI v ČR [4]. Kritika stávajícího způsobu hodnocení
11
programů VaVaI je s výjimkou závěrů mezinárodního auditu v těchto dokumentech obvykle velmi obecná a spíše se jen omezuje na konstatování o nevyhovujícím způsobu hodnocení. Závěry mezinárodního auditu jsou konkrétnější, avšak možná až příliš „politicky korektně“ formulované. Hlavní metodologické nedostatky zmiňuje na příliš obecné úrovni, přičemž se více zaměřuje na problematiku rozdělení kompetencí a zodpovědnosti. Cílem tohoto článku je na základě porovnání se způsobem a přístupy hodnocení programů VaVaI ve vybraných zemích EU s vyspělou evaluační kulturou poukázat na přetrvávající metodologické nedostatky v hodnocení programů VaVaI. Článek se nesnaží opakovat závěry mezinárodního auditu, ale chce poukázat na hlavní nedostatky v metodice (postupu, způsobu) hodnocení programů v ČR, které v mezinárodním auditu nezazněly či byly zmíněny jen okrajově. Vychází z analýzy zahraničních dobrých praxí (Velká Británie, Finsko, Německo, Rakousko, Nizozemsko, Švédsko), analýzy Metodiky hodnocení ukončených programů [5], zpráv ze souhrnného hodnocení ukončených programů a autorových zkušeností z hodnocení programů mezinárodní spolupráce a vybraných programů Národního programu výzkumu I a II. Shrnutí zahraničních dobrých praxí a současných trendů přináší první kapitola, další kapitola popisuje základní rozdělení kompetencí a přináší zhodnocení metodiky souhrnného hodnocení ukončených programů. Další části jsou věnovány způsobu hodnocení programů v ČR a informačním zdrojům pro hodnocení.
Současný přístup k hodnocení programů VaVaI v zemích s vyspělou evaluační kulturou V zemích s vyspělou evaluační kulturou se hodnocení programů stalo nedílnou součástí jejich tvorby a realizace. Hlavním důvodem pro hodnocení zůstává tradičně zajištění efektivity vynakládaných veřejných prostředků. Efektivita vynakládaných veřejných prostředků je v prvé řadě hodnocena na základě splnění cílů programu. Podle M. Scrivena [6] by se však evaluace neměly zaměřovat jen na otázky týkající se splnění cílů. Kladení důrazu pouze na ně totiž opomíjí široký kontext, ve kterém program působí, nevšímá si vazeb a různých vlivů (včetně neočekávaných). Hodnocení by se podle něj nemělo úzce svazovat pouze s cíli a úlohou programu, ale mělo by se věnovat i hledání efektů, přínosů, vztahů, vazeb, které program vyvolává či na ně pozitivně a/nebo negativně působí. Dalším důvodem je získání informací pro účinnou implementaci programu. Hodnocení založené na těchto důvodech je využíváno především tvůrci a realizátory politik a programů. V souvislosti se snahou jednotlivých vlád o snižování veřejných rozpočtů v období ekonomické recese vyvstala potřeba legitimizace programů, tj. ukázat politikům a široké veřejnosti společenskou smysluplnost programu a jeho pozitivní vliv na další rozvoj společnosti, hospodářství, zvyšování kvality života apod. Z hlediska druhů hodnocení postupně vzrůstá význam hodnocení dopadů, z nichž se do popředí dostávají dopady socioekonomické a ex-ante hodnocení dopadů související s potřebou legitimizace programů, kdy je nezbytné každý program řádně odůvodnit před jeho zahájením. Způsob hodnocení politik, resp. programů často bývá kodifikován v závazných předpisech pro poskytovatele účelové podpory. Jedná se o obecné dokumenty stanovující základní pravidla pro hodnocení, která se týkají druhů hodnocení, cílů, účelu hodnocení, přístupů či
12
využití metod. Přestože se jedná o velmi komplexní dokumenty, nelze je považovat za nějakou metodickou příručku, postup, podle nějž je možné bezprostředně hodnotit jakýkoliv program VaVaI. Takové cíle si ani nekladou. Je třeba je chápat jako obecný rámec pro hodnocení, na jehož základě je nutné vytvořit metodiku pro hodnocení dopadů konkrétních programů v závislosti na specifikách cílů, podporovaných aktivit, době trvání, vymezení příjemců apod. Na jednu stranu totiž poskytují jasná pravidla pro hodnocení, na druhou stranu však vytvářejí značný prostor pro zohlednění specifik jednotlivých hodnocených programů. Příkladem zakotvení způsobu hodnocení v závazných dokumentech je Velká Británie, Rakousko či Německo. Ve Velké Británii je způsob hodnocení zakotven ve dvou dokumentech. Prvním z nich je HM Treasury: The Green Book: Appraisal and Evaluation in Central Government [7], který udává základní rámec pro hodnocení. Druhým dokumentem je The Magenta Book: Guidance Notes for Policy Evaluation and Analysis [8], který představuje návod pro aplikaci zásad, postupů a metod využitelných pro evaluaci programů. Je strukturován tak, aby odpovídal praktickým potřebám tvůrců politik, analytiků a evaluátorů. V Rakousku je závazným předpisem stanovujícím povinnost důsledně evaluovat každý program včetně evaluace jeho implementace tzv. FTE-Richtlinien [9]. Dále platforma pro evaluaci FTEVAL vytvořila a publikovala standardy pro hodnocení politiky VaVaI [10], které jsou velice přehledným a obsahově bohatým dokumentem, který popisuje rámec pro hodnocení politik a programů od jejich vytváření až po vyhodnocení dopadů. Jsou závazné pro všechny poskytovatele veřejné podpory VaVaI. Německá společnost pro evaluaci (DeGEval), sdružující skupiny expertů a instituce z mnoha ekonomických a sociálních oborů využívajících široké spektrum konceptů, metod a nástrojů, vytvořila standardy pro hodnocení [11], jimiž se každé hodnocení musí řídit. Standardy jsou tvořeny čtyřmi hlavními skupinami – užitečnost, proveditelnost, správnost a přesnost. Jedním ze současných trendů v politice VaVaI je zvyšování multidisciplinarity programů VaVaI a tedy i potřeby multidisciplinárního přístupu k jejich hodnocení. Jedná se především o přechod od obecně, široce zaměřených programů pokrývajících určitý výzkumný obor k problémově zacíleným programům (např. programům orientovaného výzkumu) podporujícím multidisciplinaritu a různé cesty (prostřednictvím různých oborů) vedoucí k dosažení zvoleného cíle (řešení problému). Cíle programů bývají stanoveny velice různorodě, přičemž jeden program může mít několik různě zaměřených cílů. Ty nemusí být úzce definovány ve smyslu rozvoje určitého oboru, ale bývají ještě doplněny o rozvoj mezinárodní spolupráce, změny systému, behaviorální aspekty, adicionalitu apod. Hodnocení multidisciplinárních a komplexně zaměřených programů s sebou nese potřebu kombinace různých kvantitativních a kvalitativních metod [12]. Jejich volba závisí na několika okolnostech, které lze zjednodušeně rozdělit do dvou základních skupin – (i.) povaha hodnocené problematiky a (ii.) zdroje pro hodnocení. Povaha hodnocené problematiky zahrnuje celkový cíl a účel hodnocení a jeho vyjádření v evaluačních otázkách. Dále se jedná o hodnocené časové období, tedy dobu realizace programu. Do zdrojů pro hodnocení patří finanční prostředky alokované pro realizaci hodnocení, čas vymezený pro hodnocení, dostupnost či vůbec existence nezávislých expertů, kteří se mohou do hodnoticích metod zapojit apod. Pro kvantitativní hodnocení socioekonomických dopadů se používají především statistické metody, ekonometrické modely a analýzy nákladů a přínosů a vstupů a výstupů. Kvalitativní metody se často používají pro identifikaci a vysvětlení kauzálních vztahů, širších vazeb
a nekvantifikovaných (nekvantifikovatelných) přínosů (např. změny chování, strategií apod.). Obvykle využívanými metodami jsou strukturované rozhovory, dotazníková šetření, Delphi šetření či fokusní (expertní) skupiny. Z hlediska teoretického (paradigmatického) zaštítění hodnocení programů v posledních letech dochází k určitému odklonu od teorií k praktické potřebě získání informací o programech [13]. Absence využití teorií (jejichž základ tvoří zejména ekonomické teorie) však vede k tomu, že v jednotlivých evaluačních studiích schází jednotný interpretační rámec pro zjištěné údaje, což může komplikovat formulování vhodných závěrů a doporučení. Nadto současné programy aplikovaného VaV a zejména programy zaměřené na problematiku inovací často vycházejí z různých ekonomických teorií. Jedná se zejména o institucionální směry jako např. teorie učících se regionů, regionální inovační systémy, triple helix, klastry, technologické platformy, příbuzná rozmanitost apod. Při evaluaci je třeba tento výchozí teoretický rámec zohlednit, aby nedocházelo k možných desinterpretacím.
Vymezení hodnocení programů VaVaI v ČR v závazných dokumentech Stávající systém hodnocení programů VaVaI vychází ze zákona č. 130/2002 Sb., o podpoře výzkumu, experimentálního vývoje a inovací z veřejných prostředků a o změně některých souvisejících zákonů (zákon o podpoře výzkumu, experimentálního vývoje a inovací) ve znění pozdějších předpisů [14]. Problematika hodnocení programů však není tímto zákonem jednoznačně definována. § 13 odst. 1 a § 34 odst. 1 písm. d) stanovují poskytovatelům účelové podpory VaVaI povinnost provádět finanční a věcnou kontrolu podpořených projektů, avšak tento paragraf věnující se kontrolám nijak neupravuje oblast kontroly, resp. hodnocení na úrovni celého programu. § 34 odst. 1 písm. d) ukládá poskytovateli podpory VaVaI povinnost kontroly využití účelové nebo institucionální podpory poskytnuté z jeho rozpočtové kapitoly, plnění cílů, pokud byly stanoveny, a zhodnocení dosažených výsledků. V tomto paragrafu není explicitně uvedeno, zda je relevantní úrovni kontroly projektů či celého programu. Z logiky textu by spíše vyplývala relevance hodnocení podpořených projektů, využití jim přidělených prostředků a jejich výsledků. Problematika hodnocení programů je výslovně zmíněna pouze v § 35 odst. 2 písm. d), který RVVI ukládá povinnost hodnotit výsledky ukončených programů. Dle písm. c) téhož paragrafu RVVI zodpovídá mj. za přípravu metodiky pro hodnocení ukončených programů. Blíže problematika hodnocení programů v zákoně stanovena není. Legislativně tedy není oblast hodnocení programů VaVaI upravena jednoznačně a nestanovuje poskytovatelům povinnost hodnotit své programy a následně výsledky hodnocení dále využívat pro své činnosti spojené s podporou VaVaI. Značná pozornost hodnocení programů je věnována v Národní politice výzkumu, vývoje a inovací i v jejím aktualizovaném znění [3]. Původní NP VaVaI v opatření A 3-3 stanovuje, že programy mají být pravidelně hodnoceny ve všech fázích implementace a nové programy budou vyhlašovány až po vyhodnocení předchozích. Za realizaci tohoto opatření odpovídala RVVI spolu s poskytovateli účelové podpory. Aktualizovaná NP VaVaI si problematiku hodnocení programů VaVaI určila jako jeden ze svých strategických cílů. Hodnocení by se mělo stát jedním z nástrojů pro zajištění efektivity účelové podpory a mělo by být realizováno podle nové metodiky. Vytvoření a zavedení nové metodiky je aktivitou systémového opatření (č. 18), za nějž odpovídá RVVI spolu s poskytovateli účelové podpory.
Ergo / červen 2014 / Technologické centrum Akademie věd ČR
Souhrnné hodnocení ukončených programů Souhrnné hodnocení ukončených programů dle výše uvedeného v § 35 odst. 2 písm. d) zákona č. 130/2002 Sb. probíhá dle Metodiky pro souhrnné hodnocení ukončení programů [5], která je součástí každoročně aktualizované Metodiky hodnocení výsledků výzkumných organizací a výsledků ukončených programů. Není metodikou v úzkém slova smyslu, ale představuje velmi stručný popis postupu souhrnného hodnocení programů prováděného RVVI dle § 35 odst. 2 písm. d) výše uvedeného zákona. Úvodní část tvoří právní zarámování souhrnného hodnocení ukončených programů, následuje část věnovaná podkladům (datům) pro souhrnné hodnocení a kapitola věnující se postupu hodnocení. Poslední kapitola stanovuje výstupy souhrnného hodnocení. Výchozí údaje pro souhrnné hodnocení ukončených programů pocházejí ze dvou zdrojů. V prvé řadě se jedná o data z Informačního systému výzkumu, experimentálního vývoje a inovací (IS VaVaI), do nějž jednotliví poskytovatelé zadávají informace mj. o svých programech, podpořených projektech a jejich výsledcích. Dalším zdrojem informací jsou zprávy o výsledcích hodnocení programů, které provedli poskytovatelé. K tomu metodika udává strukturu hodnoticí zprávy, kterou mají poskytovatelé předložit RVVI (viz dále). Metodika nijak neurčuje metody pro zpracování a analýzu získaných informací, ani nijak nespecifikuje obsah využitých dat, jejich časový rozsah, třídění (klasifikaci), hierarchickou úroveň apod. Popis postupu souhrnného hodnocení se omezuje pouze na způsob sjednocení výskytů shodných výsledků a zpracování údajů do tabulky, která představuje základní přehled o podpořených projektech (tj. kód a název projektu, doba řešení, celkové uznatelné náklady, podpora ze státního rozpočtu, kód zhodnocení, počet výsledků celkem, počet jednotlivých druhů výsledků). V podstatě se jedná o pouhou agregaci dat z IS VaVaI. Výstup souhrnného hodnocení je v metodice dosti nejasně defi nován. Nejprve je řečeno, že výstupem je tabulka, ve které jsou podle hodnocených programů agregovány informace o počtu projektů, výdajích, počtu výsledků a počtu jednotlivých druhů výsledků. Dále je ale řečeno, že souhrnné hodnocení bude obsahovat přehled hodnocených programů, výsledky hodnocení včetně souladu s prioritami a souhrn. Není tedy zřejmé, zda je výstupem tabulka zmíněná ve výše uvedeném odstavci či nějaká hodnoticí zpráva. Z hlediska interpretace výsledků (informací o programech) není uvedeno, jakým způsobem jsou získané údaje dále analyzovány (jaké jsou použity metody) a podle jakých kritérií interpretovány. Přestože je popis výsledku hodnocení v metodice nejasně definován, je výstupem stručná zpráva z provedeného souhrnného hodnocení. Tato zpráva je po schválení RVVI předložena pro informaci vládě. Zpráva udává stručný přehled s agregovanými informacemi za jednotlivé programy. Jedná se o uvedení výdajů ze státního rozpočtu, počet výsledků, počet dosažených bodů, průměrné náklady a počet bodů na jeden projekt, nejčetnější druhy výsledků. Dále zpráva uvádí četnost projektů podle stupňů škály dosažených výsledků a počet projektů bez výsledků s bodovým ohodnocením. Další část zprávy se věnuje hodnocení splnění cílů programů. Zpráva přebírá zhodnocení ze zpráv předkládaných jednotlivými řešiteli, přičemž se vyjadřuje k pravdivosti informací. Posuzuje je na základě počtu projektů bez bodového ohodnocení, resp. druhu a počtu výsledků v případě programů, u nichž bylo dosažení cílů kvantifikováno předem. V závěru zpráva (pro hodnocení programů ukončených v roce 2011) uvádí i několik doporučení pro poskytovatele.
13
Je otázkou, zda lze zprávu ze souhrnného hodnocení ukončených programů nazývat hodnotící zprávou či zda je možné souhrnné hodnocení považovat za hodnocení ve smyslu chápání hodnocení v zemích s vyspělou evaluační kulturou. Vždyť představuje stručný (na druhou stranu však jasný a výstižný) popis agregovaných dat za jednotlivé ukončené programy, nikoliv nějaké hodnocení založené na analýzách vstupů, aktivit, výsledků, výstupů, příčinných souvislostí, širšího kontextu apod. Velmi nedostatečný se jeví čas vymezený na provedení hodnocení a vlastní načasování hodnocení, které probíhá bezprostředně po ukončení programu. Vzhledem k okamžitému hodnocení programů po jejich ukončení nemohou být do hodnocení zahrnuty poslední dosažené výsledky v podobě odborných článků a knih (jejich vydání může trvat i déle než rok), současně není možné hodnotit konkrétní využití výsledků a jejich kvalitu (např. na základě citovanosti apod.). Nadto vlastní doba pro hodnocení dat na základě konsolidovaných dat z IS VaVaI je pro poskytovatele příliš krátká. Jedná se o necelé dva měsíce. Pokud se ovšem zohlední potřeba projednání výsledků hodnocení (hodnotící zprávy) na jednotlivých řídicích úrovních poskytovatele, je skutečná doba kratší než jeden měsíc. To vede pouze k formálnímu hodnocení výsledků, není prostor pro hlubší analýzy (např. i analýzy dat z RIV v souvislosti s informacemi získanými z vlastních šetření zpráv o projektech apod.) a využití scientometrických a statistických metod. Příliš krátká doba pro hodnocení programů vynikne zvláště při porovnání s časem alokovaným pro hodnocení v zemích s vyspělou evaluační kulturou. Např. ve Velké Británii se jako zcela nereálné ukazuje čas kratší 3 měsíců a obvykle hodnocení probíhá podstatně delší dobu [15]. Co se týče cílů hodnocení, zákon neuvádí žádné cíle ani důvody pro hodnocení programů. NP VaVaI stanovuje, že hodnocení se provádí pro zajištění dostatečné efektivity veřejných prostředků investovaných do VaVaI. Ze znění příslušných opatření NP VaVaI také vyplývá, že hodnocení se dělá také z toho důvodu, aby bylo možné efektivně zacílit probíhající a nové programy, tedy aby hodnocení poskytlo nezbytné podklady pro rozhodování poskytovatelů a zacílení programů, ale i pro zefektivnění systému jejich implementace. Metodika uvádí 3 účely hodnocení. Prvním účelem je zhodnotit dosažení předjímaných cílů programů, druhým zhodnotit soulad s národními prioritami orientovaného VaVaI a třetím zhodnotit využití účelové podpory. Jedná se tedy o dosti ambiciózní cíle, které jsou vesměs v souladu s cíli hodnocení programů v zemích s vyspělou evaluační kulturou. Z hlavních cílů, smyslů hodnocení v podstatě chybí pouze zajištění legitimity programu a poskytnutí informací pro tvorbu návazných programů VaVaI. Zhodnotit dosažení předjímaných cílů podle uvedené metodiky je obtížné z několika důvodů. Prvním je často velmi obecně definovaný cíl programu, nejsou stanovena kritéria a jejich kvantifikace pro zhodnocení míry splnění. I pokud jsou cíle konkrétněji specifikovány, pouhé informace o počtech projektů a spektru jejich výsledků nedokáží dostatečně stanovit míru splnění cíle. Zhodnocení splnění cílů je poněkud náročnější aktivitou, vyžadující dobrou znalost řešených projektů a jejich výsledků, orientaci v oboru apod. Je spíše aktivitou pro nějaké expertní posouzení v rámci peer review či jinou participativní metodu. Pokud se taková metoda nepoužije a nejsou k dispozici ani vhodná kritéria, je možné hovořit pouze o relevanci podpořených projektů cílům programu, nikoliv o splnění cílů programu. Jinou možností je převzetí informací ze zpráv předkládaných poskytovateli, avšak je otázkou, jakým způsobem poskytovatelé hodnotili míru splnění cílů.
14
Zhodnocení souladu s národními prioritami se nezdá býti příliš smysluplné. Priority jsou totiž prospektivní, zatímco hodnocení programu je retrospektivní. Program reaguje na předchozí priority, na jiné, minulé okolnosti, pravidla, společenské podmínky, avšak nemůže reagovat na budoucí priority. Nadto je hodnocení souladu s prioritami časově i expertně náročné. Je vysoce pravděpodobné, že posouzení souladu probíhá spíše čistě mechanicky podle oborové příslušnosti podpořených projektů, aniž by se hledaly konkrétní vazby mezi projekty a prioritami. Ostatně při dostupných zdrojích ani jiné řešení není možné. Zhodnocení využití účelové podpory je příliš obecným pojmem. O jaké zhodnocení využití se vlastně jedná? Jedná se o věcné zhodnocení, tj. smysluplnost (využití ve vztahu k cílům, k podpořeným aktivitám), ekonomickou efektivitu, rozvoj lidských zdrojů či jiné využití? Takové zhodnocení by vyžadovalo kombinaci různých metod a datových zdrojů, na základě informací o výsledcích se podobné zhodnocení provádí velmi nepřesně, resp. je značně zjednodušující. Předchozí metodiky udávaly hodnocení efektivity veřejných prostředků programu. Efektivita se hodnotila podle tzv. indexu SR, který byl stanoven jako podíl počtu dosažených bodů (přidělených na základě bodově uznatelných výsledků) a veřejných prostředků použitých na financování programu. Tento jednoduchý ukazatel ale nezohledňoval rozdílné aktivity jednotlivých podpořených projektů, specifika různých oborů, různou finanční náročnost výzkumu v různých oborech atd. Ve zprávách ze souhrnného hodnocení byl často uváděn v tabulkách, které obsahovaly hodnotu tohoto indexu za všechny hodnocené ukončené programy, což mohlo málo informované čtenáře a uživatele výsledků hodnocení vybízet k porovnávání efektivity programů, což je nesmyslné z důvodu zásadních rozdílů v zaměření a poslání programů.
Hodnocení programů Jak bylo uvedeno výše, zákon poskytovatelům explicitně nestanovuje povinnost provádět hodnocení programů. Současně ani Metodika hodnocení výsledků výzkumných organizací a ukončených programů jasně poskytovatelům nestanovuje povinnost hodnotit své programy a ani nestanovuje metodiku, podle níž by se poskytovatelé měli při hodnocení řídit. Usnesení vlády, kterým byla metodika schválena, také poskytovatelům explicitně nestanovuje povinnost hodnotit programy. Vzniká zde tedy určitý paradox v tom smyslu, že poskytovatelé mají předložit zprávu o hodnocení programu, ale současně jim výslovně nevzniká povinnost toto hodnocení provést. Zmíněná metodika poskytovatelům pouze udává strukturu hodnotící zprávy, kterou mají předložit RVVI. Také neurčuje cíle hodnocení, evaluační otázky, účel hodnocení, uživatele výsledků hodnocení, využití výsledků hodnocení apod. Kromě základních informací o programu (tj. identifikační údaje, počet podpořených projektů atd.) navržená struktura zprávy udává body, které zaslouží větší pozornost. Jedná se o uvedení zvlášť významných výsledků, způsob využití dosažených výsledků, porovnání dosažených výsledků se schválenými cíli programu a porovnání dosažených výsledků programu se stavem v zahraničí. V případě zvlášť významných výsledků metodika uvádí, že je žádoucí uvádět konkrétní výsledky či informace o jejich ekonomických přínosech. Pro výběr takových výsledků metodika neuvádí žádná kritéria ani metody. Vzhledem ke značné míře obecnosti programů, skutečnosti, že často podporují současně aktivity základního i aplikovaného
výzkumu a vývoje, a příliš krátké době od ukončení programu (význam výsledku se často ukáže až po určité době – např. dle citovanosti či skutečného využití aplikační sférou), je velmi zjednodušující vybírat zvlášť významné výsledky pouze na základě jedné metody. Spíše by bylo vhodné kombinovat scientometrické přístupy a expertní posouzení. Takovýto přístup však pravděpodobně není poskytovateli při hodnocení programů využit z důvodu značně omezených časových, finančních i personálních kapacit. Výběr zvlášť významných výsledků se omezuje spíše na výběr provedený vlastními původci výsledku (řešitelé projektů uvedou významné výsledky). Ovšem sami řešitelé projektů své výsledky, resp. jejich význam značně nadsazují či používají nesprávný přístup pro stanovení významu a přínosů výsledků, jak ostatně ukázal nález NKÚ pro program zemědělského výzkumu [16]. Podobně hodnocení konkrétního využití výsledků je limitováno krátkou dobou od ukončení programu (tj. od vytvoření výsledku) a nedostatečnými kapacitami poskytovatele. V případě výsledků aplikovaného VaV komercializace poznatku a jeho aplikace může nastat v několikaletém horizontu, u základního výzkumu může doba od vytvoření výsledku po jeho skutečné využití aplikační sférou dosahovat i několika desetiletí. I v případě využití výsledku v podobě právních norem a jiných závazných předpisů je možné skutečné využití a přínosy hodnotit až po několika letech. Ve zprávách z hodnocení programů je hodnocení využití výsledků často pouze převzato od řešitelů projektů, aniž by poskytovatelé prováděli vlastní hodnocení, nebo je uvedeno pouze v obecné rovině, což však vytýká metodika i zprávy ze souhrnného hodnocení ukončených programů. Poskytovatelé by měli provést porovnání dosažených výsledků programu se stavem v zahraničí v době ukončení programu. Tento bod však není v metodice blíže vysvětlen. Pokud se tím myslí porovnání kvality dosažených výsledků na globální úrovni, jedná se o dosti náročný úkol vyžadující zapojení zahraničních odborníků (pouze tito mohou zajistit vysokou míru objektivity a současně nabídnout dostatek hodnotitelů pro obory s malým zastoupením v ČR), kteří by posoudili vybrané výsledky, jejich vědeckou kvalitu, novost a příspěvek světovému výzkumu. Jinou možností je posouzení, zda dosažené výsledky svým tematickým zaměřením odpovídají hlavním světovým trendům v daných oborech. I v tomto případě je však nutné využít pro hodnocení nezávislé odborníky. Se značnou mírou zjednodušení lze na světovou kvalitu výsledků poukazovat v případě článků zveřejněných v časopisech s vysokým impakt faktorem či monografií vydaných světovými nakladatelstvími vědecké literatury. Avšak takové hodnocení by bylo vhodné provést až několik let po ukončení programu, aby bylo možné pro hodnocení kvality využít také informace o citovanosti výsledku, samotné publikování totiž nemusí indikovat kvalitu výsledku. Porovnání dosažených výsledků se schválenými cíli programu by mělo být provedeno podle porovnání schválené druhové skladby a kvantifikace výsledků s dosaženou druhovou skladbou a kvantifi kací výsledků programu. Takovýto způsob hodnocení je ale velmi zavádějící, upřednostňuje formu před obsahem, před kvalitou. Kromě toho je porovnání dosažených výsledků se schválenými cíli programu, resp. hodnocení míry splnění cílů, obtížné v případě programů s velmi obecně definovanými cíli. U některých starších programů jsou dokonce cíle stanoveny ve smyslu rozšíření poznatků v určitých oborech. I v případě programů s konkrétněji definovanými cíli však často nejsou uvedeny indikátory pro hodnocení míry splnění cílů. A pokud jsou
Ergo / červen 2014 / Technologické centrum Akademie věd ČR
indikátory stanoveny, často se týkají spíše počtu podpořených projektů, počtu výsledků apod., nikoliv věcné, kvalitativní stránky splnění cílů. Další slabou stránkou metodiky je absence důvodů a způsobu využití výsledků hodnocení, resp. skutečnost, že poskytovatelé jsou povinni předložit RVVI zprávu z hodnocení, aniž by byli nějak motivováni efektivně hodnotit programy. Při tvorbě zprávy se poskytovatelé zaměřují na to, aby jejich zprávy splňovaly všechny formální požadavky, aby obsahovaly všechny potřebné údaje, ale nevěnují pozornost využitelnosti pro svoji vlastní práci, vypovídací hodnotě, resp. hloubce informací. Z hlediska použitých metod se jedná o pouhou stručnou deskripci údajů z IS VaVaI, tyto údaje nejsou hlouběji analyzovány, ale pouze prezentovány ve formě tabulek a grafů. Zprávy z hodnocení ukončených programů předkládané RVVI nejsou obvykle zveřejňovány na internetových stránkách poskytovatelů. V tomto smyslu hodnocení neplní legitimizační úlohu, protože daňoví poplatníci (i světová odborná veřejnost) nemají možnost získat informace o výsledcích a přínosech programů financovaných z veřejných zdrojů. V důsledku to může napomáhat různým spekulacím, desinterpretacím a nižší důvěryhodnosti programu.
Informační zdroje pro hodnocení programů Hlavním zdrojem dat pro hodnocení programů VaVaI je IS VaVaI. Dle §30, odst. 2, písm. f) zákona č. 130/2002 Sb. je jeho účelem mj. poskytovat informace o výzkumu, vývoji a inovacích podporovaných z veřejných prostředků veřejnosti a poskytovatelům s cílem hodnotit výsledky výzkumných organizací a programů a poskytovat informace vládě a veřejnosti. Sestává z pěti vzájemně provázaných částí, z nichž pro hodnocení programů jsou nejrelevantnější Centrální evidence projektů (CEP), Rejstřík informací o výsledcích (RIV) a Evidence veřejných soutěží ve výzkumu, vývoji a inovacích (VES). Koncepce IS VaVaI je v porovnání se zahraniční praxí zcela unikátní a velmi pokročilá. Na rozdíl od zahraniční praxe, kde je obecným rysem existence izolovaných systémů jednotlivých poskytovatelů podpory, národní IS VaVaI obsahuje kompletní informace o podpoře z veřejných prostředků a dosažených výsledcích, a to až do úrovně jednotlivých projektů. Využití IS VaVaI pro hodnocení programů je ale omezováno neúplností bibliografických informací, která omezuje využitelnost dat pro scientometrické analýzy. Dalším omezením je, že oborové třídění výsledků závisí na libovůli tvůrce výsledku. Kromě toho využití omezuje velký časový odstup zveřejňování údajů, nedodržování termínů ze strany dodavatelů dat a absence informací o životním cyklu výsledků (původci výsledku neaktualizují informace o způsobu využití výsledku). Pro hlubší bibliometrické analýzy by bylo třeba propojovat informace o dosažených výsledcích s informacemi z komerčních databází, z nichž celosvětově neobsáhlejší a nejvyužívanější jsou Thomson Reuters Web of Science a Elsevier SCOPUS. Využití těchto databází pro hodnocení programů v ČR je však limitováno poměrně vysokým uživatelským poplatkem, který by poskytovatelé podpory museli hradit. Dále by bylo třeba zohlednit technické otázky propojení dat z IS VaVaI a z komerčních databází včetně problematiky odlišné oborové klasifikace.
15
Závěr V porovnání se zahraniční praxí stávající systém hodnocení programů VaVaI vykazuje několik základních nedostatků v rovině legislativní, metodologické i praktické. Systém hodnocení programů VaVaI je nedostatečně a nejednoznačně zakotven v právních předpisech. Povinnost poskytovatelů hodnotit programy a výsledky hodnocení využívat pro efektivní správu programů jednoznačně z legislativy nevyplývá. Legislativní nedostatky se posléze odrážejí i ve způsobu (metodice) hodnocení programů VaVaI. Oproti zemím s vyspělou evaluačním kulturou není způsob hodnocení programů dostatečně zaštítěn obecně platnými pravidly a rámcem pro hodnocení programů. Stávající metodiku pro hodnocení ukončených programů nelze považovat za metodiku v úzkém slova smyslu (opravdovou metodiku), která by poskytovatelům veřejné podpory poskytovala jasná pravidla a instrukce pro hodnocení dopadů včetně použití metod a datových zdrojů. Metodika pouze udává poskytovatelům povinnost předkládat RVVI zprávu z hodnocení programů, avšak nijak neupravuje jejich povinnost programy hodnotit. Nerozvinutá evaluační kultura spolu s nedostatečným koncepčním a metodologickým zaštítěním hodnocení (není mj. stanoven účel hodnocení programů), nedostatečnými finančními a personálními kapacitami a v neposlední řadě velmi krátkým časem vyčleněným na závěrečné hodnocení se projevuje v příliš formální povaze hodnocení ukončených programů. Poskytovatelé se zaměřují na to, aby jejich zprávy splňovaly všechny formální požadavky stanovené metodikou, aby obsahovaly všechny potřebné údaje, ale nevěnují pozornost využitelnosti pro svoji vlastní práci, vypovídací hodnotě, resp. hloubce informací. To je zřejmé i ve škále použitých metod, kde se jedná o pouhou stručnou deskripci údajů z IS VaVaI. Tyto údaje nejsou hlouběji analyzovány, ale pouze prezentovány ve formě tabulek a grafů. Ve vyspělých zemích s rozvinutou evaluační kulturou je hodnocení programů jejich integrální součástí a představuje nezbytný zdroj informací pro tvorbu nových programů a vytváření vhodných nástrojů na podporu VaVaI. V ČR tomu tak dosud není. Přístup jednotlivých poskytovatelů účelové podpory k tvorbě nového systému hodnocení programů se různí. Zatímco někteří poskytovatelé se snaží k dané problematice přistupovat zodpovědně a připravují nové metodiky hodnocení, jiní nevyvíjejí žádnou znatelnou aktivitu. Tvorba nové metodiky i její následné využívání by se měly vyvarovat klasické české cesty hledání slepých uliček. Při vývoji nové metodiky je sice možné nalézt řadu inovativních řešení, ale měla by v prvé řadě vyjít ze způsobu hodnocení užívaných v zemích s vyspělou evaluační kulturou. Inspiraci zahraničními přístupy nahrávají také značně omezené časové a finanční zdroje potřebné pro vytvoření metodiky. Je třeba zdůraznit, že ani sebelepší metodika nedokáže zajistit efektivní hodnocení programů a v důsledku využívání účelové podpory VaVaI, pokud poskytovatelé podpory nebudou disponovat dostatečným počtem kvalifikovaných a motivovaných pracovníků zodpovědných za hodnocení programů, resp. prostředků vynakládaných na podporu VaVaI. Vytvoření systému hodnocení programů není možné krátkozrace chápat pouze ve smyslu nákladů (což je obecný problém veřejné správy), jakkoliv nezanedbatelné náklady s sebou nese vytvoření nového systému, ale především ve smyslu přínosů. Aho Group Report [17] uvádí, že nedostatečná evaluace programů VaVaI může vést až k nedostatku financí pro VaV, a to nejen z hlediska jejich neefektivního využívání. V současném období omezování výdajů veřejné správy je totiž
16
třeba každý výdaj veřejných rozpočtů a jeho přínosy řádně zdůvodnit a doložit fakty. To platí i v politice VaVaI. Pokud nebudou poskytovatelé veřejné podpory VaVaI dostatečně dokazovat skutečné přínosy svých programů (ukazovat dosaženou „hodnotu za peníze“), zvyšuje se riziko krácení jejich zdrojů na VaVaI. Vytvoření nového systému hodnocení programů je tak i v politickém zájmu jednotlivých poskytovatelů.
Odkazy [1] ERAWATCH Country Pages. http://erawatch.jrc.ec.europa.eu/erawatch/ opencms/information/country_pages/ [2] Reforma systému výzkumu, vývoje a inovací v České republice. http://www.vyzkum.cz/FrontClanek.aspx?idsekce=495405 [3] Aktualizace Národní politiky výzkumu, vývoje a inovací České republiky na léta 2009 až 2015 s výhledem do roku 2020. http://www.vyzkum.cz/FrontClanek.aspx?idsekce=682145 [4] Závěrečná zpráva z Mezinárodního auditu systému výzkumu, vývoje a inovací v ČR. http://audit-vav.reformy-msmt.cz/soubory-ke-stazeni/ zaverecna-zprava-z-auditu-vaval/ [5] Pokyn Rady pro výzkum, vývoj a inovace pro hodnocení výsledků ukončených programů výzkumu, experimentálního vývoje a inovací. http://www.vyzkum.cz/FrontClanek.aspx?idsekce=706007 [6] Scriven, M. (1987). Theory and practice of evaluation. New York, EdgePress. [7] HM Treasury: The Green Book, Appraisal and Evaluation in Central Government. https://www.gov.uk/government/uploads/system/uploads/ attachment_data/file/220541/green_book_complete.pdf [8] HM Treasury: The Magenta Book, Guidance for evaluation. https://www.gov.uk/government/uploads/system/uploads/attachment_ data/file/220542/magenta_book_combined.pdf [9] FTE-Richtlinien. http://www.ffg.at/sites/default/files/fterichtlinien2007.pdf [10] Research and Technology policy evaluation standards. http://www.fteval.at/upload/Standards_fteval_englisch.pdf [11] DeGEval-Standards. http://www.degeval.de/degeval-standards [12] INNO-Appraisal (2010): Perspectives on evaluation and monitoring, Final report. Dostupné na: http://www.isi.fraunhofer.de/isi-en/p/projekte/archiv/ sub_innoappraisal.php [13] Feller, I. (2013): Current Changes and Challenges in the field of STI Policy-Making and the Effects this Might Have on STI Evaluation Theory and Practice. Příspěvek na konferenci New Horizons/New Challenges, International Scientific STI Policy Evaluation Conference, Vídeň 15. Listopadu 2013. http://www.fteval.at/upload/Irwin_Feller_Second_key_note.pdf [14] Zákon o podpoře výzkumu, experimentálního vývoje a inovací. http://www.vyzkum.cz/FrontClanek.aspx?idsekce=858 [15] Edler, J. (2009): Evaluation of Science and Technology Policies. Příspěvek na kursu Evaluation of Science and Technology Policies, Manchester, květen 2009. [16] Informace z kontrolní akce NKÚ č. 13/08, Peněžní prostředky určené na účelovou podporu zemědělského výzkumu, vývoje a inovací prostřednictvím rozpočtové kapitoly Ministerstva zemědělství. http://www.nku.cz/cz/media/ministerstvo-zemedelstvi-nezajistilotransparentni-souteze-o-dotace-na-zemedelsky-vyzkum-id6746/ [17] Aho Group Report „Creating an Innovative Europe“. http://ec.europa.eu/invest-in-research/action/2006_ahogroup_en.htm
