Nároky na data pro hodnocení programů účelové podpory ve výzkumu, vývoji a inovacích Martin Srholec Seminář DERS Dříteč, 27.2.2014 www.metodika.reformy-msmt.cz
Kdo je Martin Srholec? Ekonomie inovací, inovační systémy, ekonomický rozvoj http://home.cerge-ei.cz/srholec/index.html
• • • •
Ph.D. na VŠE (2003) a na Univerzitě v Oslu (2005) Research Fellow a postdok na Univerzitě v Oslu (2002-2010) Výzkumný pracovník na CERGE-EI v Praze (od 2010)
Associate Professor na Lund University (od 2011)
Odborný vedoucí žádosti o IPn Metodika projekt na téma „Efektivní systém hodnocení programů účelové podpory“ na MŠMT, která se přávě připravuje
1
Účelové výdaje státního rozpočtu na VaVaI v roce 2014
• Nezahrnuje dotace na VaVaI z OP EU • Nezahrnuj nepřímou podporu (daňové odpočty) pro VaV ve firmách 2
Typy hodnocení 1) Ex-post evaluace 2) Průběžná (mid-term) evaluace 3) Ex-ante evaluace
3
Ex-post evaluace • cílem ex-post evaluace bude souhrnné zhodnocení celého programu a jeho přínosů/dopadů
• vyhodnocení naplnění cílů programu • hodnocení dopadů podpory; dopad vyjadřuje širší souvislosti působení hodnocené aktivity, sleduje změny, ke kterým došlo, ať už jde o změny přímé nebo nepřímé, zamýšlené nebo nezamýšlené, pozitivní nebo negativní
• „poučení se“pro budoucí intervence v oblasti VaV
4
Průběžná (mid-term) evaluace • mid-term se používá v průběhu realizace programu (v jeho polovině) pro vyhodnocení dosavadního průběhu procesu implementace a průběžného naplňování cílů.
• posouzení případných změn vnějšího prostředí (socioekonomických) a priorit v oblasti VaV
• posouzení naplňování cílů (účelnosti) • vyhodnocení procesů implementace (zejména úzkých míst) – problémových míst
• formulace doporučení na zlepšení implementace programu
5
Ex-ante evaluace • cílem ex-ante evaluace je posoudit nastavení intervence (programu) před jeho zahájením a maximalizovat jeho relevanci
• posouzení předpokládané funkčnosti intervenční logiky – tzn. zda bude možné s navrženými aktivitami dosáhnout zamýšlených cílů
• posouzení systému měření, sledování – systém monitoringu • přiměřenosti finanční alokace (zda plánované finanční zdroje odpovídají zamýšleným cílů, resp. výstupům a výsledkům)
• posouzení nastavení systém a procesů, zda umožní úspěšnou implementaci programu a naplnění cílů a systém evaluace
6
Politický cyklus programů podpory
7
Mezinárodní audit systému VaVaI v ČR • Na rozdíl od vyspělých zemí EU není v ČR hodnocení programů VaVaI považováno za důležitou součást procesu přípravy a realizace politik v oblasti VaVaI
• Systém hodnocení programů VaVaI je spíše jen ex-post monitorováním dosažených výsledků a nákladů potřebných k jejich dosažení
• Velice negativně byla zhodnocena kvalita hodnocení, resp. zpráv z hodnocení ukončených programů
• Zprávy z hodnocení jednotlivých ukončených programů VaVaI nelze považovat za „standardní“ evaluační zprávy, protože obsahují jen popis ukončených programů VaVaI a jejich výsledků
• Za velice diskutabilní je spolehlivost uváděných analýz, přičemž používaná data většinou pocházejí z IS VaVaI
• Ačkoliv zprávy o hodnocení uvádějí jasné závěry, většina z nich není dostatečně a spolehlivě doložena
• Doporučení pro tvorbu navazujících či jiných programů VaVaI většinou nejsou ve zprávách obsažena 8
RVVI o hodnocení programů účelové podpory • cíle programů jsou stanoveny neurčitě • podmínky a kritéria hodnocení neodpovídají cílům programů • není dostatečná administrativní kontrola na úrovni poskytovatele podpory
• není dostatečné závěrečné hodnocení ukončených programů • někteří poskytovatelé podpory ukončené programy nehodnotí jako celek či je hodnotí pouze formálně
• zájem poskytovatelů podpory o sledování využití výsledků v praxi je velmi nízký
• malý důraz je kladen na hodnocení druhů a kvality výsledků
9
Zahraniční zkušenosti
10
Metody hodnocení efektů programů účelové podpory Hodnocení efektů spočívá v rozklíčování kontrafaktuálního problému, co by bylo (např. jaké by byly výsledky), kdyby účelová dotace poskytnuta nebyla Pomocí metod:
• Kontrafaktuální ekonometrická analýza s použitím panelových mikrodat
• Kontrafaktuální kvalitativní analýza, tj. kvalitativní hodnocení dotazníkového šetření, interview, případové studie
• Bibliometrická analýza 11
Data pro hodnocení • Mikrodata z IS VaVaI • Anonymizovaná mikrodata z ČSÚ (nejen CIS a VaV průzkumy, ale i rozvaha a výsledovka, atd.)
• Mikrodata z procesu hodnocení žádostí o projekt, tj. přehled přijatých i odmítnutých žádostí, údaje vyplněné žadateli v žádosti o projekt, hodnocení projektů a jejich řazení, atd.
• • • • •
Vlastní sběr mikrodat pomocí (webového) dotazníkového šetření Bibliometrické údaje z Web of Science, případně Scopus Interview s příjemci účelové podpory a relevantními kontrolními skupinami Interview ze stakeholdery (desk research) Existující údaje z dosud provedených dotazníkových šetření jednotlivými poskytovateli a další mirkodata dostupná na úrovni poskytovatelů
Nutnost dat pro srovnávací „control“ skupinu! 12
Jak vyhodnocovat dotace na VaV ve firmách? • Poptávka po dotačním programu (čím více žadatelů a čím více se utratí, tím lépe?)
• Deskriptivní „účetní“ tabulky vstupů vs. výstupů (čím více se vytvoří s danými vstupy, tím lépe?)
• Kontrafaktuální (ekonometrická) analýza (kolik z toho, co se vytvořilo, by bez dotací nevzniklo?) 13
Problém kontrafaktuálního vyhodnocení Projekt
(1)
(2)
Dotace
10 mil. Kč
10 mil. Kč
Uplatněné výsledky (v IS VaVaI)
4 patenty
3 patenty
i bez dotace
3 patenty
1 patent
Rozdíl
1 patent
2 patenty
Výsledky které by vznikly
Který projekt (a potažmo dotační program) je úspěšnější? 14
Motivační (pákový) efekt dotace na 1. Výstupy (patenty, prototypy, inovované produkty, procesy, atd.)
2. Chování (spolupráce s výzkumnou organizací, apod.) 3. Vstupy (vlastní výdaje na VaVaI, atd.) (širší dopady na produktivity, zaměstnanost, konkurenceschopnost, atd.) 15
Scénáře dopadu VaV dotace na VaV rozpočet firmy
16
Scénáře dopadu VaV dotace na VaV rozpočet firmy
17
Scénáře dopadu VaV dotace na VaV rozpočet firmy
18
Motivační (pákový) efekt dotací se nerovná míře soukromého spolufinancování
19
Model
kde i je firma (i = 1, ..., N), t je časové období (t, ..., T), Xi zahrnuje VaVit1, tudíž VaV výdaje v předchozím období, binární proměnné pro velikost firmy Velkáit, Středníit a Maláit, takže Mikroit představuje srovnávací katergorii, binární proměnné pro vlastnictví Zahraničníit a Veřejnéit, takze Domácíit je jejich srovnávací kategorie, a sadu ročních binárních proměnných, které zohledňují agregátní šoky společné pro všechny firmy ve sledovaných letech, jako můžou být například skokové změny systémů podpory, popřípadě změny makroekonomického prostředí, a konečně ui a eit jsou standardní rezidua.
20
21
Závěry tohoto vyhodnocení • Na každou 1,00 Kč dotace na VaV v závislosti na velikosti a sektoru vlastnictví firmy připadá v průměru 1,18 Kč celkových VaV výdajů
• Dotace na VaV mají efekt navýšení, nikoliv efekt vytlačování, soukromého financování VaV ve firmách
• Při financování VaV plánů si firmy dostávají do potíží, protože nedokáží na VaV získat dostatek peněz
• Rozdíly podle velikostních skupin, vlastnictví, popřípadě dalších členění • Avšak nebyly zohledněny neměřitelné souběžně působící vlivy, které jsou v čase proměnlivé
• Dosud pouze odhad průměrného dopadu dotací pro všechny druhy programů dohromady
• První práce tohoto druhu v České republice 22
Překážky pro kvalitní hodnocení v ČR • • • • • • • • •
Finanční zdroje na hodnocení (ale skutečně problém?) Institucionální uspořádání (sebehodnocení, kapacita RVVI, atd.) Nizké evaluační „kultura“ (na straně poptávky)
Omezené lidské zdroje (na straně nabídky) Možnost zaplatit kvalitní hodnotitele v rámci poskytovatelů (Ne)zájem ze strany zahraničních expertů
Dostupnost mikrodat z ČSÚ (jen malý výsek pro výzkumné účely) Míra součinnosti jednotlivých poskytovatelů Nestabilita veřejné správy
23
IPn Metodika projekt „Efektivní systém hodnocení programů účelové podpory“ • Cíle: • Rozpracovat obecné zásady hodnocení programů a dosáhnout shodu nad nimi
• Navrhnout nové metodiky k hodnocení programů vybraných poskytovatelů
• Pokrýt všechny etapy poskytování účelové podpory, které jsou s hodnocením provázány
• Zvýšit odborné kapacity pro hodnocení • Na pilotních hodnoceních názorně předvést přínosy nových metodik, včetně použití principů kontrafaktuální analýzy
• Určit systémové změny, které jsou třeba pro zajištění hodnocení v souladu s mezinárodními standardy 24
IPn Metodika projekt „Efektivní systém hodnocení programů účelové podpory“ • Věcný obsah: • Formulace nových metodik hodnocení účelové podpory, a to jak jejich obecných zásad, principů a východisek, tak podrobnějších řešení, které budou ušita na míru pro vybrané poskytovatele
• Vytvoření nových hodnotitelských kapacit v rámci poskytovatelů a na nich navázané sítě národních i zahraničních expertů
• Pilotní ověření metodik na vybraných programech (TIP na MPO, ALFA na TAČR, NÁVRAT na MŠMT a Projekty na podporu excelence v základním výzkumu GAČR)
• Návrh systémových změn, které jsou potřebné ke zkvalitnění úrovně hodnocení (změny zákonů a nařízení, změny směrnic v rámci poskytovatelů, institucionální uspořádání hodnocení, sdílení a propojování mikrodat, atd.)
25
Kdo by měl hodnocení provádět? 1. Poskytovatelé (samohodnocení) 2. Existující nezávislá(?!?) organizace
3. Za tímto účelem nově zřízená organizace 4. Zahraniční experti
26
Děkujeme za pozornost!
www.metodika.reformy-msmt.cz
Místo pro vložení tabulek, grafů atp.
28
