Metodika hodnocení výzkumných organizací 2017+
Vlastimil Růžička (ve spolupráci s Vladimírem Majerem a Tomášem Kopřivou) 22.2.2016
Obsah • Metodika hodnocení VaV inspirovaná výsledky projektu IPN Metodika s přihlédnutím ke zkušenostem z hodnocení ústavů AV ČR 2015
• Hodnocené VO • Harmonogram • Výsledky hodnocení • Realizace = institucionální zajištění
• Odhad nákladů • Rizika
2
Metodika Vychází z projektu IPN Metodika, který dále rozvíjí • Návrh konsorcia Technopolis group včetně úprav provedených pro pilotní ověření • Další úpravy vycházející z doporučení panelistů i hodnocených výzkumných organizací/jednotek (RO/RU) • Implementační doporučení projektového týmu IPN Metodika • Využití zkušeností z hodnocení ústavů AV ČR s možností převzetí některých dílčích postupů
3
Hodnocené výzkumné organizace (VO) • Veřejné vysoké školy (VVŠ), event. i SVŠ získávající dotaci na rozvoj výzk. organizace – Hodnocení ve všech šesti vědních oblastech (Disciplinary Area) podle Frascati (tzn. realizace hodnocení „v jedné vlně“)
• příp. IBRO (Industry & Business Service Res. Organ.) – Nejzávažnější komplikací hodnocení excelentních neakademických výstupů
• Zdůvodnění – AV ČR provedla hodnocení svých ústavů v roce 2015 – VVŠ dosud žádným institucionálním hodnocením VaV neprošly (pokud za něj nepovažujeme „kafemlejnek“)
4
Harmonogram 1 • 6/2016 usnesení vlády (viz další snímek Harmonogram 2) • 6 – 12/2016: – příprava projektu implementace hodnocení podle NERO: • zpracování závazné metodiky (KHV) • její schválení (RVVI, vláda) – příp. i zač. 2017 – rozhodnutí o předpisu převedení výsledků hodnocení na financování – výběr subjektu pro realizaci hodnocení – zahájení vývoje podpůrného informačního systému !! – Pozn.: OP VVV, výzva na Strategické řízení VaV (předpokládaný termín vyhlášení červen 2016). Součástí podporovaných aktivit je i implementace nové metodiky hodnocení VO
• 1/2017 zahájení implementace hodnocení podle NERO • 8 - 10/2017 zahájení samotného hodnocení • 4 - 6/2018 výsledky hodnocení
• Finanční dopad do institucionální podpory VO na rok 2019 5
Harmonogram 2 usnesení vlády: i.
základní rámec hodnocení
ii. termíny plnění iii. identifikace zdrojů finančního zajištění hodnocení iv. pověření instituce zodpovědné za realizaci
6
Využití výsledků hodnocení, přínosy • Výsledky hodnocení budou zveřejněny • Podle schváleného předpisu bude cca 20 % institucionální dotace na VaV alokováno podle PRFS • Zvážit, zda v tomto kole hodnocení bude přidělena část inst. dotace na VaV formou „performance agreement“ (podle návrhu TP cca 5 % celkové inst. dotace, je vyjednána mezi poskytovatelem a příjemcem, umožňuje RO strategicky plánovat). PA lze poskytnout těm RO, které se NERO nezúčastní
• „Učící efekt“ pro zúčastněné RO: – slovní komentáře a doporučení panelistů – „Writing a self-assessment report and knowing that an expert panel will read it is the best exercise for researchers“
• Poskytovatelé i management RO získají podklady pro strategické řízení -> formativní složka hodnocení 7
Realizace Viz „Studie proveditelnosti institucionálního zajištění navrhovaného systému hodnocení“ (dokument projektu IPN Metodika, K. Šima a spol.)
• Var. 1 nebo 2: organizační útvar v rámci orgánu státní správy nebo nový orgán státní správy – současné předpisy a pravidla státní správy neumožňují dostatečně flexibilní výběr a uzavírání pracovních smluv s členy Rady pro řízení hodnocení, panelisty a posuzovateli – neefektivní je také zajišťování služeb (např. podpůrný IS)
• Var. 3: agentura v podobě příspěvkové organizace – novela zák.111/1998 Sb. předpokládá založení Národního akreditačního úřadu – AERES (FR) a HEFCE (UK) jsou nezávislé organizace realizující hodnocení VaV, akreditace programů a hodnocení institucí (AERES) nebo dosud jen hodnocení VaV (HEFCE) 8
Rozsah hodnocení Počet hodnocených EvU/RU (práh pro zahrnutí: min. 50 výstupů v hodnoceném období; založeno na datech 2009-13) *
Number of included EvU
Nr. RU per EvU, estimate
Estimated nr. RU
HEI - public HEI - private Research hospital
171 7 21
3 3 2
500 20 40
Total
199
RO Sub-category
AgriFood RTO Industry RTO Business sv RO
Total Grand total
* Background
14 9 5
28 227
560 2 2 2
30 20 10
60 620
report 2: Typology of Research Organisations and Effects of the EM Thresholds, Technopolis,
March 2015
9
Odhad nákladů, 1 Orientační odhad nákladů na 3 roky hodnocení (pro ŘTH měsíční hrubá mzda zvýšena na 60 tis Kč; pro panelisty a posuzovatele odměny podle pilotního ověření) počet osob/FTE
roční náklady /mil Kč
náklady celkem/mil Kč
Řídicí tým hodnocení (ŘTH)
15
14
42
tajemníci panelů (jen rok 2) panelisté odměny a panelisté cestovné panelisté ubytování posuzovatelé ostatní náklady náklady na IS (odhad! nutno zpřesnit) celkem
30 324
18 62 11 9 9 11
18 62 b 11 9 9 33 26 209
400
• a Podle doporučení týmu IPN má být až 1/3 panelistů z ČR (zde čeští panelisté neuvažováni, jen zahraniční) • b U panelistů nutno vyřešit povinné odvody a zdanění mzdy (bude-li je nutné platit, pak se náklady až zdvojnásobí!) • Odhad nákladů: viz Studie proveditelnosti institucionálního zajištění navrhovaného systému hodnocení, IPN Metodika, listopad 2015
10
Odhad nákladů, 2 • Orientační odhad nákladů na 3 roky hodnocení při zahrnutí jen VŠ a IBRO: 210 mil Kč
2012 budget (mil CZK) Total for 5 years based on 2012 budget (mil CZK) 1% limit (mil CZK)
R&D Institutional Institutional funding funding expenditure for conceptual – total development of ROs 13 536 8 874
67 680 677
44 370 444
Viz Summary Report, Technopolis, May 2015: Exhibit 19 Maximum total costs of the new evaluation system
11
Rizika • Odpor hodnocených RO k nové metodice (hodnocení bude podjaté, hodnocení je příliš komplikované, hodnocení je drahé)
• Subjekt vybraný pro realizaci nebude schopen hodnocení včas a kvalitně dokončit (personální obsazení-zkušenosti, informační systém, pracovně-právní vztahy)
• Nebude alokováno dostatečné množství finančních prostředků na realizaci hodnocení • Nepodaří se kontrahovat všechny potřebné panelisty a posuzovatele • Nová vláda nepodpoří rozhodnutí předchozí a nebude dostatečně razantně vystupovat proti námitkám
12
Děkuji za pozornost
[email protected]
13
