Hodnocení VaVaI a role
IPN Metodika Jitka Moravcová Daniel Münich MŠMT VŠCHT Praha 14.11.2014 www.metodika.reformy-msmt.cz
Osnova presentace 1. 2. 3. 4. 5. 6. 7.
Význam hodnocení pro řízení IPN Metodika Mezihry: jak by hodnocení také mohlo vypadat Kde jsme dnes Základní atributy navrhovaného hodnocení Harmonogram Institucionální financování
1
Význam hodnocení pro řízení
Stanovení priorit VaV
Řízení lidských zdrojů VaV
Bez kvalitního hodnocení nebude kvalitního řízení Efektivní pořizování a využívání infrastruktur VaV
Správně nastavené motivace ve VaV 2
Význam hodnocení pro řízení
Strategie, financování, ex-post hodnocení
vláda, RVVI, EU rámec
Financování, dohled, strategické řízení
Poskytovatelé
Řízení (včetně lidských zdrojů), motivace
Výzkumné a další organizace
Motivace
Pracovníci a infrastruktury VaV
3
Hodnocení a národní strategické dokumenty ● Reforma systému VaVaI v ČR (2008, aktualizace) ● Národní politika VaVaI pro roky 2009-2015 (výhled 2020) ● Národní strategie konkurenceschopnosti 2012-2020 ● Národní inovační strategie ● Dlouhodobé principy hodnocení VaV, RVVI
Cíl: Zavést pravidelné, systematické a objektivní hodnocení VaVaI v ČR na všech úrovních.
Mezinárodní audit systému VaVaI v ČR, 2009 - 2011 4
IPN Metodika Hodnocení institucí
Hodnocení programů účelové podpory
Hodnocení jednotlivců Kultura hodnocení (bez hodnocení není kvalitní řízení)
Hodnocení projektů účelové podpory
Hodnocení účasti v mezinárodních sítích VaV
Odstíny červené odlišují míru toho, jak je daný aspekt obsažen v IPN Metodika.
Hodnocení velkých infrastruktur VaV 5
IPN Metodika
IPN Metodika Technopolis a spol. Institucionální hodnocení
Malé pilotní ověření
Institucionální financování
Expertní tým IPN
Velké pilotní ověření
Návrh systému hodnocení velkých infrastruktur VaV
Principy hodnocení programů účelové podpory
Zásady hodnocení zapojení do mezinárodních sítí
Studie proveditelnosti hodnocení organizujícího pracoviště
Osvěta a podpora lidských zdrojů
6
IPN Metodika Individuální projekt národní MŠMT, 2012-2015 ● Zavedení evaluačních principů ověřených zahraničních praxí adaptovaných na naše národní podmínky. ● Multikriteriální oborové metodiky hodnocení respektující postavení dané VO v systému VaV. ● Využití dosavadních zkušeností s Metodikou a hodnocením AV ČR. ● Žádný mechanický vztah mezi výsledky hodnocení a výší institucionální podpory. ● Víceleté financování jako kombinace rozpočtu podle předpisu a výkonnostních smluv. ● Účinná spolupráce s RVVI. Otevřená diskuse se všemi aktéry (poskytovatelé!). Jak dosáhnout konsensu? 7
IPN Metodika – klíčové aktivity ● ● ● ● ●
KA1 Informační podpora KA2 Systém hodnocení KA3 Systém financování KA4 Velké pilotní ověření KA5 Harmonogram pro přechodné období a podklady pro legislativní změny ● KA6 Institucionální zajištění hodnocení ● KA7 Koordinace reformních návrhů a vytváření konsensuálních podmínek pro jejich přijetí 8
Kde jsme dnes – mezihra I 1. UK Praha 2. MU v Brně 3. ČVUT Praha
Španělský žebříček vs počty studentů
4. VUT Brno
6. VŠE v Praze 7. TU Ostrava 8. Policejní akademie v Praze 9. UP Olomouc 10. JU v Č. Budějovicích 11. TU Liberec 12. ČZU Praha 13. VŠCHT Praha 14. Univerzita Pardubice
počet studentů
5. ZU v Plzni
50 45 40 35 30 25 20 15 10 5 0
y = 46,756x-0,6347 R2 = 0,7544
0
5
10
15
20
umístění
15. UTB ve Zlíně 16. MZLU v Brně 17. Slezská univerzita Opava 18. Ostravská univerzita 19. Univerzita Hradec Králové 20. Univerzita JEP Ústí n. L.
• Španělské hodnocení, HN 2007 9
Kde jsme dnes – mezihra II
3
●
Jurajda, Münich: Kde se dělá v ČR nejlepší výzkum? Studie CERGE-EI 3/2012
10
Kde jsme dnes – mezihra II
2
●
Jurajda, Münich: Kde se dělá v ČR nejlepší výzkum? Studie CERGE-EI 3/2012
11
Kde jsme dnes – mezihra II
1
●
Jurajda, Münich: Kde se dělá v ČR nejlepší výzkum? Studie CERGE-EI 3/2012
12
Kde jsme dnes – mezihra III
●
Münich: http://metodikahodnoceni.blogspot.cz/2014/08/jak-jsme-na-tom-chemie.html
13
Kde jsme dnes – mezihra IV (poslední) ● Porovnání VVŠ podle bodů v RIV, 2012
● provádí se korekce bodů, která se odvíjí od toho, co vyprodukovaly jiné VŠ, ● průběžně se zvyšuje počet časopisů registrovaných ve Web of Science a Scopusu, což zvyšuje počet přidělených bodů, aniž by musela produkce článků dané školy reálně růst Zdroj: http://www.upce.cz/deska/dokumenty/vyr-zpravy.html
14
Kde jsme dnes – mezihra IV (poslední) ● Porovnání VVŠ podle bodů v RIV, 2009-2012
● pravidla přidělování a výpočtu bodů dle Metodik se rok od roku měnila (nelze sledovat trend), Zdroj: http://www.upce.cz/deska/dokumenty/vyr-zpravy.html
15
Kde jsme dnes – Metodika 2013 ● Pilíř I: Oborové hodnocení publikačních výsledků. Výsledky typu J, B, C a D v RIV + peer-review hodnocení výsledků typu B a C (subpilíř I), relativní podíl oborových panelů na celkovém počtu bodů. ● Pilíř II: Hodnocení kvality. Jeden excelentní výsledek na každých 10 MKč IP, peer-review hodnocení, 20 % v každém oboru dostane zvláštní bonifikaci, projekty ERC. ● Pilíř III: Hodnocení patentů a nepublikačních výsledků aplikovaného výzkumu. Body pouze u patentu, projekty aplikovaného výzkumu + smluvní výzkum.
16
Kde jsme dnes - Metodika ● Definuje, které výsledky jsou uznatelné, jak se data sbírají a jak se převádějí na body. ● Dává jasný signál: žádný výsledek, žádná institucionální podpora. ● Je účinná proti nepotismu, korupci a lobování (?). ● Slouží pro výpočet institucionálního financování, které je krátkodobé, proto je špatným nástrojem pro dlouhodobé plánování, rozvoj nových oborů… ● Uznává jen minulé výsledky. ● Podporuje fragmentaci vědeckých výsledků. ● Nepodporuje mezioborové týmy. ● Je pouze kvantitativní (kvalitu nahrazuje kvantita). 17
Metodika vs WoS
• WoS, heslo „Czech Republic“, 25.1.2014, roztřídění podle instituce
18
Základní atributy navrhovaného hodnocení 1. 2. 3. 4.
Zohlednění oborových specifik Zohlednění postavení a účel VO v systému VaV Hodnocení inst. jednotek (fakulty a ústavy) Hodnocení výstupů, výsledků, dopadů, řízení, mezinárodního zapojení, využívání infrastruktur 5. Forma peer-review a. mezinárodní b. informované c. formou distanční vs. s návštěvou d. využívající zkušenosti z realizace Hodnocení 2014 a AV ČR 6. Hodnocení 1x za ~5 let 7. Náklady max. 1 % národní inst. podpory za hodnocené období (srovnejme s dnešními 2,5% inst. podpory VaV dle par. 3, odst. (3), zákona 130/2002) 19
Zamýšlená struktura hodnocení
Case 1
Research organisation
Evaluated Unit
Research Unit
Field
Case 2
Research organisation
Evaluated Unit
Research Unit 1
Field 1
Research Unit 2
Field 2
Research Unit 1
Field 1
Research Unit 2
Field 2
Research Unit 3
Field 3
Case 3
Research organisation
Evaluated Unit 1
Etc …
Evaluated Unit 2
Research Unit 1
Field 1
Research Unit 2
Field 2
Research Unit 3
Field 3 20
Zamýšlená organizace hodnocení Evaluation management board
Evaluation management team
Main Panels
Main Panel Chairs
Main Panel Members
Panels
Panel Chairs
Panel Members
Panel Secretariat
Specialist advisors Sciences Referees
Specialist advisors Context
Referees 21
Zamýšlená hodnotící kritéria Assessment criteria Institutional management and development potential Membership of the national and global research community Research performance
Indicator categories Quality and adequacy of the physical research environment & attractiveness to the scientific community Research strategy and (HR) management International research presence and collaboration National research presence and collaboration Research productivity Research capacity building
Overall research quality
Research excellence
Societal relevance
Peak quality of the scholarly outputs Value of the research activities for the business & industry sector Value of the research activities for other 22 societal actors, including government
Vazba na současný systém 1. Využití dat v IS VaV a zavedeného systému sběru 2. Sledování ukazatelů v období mezi hodnocením 3. Využití zkušeností s fungováním prvků peer review 4. Obdoba využití indikátorů na formula funding v menším rozsahu
23
Harmonogram IPN Metodika 1. Průběžná zpráva: návrh hodnocení • Připomínky exp. týmu IPN (8. – 17.10. 2014) • Proces veřejné konzultace (6. – 26.11. 2014) • Veřejná konference (7. 1. 2015)
2. Průběžná zpráva: návrh financování • Připomínky exp. týmu IPN (19.12. – 6.1. 2015) • Proces veřejné konzultace (20.1. – 6.2. 2015) • Veřejná konference (konec února 2015)
Závěrečná zpráva: + malé pilotní ověř. • Připomínky exp. týmu IPN (19. – 30.3. 2015) • Proces veřejné konzultace (15. – 29.4. 2015) • Veřejná konference (květen 2015) Závěrečná zpráva IPN 24 (podzim 2015)
Post IPN harmonogram (předpověď) Příprava hodnocení (2016-2017) • Legislativa • Informační nástroje a informace (WoS, IS VaV) • Hodnocení organizující pracoviště a hodnotitelé
Realizace hodnocení (~2018) • Sebehodnotící zprávy VO • Bibliometrické zprávy a další informace • Práce panelů
Zpracování a využití výsledků (2019-20) • Syntéza výsledků • Zpětná vazba pro VO a součásti • Informace pro strategické řízení na úrovni vlády/RVVI
25
Institucionální financování Poskytovatelé podpory 7 000 000
institucionální
tis. Kč 6 000 000
5 000 000
4 000 000
účelová 3 000 000
2 000 000
1 000 000
0 MO
MK
MV
Mze
MZ
MPO
TA ČR
GA ČR
AV ČR
MŠMT
26
Institucionální financování VVŠ 2013 tis. Kč
27
Institucionální financování ● Dotace z veřejných prostředků (bez investic a SF) Vzdělávání
VaV
●
zdroj: Výroční zprávy VVŠ o hospodaření 2012
28
Účelové financování
●
zdroj: Výroční zprávy VVŠ o hospodaření 2012
29
Spolupráce s odběrateli ● Smluvní výzkum, 2012 tis. Kč
● Prodej licencí, 2012
●
zdroj: Výroční zprávy VVŠ o hospodaření 2012
30
Institucionální financování ● Hodnocení a jeho vztah k institucionálnímu financování ● 100% ● Žádný ● Něco mezi tím ● V současnosti: 80 a 20 % dle RIV bodů ● MŠMT 100 % podle RIV bodů 31
Návrh institucionální financování ● Bude součástí až 2. dílčí zprávy ● Víceleté financování jako kombinace dvou principů: ● rozpočet podle předpisu (formula funding), backward-looking ● výkonností smlouvy (performance based contracts), forward-looking, umožňující směrování rozvoje ● Různé nastavení pro různé segmenty systému VaV ● IPN doporučí poměry financování + pro a proti ● Delší přechodné období s procesem „učení“ 32
Děkujeme za spolupráci. Všechny informace budou na webových stránkách projektu. Kontaktovat nás můžete kdykoliv.
www.metodika.reformy-msmt.cz 33
