Hodnotíme VaV na vysokých školách (?)
Jitka Moravcová Seminář DERS Dříteč, 27.2.2014
www.metodika.reformy-msmt.cz
Seminář DERS 2013 ● ● ● ●
není žádné ideální nekonfliktní řešení metodicky velmi složité nyní samostatný vědní obor metodika není 100 % přenositelná ze země do země
● ● ● ●
hledání konsensu otevřené jednání všech zúčastněných stran vysvětlování, diskuse, ochota jednat dlouhodobý proces, přechodné období 2
Současný stav Hodnocení výsledků VO Rozpočítání institucionální podpory podle získaných bodů ● Metodika 2013 (RVVI, platí) ● Metodika MPO (návrh) Hodnocení VO Institucionální podpora může/nemusí být navázána na výsledky hodnocení ● IPn Efektivní systém hodnocení a financování výzkumu, vývoje (řešení) 3
Současný stav Metodika 2013 ● Pilíř I: výsledky typu J, B, C, D (publikační výsledky) v RIV + peer-review hodnocení výsledků typu B a C (subpilíř I), relativní podíl oborových panelů na celkovém počtu bodů ● Pilíř II: jeden excelentní výsledek na každých 10 MKč IP, peer-review hodnocení ● Pilíř III: osobní a doplňkové náklady projektu TAČR a MPO, relativní podíl oborových panelů na celkovém počtu bodů 4
Hodnocení - mezihra I 287
0/0
4
72
1815
3/4
41
53
3. VFU Brno
117
0/0
3
39
4. JU České Budějovice
212
0/1
10
26
5. MU Brno
509
0/2
33
18
6. Univerzita Pardubice
145
0/0
8
18
7. UP Olomouc
286
0/0
18
16
8. ČVUT v Praze
274
1/0
21
15
9. MZLU Brno
80
0/0
9
9
10. Ostravská univerzita
17
0/1
8
8
11. UTB Zlín
68
0/0
10
7
12. VUT Brno
123
0/0
20
6
13. ZU v Plzni
92
0/0
16
6
14. Slezská univerzita Opava
22
0/0
5
4
15. TU v Liberci
35
0/0
8
4
16. ČZU v Praze
52
0/0
15
4
17. VŠB - TU Ostrava
65
0/0
20
3
18. Univerzita HK
11
0/0
7
2
19. VŠE v Praze
22
0/0
15
1
20. Univerzita JEP Ústí n. L.
12
0/0
9
1
0
0/0
1
0
1. VŠCHT Praha 2. UK v Praze
21. Vys. škola polytechnická Jihlava
Publikace dle WoS 2006
Publikace Nature/Science
Počet studentů v tis.
Publikace/tisíc studentů
● MF 2007
5
Hodnocení - mezihra II ● Index SR: body za výsledky se sečtou a dělí finančními prostředky získanými ze státního rozpočtu v mil. Kč ●FPBT VŠCHT Praha: 28,51 ●FTOP VŠCHT Praha: 32,52 ●FCHI VŠCHT Praha: 36,97 ●FCHT VŠCHT Praha: 44,55
•Ústav dějin UK a archiv UK: •UJEP Ústí n. L., Pedagogická fakulta: •VŠE, Fakulta podnikohospodářská: •UJEP, Fakulta životního prostředí: •UJEP, Fakulta sociálně-ekonomická:
102,88 133,83 136,00 173,66 188,53
● RVVI 2006 6
Hodnocení - mezihra III 1. UK Praha 2. MU v Brně 3. ČVUT Praha 4. VUT Brno
Španělský žebříček vs počty studentů
5. ZU v Plzni 6. VŠE v Praze 8. Policejní akademie v Praze 9. UP Olomouc 10. JU v Č. Budějovicích 11. TU Liberec
12. ČZU Praha 13. VŠCHT Praha 14. Pardubická univerzita 15. UTB ve Zlíně
počet studentů
7. TU Ostrava
50 45 40 35 30 25 20 15 10 5 0
y = 46,756x-0,6347 R2 = 0,7544
0
5
10
15
20
umístění
16. MZLU v Brně 17. Slezská univerzita Opava 18. Ostravská univerzita 19. Univerzita Hradec Králové 20. Univerzita JEP Ústí n. L.
● Španělské hodnocení, HN 2007 7
Bibliometrie celková za ČR Absolutní počet odkazů
Relativní zastoupení odkazů
výroba tzv. recenzovaných neimpaktovaných (tj. především domácích) časopiseckých publikací vzrostla v období 20062010 o více než 200 procent ● WoS, heslo „Czech Republic“, 25.1.2014
8
Bibliometrie VVŠ Relativní zastoupení odkazů, 2009 - 2013
● WoS, heslo „Czech Republic“, 25.1.2014, roztřídění podle instituce
9
Současné hodnocení výsledků ● ● ● ● ● ● ●
nebere zřetel na typ VO nedává info o excelenci neporovnává kvalitu na národní úrovni neporovnává kvalitu na mezinárodní úrovni nedává info o efektivitě VaV neposkytuje podklady pro řízení VO neposkytuje podklady pro politická rozhodnutí ● M2013 nezahrnuje peer-review ve standardní podobě ● Výroční zprávy VVŠ za rok 2012
10
Hodnocení UPce 2012 ● Porovnání VVŠ podle bodů v RIV, 2012
● provádí se korekce bodů, která se odvíjí od toho, co vyprodukovaly jiné VŠ, ● průběžně se zvyšuje počet časopisů registrovaných ve Web of Science a Scopusu, což zvyšuje počet přidělených bodů aniž by musela produkce článků dané školy reálně růst Zdroj: http://www.upce.cz/deska/dokumenty/vyr-zpravy.html
11
Hodnocení UPce 2012 (www.upce.cz) ● Porovnání VVŠ podle bodů v RIV, 2009-2012
● pravidla přidělování a výpočtu bodů dle Metodik se rok od roku měnila (nelze sledovat trend), 12
Hodnocení UPce 2012 (www.upce.cz) ● Body RIV na akademického pracovníka, 20112012
● body RIV nejsou v oborech srovnatelné ● poměr vzdělávání/výzkum je na každé fakultě jiné
13
Hodnocení UPce 2012 (www.upce.cz) ● Relativní podíl fakult, body RIV, 2012
● zaslouží si FChT 74% podíl na veřejné institucionální podpoře VaV, protože to odpovídá rozsahu a kvalitě jejích výsledků VaV? ● co strategické řízení VVŠ? 14
Hodnocení UPce 2012 (www.upce.cz) ● TOP 15 akademiků, 2000-2012
● ● ● ●
lepší než RIV body nezohledňuje publikační zvyklosti v oborech časový úsek 13 let (plné zaměření jen na VaV?) žádné porovnání na národní a mezinárodní úrovni
15
Hodnocení podle RIV bodů ● ● ● ●
UPce není výjimka drtivá většina VVŠ postupuje stejně rozpočítávání až na jednotlivce je běžné UK v Praze má ambice postoupit mezi TOP 200 ●zavedla Program rozvoje vědních oborů PRVOUK ●dělení IP trojčlenkou na fakulty podle RIV bodů ●žádné strategické řízení VVŠ ●nereflektuje publikační zvyklosti v oborech ●nereflektuje kvalitu VaV 16
Hodnocení kvality ● Jurajda, Münich: Kde se dělá v ČR nejlepší výzkum? Studie CERGE-EI 3/2012, dostupná na http://idea.cerge-ei.cz/documents/studie_2012_03.pdf
● Cíl studie: ● srovnání excelentních výsledků pracovišť v jednotlivých vědních oborech ● ukázat nedostatky bibliometrických analýz pro účely hodnocení ● upozornit na přetrvávající nedostatky v hodnotících nástrojích ● Údaje z RIV 17
Hodnocení kvality ● Zvolená metoda: ● výsledky vykázané VO v pětiletém období 2006– 2010 v RIV (zohlednění podílu autorů) ● počty článků v uznávaných časopisech seřazených sestupně podle IF a normalizovaných na celkový počet časopisů v oboru (dle metodiky RVVI) ● v oborovém dělení RIV, které rozlišuje 122 oborů ● rozdělení počtu do tří stejně velkých skupin, Horní tercil (nejvyšší IF) a Střední a Dolní tercil
● Nevypovídá nic o produktivitě ● Identifikuje pracoviště s vysokou mírou excelence v národním měřítku ● Jurajda, Münich: Kde se dělá v ČR nejlepší výzkum? Studie CERGE-EI 3/2012
18
Hodnocení kvality - porovnání
● vybrány středně velké státy ● počty byly normalizovány na počet obyvatel 10 mil. ● Jurajda, Münich: Kde se dělá v ČR nejlepší výzkum? Studie CERGE-EI 3/2012
19
Hodnocení kvality - porovnání
● vybrány středně velké státy ● počty byly normalizovány na počet obyvatel 10 mil. ● Jurajda, Münich: Kde se dělá v ČR nejlepší výzkum? Studie CERGE-EI 3/2012
20
Hodnocení kvality – příklad UPce
● Jurajda, Münich: Kde se dělá v ČR nejlepší výzkum? Studie CERGE-EI 3/2012
21
Institucionální financování ● Rozpočet podle předpisu je sada indikátorů, na základě nichž se přiděluje IP či její část. Jak vysokou institucionální podporu VO dostane, záleží na skóre, kterého dosáhne. Předpis přejímá myšlenku Metodiky hodnocení tím, že zakládá přidělování podpory na minulých výkonech.
● Výkonnostní kontrakty jsou smlouvy mezi poskytovatelem (např. ministerstvem) a příjemcem (např. VO). Definují cíle, kterých VO musí dosáhnout a které jsou rozčleněny do procedurálních kroků tak, aby se zabránilo nepotismu.
22
Institucionální financování ● Indikátory, např. SMART či Cream test. ● SMART: S Specifické, M Měřitelné, A (Achievable) dosažitelné, R Relevantní, a T (Time-bound) závislé na čase. ● Cream test: třídí indikátory podle otázek: jsou indikátory jasné (precizní a nedvojznačné), relevantní (přiměřené pro posuzovanou vlastnost), ekonomické (dostupné za rozumnou cenu), přiměřené (nabízejí dostatečný podklad k ohodnocení výkonnosti), monitorovatelné (přístupné nezávislému ověření). 23
Institucionální financování ● Indikátory externí podpory ● z grantů (kompetitivní projektová podpora, účelová podpora), ● z výzkumných smluv, kde se výsledky výzkumu stávají majetkem organizace, která si výzkum zadala.
24
Financování VVŠ ● Dotace z veřejných prostředků (bez investic a SF) Vzdělávání %
VaV
● zdroj: Výroční zprávy VVŠ o hospodaření 2012
25
Financování VVŠ ● Dotace VaV z veřejných prostředků (bez investic a SF) Projekty 7. RP EU
● zdroj: Výroční zprávy VVŠ o hospodaření 2012
26
Financování VVŠ ● Dotace na specifický vysokoškolský výzkum, 2012 mil. Kč tis. Kč/student
● zdroj: Výroční zprávy VVŠ o hospodaření 2012
27
Financování VVŠ ● Smluvní výzkum, 2012 tis. Kč
● zdroj: Výroční zprávy VVŠ o hospodaření 2012
28
Financování VVŠ ● Prodej licencí, 2012 tis. Kč
● zdroj: Výroční zprávy VVŠ o hospodaření 2012
29
Financování VVŠ ● Účelové financování - projekty, 2012 mil. Kč
● zdroj: Výroční zprávy VVŠ o hospodaření 2012
30
Financování VVŠ ● Účelové financování - projekty, 2012 %
● zdroj: Výroční zprávy VVŠ o hospodaření 2012
31
Financování VVŠ ● Účelové financování – vs odkazy na WoS
● zdroj: Výroční zprávy VVŠ o hospodaření 2012
32
Seminář DERS 2014 ● ● ● ●
není žádné ideální nekonfliktní řešení metodicky velmi složité nyní samostatný vědní obor metodika není 100 % přenositelná ze země do země
● ● ● ●
hledání konsensu otevřené jednání všech zúčastněných stran vysvětlování, diskuse, ochota jednat dlouhodobý proces, přechodné období 33
Doporučuji sledovat
webové stránky IPn projektu webové stránky RVVI: www.vyzkum.cz webové stránky TC AV ČR: www.tc.cz blog doc. Daniela Münicha: http://metodikahodnoceni.blogspot.cz/
www.metodika.reformy-msmt.cz
