Realizace hodnocení výsledků výzkumu dle Metodiky 2013 Jiří Málek KHV a RVVI
Právní rámec • Zákon: 130/2002 Sb., ve znění pozdějších předpisů (§3, 3; §4, 2; §5a, 2; §6, 2; §7, 6; §9, 6; §32, 2 a §35, 2) • Prováděcí předpis: Metodika hodnocení výsledků výzkumných organizací a hodnocení výsledků ukončených programů, platná pro léta 2013- 2015. (schválena usnesením vlády č. 475, dne 19.6. 2013)
Rozpočet pro rok 2015 26,9 mld. Kč účelové prostředky 13,64 mld. P R O G R A M Y
3,8 mld. MŠMT 3,3 mld. GAČR 2,9 mld. TAČR 1,0 mld. MPO 0,9 mld. MZd …
institucionální prostředky 9,5 mld.(RVO) + 1,8 mld.(NČ) + 1,9 mld.(ostatní) 4,5 mld. AVČR
VLASTNÍ HODNOCENÍ
5,25 mld. MŠMT 0,41 mld. MZd 0,39 mld. Mze 0,15 mld. MPO 0,12 mld. MK HODNOCENÍ 13
PROJEKTY
Instituce prospektivní komponenta
Instituce
Instituce
retrospektivní komponenta
M E T O D I K A
Postata hodnocení • Hlavním měřítkem jsou publikační výkony institucí v uplynulých 5 letech • Důraz je kladen zejména na impaktované publikace indexované v databázích Web of Science a SCOPUS • V menší míře se hodnotí nepublikační výsledky, úspěšnost v projektech aplikovaného výzkumu a smluvní výzkum
Impaktované publikace vyjadřují schopnost vědců sdělovat výsledky tvůrčí činnosti v mezinárodním kontextu 20000
Impaktované publikace
18000 16000 14000
Slovensko Česko Československo Rakousko Maďardsko
12000 10000 8000 6000 4000 2000
1980 1984 1988 1992 1996 2000 2004 2008 2012
rok
Citovanost vyjadřuje odezvu na publikované práce 26
Rakousko Maďarsko Česko Slovensko
24 22 20
Citovanost
18 16 14 12 10 8 6 4 1980
1985
1990
rok
1995
2000
Hlavní změny v roce 2013 • Podrobnější hodnocení výsledků v knihách a Jrec (subpilíř I) • Posouzení výsledků, které výzkumné instituce vyberou jako své nejlepší výstupy (pilíř II) • Hodnocení nepublikačních výsledků výzkumu (patenty, odrůdy, plemena), neinvestičních nákladů z projektů aplikačního výzkumu a smluvního výzkumu (pilíř III)
Proporce pilířů Metodiky 2013
15,8% 10,0% Pilíř I Pilíř II Pilíř III 74,3%
Pilíř III. • Pro patenty a nepublikační výsledky je každoročně alokováno 15,8% z celkového počtu bodů • Nejprve jsou zohledněny patenty, odrůdy a plemena vykázané VO (bodované nepublikační výsledky) • V dalším kroku se zbývající část alokace rozdělí v poměru neinvestičních prostředků z projektů aplikovaného výzkumu a smluvního výzkumu ∑Celkem = α∑Projekty + β∑Sml. výzkum (α = 0.9; β = 0.1) …H2013 (α = 1; β = 1) ………H2014
Dopad pilíře III. na poskytovatele Poskytovatel
M13 / M12
AVČR
0,96
MK
1,06
MO
1,00
MPO
1,03
MŠMT
1,02
MV
1,06
MZd
1,03
MZe
0,98
Pilíř II. • Každá VO vybere v rámci definovaných oborových skupin určitý počet výsledků, které považuje za velmi kvalitní • Tento počet je odvozen od celkové částky RVO, které VO získala v roce 2012 (1 výsl./ 10 MKč) • Výsledky jsou posouzeny expertními panely v rámci oborových skupin napříč všemi VO je vybráno 20% nejlepších výsledků, které jsou následně bonifikovány
Expertní panely Panel
Počet členů
předseda
1. SHVa
16
Prof. PhDr. Jaroslav Pánek, DrSc (HÚ AVČR)
2. SHVb
16
Prof. RNDr. Ladislav Kvasz, Dr. (PedF UK)
3. SHVc
18
Doc. Ing. Štěpán Jurajda, Ph.D. (CERGE)
4. Technika a IT
25
Prof. Ing. Michael Šebek, DrSc. (FEL ČVUT)
5. Zemědělské vědy
29
Doc. Ing. Radim Vácha, Ph.D. (VÚPM)
6. Vědy o Zemi
21
Prof. RNDr. Jan Kalvoda, DrSc. (PřF UK)
7. Matematické vědy
14
Prof. RNDr. Jana Jurečková, Dr.Sc. (MFF UK)
8. Fyzikální vědy
17
Prof. RNDr. Vladimír Sechovský, DrSc. (MFF)
9. Chemické vědy
21
Prof. RNDr. Ivo Nezbeda, DrSc. (PřF UJEP)
10. Biologické vědy
20
Prof. Ing. Vladimír Wsól, Ph.D. (LF UK HK)
11. Lékařské vědy
26
Prof. MUDr. Jan Lebl, CSc. (2.LF UK)
CELKEM
223
* Úplné složení panelů lze nalézt na: www.vyzkum.cz v sekci Hodnocení VaVaI
Skutečné počty výsledků vybraných expertními panely 60 vybráno neuplatněno zahraničí
Počet výsledků typu A
50
40
30
20
10
0 EP1
EP2
EP3
EP4
EP5
EP6
EP7
EP8
EP9 EP10 EP11
Typy vybraných výsledků • V panelu EP01 – SHVa bylo vybráno celkem 19 výsledků typu A • Jedná se výhradně o kvalitní knihy českých autorů, některé z nich jsou vydány cizojazyčně • Panel EP01 pokládá II.pilíř za „přijatelnou formu posuzování excelentních výsledků“
4
2
0 0 KNIHA (Brill, Leiden)
6
4 6 8 10 12
KNIHA (Brill, Leiden)
EU. Politics (SCOPUS)
KNIHA (Cambridge)
KNIHA (Oxford)
Am. J. Phys. Anthropol.
KNIHA (Karolinum)
Am. J. Phys. Anthropol.
Global Env. Change
8
J. Philos. Logic (SCOPUS)
KNIHA (Contiuum, London)
2
KNIHA ( Nakladatelství LN)
KNIHA (T&T Clark, NY)
KNIHA (Karolinum)
IF 10
EP-02 SHVb JCR predikce skutečnost
14
pořadové číslo výsledku
IF … impakt faktor v roce 2013, Journal Citatiton Reports ®, Web of Science IF*…vypočten na základě skutečného počtu citací publikací (31. 9. 2014) # … abecední pořadí dle názvu výsledku
10
0 2
20
0 4 6
pořadové číslo výsledku 8
Am. Econ. Rev.
J. Econ. Lit.
Psychol. Sci.
Sci. Technol. & Hum. Value
KNIHA (Springer-Verlag)
KNIHA (Academia)
Rev. Ecom. Stat.
Am. Econ. Rev.
IF
Science
40
EP-03 SHVc JCR predikce skutečnost
30
10
EP-04 TECHNIKA A INFORMATIKA (1)
40
JCR predikce skutečnost
20
SOFTWARE
10
0 0
2
4
6
8
10
12
PATENT (EPO)
SBORNÍK (IEEE Comp. Soc.)
IF
30
14
16
18
20
pořadové číslo výsledku IF … impakt faktor v roce 2013, Journal Citatiton Reports ®, Web of Science IF*…vypočten na základě skutečného počtu citací publikací (31. 9. 2014)
EP-04 TECHNIKA A INFORMATIKA (2)
40
JCR predikce skutečnost
10
0 20
22
24
= 4,0 = 7,5
OVĚŘENÁ TECHNOLOGIE
PATENT (USTPO)
20 PATENT (USTPO)
IF
30
26
28
30
32
pořadové číslo výsledku
34
36
38
EP-05 ZEMĚDĚLSKÉ VĚDY
40
JCR predikce skutečnost
0
2
4
6
8
10
pořadové číslo výsledku
Užitný vzor
Patent (ČR)
0
Ověřená technologie
10
Patent (USA)
20 Ověřená technologie
IF
30
12
14
EP-06 VĚDY O ZEMI
40
JCR predikce skutečnost
IF
30
= 4,8 = 10,2
20
10
0 0
2
4
6
8
10
pořadové číslo výsledku
12
14
6
4
2
0 0 2 4 6
pořadové číslo výsledku Math. Ann.
SIAM J. Math. Anal.
Kniha (Cambridge)
Kniha (Walter de Gruyter)
Kniha (World Sci.)
Kniha (Cambridge)
Kniha (Amer. Math. Soc.)
Trans. Amer. Math. Soc.
Kniha (Walter de Gruyter, Berlin)
IF 10
EP-07 MATEMATIKA
JCR predikce skutečnost
8
8 10
EP-08 FYZIKA (1)
50
JCR predikce skutečnost
40
IF
30
20
10
0 5
10
15
pořadové číslo výsledku
20
EP-08 FYZIKA (2)
50
JCR predikce skutečnost 40
30
IF
= 20,4 = 33,2
20
10
0 25
30
35
40
45
pořadové číslo výsledku
50
55
EP-09 CHEMIE
50
40
JCR predikce skutečnost
30
IF
= 11,4 = 10,3
20
10
0 5
10
15
20
pořadové číslo výsledku
25
30
EP-10 BIOLOGIE
50
JCR predikce skutečnost 40
30
IF
= 11,2 = 12,1 20
10
0 5
10
15
20
25
pořadové číslo výsledku
30
35
40
EP-11 LÉKAŘSTVÍ
50
40
JCR predikce skutečnost
30
IF
= 12,6 = 8,1
20
10
0 5
10
15
20
pořadové číslo výsledku
25
30
Souhrn za pilíř II • Poprvé v histori ČR se podařilo provést celoplošné hodnocení 1 400 vybraných výsledků metodou peer-review (EP-panely) • Bylo vybráno 80% publikací v impaktovaných časopisech. Drtivá většina indexována na Web of Science, pouze 2 publikace na SCOPUS • Zbývajících 20% tvoří knihy (36), patenty (5), technologie (3), software (1), užitný vzor (1), sborník z konference (1) • Nic dalšího. Žádné recenzované časopisy, výzkumné zprávy či certifikované metodiky …
Pilíř I. • Kombinuje původní systém hodnocení publikačních výsledků založený na bibliometrii s prvky peer-review • Bibliometrické indikátory jsou uplatněny u těch typů výsledků kde je to obvyklé (Web of Science a SCOPUS) • Peer-review hraje zásadní roli v oborech kde typickými výsledky výzkumu jsou knihy nebo publikace v národních časopisech (Subpilíř I …. OVHP panely)
Publikační druhy výsledků (2014) OVHP panely WoS
SCOPUS
1,2. SHV (a,b) 3. SHV ( c ) 4. Technika a Informatika 5. Zemědělské vědy 6. Vědy o zemi 7. Mathematika 8. Fyzika 9. Chemie 10. Biologie 11. Lékařské vědy
Jimp Jimp Jimp Jimp Jimp Jimp Jimp Jimp Jimp Jimp
Jsc Jsc Jsc Jsc Jsc Jsc
BODY
(10 – 305)
ERIH Jneimp Jneimp
(10 – 30)
„Seznam“ Knihy Jrec
4
B,C B,C B,C B,C B,C B,C
Sborníky D D D D D
(4 – 120) (8 – 60)
OVHP panely Panel
Počet členů
předseda
SHVa
65
Prof. PhDr. Petr Vorel, Ph.D (FF UPA)
SHVb
46
Doc. Mgr. Karel Stibral, Ph.D. (FSS MU)
SHVc
22
Prof. PhDr. Jiří Mareš, CSc. (LF UK HK)
Technika a informatika
16
Prof. Ing. Zdeněk Bittnar, DrSc. (FS ČVUT)
Zemědělské vědy
21
Doc. Ing. Radim Vácha, Ph.D. (VÚPM)
Vědy o zemi
11
Prof. RNDr. Jan Kalvoda, DrSc. (PřF UK)
Matematické vědy
7
Prof. RNDr. Jana Jurečková, Dr.Sc. (MFF UK)
CELKEM
188
Skutečné počty výsledků hodnocených OVHP panely Četnost výsledků dle panelů 394 149
Počet předložených výsledků
252 80
1 045
78 765
937 OVHP-1 OVHP-2 5897
OVHP-3 OVHP-4
4271
OVHP-5 OVHP-6
10 092
OVHP-7
85% OVHP 1 a 2
84% výsledky VŠ
AV PF SP VS
Bodové rozpětí hodnocení
procenta udělených hodnocení
Procenta udělených hodnocení (0 až 6) dle panelů 60% 50%
0 2
40%
3 30%
4 5
20%
6 T
10% 0% OVHP-1
OVHP-2
OVHP-3
OVHP-4 Panel
OVHP-5
OVHP-6
OVHP-7
Distribuce Jimp v H2013 10
8
PHYS REV LETT
IF
6 PHYS REV D PHYS LETT B
4
PLOS ONE
2
PHYSIOL RES NEUROENDOCRINOL LETT CHEMICKÉ LISTY
0 0
20
40
60
80
100
četnost
120
140
160
180
A
Podíl impaktovaných časopisů v celkovém počtu bodů v pilíři I (Hodnocení 2013) PHYS CHEM CHEM PHYS INFORM SCIENCES J HAZARD MATER ANAL CHEM EUR HEART J INORG CHEM LANCET CHEM-EUR J J AM CHEM SOC ASTROPHYS J PHYS REV A CHEM LISTY P NATL ACAD SCI USA NUCLEIC ACIDS RES OPT EXPRESS ANN RHEUM DIS EUR PHYS J C J CHROMATOGR A J EUR CERAM SOC LEUKEMIA BLOOD NATURE PHYS REV B PHYS REV C ASTRON ASTROPHYS PHYS REV D NEW ENGL J MED J HIGH ENERGY PHYS PHYS LETT B PLOS ONE PHYS REV LETT
0,0
0,5
1,0
1,5
2,0
2,5
3,0
% podílu na celkovém počtu bodů
3,5
Souhrn za pilíř I • Téměř 12 000 výsledků publikovaných v knihách a recenzovaných časopisech bylo podrobně hodnoceno OVHP panely. Ve všech hodnocených oborech bylo 15 – 20% výsledků doporučeno k vyřazení a 200 výsledků navrženo k penalizaci „zápornými“ body. • Většina prací je publikována v kvalitních impaktovaných časopisech • V některých oborech však mají nezanedbatelný podíl lokální časopisy s nízkým impaktem • Kvalita a citovanost prací českých autorů s časem roste
Jak dál s hodnocením výzkumu ? • Projekt IPN-Metodika: – Oborové hodnocení vybraných výsledků v 5 letých cyklech (obdoba britského REF) – Vědecký výkon, Excelence, relevance, důraz na „narativ“ – Samostatná hodnotící agentura, náklady: ∼100 MKč/rok
• Věcný záměr nového zákona VaV počítá s hodnocením v 5 letých cyklech se třemi komponentami: – Dosažené výsledky dle RIV – Peer-review VO jako celku (lidské zdroje, vybavení, řídící struktura atd.) – Vize, očekávání, internacionalizace, atd.
Hodnocení 2015 a 2016 • Hodnocení v roce 2014 bude pravděpodobně dokončeno v plném rozsahu … 299/A6 • Pro roky 2015 a 2016 RVVI navrhuje realizovat hodnocení dle Metodiky 2013, avšak s časovým posunem (společně s rokem 2016) … 304/A2 • Pro roky 2017+ RVVI předpokládá, že hodnocení bude prováděno ve víceletých cyklech podle jiných principů … 304/A2
Usnesení 299/A6 Rada: • bere na vědomí „Zprávu o stavu hodnocení výsledků výzkumných organizací v roce 2014“, • ukládá sekretariátu Rady neprodleně dokončit hodnocení prováděné v roce 2014 ve všech jeho částech tak, jak předepisuje platná Metodika 2013, • ukládá sekretariátu Rady připravit změnu harmonogramu Metodiky 2013 a zaslat jej do meziresortního připomínkového řízení, • ukládá sekretariátu Rady předložit návrh vypořádání připomínek vznesených v rámci meziresortního připomínkového řízení na jednání Rady.
Usnesení 304/A2 Rada: • schvaluje postup hodnocení roku 2015 a 2016 podle diskuse proběhlé v rámci jednání, • schvaluje, že hodnocení v roce 2015 a 2016 bude provedeno podle upravené Metodiky hodnocení výsledků výzkumných organizací a hodnocení výsledků ukončených programů (platné pro léta 2013 až 2015), jejíž platnost bude prodloužena i na rok 2016, • ukládá sekci pro VaVaI rozpracovat postup hodnocení 2015 a 2016 a rozeslat členům Rady ke schválení per rollam, • zahájí práce na přípravě hodnocení 2017+.
Časové schéma hodnocení 2013 - 2016
H2016
H2015
H2014
H2013
2008
2009
2010
2011
2012
roky
2013
2014
2015
Děkuji za pozornost
