Financování české vědy a Metodika hodnocení výsledků
Jiří Málek RVVI, KHV
Česká akademie zemědělských věd, 14.5.2013
Obsah přednášky
Struktura státního rozpočtu Financování programů a institucí Aplikovaný vs. základní výzkum Trendy ve financování Trendy v publikační aktivitě Jak hodnotit vědu ? Metodika hodnocení v ČR Proč potřebujeme změnu a v čem spočívá ? Jaké jsou možnosti ?
Státní rozpočet VaVaI 2013 Rozpočet 2013
Účelové 13,094
13,023
Institucionální
Financování programů 2013 Účelové výdaje 2013 GAČR 3% 2% 4% 3% 6%
25%
9%
TAČR MPO MŠMT MŠMT_VŠ MZ
19%
13% 16%
MV MK MZe MO AVČR
Institucionální financování Institucionální výdaje 2013
19% RVO+VZ
10%
Nákl. činnost Ostatní 71%
AVCR: 1,130 mld. GACR: 0,110 mld. TACR: 0,099 mld. Govt.: 0,033 mld.
Rozvoj výzkumných organizací Výdaje na RVO+VZ 2013
11%
MŠMT AVČR
4% 1%
AVČR_nč 48%
MZ MPO MZe
32%
MO MK MV
MZ: 0,382 MPO: 0,146 MZe: 0,090
RVO podle oborových skupin Medical & Health Sci. 15%
11%
Biological Sci. 12%
17%
Chemical Sci. Physics Mathematics
15% 5%
5%
5%
15%
Earth Sci. Agri. Sci. Technical Sci. & IT Social Sci. & Humanities
Vývoj financování AV a univerzit 2006 - 2013 5,5
RVO + VZ (mld. Kč)
5,0 4,5 4,0 3,5 3,0
Univerzity AVČR (včetně NČ)
2,5 2006
2008
2010
rok
2012
2014
Vývoj v kapitolách MPO a TAČR 5,5
Účelové výdaje (mld. Kč)
5,0 4,5 4,0 3,5 3,0 2,5
MPO+TAČR
2,0 2006
2008
2010
2012
rok
2014
2016
Vývoj v ostatních kapitolách MV MK MZ MZe MO
Účelové výdaje (mld. Kč)
2,5
2,0
1,5
1,0
0,5
0,0 2006
2007
2008
2009
2010
rok
2011
2012
2013
Daňové úlevy VaV v podnikatel. sektoru
Nepřímá podpora VaVaI (mld. Kč)
2,0
1,8
1,6
1,4
1,2
1,0
0,8 2005
2006
2007
2008
rok
2009
2010
2011
Celostátní vývoj počtu publikací v impaktovaných časopisech 18000
S lo v e n s k o ČR Č e s k o s lo ve n s k o
16000
Publikace
14000 12000
zá k o n 1 3 0 /2 0 0 2
10000 8000 6000
bodování
4000 2000
1980
1984
1988
1992
1996
ro k
2000
2004
2008
2012
Vývoj v rámci institucí 1980 - 2010 Impaktované publikace
14000 C R & U n iv C o u n try C R & A ca d S ci
12000 10000 8000 6000 4000 2000 1980
1985
1990
1995
ro k
2000
2005
2010
Vývoj počtu citací 1980 - 2010 100000
C o u n try C R & U n iv C R & A cad S ci
Počet citací
80000
60000
40000
20000
1980
1985
1990
1995
ro k
2000
2005
2010
Typy publikací podle zemí Czech Republic
Others Abstract Proceedings Article
Austria
Hungary
Switzerland
Denmark
Poland
Finland
0
20
40
60
% Web of Science, THOMSON REUTERS, 03/2013
80
100
X Axis Title
Typy publikací podle institucí (2010) Tech Univ Ostrava Univ Def, CR Univ Ekon, CR Tech Univ Brno Tech Univ Liberec Univ Zlin Czech Tech Univ Univ W Bohemia Cz Univ Life Sci Masaryk Univ Charles Univ Mendel Univ Palacky Univ Univ Pardubice U Vet & Ph Sci Acad Sci, CR Inst Chem Tech Univ S Bohemia
Abstract Proceedings Article
0
20
40
60
% Web of Science, THOMSON REUTERS, 03/2013
80
100
Essential Science Indicators (THOMSON REUTERS)
Kategorizuje citace na 9 mil. publikací zveřejněných za posledních 10 let v rámci časopisů indexovaných na Web of Science
Tyto práce jsou rozděleny na 22 oborů (FIELDS) podle časopisů, kde jsou uveřejněny
Jsou vybrány pouze nejvíce citované práce, jejichž autoři a instituce jsou seřazeny podle počtu získaných citací (ALL FIELDS)
Instituce v ČR (2000 – 2010) #
Institution
Citation / paper
h-index
214
Acad. Sci..
9,19
-
402
Charles Univ.
11,29
-
938
Masaryk Univ.
7,15
57
1446
Palacky Univ.
6,98
50
1590
Univ. S. Bohemia
7,68
46
1689
Inst. Chem. Technol.
5,82
44
1838
Czech. Tech. Univ.
4,40
50
2075
Univ. Pardubice
6,56
36
3601
Univ. W. Bohemia
4,60
25
Lze hodnotit vědu ?
Opravdovou vědu jen velmi obtížně
hodnotné výsledky se často ztrácejí v balastu často nevyhovují zavedeným kategoriím kvalita lidí se obvykle pozná až začnou chybět rutina versus originalita
Pokud však chceme alespoň trochu spravedlivě rozdělit peníze, tak hodnotit prostě musíme 19
Jak se hodnotí věda ve světě
Lesk a stíny světových žebříčků univerzit (US News &World Report, THES, Shanghai Jiao Tong)
Lze podle těchto žebříčků financovat ?
Britský „Research Assessment Excercise“
Lombardiho projekt měření univerzitní výkonnosti v USA (výdaje, ocenění, PhD, PostD, SAT)
Nesrovnatelnost měřítek a zvyklostí …
20
Publikační produktivita institucí * 2001 - 2005 25
Harvard MIT Oxford
Publikace / AP
20 Princeton Cornell Duke
15
ČR 10
UCLA Columbia Yale
5 UK
Stanford
CSIC
TUM AVCR
0 0
100
200
300
400
Roční dotace VaV / AP (tis. USD)
21
Metodika hodnocení výsledků VO (prováděcí předpis vyplývající ze Zákona)
Přípravu Metodiky a její předložení vládě zabezpečuje RVVI (§35, odst 2, písm. c)
RVVI následně provádí též hodnocení výsledků výzkumných organizací podle platné Metodiky (§35, odst 2, písm. d)
RVVI následně promítá výsledky hodnocení do návrhu výdajů státního rozpočtu na výzkum a vývoj a to konkrétně do výše institucionální podpory VO dle §5a, §6 (odst. 2, písm. c) a §7 (odst. 6)
Jak probíhalo hodnocení výsledků výzkumných organizací ?
Od roku 2004 jsou ročně publikována bodová hodnocení VO na základě RIV dle postupu definovaného v Metodice hodnocení výsledků VO …
V letech 2010 - 2011 probíhal v souladu se zákonem přechod ze systému výzkumných záměrů na systém každoročního průběžného hodnocení na základě Metodiky (vždy za 5 let)
Rok 2012 byl již plně financován podle nového systému na základě Metodiky
Rozpočet na letošní rok na úrovni poskytovatelů přihlíží pouze z 20% k Metodice. V příštím roce se zřejmě bude postupovat obdobně
K čemu slouží Metodika ?
Metodika je vhodná pro rozdělení institucionální podpory mezi poskytovatele
Už méně se hodí pro rozdělení podpory mezi VO v rámci poskytovatelů
Je zcela nevhodná pro hodnocení malých výzkumných skupin a jednotlivců
Proč nová Metodika ?
Je třeba respektovat Zákon a naplnit povinnosti RVVI dané §35
Současná Metodika (2010-2012) je oprávněně kritizována pro některé zřejmé nedostatky
Zřejmě nelze čekat na výsledky projektu IPN Metodika, které budou v implementovatelné podobě k dispozici nejdříve v roce 2016 (spíše však později)
Je tedy asi vhodné připravit upravenou podobu současné Metodiky (M13), která bude platit po dobu přechodného období
Východiska
Národní politika VaVaI (opatření A 3-1)
IPN Audit VaVaI (závěrečná zpráva, bod 7)
Dlouhodobé principy hodnocení VO (strategický materiál RVVI z roku 2010)
Princip 1: Předpokládá se vznik velkého hodnocení, které bude výsledkem projektu IPN … „Do doby, než vznikne bude fungovat malé hodnocení, probíhající každoročně na základě sběru dat v IS VVI“
Základní principy M13
Peer-review hodnocení výsledků ve společenských a humanitnich vědách
Hodnocení kvality výsledků, které VO vyberou jako své nejlepší
Aplikační výzkum bude hodnocen podle patentů, odrůd, plemen a podílu VO na zdrojích získaných v grantových soutěžích
Pilíř I
Kombinace stávajícího systému hodnocení podle numerických indikátorů s prvky peer-review
Numerickými indikátory se budou hodnotit obory, ve kterých je tento způsob obecně uznávaný
Peer-review bude hrát významnější roli v oborech (SHV), kde jako výsledky převažují knihy nebo časopisy, které nejsou zahrnuty ve světově akceptovaných databázích (subpilíř I)
Bodová hodnota patentů se sníží: 100-50-20
Pro vybrané obory je navrženo zařazení časopisů z databáze SCOPUS
Metodika bude oddělena od přípravy SR
Hodnocení bude probíhat v rámci oborových skupin, tak jako doposud
Oborové skupiny 1. Společenské a humanitní vědy A, B, C 2. Technické vědy a informatika 3. Matematické vědy 4. Fyzikální vědy 5. Chemické vědy 6. Vědy o zemi 7. Biologické vědy 8. Zemědělské vědy 9. Lékařské vědy
Publikační výsledky 2013
SHVa, SHVb1)
Druh výsledku Jimp Jsc Jneimp Jrec
B
článek v impaktovaném časopise 2) Článek v databázi Scopus4) INT 1 Článek INT 2 v databázi ERIH NAT článek v časopise uvedeném v seznamu recenzovaných periodik 5) angličtina, světový čínština, jazyk francouzština, němčina, ruština a španělština
odborná kniha
ostatní
10 - 3053) 10 - 3054) 30 12 20 11 10 10 47)
0 40
40
ostatní jazyky D
článek ve sborníku 6)
20 8 - 606)
Publikační výsledky 2014 …
Druh výsledku Jimp Jsc Jneimp Jrec B D
článek v impaktovaném časopise 2) Článek v databázi Scopus4) INT 1 Článek v databázi INT 2 ERIH NAT článek v časopise uvedeném v seznamu recenzovaných periodik 5) odborná kniha článek ve sborníku 6)
SHVa, SHVb1)
ostatní obory 10 - 3053) 10 - 3054) 30 12 20 11 10 10 7) 4 0 4 - 1208) 8 - 606)
Pilíř II
Každá VO (univerzity po fakultách) vybere určitý počet libovolných výsledků v RIV, které sama považuje za kvalitní (včetně oborové skupiny kde má být výsledek posuzován)
Oborové skupiny budou stejné jako v pilíři I
Bude určena kvóta pro počet výsledků vybraných danou VO k expertnímu posouzení, (např. jeden výsledek na každých 10 MKč instit. podpory)
K danému výsledku VO dodá zdůvodnění, proč jej považuje za kvalitní (citace, komercionalizace, výrazné ovlivnění oboru, atd.).
Výsledky budou posouzeny expertními panely v rámci oborových skupin napříč všemi VO a v každé skupině bude vybráno 20% nejlepších výsledků
Budou stanovena pravidla pro míru příspěvku dané VO k danému výsledku (pokud půjde o výsledek více institucí)
Tomuto indikátoru bude alokováno 10% z celkového počtu bodů, které se budou mezi VO přerozdělovat na základě expertního posouzení výsledků
Určitý počet bodů bude přiznán VO, jejíž pracovníci v uplynulém pětiletém období uspěli v získání ERC grantu
Pilíř III
V rámci tohoto pilíře je navržen postup ve dvou krocích. Nejprve budou zohledněna bodová ohodnocení patentů, odrůd a plemen v rámci pilíře I, které byly vykázány jednotlivými VO v daném roce
V dalším kroku se množství bodů přidělené patentům, odrůdám a plemenům odečte od celkového počtu bodů alokované na výsledky aplikovaného VaV (15%) a tato zbylá část bodů se rozpočítá mezi jednotlivé VO v poměru neinvestičních nákladů vyplacených VO na realizaci aplikovaného výzkumu z projektů TAČR, MPO, 7RP,… a smluvního výzkumu ∑ApKč = α∑Projekty + β∑SmlVýzk
(α = 0,9; β = 0,1)
Pro tento typ hodnocení nebude možné uplatnit finanční náklady vyplývající z výzkumných záměrů, rozvojových projektů MŠMT, rozvojových projektů z fondů EU (např. OPVK, VaVpI), nebo z infrastrukturních projektů výzkumu a vývoje
Garanti jednotlivých pilířů (KHV)
prof. Zdeněk Němeček, MFF UK (pilíř I.)
prof. Tomáš Opatrný, PřF UP
(pilíř II.)
prof. Josef Psutka, FAV ZČU
(pilíř III.)
Porovnání M12 a M13 Metodika 2012
Metodika 2013
15%
15% 10%
Pilíř I
Publikační
Pilíř II
Nepublikační 85%
Pilíř III 75%
- Problém pseudovýsledků (knihy a nepubl. výsledky)
- Peer-review knih, kapitol a recenzovaných časopisů (návrh SHV)
- Preference kvantity
- Potlačení kvantity u nepubl. výsledků
- Malý důraz na kvalitu
- Hodnocení kvality vybraných výsledků
- Příma vazba na finance
- Hodnocení odděleno od financí
Jak dál v příštích 4 - 5 letech ?
Podaří se přijmout navrženou M13 a odstranit nejvíce kritizované nedostatky současného systému hodnocení VO ?
Nebo v přechodném období bude platit dále současná Metodika, která je prodlužována od roku 2010 ?
