Metodika hodnocení 2013
Ing. Martin Matějka sekretariát Rady pro výzkum, vývoj a inovace .
VUT Brno, 20. - 21.11.2013
1
„Metodika 2013“ {
{ {
schválena dne 19. 6. 2013 usnesením č. 475 platná pro roky 2013 až 2015 nová koncepce hodnocení výsledků VO VUT Brno, 20. - 21.11.2013
2
„Metodika 2013“
{
Proč vůbec potřebujeme hodnotit výsledky VaVaI ?
VUT Brno, 20. - 21.11.2013
3
„Státní rozpočet na VaVaI“ V roce 2013 cca 26 mld. Kč
VUT Brno, 20. - 21.11.2013
4
„Státní rozpočet na VaVaI“ V roce 2013 cca 13 mld. Kč
VUT Brno, 20. - 21.11.2013
5
„Státní rozpočet na VaVaI“ V roce 2013 cca 13 mld. Kč
VUT Brno, 20. - 21.11.2013
6
Lze hodnotit vědu ? {
Opravdovou vědu jen velmi obtížně z z z z
{
hodnotné výsledky se často ztrácejí v balastu často nevyhovují zavedeným kategoriím kvalita lidí se obvykle pozná až začnou chybět rutina versus originalita
Pokud však chceme alespoň trochu spravedlivě rozdělit finanční prostředky, tak hodnotit prostě musíme. VUT Brno, 20. - 21.11.2013
7
Jak se hodnotí věda ve světě ? {
{ { {
{
Lesk a stíny světových žebříčků univerzit (US News &World Report, THES, Shanghai Jiao Tong) Lze podle těchto žebříčků financovat ? Britský „Research Assessment Excercise“ Lombardiho projekt měření univerzitní výkonnosti v USA (výdaje, ocenění, PhD, PostD, SAT) Nesrovnatelnost měřítek a zvyklostí …
VUT Brno, 20. - 21.11.2013
8
„Metoda v ČR - Metodika 2013“ {
Metodika hodnocení výsledků VO (povinnost vyplývající ze zákona)
{
Přípravu Metodiky a její předložení vládě ČR zabezpečuje RVVI (§35, odst. 2, písm. c)
{
RVVI následně provádí též hodnocení výsledků výzkumných organizací podle platné Metodiky (§35, odst. 2, písm. d)
{
RVVI následně promítá výsledky hodnocení do návrhu výdajů státního rozpočtu na výzkum a vývoj
{
a to konkrétně do výše institucionální podpory na rozvoj VO dle §5a, §6 (odst. 2, písm. c) a §7 (odst. 6)
VUT Brno, 20. - 21.11.2013
9
Proč nová Metodika ? {
{
{
(1)
Současné Metodiky (první v roce 2004) splnily své poslání. Od roku 2004 jsou ročně publikována bodová hodnocení VO na základě RIV dle postupu definovaného v Metodice platné pro daný rok V letech 2010 - 2011 probíhal v souladu se zákonem přechod ze systému výzkumných záměrů na systém podpory na RVO dle každoročního průběžného hodnocení na základě Metodiky (vždy za 5 let) VUT Brno, 20. - 21.11.2013
10
Proč nová Metodika ? {
{
(2)
Rok 2012 byl již plně financován podle nového systému přidělování finančních prostředků na RVO na základě Metodiky 2012 Ta však byla terčem značné kritiky
VUT Brno, 20. - 21.11.2013
11
Proč nová Metodika ? {
(3)
Metodika 2012 byla oprávněně kritizována pro tyto nedostatky: z z z z
nebyla oborová měla fixní vazbu na finanční prostředky paušálně hodnotila knihy problém s hodnocením „měkkých“ výsledků aplikovaného VaVaI
VUT Brno, 20. - 21.11.2013
12
Principy Metodiky 2013 {
Metodika je založena na 3 přístupech (3 pilířích), kombinace peer review a SW algoritmu:
Pilíř I.
Pilíř II.
VUT Brno, 20. - 21.11.2013
Pilíř III.
13
Metodika 2013 {
schválena dne 19. 6. 2013 usnesením č. 475
{
platná pro roky 2013 až 2015
{
nově zavádí: z
Pilíř I. – hodnocení Jimp, Jsco {
z z
Podpilíř I. – peer review hodnocení knih, Jrec
Pilíř II. – peer review hodnocení kvality Pilíř III. – hodnocení výsledků aplikovaného výzkumu
VUT Brno, 20. - 21.11.2013
14
Start Metodiky 19. 6. 2013
(1)
Pilíř I. - spuštěna Etapa I. z
{
vygenerovány Tab. č.1, č.2, č.2a z
{
hodnocení publikačních výsledků
předány poskytovatelům
vygenerovány „pracovní tabulky“ pro verifikace odbornými a poradními orgány Rady (tzv. Komise) z
předány komisím ke kontrole VUT Brno, 20. - 21.11.2013
15
Pilíř I. a Podpilíř I. – stav k 12.11. {
{
Strojové verifikace druhu „J“ proti databázím WoS, SCOPUS a ERIH kontrola druhu „B“ a „C“ komisemi z z
{
kontrola druhu „Jrec“ komisemi z
{
české knihy kontrolovány v NK zahraniční knihy budou kontrolovány v roce 2014 vyžádání podezřelých záznamů RIV
kontrola druhu „D“ neproběhne VUT Brno, 20. - 21.11.2013
16
Start Metodiky 19. 6. 2013
(2)
Pilíř II. (hodnocení kvality vybraných výsledků) z z
z
- náběh až v roce 2014 - příprava výzvy na nominace panelistů (jmenování v lednu 2014) - příprava VZ na technické zajištění činnosti panelů (od března 2014)
VUT Brno, 20. - 21.11.2013
17
Pilíř II. a Podpilíř I. – stav k 29.10. {
OVHP – odborné verifikační a hodnotící panely z z
{
Expertní panely z z
{
- 7 oborových panelů - každý panel cca 10 odborníků - 11 oborových panelů - každý panel cca 10 odborníků
celkem poptáváme cca 200 expertů z
- z toho cca 40 zahraničních VUT Brno, 20. - 21.11.2013
18
Pilíř II. a Podpilíř I. – stav k 12.9. {
{ {
{
panely budou jednat na 2-3 denních zasedáních uvažuje se cca 3 zasedání do roka nutno zajistit administrativu a logistiku záměr najmout podpůrné subjekty na zajištění činnosti panelů VUT Brno, 20. - 21.11.2013
19
Start Metodiky 19. 6. 2013
(3)
Pilíř III. (hodnocení výsledků projektů aplikovaného VaVaI) definování množiny předávaných údajů o nákladech projektů aplikovaného VaVaI
z
-
z
-
z
- definování xml schémat a kontrol
z
- objednání podpůrného SW na bázi Vklap
definování množiny předávaných údajů o smluvním výzkumu
VUT Brno, 20. - 21.11.2013
20
Start Metodiky 19. 6. 2013
(4)
Pilíř III. z
údaje o smluvním výzkumu nejsou, nebudou a nemohou být součástí IS VaVaI {
z
(zákon 130/2002 Sb.)
pro sběr a zpracování údajů bude využita technologie a platforma IS VaVaI efektivita a úspora { neměnnost prostředí a zažitých postupů { www kontroly, průvodky, dávkový sběr údajů, verzování {
VUT Brno, 20. - 21.11.2013
21
Pilíř III.– stav k 29.10. {
{
{
definována množina předávaných údajů – zpracovány připomínky od poskytovatelů realizována integrace xml schématu do kontrolní služby a úprava SW Vklap očekávaný sběr údajů: prosinec 2013 VUT Brno, 20. - 21.11.2013
22
Start Metodiky 19. 6. 2013 {
červenec, srpen 2013 z z
{
– opravy údajů RIV - verifikace výsledků Komisemi
září 2013 z z
{
(5)
- shromáždění výsledků verifikací od Komisí - shromáždění oprav od poskytovatelů v rámci II. Etapy
říjen a listopad 2013 z
- připomínkové řízení k předávaným údajům Pilíře III. VUT Brno, 20. - 21.11.2013
23
Start Metodiky 19. 6. 2013 {
prosinec 2013 z z
{
- sběr údajů o smluvním výzkumu - sběr údajů o investičních prostředcích projektů aplikovaného VaVaI
leden 2014 z
{
(6)
- vyhodnocení veřejné zakázky na výpočty Hodnocení 2013
únor 2014 z
- konečné výpočty Hodnocení 2013
VUT Brno, 20. - 21.11.2013
24
Reálný harmonogram Hodnocení 2013 {
{
(1)
Příloha č. 10 Metodiky schválena usnesením vlády ČR striktní legislativní předpisy v oblasti veřejných zakázek
{
posun harmonogramu
{
celý proces bude legislativně ošetřen
VUT Brno, 20. - 21.11.2013
25
Reálný harmonogram Hodnocení 2014 a 2015
(2)
Rok 2014 a 2015 již plně v souladu s Přílohou č. 10 schválené Metodiky
VUT Brno, 20. - 21.11.2013
26
Výstupy Metodiky { {
{
(1)
Výstupem Pilířů jsou body; Metodika neobsahuje přímou vazbu na financování VO; Metodika neobsahuje přímou vazbu na přípravu návrhu státního rozpočtu v oblasti VaVaI;
VUT Brno, 20. - 21.11.2013
27
K jednotlivým pilířům Výsledkem hodnocení bude kombinace bodů od všech 3 pilířů
VUT Brno, 20. - 21.11.2013
28
Výstupy Metodiky {
{
(2)
Protože cílem je průběžně podporovat excelenci VaV, Metodika umožňuje meziroční korekce některých parametrů. Uvažuje se např. o započítávání projektů NPU II. do Pilíře III.
VUT Brno, 20. - 21.11.2013
29
(3)
Počet publikací
Výstupy Metodiky
slide: prof. Málek, UP
1.1.1993 VUT Brno, 20. - 21.11.2013
30
Výstupy Metodiky
(4)
slide: prof. Málek, UP VUT Brno, 20. - 21.11.2013
31
Výstupy Metodiky
(5)
slide: prof. Málek, UP VUT Brno, 20. - 21.11.2013
32
(Ne) Dořešené rozpory {
{
{
(1)
povinnost pro poskytovatele ze zákona (§7, odst. 6), pokud nemá schválenu „resortní metodiku“- pevný a závazný převod finančních prostředků na VO dle získaných bodů v hodnocení; požadavek pevné a závazná fixace finančních prostředků na RVO – předem známý mechanismus přípravy návrhu SR na VaVaI z důvodu možnosti predikce dopadů na jednotlivé VO do budoucnosti; poptávka pro bodování Jrec ve všech oborech (z důvodu podpory resortního výzkumu, podpory popularizace a transferu znalostí); VUT Brno, 20. - 21.11.2013
33
(Ne) Dořešené rozpory
(2)
{
snaha o navýšení bodových limitů pro určité obory (návrhy ale nebyly podpořeny analýzou);
{
návrat k paušálním bodům za výsledky aplikovaného výzkumu;
{
Kritika Pilíře III. ze strany AVO a SPD;
VUT Brno, 20. - 21.11.2013
34
(Ne) Dořešené rozpory { Další
(3)
postup po roce 2015;
{ IPn
– projekt Metodika, poskytovatel MŠMT, model platný od roku 2016;
VUT Brno, 20. - 21.11.2013
35
Závěrem {
{
{
{
(1)
Metodika 2013 si nečiní nároky na definitivní systém hodnocení VaVaI; od začátku je koncipována jako řešení přechodného období; Nebyla žádoucí skoková změna systému financování VO; konečný způsob hodnocení VO má doporučit IPn – Metodika;
VUT Brno, 20. - 21.11.2013
36
Závěrem {
{
{
(2)
Metodika je vhodná pro rozdělení institucionální podpory mezi poskytovatele; Už méně se hodí pro rozdělení podpory mezi VO v rámci jednotlivých poskytovatelů; Je zcela nevhodná pro hodnocení malých výzkumných skupin a jednotlivců. VUT Brno, 20. - 21.11.2013
37
Garanti jednotlivých pilířů (KHV) {
prof. Zdeněk Němeček, MFF UK - (Pilíř I. a Podpilíř I.)
{
prof. Tomáš Opatrný, PřF UP - (Pilíř II.)
{
prof. Josef Psutka, FAV ZČU - (Pilíř III.)
{
Prof. Jiří Málek, UP - (svodně Metodika)
{
Ing. Martin Matějka, sekretariát RVVI – (svodně administrativa a vazba na IS VaVaI)
VUT Brno, 20. - 21.11.2013
38
Závěr
Děkuji za pozornost
VUT Brno, 20. - 21.11.2013
39
