PŘÍRODOVĚDECKÁ FAKULTA

UNIVERZITA PALACKÉHO V OLOMOUCI

PŘÍRODOVĚDECKÁ FAKULTA KATEDRA MATEMATICKÉ ANALÝZY A APLIKACÍ MATEMATIKY

BAKALÁŘSKÁ PRÁCE Analýza modelu hodnocení výsledků výzkumu a vývoje

Vedoucí bakalářské práce: doc. RNDr. Jana Talašová, CSc. Rok odevzdání: 2013

Vypracoval: Jiří Beran ME, III. ročník

Prohlášení Prohlašuji, že jsem bakalářskou práci vytvořil samostatně pod vedením paní doc. RNDr. Jany Talašové, CSc. a uvedl jsem všechny zdroje použité literatury. Ve Štítech, dne 25. 4. 2013

…………………… Podpis

Poděkování Rád bych poděkoval vedoucí bakalářské práce paní doc. RNDr. Janě Talašové, CSc. za spolupráci, čas a cenné připomínky, které mi věnovala při konzultacích. Rovněž bych chtěl poděkovat panu Mgr. et Mgr. Janu Stoklasovi za pomoc a čas strávený při konzultacích. V neposlední řadě bych chtěl poděkovat své rodině a přátelům za stálou podporu během studia a za důvěru, kterou ve mne vložili.

Obsah Úvod ..................................................................................................................................... 5 1

2

Metodika hodnocení výsledků VaVaI .......................................................................... 7 1.1

O metodice hodnocení a jejím předpokládaném dalším vývoji ............................ 7

1.2

Procedura hodnocení dle Metodiky 2012 ............................................................ 11

Klasifikace výsledků výzkumu ................................................................................... 13 2.1

Výsledky s bodovým hodnocením ...................................................................... 13

2.1.1 Přehled bodovaných výsledků ......................................................................... 13 2.1.2 Výsledek typu Jimp – článek v impaktovaném časopise .................................. 16 2.2

Proces renormalizace ........................................................................................... 27

2.2.1 Přepočet bodů na korigované body .................................................................. 27 2.2.2 Výpočet finanční hodnoty korigovaného bodu ................................................ 31 2.3 3

Časový vývoj produkce bodovaných výsledků VaVaI ....................................... 32

Návrh alternativních modelů pro hodnocení článků ................................................... 34 3.1

Matematický aparát ............................................................................................. 35

3.1.1 Metoda párového srovnávání ........................................................................... 35 3.1.2 Saatyho Analyticko hierarchický proces (AHP) .............................................. 36 3.2

Návrh modelu hodnocení výsledků typu J .......................................................... 41

Závěr ................................................................................................................................... 53 Literatura ............................................................................................................................ 55

Rejstřík použitých zkratek AV ČR

Akademie věd České republiky

ČR

Česká republika

ESF

Evropský sociální fond

IPN

Individuální projekt národní

IPN Audit VaVaI

Mezinárodní

audit

výzkumu,

vývoje

a

inovací

v ČR

a

implementace jeho výsledků do strategických dokumentů IPN Metodika

Efektivní systém hodnocení a financování výzkumu, vývoje a inovací

IS VaVaI

Informační systém výzkumu, experimentálního vývoje a inovací

JCR

Journal Citation Report

Kč

Koruna česká

Metodika 2012

Metodika hodnocení výsledků výzkumu a ukončených programů (platná pro léta 2010 a 2011 a rok 2012)

MŠMT

Ministerstvo školství, mládeže a tělovýchovy

OECD

Organizace pro hospodářskou spolupráci a rozvoj

RIV

Rejstřík informací o výsledcích

RVVI

Rada pro výzkum, vývoj a inovace

VaVaI

Výzkum, experimentální vývoj a inovace

VŠ

Vysoké školy

WoS

Web of Science

WoK

Web of Knowledge

Úvod Tématem této kvalifikační práce je Analýza modelu hodnocení výsledků výzkumu a vývoje. Vždy jsem byl fascinován aplikací matematiky při řešení reálných problémů v praxi, což byla hlavní příčina výběru daného tématu. Díky této práci jsem získal příležitost seznámit se obecně s problematikou vědy, výzkumu a inovací (dále VaVaI), především pak s Metodikou hodnocení výsledků výzkumných organizací a hodnocení výsledků ukončených programů (platnou pro léta 2010, 2011 a 2012) (dále Metodika 2012) [12] a souvisejícím způsobem financování VaVaI v ČR. Z toho důvodu mi přišlo téma velmi atraktivní, ačkoliv jsem o něm v okamžiku, kdy jsem se pro toto téma bakalářské práce rozhodoval, nevěděl de facto nic. Práce je tematicky členěna na 3 kapitoly. Cílem první kapitoly je čtenáři stručně poskytnou základní informace o

systému hodnocení VaVaI v ČR a budoucím

předpokládaném vývoji a vysvětlit proceduru hodnocení dle Metodiky 2012. Cílem druhé kapitoly je analyzovat bodové ohodnocení jednotlivých výsledků dle Metodiky 2012 s využitím konkrétních příkladů a návodů. Důraz zde je položen na analýzu hodnocení výsledku typu Jimp – článek v impaktovaném časopise. Výsledky této analýzy ukazující na určité nedokonalosti aktuálně používaného modelu hodnocení se staly motivací pro návrh alternativních modelů hodnocení článků, které jsou předmětem třetí kapitoly. Výzkum, vývoj a inovace patří mezi nejdůležitější odvětví ekonomik vyspělých zemí. VaVaI je zdrojem nových poznatků, jejichž správnou implementací do praxe roste úroveň a kvalita života. Aktuální motto zní: „Věda dělá z peněz znalosti, inovace dělají ze znalostí peníze.“ Aby motto platilo, je nesmírně důležité nastavit optimální mechanismus hodnocení tak, aby se VaVaI rozvíjelo co nejefektivnějším způsobem, především pak díky optimální alokaci finančních prostředků. Věda a výzkum se v posledních letech dynamicky vyvíjí, a proto je její politika předmětem cílených reforem. Poslední reforma z roku 2008 zavedla pro následující nový systém hodnocení, který se ihned setkal s řadou ostrých kritik vědeckých pracovníků. Metodika 2009 zavedla systém kvantifikace výsledků, tj. každému výsledku se přiřadí bodová hodnota. Takovýto systém si brzy získal přezdívku „kafemlejnek.“ Metodika se v průběhu let na základě získávaných zkušeností vyvíjela. Významný vliv na vývoj metodiky hodnocení měly závěry IPN Audit VaVaI, který doporučil od takového systému 5

hodnocení ihned odstoupit. Aktuálně se tedy pracuje na novém systému hodnocení s využitím multioborových metodik, které budou v nadcházejících letech zavedeny.

6

1 Metodika hodnocení výsledků VaVaI Jeden z největších problémů poslední doby z oblasti řízení VaVaI je najít vhodný způsob hodnocení a s ním související způsob financování VaVaI. Metodika hodnocení výsledků výzkumných organizací a hodnocení ukončených programů platná pro léta 2010, 2011 a 2012 rozdělila akademickou obec na 2 části, a to její příznivce a odpůrce.

1.1 O metodice hodnocení a jejím předpokládaném dalším vývoji Cílem této kapitoly je poskytnout čtenáři úvod do problematiky hodnocení VaVaI. Hodnocení vědy a výzkumu je nesmírně složité a vytvořit dokonalou metodiku hodnocení je prakticky nemožné. V roce 2009 u nás zavedla výše zmíněná Metodika 2009, která zavedla nový systém hodnocení výsledků výzkumu a vývoje známy jako „kafemlejnek.“ Jedná se o systém, který přesně definovaným výsledkům VaVaI přiřazuje stanovené počty bodů vyjadřující jejich významnost. Na základě celkového počtu bodů jsou pak výzkumným organizacím rozdělovány finanční prostředky ze státního rozpočtu. Každá instituce, zabývající se VaVaI a přijímající podporu z veřejných prostředků, musí své výsledky vkládat do Rejstříku informací o výsledcích (dále RIV), jedné z databází Informačního systému výzkumu, experimentálního vývoje a inovací (IS VaVaI). Zde je pak možné vyhledávat konkrétní informace o konkrétních výsledcích. Z dat vložených jednotlivými výzkumnými organizacemi (např. VŠ) se sestavují roční bilance produkce výsledků těchto institucí (viz [8], [9], [10]). Výsledky dosažené institucí v průběhu několika let (5) jsou pak použity jako ukazatel pro rozdělování finanční podpory na VaVaI v následujícím období. Tento systém byl zaveden na základně reformy z r. 2008, kde cílem vlády bylo financovat výzkumné organizace (VO) na základě dosažených výsledků. Jestliže mají VO dostávat institucionální podporu z veřejných prostředků, musí produkovat výsledky. S tímto tvrzení nelze než souhlasit. Vznikla však otázka, jak a na základě čeho by měly být VO hodnoceny. „Kafemlejnek“ přinesl některá negativa, ale i pozitiva. Původní přínosná myšlenka zavést systém, kde budou výrazně zhodnoceny velmi kvalitní výsledky a kde málo významné výsledky budou zhodnoceny minimálně, začala přinášet 7

problémy v okamžiku, kdy se významná část institucionální podpory na VaVaI začala rozdělovat přímo úměrně počtu vyprodukovaných bodů, a tedy prakticky se zaměřila čistě na počítání výstupů, tedy odrážela pouze realizovanou minulost. Institucionální financování1 VaVaI tak zanedbávalo další klíčové faktory jako plánovaný budoucí rozvoj materiální výzkumné základny nebo rozvoj lidských zdrojů, ale zejména za nimi stojící existující koncepce rozvoje výzkumu. Hodnotit pomocí stejného modelu2 výstupy různých oborů také není dobrým řešením. Do budoucna se plánuje zavedení multioborových metodik hodnocení. Metodika 2012 totiž zvýhodňuje přírodní obory (chemie, biologie) oproti oborům humanitním, je nastavena na jejich typ výstupů, především pak na jejich publikační zvyklosti. Rovněž se ukázalo, že v takto nastaveném systému lze poměrně snadno nahradit kvalitu kvantitou. Tedy původně dobrá myšlenka najít objektivní nástroj pro hodnocení produkce se pro některé VO stala počátkem „závodu o body“ za účelem maximalizace příjmů z veřejných prostředků. Metodika ovšem nepřinesla jen negativa. Takto nastavený systém hodnocení poskytl příležitost některým VO rozvinout svůj potenciál díky motivaci v podobě finančního ohodnocení jejich výsledků. Některá pracoviště, především pak ta univerzitní, doslova expandovala (např. UPOL jen v r. 2012 zvýšila produkci3 výsledků s bodovým hodnocením oproti předchozímu roku o více jak 30%). Dalším přínosem „kafemlejnku“ je transparentnost. V systému, kde každý vyprodukovaný výsledek VaVaI získává body a kde se za body získávají peníze, je minimálně riziko korupce či lobismu. V době sílící kritiky „kafemlejnku“ připravilo MŠMT jako jeden z velkých tzv. Individuálních

projektů

národních

(IPN)

Operačního

programu

Vzdělávání

pro

konkurenceschopnost (OP VK) financovaného z Evropského sociálního fondu (ESF) a státního rozpočtu ČR unikátní projekt „Mezinárodní audit výzkumu vývoje a inovací (Audit VaVaI4, 2010-2011).“ Cílem tohoto projektu bylo provést vnější nezávislé hodnocení systému VaVaI, analyzovat jeho aktuální stav, odhalit slabiny a nastínit možný směr dalšího vývoje, a mimo jiné navrhnout doporučení ke zlepšení systému hodnocení. Audit měl být proveden 1

O institucionálním financování VaVaI v ČR podrobně viz [21]. Proces hodnocení podrobně rozebrán v 2. kapitole. 3 Lze dohledat v Tabulce č. 6 v [9] a [10]. 4 Vše o Auditu VaVaI viz [20]. 2

8

autoritativním a nezpochybnitelným pohledem zahraničních expertů formou veřejné zakázky. Výběrové řízení vyhrálo zahraniční konsorcium šesti renomovaných institucí pod vedením Technopolis Group. Audit přinesl řadu zásadních závěrů a doporučení. Retrospektivní „kafemlejnek“ má být nahrazen systémem výkonnostních smluv obsahující jak složku retrospektivní, tak perspektivní. Tento nový systém se má skládat z multioborových metodik a k hodnocení výsledků v rámci jednotlivých oborů mají být přizváni zahraniční renomovaní specialisté. Na toto doporučení navázalo MŠMT dalším IPN projektem „Efektivní systém hodnocení a financování výzkumu, vývoje a inovací (IPN Metodika)“ s náklady více jak 110 mil. Kč, který si klade za cíl vytvořit nový systém hodnocení VaVaI zaměřený na: 1. Zvýšení efektivity financování VaVaI, 2. podpoření excelence, 3. vytvoření atraktivního prostředí pro mladé začínající vědce, 4. zvýšení kvality VaVaI v mezinárodním kontextu. Projekt IPN Metodika rovněž reflektuje strategický dokument „Dlouhodobé principy hodnocení výsledků VO“ (viz [6]) schválený dne 25. března 2011 Radou pro výzkum, vývoj a inovace (RVVI), nejvyšším poradním orgánem vlády ČR ve věcech politiky VaVaI. Předpokládá se zřízení jediné instituce, která bude za hodnocení výsledků zodpovědná, dohled nad ní má vykonávat vláda ČR prostřednictvím RVVI a jejich poradních orgánů. Hodnocení VaVaI pak bude každoročně financováno X % institucionální podpory. Tato hodnotící instituce pak bude transparentně verifikovat výsledky předkládané jednotlivými výzkumnými institucemi k hodnocení. Výstupem projektu IPN Metodika má být tzv. „velká“ metodika, než však bude vytvořena, má se k hodnocení prozatímně používat „malá“ metodika. „Malá“ metodika bude sloužit k hodnocení v přechodné době mezi Metodikou 2012 a „velkou“ metodikou. Má se jednat o zdokonalenou verzi Metodiky 2012, která se však bude lišit především zrušením přímé vazby mezi institucionální podporou a množstvím vyprodukovaných bodů. Významnou složkou má být zavedení hodnocení excelence. Zachována by měla být procedura hodnocení (viz podkapitola 1.2), tj. hodnocení výsledků až 5-let zpětně uplatněných, zařazených v RIV, splňující definice dle [12]. 9

„Velká“ metodika má reflektovat výsledky projektu IPN Metodika. Má se jednat o systém multioborových metodik. Oborové dělení bude vycházet z dokumentu Frascati Manual 2002 [4], jehož autorem je OECD. Předpokládaný rok zavedení je 2016. Do té doby se musí „velká“ metodika vytvořit, pilotně ověřit a schválit vládou ČR. Hodnocení zde nebude probíhat každoročně, nýbrž jednou za cca 5 – 6 let. Účelem tohoto hodnocení bude vytvoření opory pro redistribuci institucionální podpory a vypracování informace o výkonosti výzkumných organizací. V rámci „velké“ metodiky se dále předpokládá zavedení tzv. „peerreview“ hodnocení. Jedná se o hodnocení prostřednictvím odborných komisí, které jsou tvořeny renomovanými specialisty z oboru. Tyto odborné komise jsou nazývány panely, jim podřízené odborné komise sub-panely. Předpokládá se 5 – 10 odborných panelů, sub-panelů pak cca 30 – 40. Minimálně 50% hodnotitelů v panelech a sub-panelech musí být ze zahraničí a musí se jednat o prokazatelně špičkové experty z příslušného oboru. Zbytek bude tvořen domácími hodnotiteli tak, aby se rovněž jednalo o špičkové odborníky z oboru a aby byl vyloučen střet zájmů. Hodnocení formou peer-review bude podléhat přísným pravidlům. Hodnocení sub-panely v rámci jednotlivých oborů bude probíhat podle oborově specifických metodik, které by měly do jisté míry reflektovat zvyklosti daného oboru. Výsledky nepublikačního charakteru budou primárně hodnoceny podle finančních a nefinančních přínosů, popřípadě podle finančních nákladů spotřebovaných při tvorbě. „Velká“ metodika se bude skládat ze tří dimenzí: 1. dimenze zaměřená na zhodnocení výsledků 2. dimenze zaměřená na společenský dopad výzkumu 3. dimenze zaměřená na předpoklady dalšího rozvoje Multidimenzionální členění má zohledňovat různorodost výzkumných organizací (typ, zaměření, velikost). Největší důraz při hodnocení bude kladen na 1. dimenzi. Takto nastavený systém má v mezinárodním kontextu nejblíže k britským systémům hodnocení výsledků výzkumu a vývoje REF a RAE. Z dokumentu Dlouhodobé principy hodnocení výsledků VO [6] a z Auditu VaVaI [20] vychází dokument Návrh implementace závěrů a doporučení Mezinárodního auditu do

10

Metodiky hodnocení výsledku VaV [2]. Tyto dokumenty obsahují daleko podrobnější popis problematiky budoucího vývoje hodnocení VaVaI v ČR.

1.2 Procedura hodnocení dle Metodiky 2012 Cílem této kapitoly je popsat proceduru, která je nezbytnou součástí hodnocení výsledků VaVaI v roce 2012. Následující kapitola vychází z [12]. Metodika 2012 je založena na několika zásadách. Neprovádí se hodnocení efektivnosti instituce jak tomu bývalo dříve, dále jsou hodnoceny pouze ty VO, které jsou nebo mohou být příjemci institucionální podpory dle norem stanovených RVVI. Každý výsledek, jenž má být součástí hodnocení, musí splňovat platné definice (viz [12, Příloha č. 2]) a současně být zaznamenán v RIV. VO mohou do hodnocení vložit výsledky uplatněné5 až 5 let zpětně, avšak každý jeden nejvýše jednou. Hodnocení probíhá v roce následujícím pětiletému období uplatnění. Na základě zhodnocení výsledků je pak v následujícím roku poskytnuta institucionální podpora. Podrobněji viz Tabulka 2.1. Tabulka 2.1: Časový harmonogram hodnocení VaVaI období uplatnění výsledků od 1. 1 roku do 31.12 roku 2007 2011

rok hodnocení

rok příjmu podpory

2012

2013

Základem pro hodnocení výsledků výzkumu a vývoje a jedinou směrodatnou databází je RIV. Za správnost údajů zde vložených zodpovídá poskytovatel6 podpory. Samotný proces hodnocení je potom rozdělen na 4 etapy, jejichž výstupem je 6 tabulek7. V první etapě musí provozovatel IS VaVaI (RVVI) zpracovat data vložená do RIV. Dochází k verifikaci, kdy je ověřováno splnění nejprve obecných, poté specifických kritérií za pomocí

softwarového

algoritmu

či

odborných

komisí

sestavených

RVVI

nebo

poskytovatelem pro zařazení výsledku do hodnocení, podrobně rozepsáno v [12]. Nesplňuje-li 5

Rokem uplatnění výsledku je rok, kdy byl daný výsledek vytvořen, tj. publikován, realizován, atd., ne rok vložení do RIV. 6 Každá VO spadá pod jednoho z „poskytovatelů podpory.“ Ti svým VO vyplácí institucionální podporu. Seznam poskytovatelů viz [17]. 7 Tabulky č. 1-6 zde popisovány nejsou obsaženy v této práci. Jedná se o tabulky vytvořené v rámci procesu hodnocení dle Metodiky 2012. Specifika každé tabulky podrobně popsány viz [12, Příloha č. 3].

11

některý z výsledků alespoň jedno obecné, nebo následně alespoň jedno specifické kritérium, je automaticky vyřazen z hodnocení a evidován v Tabulce č. 1, ve které jsou zahrnuty veškeré vyřazené výsledky. V Tabulce č. 2 jsou evidovány výsledky splňující kritéria, ale obsahující rozpory a nesrovnalosti (např. předkládá-li více poskytovatelů jeden výsledek, např. odbornou knihu, může dojít k nejednotně uvedenému ISBN kódu), a proto nemohou být součástí hodnocení, avšak mají možnost dle stanov v [12] tyto rozpory odstranit a zajistit tak výsledku zařazení do hodnocení. V druhé etapě hodnocení se řeší především nesrovnalosti u výsledků zaznamenaných v Tabulce č. 2. VO mají možnost prostřednictvím svých poskytovatelů opravit rozporné údaje v databázi RIV, které vedly k vyřazení z hodnocení, a tím docílit zařazení do hodnocení společně s bodovým ohodnocením. Dále výsledek typu „P – patent“ lze zařadit do vyšší bodové kategorie, byl-li využit na základě platné licenční smlouvy. V této etapě již není možné požadovat jakékoliv změny v RIV či zařazení dalších výsledků do hodnocení. Ve třetí etapě se rozdělí výsledky na 2 výstupy. V Tabulce č. 3 jsou zaznamenány všechny výsledky, které jsou ohodnoceny, včetně jejich bodových hodnot, a v Tabulce č. 4 jsou zaznamenány veškeré výsledky, které jsou vyřazeny z hodnocení prostřednictvím odborných poradních orgánů RVVI. K vyřazení lze napsat vyjádření, ve kterém musí být odůvodnění zpětného zařazení do hodnocení. Výstupem čtvrté etapy hodnocení je po schválení RVVI Tabulka č. 5 a Tabulka č. 6. Tyto tabulky jsou jediné zveřejněny (pro hodnocení 2012 viz [10]), Tabulky č. 1 – 4 jsou zasílány poskytovatelům podpory a rovněž jsou umístěny na neveřejné části webových stránek RVVI. Tabulka č. 5 obsahuje výsledné hodnocení jednotlivých VO obsahující především informaci o celkovém počtu vyprodukovaných výsledků a získaném počtu bodů, rovněž jejich strukturu v rámci jednotlivých druhů výsledků. Tato informace pak slouží poskytovatelům podpory při přerozdělování institucionální podpory na následující rok. Tabulka č. 6 obsahuje pouze shrnutí, kolik výsledků bylo hodnoceno, a celkový počet korigovaných bodů podle jednotlivých výsledků.

12

2 Klasifikace výsledků výzkumu Metodika 2012 rozděluje výsledky výzkumu na dvě základní kategorie, a to výsledky s bodovým hodnocením a nehodnocené výsledky. Zde budou popsány pouze výsledky s bodovým hodnocením, neboť pouze ty vstupují do výsledného hodnocení VO. Kompletní klasifikace výsledků výzkumu viz [12].

2.1 Výsledky s bodovým hodnocením Pro účely hodnocení je nutné, aby každému výsledku bylo možné jednoznačně přiřadit jeho druh. Zároveň musí každý výsledek pro přiřazení k patřičnému druhu splňovat přesné definice, které jsou uvedeny v [12, Příloha č. 2]. V této podkapitole si představíme druhy výsledků a jejich bodové hodnoty, podrobněji pak rozebereme bodování článků v impaktovaných časopisech, neboť ostatní druhy výsledků získávají po splnění podmínek stanovených Metodikou 2012 předem daná bodová ohodnocení.

2.1.1 Přehled bodovaných výsledků Tabulka 2.2 je převzata z [12, Příloha č. 1] a představuje druhy výsledků a jejich bodová ohodnocení. Výsledky výzkumu a vývoje lze rozdělit na dvě kategorie, a to výsledky základního výzkumu (J, B, C, D) a výsledky aplikovaného výzkumu (P, Z, F, G, H, N, R). Takové dělení není zcela optimální. Je zřejmé, že o výsledcích aplikovaného výzkumu (např. patent) lze rovněž napsat článek do oborného periodika. Tedy primárně výsledek aplikovaného výzkumu se může ohodnotit i jako výsledek publikačního charakteru. Pro účely této práce si představíme pouze výsledky základního výzkumu (publikačního charakteru), bodové hodnoty výsledků aplikovaného výzkumu jsou zde uvedeny pouze ukázkově. Pro hlubší nastudování problematiky výsledků aplikovaného výzkumu odkazuji na [12]. Již od Metodiky 2009 jsou rozděleny obory dle číselníku VaVaI [11] na dvě kategorie, a to obory spadající do tzv. Národního referenčního rámce excelence (NRRE) a ostatní obory. Zavedení NRRE bylo motivováno obavami z negativního dopadu jednotné metodiky na humanitní a společenské vědy, které nedisponují globálním zázemím jako ostatní disciplíny (např. chemické či biologické). Jedním z problémů při zavádění NRRE bylo stanovení, které obory 13

zde budou zahrnuty. Výsledné zařazení viz [12, Příloha č. 1] lze považovat za čistě politické rozhodnutí. Z Tabulky 2.2 je zřejmé, že obory z NRRE jsou v oblasti základního výzkumu silně preferovány před ostatními. Hodnocení výsledku typu J – článků v odborných periodikách, je rozděleno do několika kategorií. Články v impaktovaných časopisech (Jimp) se dále dělí na články v multioborových impaktovaných periodikách Science (ISSN 0036-8075) a Nature (ISSN 0028-0836) a ostatních impaktovaných časopisech8. Články v neimpaktovaných periodikách (Jneimp) jsou články v recenzovaných časopisech světově uznávaných databází SCOPUS a ERIH, které získávají konstantní bodová ohodnocení v závislosti na tom, zda jsou uplatněny v rámci oboru z NRRE a současně na zařazení periodika do příslušné databáze. K hodnocení publikací v periodikách vydávaných v České republice (Jrec) byl zaveden tzv. Seznam recenzovaných neimpaktovaných periodik vydávaných v České republice viz [15]. Aby mohl být článek publikovaný v časopise z výše zmíněného seznamu uznán jako výsledek typu Jrec, musí být skutečně recenzován. Ne všechny časopisy zařazené v [15] mají všechny články recenzované. Vědci si tak musí ověřovat, zda bude jejich článek recenzován. Pokud ne, mají možnost si o recenzi zažádat. U výsledek typu B – odborná kniha – se jedná o vědeckou neperiodickou publikaci v rozsahu minimálně 50 stran vlastního textu. Aby byla odborná kniha klasifikována jako výsledek typu B, musí být recenzována alespoň jedním renomovaným specialistou z oboru. Jako odborná kniha se neklasifikují vysokoškolská skripta, což může vést k poklesu zájmu vysokoškolských pedagogů o tvorbu učebnic. Pokud má odborná kniha více autorů, kde každý vytvořil určitý počet kapitol, je každému spoluautorovi přiřazen odpovídající podíl na výsledném bodovém hodnocení odborné knihy. Podíl každého autora na bodovém hodnocení se zjistí následující způsobem. Určí se hodnota faktoru, který je dán jako podíl autorových stránek v odborné knize ku celkovému počtu stran knihy. Tímto faktorem je vynásobena bodová hodnota odborné knihy a výsledné body získává autor.

8

Hodnocení článků v impaktovaných časopisech podrobně rozebráno v následující kapitole.

14

Výsledek typu D – článek ve sborníku – musí být zařazen v jedné z databází Web of Science. Pro hodnocení většiny výsledků publikačního charakteru (Jimp, Jneimp a D) se využívají mezinárodně uznávané databáze. Uveďme si jejich stručný přehled.

Mezinárodní databáze využívané pří hodnocení výsledků VaVaI: 

Web of Knowledge (WoK) společnosti Thomson Reuters. Tato služba shromažďuje periodika z celého světa, avšak nejčastěji periodika vydávaná v USA. Hodnocení VaVaI v ČR využívá tyto databáze: o Web of Science (WoS) – nástroj umožňující vyhledávat odborné publikace z více jak 11 000 periodik, více jak 120 000 sborníků z konferencí, dále reprinty, bibliografie a další typy dokumentů. Skládá se z těchto sub-databází: 

Science Citation Index Expanded (SCI Expanded) – od r. 1945 - současnost



Social Science Citation Index (SSCI) – od r. 1980 - současnost



Arts & Humanities Citation Index (A& HCI) – od r. 1980 - současnost



Index Chemicus (IC) – od r. 1993 - současnost



Current Chemical Reactions (CCR-EXPANDED) – od r. 1986 – současnost



Conference Proceedings Citation Index – Science (CPCI - S)



Conference Proceedings Citation Index - Social Science & Humanities (CPCI-SSH)

o Journal Citation Report (JCR) – databáze periodik (viz [23]), které jsou součástí bibliometrických hodnocení za pomocí kvantitativních ukazatelů. V roce 2011 bylo v JCR evidováno 11 302 periodik. JCR obsahuje dvě sub-databáze: 

JCR Science Edition – v roce 2011 evidováno 8336 periodik



JCR Social Sciences Edition – v roce 2011 evidováno 2 966 periodik

15



SCOPUS – v rámci „malé“ metodiky se plánuje hodnocení článků v periodikách obsažených v této databázi analogicky hodnocení článků v impaktovaných časopisech. Místo Impakt faktoru se zde bude využívat index SJR



ERIH – určena pro společenské a humanitní vědy

Tabulka 2.2: Bodové hodnoty jednotlivých druhů výsledků Druh výsledku Jimp

Jneimp

Jrec B D P

Z F G H N R V

I-obory NRRE

článek v prestižním impaktovaném časopise Nature a Science článek v impaktovaném časopise SCOPUS článek v recenzovaném časopise světově A uznávané databáze ERIH B C článek v českém recenzovaném časopise světový jazyk (angličtina, čínština, francouzština, němčina a španělština) odborná kniha ostatní jazyky článek ve sborníku evropský patent EPO, patent USA a Japonska patent český nebo národní patent (s výjimkou USA a Japonska), který je využíván na základě platné licenční smlouvy ostatní patenty poloprovoz, ověřená technologie, odrůda, plemeno užitný vzor prototyp, funkční vzorek poskytovatelem realizované výsledky certifikované metodiky a postupy, specializované mapy s odborným obsahem, software výzkumná zpráva, která je výsledkem obsahujícím utajované informace

II-ostatní obory 500 10 – 305 12 30 12 20 11 10 10 10 4 40 40 20 8 500 200 40 100 40 40 40 40 40 50

2.1.2 Výsledek typu Jimp – článek v impaktovaném časopise Cílem této podkapitoly je nejprve vytvoření stručného přehledu kvantitativních ukazatelů, které lze využít při hodnocení článků v impaktovaných časopisech, dále provedení analýzy postupu hodnocení článků v impaktovaných časopisech dle [12] obohacenou o praktické

16

příklady. Tento výsledek nabývá hodnot od 10 do 305 bodů, přičemž se bodové hodnocení počítá dle modelu, který bude dále popsán.

2.1.2.1 Kvantitativní ukazatele hodnocení periodik Těmito se podrobně zabývá věda s názvem scientometrie. Níže zmínění ukazatelé jsou vypočítávány každoročně společností Thomson Reuters, dříve známou jako Institut pro vědecké informace (Institute for Scientific Information). Impakt Faktor (IF – Impact Factor) je jediným z kvantitativních ukazatelů, který je dle Metodiky 2012 prakticky využíván pro hodnocení výsledku typu Jimp. IF daného časopisu se vypočítává dle následujícího vztahu. (2.1) Na IF lze také nahlížet jako na průměrné množství citací článku publikovaného v daném periodiku v předchozích dvou letech. Hodnota IF = 3 nás informuje, že článek publikovaný v daném časopise v jednom z předchozích dvou let byl v roce hodnocení průměrně 3x citován. Příklad 2.1 Výpočet IF časopisu Science v roce 2011 Sloupec Počet publikovaných článků v Tabulce 2.3 nás informuje o počtu článků v časopise Science v letech 2009 a 2010. Sloupec Počet citací v r. 2011 k článkům nám uvádí počet citací ze všech článků9 v roce 2011 vztahující se k článkům publikovaných v letech 2009 a 2010. Tabulka 2.3 Rok 2009 2010 Celkem

Počet publikovaných článků 897 862 1759

Počet citací v r. 2011 k článkům z roku 30 640 24 242 54 882

Hodnota impakt faktoru se vypočítá dle vztahu (2.1): 9

Přirozeně se nejedná o všechny časopisy na světě, ale pouze o časopisy, které jsou součástí databáze JCR.

17

Hodnota IF = 31,201 nám udává, že článek vydaný v časopise Science v letech 2009 nebo 2010 byl v roce 2011 průměrně 31, 201 ocitovaný. Tabulka 2.4 uvádí 10 časopisů s největší hodnotou IF v roce 2011 dle JCR Science Edition [23]. Tabulka 2.4 Pořadí 1. 2. 3. 4. 5. 6. 7. 8. 9. 10.

Název CA-A Cancer Journal for Clinicians New England journal of Medicine Annual Review of Immunology Reviews of Modern Physics Chemical Reviews Nature Reviews Molecular Cell Biology Lancet Nature Reviews Genetic Nature Reviews Cancer Advances in Physics

ISSN 0007-9235 0028-4793 0732-0582 0034-6861 0009-2665 1471-0072 0140-6739 1471-0056 1474-175X 0001-8732

Stát USA USA USA USA USA England England England England England

IF 101,780 53,298 52,761 43,933 40,197 39,123 38,278 38,075 37,545 37,000

Impakt Faktor bez sebecitací (IFwSC – Impact Factor without Self Cites) se oproti klasickému IF liší v tom, že se při jeho výpočtu nezapočítávají sebecitace, tedy se nezapočítají případy, kdy autor článku cituje článek publikovaný v témže periodiku. Hodnotu tohoto ukazatel nám vyjadřuje vztah (2.2). (

)

(2.2) Příklad 2.2 Výpočet IFwSC časopisu Science v roce 2011 Tabulka 2.5

Celkem

Počet článků publikovaných v letech 2010 a 2009 1759

10

Počet citací10 v r. 2011 k článkům v letech 2009 a 2010 54 182

Jedná se o citace očištěné od sebecitací. Tabulka 2.5 je zjednodušena oproti Tabulce 2.3, neboť v databázi JCR jsou obsaženy pouze data reprezentující celkový počet sebecitací, nikoliv počty sebecitací v jednotlivých letech.

18

Vypočet hodnoty IFwSC se provede pomocí vztahu (2.2) dle dat z Tabulky 2.5.

5-ti letý Impakt Faktor (5Y-IF – 5-Year Impact Factor) je rozšířením výše zavedeného IF. Tento ukazatel se u nás nevyužívá. Jeho výpočet je uveden v příkladu 2.3 dle vztahu (2.3) 5Y-IF =

(2.3)

Příklad 2.3 Výpočet 5-Y IF časopisu Science v roce 2011. Hodnotu 5-Y IF vypočítáme pomocí dat z Tabulky 2.6 užitím vztahu (2.3). Tabulka 2.6 Rok 2006 2007 2008 2009 2010 Celkem

Počet publikovaných článků 885 886 862 897 862 4 392

Počet citací v r. 2011 k článkům z r. 28 130 29 393 30 123 30 640 24 242 142 528

5-Y IF

Hodnota 5-Y IF = 32,452 nám udává, že článek vydaný v časopise Science v letech 2006, 2007, 2008, 2009 nebo 2010 byl v roce 2011 průměrně 32,452 ocitovaný. Tabulka 2.7 nám představuje prvních 10 časopisů seřazených dle 5Y-IF v roce 2011. Tento ukazatel je vhodné využívat v disciplínách, které mají zdlouhavé recenzní řízení, jako např. matematické. Poznámka 2.1: Některé časopisy si získávají prestiž velmi rychle a i přes vysokou hodnotu IF v daném roce nemají stále vyjádřenou hodnotu 5-Y IF. To může někdy budit podezření 19

z umělého navyšování impakt faktoru sebecitacemi. Tabulka 2.8 nám uvádí 8 časopisů s největší hodnotou IF, které ještě nemají přiřazenou hodnotu 5-Y IF z JCR Science Edition pro rok 2011 [23]. Tabulka obsahuje sloupce s hodnotami IF a IFwSC. Pouze u 2 případů z 8 (červeně vyznačeny) si získalo periodikum vysokou hodnotu IF sebecitacemi, a tedy u 6 případů z 8 dosahují relativně vysokých hodnot IF díky citacím v publikacích publikovaných v jiných periodikách. Tabulka 2.7 Pořadí 1. 2. 3. 4. 5. 6. 7. 8. 9. 10.

Název CA-A Cancer Journal for Clinicians New England journal of Medicine Reviews of Modern Physics Annual Review of Immunology Nature Reviews Molecular Cell Biology Chemical Reviews Nature Reviews Cancer Nature Materials Nature Physiological Reviews

ISSN 0007-9235 0028-4793 0034-6861 0732-0582 1471-0072 0009-2665 1474-175X 1476-1122 0028-0836 0031-9333

Stát USA USA USA USA Anglie USA Anglie Anglie Anglie USA

5-Y IF 67,410 50,075 44,436 42,901 42,508 42,054 38,460 36,732 36,235 36,169

Tabulka 2.8 Pořadí11 17. 55. 104. 133. 262. 266. 292. 326.

Název Energy Education Science and Technology Living Reviews in Relativity Living Reviews in Solar Physics Pain Physician Particle and Fibre Toxicology Expert Reviews in Molecular Medicine Nanomedicine-Nanotechnology Biology and Medicine Alzheimers & Dementia

ISSN 1301-8361 1433-8351 1614-4961 1533-3159 1743-8977 1462-3994

IF 31,677 17,462 12,500 10,722 7,253 7,143

IF WSC 2,887 16,923 12,000 2,060 6,680 7,078

1549-9634 1552-5260

6,692 6,373

6,582 6,042

Celkový citační ohlas (TC – Total Cites) – též citační index – je definován jako celkový počet citací k článkům publikovaným v daném periodiku. Tento kvantitativní ukazatel je však neobjektivní, neboť zde vedle kvality časopisu a multioborových specifik hraje i velkou roli

11

Pořadím se zde rozumí pořadí dle sestupného IF všech časopisů zařazených do JCR sekce Science Edition v roce 2011.

20

doba jeho existence. Tabulka 2.9 obsahuje 10 časopisů s největším hodnotou citačního ohlasu. Tabulka 2.9 Pořadí 1. 2. 3. 4. 5. 6. 7. 8. 9. 10.

Název Nature Proceedings of the National Academy of Sciences od the USA Science Journal of the American Chemical Society Journal of Biological Chemistry Physical Review Letters Physical Review B New England Journal of Medicine Angewandte Chemie-International Edition Applies Physics Letters

ISSN 0028-0836 0027-8424

Stát Anglie USA

TC 526 505 504 243

0036-8075 0002-7863 0021-9258 0031-9007 1098-0121 0028-4793 1433-7851 0003-6951

USA USA USA USA USA USA Německo USA

480 836 408 307 402 449 335 444 278 680 232 068 209 862 203 336

Index bezprostředního dopadu (IM – Immediacy Index) – je definován jako počet citací v x-tém roce na články publikované v daném časopise v roce x ku počtu článků publikovaných v daném časopise v roce x, viz vztah (2.4). IM de facto vyjadřuje průměrný počet citací článků k průměrnému počtu článků publikovaném v daném časopise a roce. Tento index byl vyvinut pro dynamicky se vyvíjející obory, a tedy reflektuje aktuálnost a naléhavost problematiky publikované v článku a okamžitý dopad vydání článku. Charakteristický je pro disciplíny jako např. biologie, chemie, medicína atd.12 (2.4)

IM =

Příklad 2.4. Výpočet hodnoty IM časopisu CA – A Cancer Journal for Clinicians (ISSN – 0007-9235) pro rok 2011. Tabulka 2.10 2011

12

Počet publikovaných článků 19

Další obory s vysokými hodnotami IM viz [23].

21

Počet citací k článkům 404

Hodnota IM pro daný časopis za rok 2011 se spočítá z dat z Tabulky 2.10 dle vztahu (2.4).

Hodnota IM nám udává, že průměrný článek vydaný v časopise CA – A Cancer Journal for Clinicians publikovaný v roce 2011 byl v témže roce průměrně 21,263 ocitovaný.

2.1.2.2 Bodování výsledku typu Jimp dle Metodiky 2012 Přiřazení Jimp si získá článek, který je publikován v časopise zařazeném do některé z databází Web of Science služby Web of Knowledge společnosti Thomson Reuters s příznakem Review, Article, Letter nebo Proceedings Paper a splnil-li všechny další náležitosti uvedené v [12, Příloha č. 2]. Pro další hodnocení se již databáze WoS nevyužívá. Vychází se z multioborové databáze Journal Citation Reports [23], rovněž služby WoK, která nám poskytuje scientometrické informace o jednotlivých periodikách. Pro účely hodnocení VaVaI v ČR se však využívá pouze impakt faktoru. Články v impaktovaných časopisech se pro účely hodnocení dělí na 2 kategorie: o Článek v prestižním impaktovaném časopise (Science, Nature) o Článek v impaktovaném časopise Článek v prestižních časopisech Science a Nature získává automaticky 500 bodů. Tyto časopisy jsou obecně považovány vědeckou komunitou za excelentní. Své mimořádné postavení si vysloužily především díky dlouholeté tradici, vysokým hodnotám impakt faktoru, pětiletého impakt faktoru, celkového citačního ohlasu a také relativně vysokému indexu bezprostředního dopadu. Tabulka 2.11 nám uvádí tyto hodnoty v roce 2011. Tabulka 2.11 Science Nature

IF 31,201 36,280

IFwSC 30,778 35,707

5Y IF 32,452 36,235

TC 480 836 562 505

IM 6,075 9,690

Článek v impaktovaném časopise může nabýt při hodnocení různých bodových hodnot na škále 10 – 305 bodů. Vychází se zde z dat obsažených v JCR. Každý časopis v JCR 22

je zároveň přiřazen i do kategorie dle disciplíny, kterou se zabývá. Tato kategorie je označována jako „Subject Category.“ Některé časopisy mohou být zařazeny i do více takovýchto kategorií. Tento jev je významný při vypočítávání bodových hodnot časopisu. Následuje postup výpočtu této hodnoty. Označení a význam jednotlivých proměnných je popsán v Tabulce 2.12. Tabulka 2.12 Označení Pi (Pmax)i N F

Význam pořadí časopisu v i-té kategorii dle JCR, časopisy jsou seřazené sestupně dle IF v roce uplatnění výsledku celkový počet časopisů v i-té kategorii dle JCR v roce uplatnění výsledku aritmetický průměr normovaných pořadí časopisu faktor

Nechť n je počet kategorií dle JCR (Subject Categories), ve kterých je periodikum zařazeno: ∑

(

)

(2.5) (2.6)

Počet bodů získaných za publikování v impaktovaném časopise se vypočítá dle vztahu (2.7).

Jimp = 10 + 295⋅ F

(2.7)

Poznámka 2.2: Na první pohled se může zdát, že faktor F nabývá hodnot z intervalu <0,1>, a proto se za článek v časopise na prvním místě seřazeném sestupně dle IF v dané kategorii získává automaticky 305 bodů a za článek v časopise na posledním seřazeném dle IF v dané kategorii 10 bodů. Taková úvaha ovšem platí jen v případě, že časopis je zařazen jen do jediné kategorie, avšak časopisy jsou obvykle zařazeny do více kategorií.

23

Za předpokladu, že je časopis zařazen pouze v jediné kategorii JCR, lze vztahy (2.5), (2.6) a (2.7) upravit na universální vzorec13 (2.8): ⋅

⋅ ⋅

(

)

Dosadíme-li do (2.8) pořadí časopisu a celkový počet časopisů v oboru, ihned získáváme počet bodů obdržených za výsledek typu Jimp. Je-li časopis zařazen do více kategorií, nelze vztah (2.8) využít a je nutné postupovat dle vztahů (2.5), (2.6) a (2.7). Graf 2.114 obsahuje konvexní křivku bodového hodnocení pro 100 časopisů za předpokladu, že jsou všechny zařazeny v jediné totožné kategorii. Je zde dobře vidět pokles bodových hodnot s rostoucím parametrem P, tedy pořadím časopisu sestupně dle IF. Graf 2.1 350 300 250 200 150 100 50

1 6 11 16 21 26 31 36 41 46 51 56 61 66 71 76 81 86 91 96

0

Výše popsaný model však obsahuje dosti významný nedostatek. Některé zejména špičkové časopisy dané kategorie se mohou lišit hodnotou IF jen několik desetin či setin, ale výsledné bodové hodnocení se pak může lišit i v řádech desítek jednotek, což nám dokládá Tabulka 2.13. Zde je vytvořeno namátkově 6 dvojic periodik. Pro každý časopis je zde uvedena hodnota IF a vypočítané bodové ohodnocení dle vzorce (2.7) Body. Pro každou dvojici je zde rovněž uveden rozdíl hodnot impakt faktorů ∆IF a rozdíl bodových ohodnocení

13

Rovněž lze využít elektronické kalkulačky dostupné na webu [3], která ovšem platí pouze v případě zařazení do jediné kategorie v JCR. 14 Graf 2.1 by měl být správně tvořen množinou izolovaných bodů, volba křivky je z důvodu lepší názornosti.

24

∆Body.

Také tento nedostatek se stal motivací k tvorbě 3. kapitoly této práce, tedy návrhu

vlastního modelu hodnocení článků. Tabulka 2.13: Praktická ukázka nedokonalosti modelu hodnocení vědeckých publikací Př.

Název Fisheries Aquaculture Nutrition Inventiones Mathematicae Publications Mathematiques de l IHES Journal of Vertebrate Paleontology Marine Micropalentology Statistical science Annals of statistic British Journal of Surgery Journal of the Americans College of Surgeons Apidologie Arthropod Structure & Development

1. 2. 3. 4. 5.

6.

ISSN 0363-2415 1353-5773 0020-9910 0073-8301 0272-4634 0377-8398 0883-4237 0090-5364 0007-1323

IF 2,367 2,179 2,339 2,143 2,214 2,000 3,035 3,030 4,606

Body15 121,4 73,8 232,2 202,8 103,5 72,6 232,1 207,1 223,4

1072-7515 0044-8435 1467-8039

4,549 2,266 2,122

209,3 132,5 102,3

∆

IF

∆

Body

0,188

47,6

0,196

29,4

0,214

30,9

0,050

25,0

0,057

14,1

0,144

30,2

Další nedostatek je poměrná obtížnost cesty k výpočtu bodového hodnocení periodika z hlediska pracovníků vytvářejících bodované výstupy VaVaI, která rovněž vede k jejich nespokojenosti s metodikou hodnocení. To mne vedlo k sestavení následujícího postupu výpočtu.

Postup zjištění hodnot P a Pmax 1. Vyhledání periodika Nejprve je nutné zajistit si přístup do placené databáze Journal Citation Reports. http://admin-apps.webofknowledge.com/JCR/JCR Zde si v poli „Select a JCR edition and year“ zvolíme jednu ze sub-databází „JCR Science Edition” nebo „ JCR Social Sciences Edition” a rok publikování článku. V poli „Select an option“ si zvolíme možnost „Search for a special journal“ a příkazem „SUBMIT“ se posuneme do další části databáze. Zde v poli „Search by“ si zvolíme kritérium, dle kterého chceme hledat.  15

„Full Journal Title“ – celý název časopisu,

Body vypočítány dle [12] a zaokrouhleny na 1 desetinné místo.

25



„Abbreviated Journal Title“ – zkrácený název časopisu,



„Title Word“ – slovo obsažené v názvu,



„ISSN“ – mezinárodní standardní číslo sériové publikace.

Do pole „Type search term“ vložíme jeden ze čtyř výše zmíněných údajů, dle kterých časopis vyhledáme a kliknutím na jeho název se posuneme do další části databáze. 2. Zařazení časopisu V sekci „Journal Information“ je položka „Subject Categories“. V ní jsou vypsány veškeré kategorie, do kterých je periodikum zařazeno. Počet „Subject Categories“ je prakticky roven hodnotě n ze vztahu (2.5). Každá kategorie má složku „View Journal Summary List“. 3. Parametr Pmax Lze jej vyčíst po otevření „View Journal Summary List“. Zde se nám zobrazí prvních 20 časopisů z kategorie. V levé horní části je vždy uvedeno: „Journals 1 - 20 (of Pmax)“ Zde vyčteme hodnotu parametru Pmax. V případě, že je časopis zařazen do více kategorií, je nutné zjistit hodnotu Pmax pro každou kategorii zvlášť. 4. Parametr P V „Sorted by“ zvolíme „Impact Factor“ a následně příkazem „Sort Again“ získáme seznam periodik seřazený dle IF. U každého časopisu je položka „Rank“, která je rovna námi hledané hodnotě P. V případě, že je časopis zařazen do více kategorií, zjistíme hodnotu P v rámci každého kategorie samostatně. 5. Po zjištění hodnot P a Pmax již snadno spočítáme bodovou hodnotu časopisu dle postupu popsaného výše.

Příklad 2.5 Výpočet bodové hodnoty časopisu Fuzzy sets and systems (ISSN 0165 - 0114) v roce 2011. 1. Výpočet hodnoty N. Vzhledem k tomu, že je periodikum zařazeno do 3 kategorií, musíme spočítat pro každou zvlášť. N1 = (19 - 1) / (99 - 1) = 0,184 26

N2 = (11 - 1) / (245 - 1) = 0,041 N3 = (19 - 1) / (116 - 1) = 0,157 ∑ 2. 3.

0,27044 Jimp = 10 + 295⋅ F = 89,78

Za článek publikovaný v časopise Fuzzy sets and systems v roce 2011 lze rámci hodnocení 2012 získat 89,78 bodů.

2.2 Proces renormalizace Dle Metodiky 2012 se provádí následující proces. Na veškeré výsledky, které jsou zaznamenány v RIV, prošly verifikací a byly bodově ohodnoceny, musí být použit následující postup k úpravě bodových hodnot, tzv. „renormalizace bodového hodnocení.“ Cílem této operace je transformovat body na korigované body údajně za účelem snížení negativního dopadu jednotné metodiky na různorodé obory. Poté se vypočítá finanční hodnota korigovaného bodu, s čímž následně souvisí redistribuce institucionální podpory na následující rok. Kapitola zpracována dle [12].

2.2.1 Přepočet bodů na korigované body Výpočet se skládá ze tří kroků, které se provádějí postupně. Jednotlivé kroky nejsou mezi sebou komutativní. Cílem tohoto postupu je kontrolovat abnormální nárůst některých druhů výsledku, dále upravit bodové rozdělení mezi výsledky základního a aplikovaného výzkumu tak, aby byl zachován poměr 85 : 15, a v poslední řadě zmírnit dopady jednotné metodiky. 1. Redukce výsledků s meziročním přírůstkem nad 15% Cílem tohoto kroku je omezení nekontrolovaných nárůstů při uplatňování obtížně kontrolovatelných výsledků. Tento krok byl zaveden z toho důvodu, že ne u všech výsledků jde prokazatelně o výsledek výzkumu a také proto, že se neprovádí hodnocení kvality výsledků. Meziroční nárůst součtu všech bodů u každého druhu 27

výsledku nesmí být proto větší jak 15%. Označme X všechny druhy výsledků vyjma článků v impaktovaných časopisech – Jimp. Tento druh výsledku prochází recenzním řízením a současně se prokazatelně jedná a výsledek výzkumu, proto se na něj tento postup neaplikuje.

Postup: A – součet bodových hodnot výsledků typu X s rokem uplatnění 2011 B – součet bodových hodnot výsledků typu X s rokem uplatnění 2012 Pokud je pro každý druh výsledku splněna podmínka poměru B / A ≤ 1,15 k redukci nedochází. Pokud pro některý druh výsledku platí: B / A > 1,15; pak jsou všechny výsledky typu X s rokem uplatnění 2012 násobeny faktorem cx: cx = 1,15 ∙ (A / B) Tento postup zajistí, že součet bodového hodnocení výsledků typu X vzroste meziročně max. o 15%. 2. Úprava poměru bodů mezi základním a aplikovaným výzkumem Poměr mezi součtem bodových hodnot vstupujících do hodnocení základního výzkumu (ZV) a aplikovaného výzkumu (AV) je cílovaný na 85 : 15. Výsledky publikačního charakteru jsou tedy silně preferovány před výsledky aplikovaného výzkumu. Tento poměr však nebývá dodržen, proto se užívá následujícího aparátu, aby se přiblížilo k požadovanému poměru. Postup je následující: Sečtou se bodové hodnoty výsledků základního výzkumu: SZ = J+B+C+D

(2.9)

Sečtou se bodové hodnoty výsledků aplikovaného výzkumu: SA = F+G+H+N+P+R+S+T+V+Z Pro výsledky základního výzkumu se stanoví korekční faktor:

28

(2.10)

a85 = 0,85 ∙ (SA+SZ) / SZ

(2.11)

Pro výsledky aplikovaného výzkumu se stanoví korekční faktor: a15 = 0,15 ∙ (SA+SZ) / SA

(2.12)

Po této úpravě se každý výsledek základního výzkumu násobí faktorem a85 ze vztahu (2.11) a každý výsledek aplikovaného výzkumu se násobí faktorem a15 vztahu (2.12). Sečteme-li nyní upravené bodové hodnoty součtů výsledků základního výzkumu níže označené SZ´ a upravené bodové hodnoty součtů výsledků aplikovaného výzkumu níže označené SA´, potom platí: SZ´ = 85% z celkového počtu bodů vstupujících do hodnocení SA´ = 15% z celkového počtu bodů vstupujících do hodnocení Jelikož se jedná o nastavování poměrů, pak rovněž platí vztah (2.13). (2.13) Příklad 2.6 Data v tabulce 2.14 jsou čistě hypotetická. Následující příklad si klade za cíl ukázat princip kroku 2. v praxi. Tabulka 2.14 ZV AV

J

B

C

D

50

10

6

4

F

G

H

N

P

R

S

T

V

Z

5

2

2

4

5

7

3

1

1

1

Z Tabulky 2.14 snadno určíme za pomocí vztahů (2.9), (2.10), (2.11) a (2.12):

29

SZ = 70 SA = 30 a85 = a15 = Tedy poměr mezi součtem bodů základního a aplikovaného výzkumu je 70 : 30 místo cílených 85 : 15. Aplikujeme-li korekční faktory a85 a a15 postupně na výsledky ZV a AV, zjistíme, že se nám podařilo upravit bodové hodnoty výsledků základního a aplikovaného výzkumu tak, aby jejich jednotlivé součty byly v cíleném poměru. Výsledek viz Tabulka 2.15. Tabulka 2.15 ZV AV

J 60,714 F 2,5

B 12,143 G 1

C 7,286 H 1

D 4,857 N 1,5

P 2,5

R 3,5

S 1,5

T 0,5

V 0,5

Z 0,5

3. Nastavení poměru mezi skupinami oborů Tento krok klade za cíl zmírnit dopady jednotné metodiky částečným zohledněním oborových specifik. Využívá se hodnoty pz z Tabulky 2.16, která nám udává podíl oboru Z na celkovém hodnocení. Pro každou skupinu oborů se zde vypočítává korekční faktor sz, kterým se následně násobí každý výsledek zařazený v z-tém oboru. Výpočet korekčního faktoru sz oborové skupiny Z je pak (

)

kde Y je součet bodů, které obor Z získal v hodnocení (po korekci v bodech 1 a 2).

30

Tabulka 2.16 Z 1

Skupina oborů společenské vědy

2

technické vědy

3 4

matematické a informatické vědy fyzikální vědy

5 6

chemické vědy vědy o Zemi

7

biologické vědy

8

zemědělské vědy

9

lékařské vědy

10

humanitní a umělecké obory

Kódy oborů viz [11] AC, AD, AE, AF, AH, AK, AL, AM, AN, AO, AP, AQ, GA DH, GB, FS, JA, JB, JC, JD, JE, JF, JG, JH, JI, JJ, JK, JL, JM, JN, JO, JP, JQ, JR, JS, JT, JU, JV, JW, JY, KA BA, BB, BC, BD, IN BE, BF, BG, BH, BI, BJ, BK, BL, BM, BN, BO CA, CB, CC, CD, CE, CF, CG, CH, CI DA, DB, DC, DD, DE, DF, DG, DI, DJ, DK, DL, DM DO, EA, EB, EC, ED, EE, EF, EG, EH, EI GC, GD, GE, GF, GH, GI, GJ, GK, GL, GM DN, FA, FB, FC, FD, FE, FG, FH, FI, FJ, FK, FL, FM, FN, FO, FP, FQ, FR AA, AB, AI, AJ, AL

pz 7,85 15,60 5,16 15,08 15,80 5,06 12,00 4,96 10,74 7,75

Tento krok se u nás uplatnil již v Metodice 2010, kde však hodnoty pz byly odlišné. V Metodice 2011 byly stejné, neboť Metodika 2012 nebyla původně schválena, a tak se pro hodnocení v roce 2012 prodloužila platnost Metodiky 2011. Tento krok se do povědomí výzkumníku vžil rovněž pod názvem „tlumící faktory.“ Rozlišuje se zde mezi deseti skupinami oborů, kde se různými hodnotami pz tlumí negativní dopad jednotné metodiky. Dle Auditu VaVaI [22] není brán dostatečný zřetel na rozdílnost mezi obory. Předně pak, že výzkum v některých disciplínách je dražší než v jiných. Tedy výsledky mezi obory se nedají shrnout do jediného vzorce, byť je sebesložitější.

2.2.2 Výpočet finanční hodnoty korigovaného bodu Finanční hodnota bodu je rovna výši institucionální podpory vztažené na 1 korigovaný bod. Výpočet se skládá ze dvou kroků 1) Nejdříve se musí stanovit celková výše institucionální podpory určená na výzkumné záměry a rozvoj VO. Tu určuje RVVI na základě předešlého usnesení vlády ČR. Od této 31

částky se odečtou veškeré předcházející závazky na výzkumné záměry a rozvoj VO. Výsledná částka pak tvoří celkovou výši prostředků na institucionální financování organizace. 2) Částka získaná v kroku 1 se vydělí součtem všech korigovaných bodů, čímž se získá finanční hodnota korigovaného bodu.

2.3 Časový vývoj produkce bodovaných výsledků VaVaI V následující kapitola bude analyzován vývoj produkce výsledků v letech 2009 – 2011. Budeme zde uvažovat pouze počty, nikoliv hodnoty korigovaných bodů. Uvažovat zde vyprodukované počty bodů by bylo vzhledem k průběžným změnám v metodikách zcela irelevantní. V prvním sloupci Tabulky 2.16 je vidět nárůst produkce výsledků mezi lety 2009 – 2012 o více jak 30 000 (téměř 40% nárůst). Podíváme-li se podrobněji na jednotlivé výsledky, největší nárůst v absolutních hodnotách zaznamenaly články v českých recenzovaných časopisech – Jrec, které zvedly svou produktivitu o téměř 12 500. Tabulka 2.16 Vývoj a struktura počtu výsledků hodnocených v letech 2009, 2010, 2011 a 2012 2009 2010 2011 2012

Celkem 84 744 108 116 104 960 117 044

Jimp 33 056 35 616 35 860 36 547

Jneimp 12 352 14 112 15 376 18 078

Jrec 14 824 19 263 23 264 27 238

B 13 094 21 096 7 456 8 203

D 4 501 7 481 8 824 9 131

P 371 229 385 553

2009 2010 2011 2012

G 915 2 225 3 547 4 964

H 58 183 199 292

N 374 1 325 2 254 3 879

R 580 1 692 2 921 3 656

V 8 8 12 20

S 3 284 3 065 2 841 1 724

Z 593 902 1 159 1 356

F 183 567 838 1 407

Jak již bylo poznamenáno výše, hodnocení v letech 2010 – 2012 obsahovalo „tlumící faktory“ popsané v kapitole 2.2.1. Prakticky byly zavedeny jako reakce na neopodstatněný nárůst výsledků aplikovaného výzkumu. Důvodem byla redukce bodových hodnot výsledků, jejichž kvalita a původ se těžko ověřuje. To dokládá Tabulka 2.17, kde lze vysledovat enormní nárůsty uplatněných výsledků mezi lety 2009 – 2012. 32

Tabulka 2.17. Vývoj a struktura meziročních změn uplatněných výsledků v letech 2009, 2010, 2011 a 201216

2010/2009 2011/2010 2012/2011 2012/2009

Celkem 27,6% -2,9% 11,5% 38,1%

Jimp 7,8% 0,7% 1,9% 10,6%

Jneimp 14,3% 9,0% 17,6% 46,4%

Jrec 29,9% 20,6% 17,2% 83,8%

B,C 61,1% -64,7% 10,0% -37,4%

D 66,2% 18,0% 3,5% 102,9%

P -38,8% 68,1% 43,7% 49,0%

2010/2009 2011/2010 2012/2011 2012/2009

G 143,2% 59,4% 39,9% 442,5%

H 214,9% 8,9% 46,8% 403,7%

N 254,4% 70,1% 72,1% 937,3%

R 191,2% 72,6% 25,1% 530,3%

V 0% 50% 65% 147,5%

S -6,7% -7,3% -39,3% -47,5%

Z 52,0% 28,6% 17,0% 128,7%

Pro kompletní přehled produkce výsledků odkazuji na [7],[8],[9],[10].

16

Data v tabulce jsou matematicky zaokrouhleny na dvě desetinná místa.

33

F 209,6% 47,9% 67,5% 667,0%

3 Návrh alternativních modelů pro hodnocení článků Následující kapitola představuje autorovy návrhy na hodnocení výsledku typu J – článek v odborném periodiku. Motivací pro zlepšení hodnocení tohoto druhu výsledku se stala jeho každoročně největší procentuální podíl na bodovém výstupu při hodnocení VaVaI v ČR17 (viz Tabulka 3.1). V postupu je obsaženo, dle doporučení Auditu VaVaI, hodnocení peer-review. Pro tyto účely je v praxi nutné sestavení odborných komisí, nejlépe ze zahraničních renomovaných specialistů z oboru. V Auditu VaVaI je upozorněno na fakt, že ačkoliv sestavování odborných komisí zvyšuje náklady na hodnocení, z mezinárodní praxe se ví, že se tento postup osvědčil, a proto ho doporučují zavést i u nás. Země využívající metody peerreview vnímají vzniklé náklady jako adekvátní cenu za zvýšení kvality hodnocení výsledků VaVaI. Tabulka 3.1 Procentuální podíl výsledků na hodnocení v letech 2009 – 201218. rok 2009 2010 2011 2012

J 71,08% 63,81% 70,95%% 69,94%

B(C) 15,45% 19,51% 7,10% 7,08%

D 5,31% 6,92% 8,40% 7,80%

P+F+G+H+N+R+V+S+Z 8,16% 9,76% 13,55% 15,18%

Cílem je návrh alternativního modelu hodnocení, ve kterém propojíme relativně osvědčený model hodnocení článků dle IF časopisu s peer-review konkrétního článku. Nejprve si stručně představíme využitý matematický aparát, poté si představíme konkrétní návrhy alternativních modelů.

17

18

Jedná se procentuální podíly bodů na jednotlivých druzích výsledků před přepočtem na korigované body. Zdroj: [7], [8], [9], [10].

34

3.1 Matematický aparát Jako matematický aparát ke stanovení bodových hodnot jednotlivých kategorií využijeme metody založené na párovém srovnávání, které spadají do teorie vícekriteriálního hodnocení a rozhodování, a to metodu párového srovnávání a Saatyho Analyticko hierarchicky proces. V teorii vícekriteriálního hodnocení a rozhodování máme obecně k dispozici m kritérií K = {K1,…,Km}. Jako váhy kritérií označíme nezáporné hodnoty w1,…,wm, které splňují následující podmínku:

∀ i, j ∈ {1,…,m}, i ≠ j : Ki je významnější nebo stejně významné jako Kj ⇔ wi ≥ wj Jako normované váhy kritérií označíme hodnoty v1,…,vm pro které platí: ≥

∑

Normované váhy lze z nenormovaných vah získat pomocí následujícího vztahu. ∑

3.1.1 Metoda párového srovnávání Metoda párového srovnávání odvozuje nenormované váhy wi z expertně definované preferenční relace dané množiny kritérií. Vždy musí platit: pij = 1- pji viz [16],[19]. Matici P párových srovnávání kritérií nám uvádí Tabulka 3.2. Tabulka 3.2 P K1 K2 K3 ⋮

Km

K1 {

K2

K3

⋯

Km

w

}

pij = 1 ⟺ kritérium Ki je významnější než kritérium Kj = 0,5 ⟺ kritérium Ki je stejně významné jako kritérium Kj = 0 ⟺ kritérium Ki je horší než kritérium Kj

35

wi = ∑

Dílčí hodnocení i-té varianty xi dle k-tého kritéria Kk označíme hk(xi) a určíme dle Tabulky 3.3. Tabulka 3.3 Kk x1 x2 x3 ⋮

xn

x1 {

x2

x3

⋯⋯

hk(xi)

xn

}

= 1 ⟺ varianta xi je lepší než varianta xj dle Kk = ⟺ varianta xi je lepší než varianta xj dle Kk = 0 ⟺ varianta xi je horší než varianta xj dle Kk

hk(xi) = ∑

3.1.2 Saatyho Analyticko hierarchický proces (AHP) Matematický model hodnocení je primárně založen na metodě Saatyho Analyticko hierarchického procesu (AHP). Metoda AHP je zde aplikována proto, že se jedná o osvědčenou metodu, jak získat informace od expertů při provádění hodnocení relativního typu (viz [18]). AHP je zde představeno pouze v rozsahu potřebném k této práci. Pro důkladnější nastudování AHP odkazuji na [16] a [19]. Základním principem AHP je separace řešeného problému na jednotlivé úrovně celkové hierarchie, v rámci kterých se provede dílčí hodnocení, které se posléze agreguje v hodnocení výsledné. AHP zde uvedené je hierarchicky rozčleněno na 3 úrovně. První úroveň obsahuje cíl, druhá použitá kritéria a třetí jednotlivé varianty vzhledem ke kritériím. Cíli v první hierarchické úrovni se přiřadí váha 1, kterou následně dělíme do druhé hierarchické úrovně mezi kritéria K = {K1,..,Km}. Tedy stanovíme podíly normovaných vah v = {v1,…,vm} jednotlivých kritérií na výsledném hodnocení. V třetí hierarchické úrovni pak porovnáváme vzhledem ke každému kritériu zvlášť všechny varianty z množiny variant X = {x1, …, xn} a stanovujeme relativní hodnocení všech variant k jednotlivým kritériím. Na základě těchto informací pak stanovíme pomocí váženého průměru relativní hodnocení variant vzhledem k celkovému cíli.

3.1.2.1 Stanovení vah kritérií Při větším množství kritérií je vhodné si nejprve uspořádat kritéria podle vyznámnosti pomocí metody párového srovnávání. Následně sestavíme Saatyho matici S intenzit 36

preferencí (viz Tabulka 3.2), jejíž prvky odpovídají expertně přiřazeným hodnotám jazykového deskriptoru (viz Tabulka 3.3, převzata z [19]). Tyto hodnoty nám poskytnou nejen informaci o tom, které kritérium je významnější, ale i kolikrát, tedy nám určí poměry mezi významnostmi kritérií. Tabulka 3.2 Saatyho matice S intenzit preferencí S

K1

K2

⋯

K3

Km

K1

K2 K3

{

}

⋮

Km

Tabulka 3.3: Jazykový deskriptor určující poměr vah mezi i-tým a j-tým kritériem sij 1 3 5 7 9

Jazykový deskriptor Ki je stejně významné jako Kj Ki je slabě významnější jako Kj Ki je dosti významnější jako Kj Ki je prokazatelně významnější jako Kj Ki je absolutně významnější jako Kj

Poznámka 3.1: Pro citlivější rozlišení lze taktéž využít hodnot 2, 4, 6, 8, viz [16]. Saatyho matice intenzit preferencí je reciproká matice, tedy platí: ∀

∈ {

} ≠

Nenormované váhy kritérií wi lze vypočítat metodou vlastních čísel nebo metodou geometrických průměrů řádků. Takto získané váhy lze ihned akceptovat v případě, že je matice dostatečně konzistentní.

Metoda vlastních čísel V ideálním případě při znalosti vektoru nenormovaných vah w = {w1,…, wm } platí:

37

Sid ∙ w = 𝜆max ∙ w, ⋯ ( ⋮ ⋯

⏟

⋮ )⋅( ⋮ )

𝜆

⋅ ( ⋮ ),

kde 𝜆max představuje maximální vlastní číslo matice Sid. Věta 3.1: Reciproká matice, která má všechny prvky kladné, má maximální kladné reálné vlastní číslo 𝜆max, a jemu odpovídající vlastní vektor má všechny prvky kladné. Důkaz viz [1]. Z věty 3.1 vyplývá tento důsledek. Vektor w = (w1,…,wm) příslušný největšímu vlastnímu číslu 𝜆max Saatyho matice S lze považovat za vektor nenormovaných vah (podstatná jsou stejná znaménka všech složek vlastního vektoru w). Metoda geometrických průměrů řádků Prvky sij námi zkonstruované Saatyho matice intenzit preferencí jsou odhadem ideálních relativních preferencí

, ∀ i, j ∈ {1,…, m}, tedy budeme se snažit výraz

(

)

minimalizovat. ∑∑

(

)

∀

∈ {

}

Jedná se o úlohu logaritmických nejmenších čtverců. Řešením této úlohy je vektor v vzniklý znormováním vektoru w, jehož složky získáme jako geometrické průměry řádků Saatyho matice S, viz (3.2).

√∏

(

Konzistentnost matice v Saatyho smyslu 38

)

V ideálním případě by mělo platit:

∀ i, j, k ∈ {1,…, m}: sij = sik ⋅ skj V praxi se však tento požadavek dodržet nedá. Pokud by bylo i-té kritérium prokazatelně významnější než k-té a k-té by bylo dosti významnější než j-té, znamenalo by to hodnotu prvku sij = 35. Tuto hodnotu ovšem jazykový deskriptor neumožnuje. Proto se snažíme zjistit, zda je nekonzistence přítomná v matici S alespoň přijatelná – za tím účelem se zavádí koeficient nekonzistence CI 𝜆

u kterého v případě absolutní konzistence matice platí: 𝜆max = m, a tedy CI = 0. K určení dostatečné konzistentnosti matice byl dále zaveden podílový koeficient nekonzistence CR

( ) kde hodnoty koeficientu RI(m) jsou průměry experimentálně zjištěných hodnot CI pro náhodně generované Saatyho matice dimenze m. Konkrétní hodnoty koeficientu CR jsou uvedeny v Tabulce 3.4. Pokud je CR ≤ 0,1; prohlásíme matici za dostatečně konzistentní. Tabulka 3.4 m RI(m) m RI(m)

3 0,525 10 1,484

4 0,882 11 1,513

5 1,115 12 1,535

6 1,252 13 1,555

7 1,341 14 1,570

8 1,404 15 1,583

9 1,452 16 1,595

V případě, že máme kritéria uspořádána dle významnosti, lze snadno ověřit splnění podmínky slabé konzistence; která je definována takto: ≥

{

}

V případě nekonzistence Saatyho matice S musí rozhodovatel sestavit matici S‘ pomocí vektoru w vypočteného buď metodou vlastních čísel nebo geometrickým průměrem řádků. 39

{

}

∀

∈ {

}

Rozhodovatel musí posoudit S‘. Odpovídá-li jeho preferencím, lze w akceptovat. Neodpovídáli, musí Saatyho matici S předělat.

3.1.2.2 Hodnocení variant vzhledem ke kritériím Nyní se nacházíme ve 3. hierarchické úrovni. Zde se porovnají prvky z množiny variant X = {x1,…,xn} postupně mezi sebou vzhledem k jednotlivým kritériím. Vytvoří se tedy m matic Sk, k = {1,…,m}. Při sestavování matic Sk rozlišujeme, zda ji sestavujeme pro kvalitativní nebo kvantitativní kritérium: 1. Kvalitativní kritérium – postup analogický postupu stanovení vah kritérií 2. Kvantitativní kritérium – rozlišují se 2 případy: 2.1 je-li Kk kritérium s rostoucí preferencí, pak

, i ,j = {1,…,n}

2.2 je-li Kk kritérium s klesající preferencí, pak

, i ,j = {1,…,n}

Pro každou matici Sk stanovíme vektor normovaných vah vk, k = {1,…,m}. Ten poté násobíme příslušnou normovanou Saatyho váhou k-tého kritéria v(Kk) a zapíšeme do sloupce v Tabulce 3.5 jako vk⋅v(Kk). Vznikne nám tedy matice H. Výsledné hodnocení i-té varianty h(xi) pak získáme díky práci s normovanými hodnotami jako součet prvků řádků matice H. Tabulka 3.5 H x1 x2 x3

v1∙ v(K1) v2∙ v(K2) … vm∙ v(Km) (

∙ (

h(xi)

))

( )

⋮

xn

40

∑

∙ (

)

3.2 Návrh modelu hodnocení výsledků typu J Následující model hodnocení je založen na 3 kritériích. Dominantním kritériem jde zde peer-review hodnocení kvality článku, autorem cíleně zaměřené na posílení excelence tak, jak je v souladu cíli Národní politiky VaVaI platné na léta 2009 – 2015 [14] a s doporučením Auditu VaVaI [22]. Stanovení vah kritérií je zde provedeno výše zmíněnou metodou AHP. Upozornění: Autor práce se snažil o zdůvodněné nastavení preferencí, samozřejmě v případě reálného využití následujících modelů by byly intenzity preferencí v Saatyho maticích definovány týmem pro tento případ sestaveným z odborníků z oblasti hodnocení VaVaI. Pokud by byly zadány jinak, změnily by se i bodové hodnoty jednotlivých kategorií. Hodnocení vychází z následujících kritérií: Kritérium 1: Kvalita periodika A – extrémní IF – do této kategorie náleží prvních 20% časopisů seřazených sestupně dle IF v rámci jednotlivých „Subject Category“ dle JCR. B – vysoký IF – do této kategorie náleží následujících 30% časopisů seřazených sestupně dle IF po kategorii A v rámci jednotlivých „Subject Category“ dle JCR. C – standardní IF – do této kategorie náleží následujících 40% časopisů seřazených sestupně dle IF po kategorii A a B v rámci jednotlivých „Subject Category“ dle JCR. D – ostatní světové – do této kategorie náleží zbylých méně rovno 10% časopisů seřazených sestupně dle IF po kategorii A a B a C v rámci jednotlivých „Subject Category“ dle JCR a dále všechny neimpaktované časopisy obsažené mezinárodně uznávaných v databázích SCOPUS a ERIH19. E – český – do této kategorie náleží časopisy ze seznamu „Recenzovaných neimpaktovaných periodiky vydávaných v České republice“ viz [15].

19

Pokud je časopis zařazen do více kategorií, bereme tu nejlepší variantu.

41

Kritérium 2: Expertně ohodnocená kvalita publikovaného výsledku L – excelentní M – výborný N – nadstandardní O – standardní P – nehodnocené Kritérium 3: Rozsah R – velký S – střední T – malý Ad 1) Cílem kritéria 1 je zohlednit kvalitu periodika, ve kterém publikace vyšla. Problémem je zde přechod mezi kategoriemi. Ostrá hranice určující, že časopis x náleží stále do kategorie A a časopis x+1 již do kategorie B není dobrým řešením, neboť hodnoty IF, dle kterých jsou časopisy sestupně seřazeny, se často liší až pouze v desetinách či setinách. Proto jsou níže navrhnuty přechody k odstranění ostré hranice: Přechod mezi kategoriemi A a B Do kategorie A primárně zařadíme prvních 20% časopisů20, do kategorie B následujících 30% časopisů. Poslední časopis kategorie A nazveme hraniční a určíme 5% časopisů, které jsou nad, a 5% časopisů, které jsou pod hraničním časopisem včetně. Rozřazení těchto časopisů lze provést jedním z následujících způsobů:

20

Vyjde-li nám při výpočtu X% časopisů desetinné číslo, zaokrouhlíme jej nahoru. Např. „Subject Category -Mathematics“ obsahuje 289 periodik. 20% z 289 je 57,8, čili primárně se do kategorie A zařadí 58 časopisů. Pro výpočet počtu časopisů pro kategorie B a C postupujeme analogicky s tím, že navazujeme na kategorii A, jejíž seznam periodik již máme určený. V kategorii D je tedy obsaženo impaktovaných časopisů méně rovno 10% zbývajících, dále všechny neimpaktované časopisy zařazené do mezinárodně uznávaných databází SCOPUS nebo ERIH.

42

a.

Rozřazení periodik mezi kategorie A a B na základě doporučení odborného panelu.

b.

Využít dalších ukazatelů kvality vědeckého periodika dle JCR (viz kap. 2.1.2.1). Příklad: V matematických vědách lze využít vzhledem k době, jakou trvá recenzní řízení, 5Y-IF. Seřadíme periodika sestupně dle tohoto ukazatele. Hraniční časopis a všechny časopisy s vyšší hodnotou 5Y-IF jsou přiřazeny do kategorie A, časopisy, které jsou pod hraničním, přiřadíme do kategorie B. V lékařských či chemických vědách by se mohlo postupovat analogicky na základě ukazatele IM. Přechod mezi kategoriemi B a C

Periodika náležící do kategorie A jsme získali v předchozích krocích. Do kategorie B zařadíme následujících 30% časopisů, do kategorie C následujících 40% časopisů. Vezmeme hraniční časopis kategorie B a určíme 8% časopisů, které jsou nad, a 10% časopisů, které jsou pod hraničním časopisem včetně. Jejich rozřazení lze provést analogicky přechodu A a B. Přechod mezi kategoriemi C a D Periodika náležící do kategorií A a B jsme získali v předchozím kroku. Do kategorie C zařadíme následujících 40% časopisů, do kategorie D ostatní. Vezmeme poslední časopis kategorie C a určíme 10% časopisů, které jsou nad, a 2% časopisů, které jsou pod výše zmíněným časopisem včetně. Jelikož kategorie D obsahuje i neimpaktované časopisy zařazené v databázích SCOPUS nebo ERIH, pro účely třídění uvažujeme pouze impaktované časopisy, které jsou součástí JCR. Jejich rozřazení lze provést analogicky přechodu A a B. Ad 2) Cílem kritéria 2 je skupinové expertní ohodnocení kvality publikovaného článku odbornou komisí, kterou by měli z větší části tvořit zahraniční odborníci. Je zřejmé, že čím kvalifikovanější budou odborníci tvořící hodnotící panel, tím lepší bude samotné hodnocení. To je rozčleněno na 5 disjunktních kategorií, kde články v poslední kategorii „P – nehodnocené“ nejsou bodovány, aby měl hodnotící panel možnost článek obsahující nekvalitní výsledek neohodnotit. Ad 3) Cílem tohoto kritéria je zohlednit rozsah publikace. Zde je doporučeno neomezovat se na rozsah stran, nýbrž počet znaků. Použít jako kritérium rozsah stran není dobrým

43

řešením, jelikož se periodika mohou lišit v používaném formátu stránky, velikosti písma atd. Daleko vhodnější je za využití softwarového algoritmu pracovat s počtem znaků v publikaci. Model A Nejprve sestavíme za pomocí jazykových deskriptorů Saatyho matici intenzit preferencí dvojic kritérií, kterou nám zde znázorňuje Tabulka 3.6. Proměnné v(Ki)-V a v(Ki)-G reprezentují normované váhy příslušných kritérií vypočtené metodami vlastních čísel a geometrických průměrů řádků. Jejich hodnoty v Tabulce 3.6 jsou po zaokrouhlení na 3 desetinná místa totožné, což je dáno relativně vysokou konzistencí matice. Hodnota CR = 0,0765 ≤ 0,1. Tabulka 3. 6: Stanovení normovaných vah kritérií S K1 K2 K3

K1 1 3 1/7

K2 1/3 1 1/9

K3 7 9 1

v(Ki) - V 0,290 0,655 0,055

v(Ki) - G 0,290 0,655 0,055

v(Ki)-V – normované váhy vypočtené normováním vlastního vektoru příslušného největšímu vlastnímu číslu v(Ki)-G – normované váhy vypočtené metodou geometrických průměrů řádku.

Pro kritéria K1, K2 a K3 sestavíme Saatyho matice intenzit preferencí. Tyto nám představují Tabulky 3.7, 3.8 a 3.9. Každá tabulka obsahuje vektor normovaných vah vi vypočtený metodou vlastních čísel a tento vektor vah násobený váhou v(Ki) příslušného kritéria z Tabulky 3.6. Vzniklý vektor je označený jako v(Ki) ∙ vi. Princip hodnocení spočívá v tom, že vytváříme kombinace XYZ, kde X jsou prvky kritéria 1, Y jsou prvky kritéria 2 a Z jsou prvky kritéria 3. Problémem zde bude stanovení vah kombinací XYZ na celkovém hodnocení. Když totiž normujeme dílčí hodnocení, musíme vzít v úvahu, že budeme porovnávat 60 variant vzhledem ke každému kritériu. Některé dílčí části kombinací jsou tedy vícekrát zastoupeny. V případě prvního kritéria každé z těch hodnocení vystupuje 12x, v případě druhého kritéria 15x a v případě třetího kritéria 20x. Proto je nutné vektory vah v(Ki)∙ vi těmito hodnotami podělit. Výsledné váhy zapsány v Tabulkách 3.7 – 3.9. Následující matice v Tabulkách 3.7 – 3.9 splňují nejen podmínky slabé konzistence, ale i hodnoty podílových koeficientů nekonzistence CR Saatyho matic jsou v normě (hodnoty CR 44

jsou uvedeny vždy pod příslušnou tabulkou), proto následující matice v Tabulkách 3.7 – 3.9 považujeme za dostatečně konzistentní. Tabulka 3. 7 K1 A B C D E

A 1

B 3 1

C 5 3 1

D 7 5 3 1

E 9 7 5 3 1

v1 0,513 0,261 0,129 0,063 0,033

v(K1)∙ v1 / 12 0,01242 0,00633 0,00308 0,00150 0,00083

CR = 0,0533 ≤ 0,1 Tabulka 3.8 K2 L M N O

L 1

M 5 1

N 7 3 1

O 9 7 3 1

v2 0,652 0,216 0,090 0,042

v(K2)∙ v2 / 15 0,028467 0,009467 0,003933 0,001800

CR = 0,0778 ≤ 0,1 Tabulka 3.9 K3 R S T

R 1

S 3 1

T 5 3 1

v3 0,637 0,258 0,105

v(K3)∙ v3 / 20 0,00175 0,00070 0,00030

CR = 0,0367 ≤ 0,1 Tabulka 3.10: Přehled normovaných vah dle jednotlivých kritérií Kritérium 1 A B C D E

v(K1)∙ v1 / 12 0,01242 0,00633 0,00308 0,00150 0,00083

Kritérium 2 L M N O

v(K2)∙ v2 / 15 0,028467 0,009467 0,003933 0,001800

Kritérium 3 R S T

v(K3)∙ v3 / 20 0,00175 0,0007 0,0003

Nyní vytvoříme kombinace XYZ, kde X jsou prvky kritéria 1, Y jsou prvky kritéria 2 a Z jsou prvky kritéria 3. Váha každé kombinace na celkovém hodnocení je dána součtem

45

normovaných vah jednotlivých prvků z Tabulky 3.1021. Matematicky stanovíme bodové hodnoty příslušných kategorií následujícím způsobem. a) Sestavíme všechny možné kombinace XYZ, každé kombinaci určíme její váhu. b) Vzniklý vektor vah vydělíme největší jeho největší hodnotou (tj. v(ALR)=0,0426) , vynásobíme 305 body22 a následně matematicky zaokrouhlíme na celá čísla.23 Tímto způsobem získáme bodová hodnocení příslušných kategorií. Tabulka 3.11 reprezentuje kategorie seřazené dle bodových hodnot. Tabulka 3.11 Pořadí 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. 23. 24. 25. 26. 27. 28. 29. 30. 31.

Kombinace ALR ALS ALT BLR BLS BLT CLR CLS CLT DLR ELR DLS DLT ELS ELT AMR AMS AMT ANR BMR ANS ANT BMS BMT AOR AOS AOT CMR CMS CMT DMR

K1 extrémní IF extrémní IF extrémní IF vysoký IF vysoký IF vysoký IF standardní IF standardní IF standardní IF ostatní světové český ostatní světové ostatní světové český český extrémní IF extrémní IF extrémní IF extrémní IF vysoký IF extrémní IF extrémní IF vysoký IF vysoký IF extrémní IF extrémní IF extrémní IF standardní IF standardní IF standardní IF ostatní světové

K2 excelentní excelentní excelentní excelentní excelentní excelentní excelentní excelentní excelentní excelentní excelentní excelentní excelentní excelentní excelentní výborný výborný výborný nadstandardní výborný nadstandardní nadstandardní výborný výborný standardní standardní standardní výborný výborný výborný výborný

21

K3 velký střední malý velký střední malý velký střední malý velký velký střední malý střední malý velký střední malý velký velký střední malý střední malý velký střední malý velký střední malý velký

Tabulka 3.10 obsahuje pro lepší přehlednost výtah z Tabulek 3.7 – 3.9. Bodové maximum analogické Metodice 2012. 23 Lze i uvažovat zaokrouhlování na 1-3 desetinná místa. 22

46

Váhy 0,0426 0,0416 0,0412 0,0366 0,0355 0,0351 0,0333 0,0323 0,0319 0,0317 0,0311 0,0307 0,0303 0,0300 0,0296 0,0236 0,0226 0,0222 0,0181 0,0176 0,0171 0,0167 0,0165 0,0161 0,0160 0,0149 0,0145 0,0143 0,0133 0,0129 0,0127

Body 305 297 295 261 254 251 238 231 228 227 222 219 217 215 212 169 162 159 129 126 122 119 118 115 114 107 104 102 95 92 91

32. 33. 34. 35. 36. 37. 38. 39. 40. 41. 42. 43. 44. 45. 46. 47. 48. 49. 50. 51. 52. 53. 54. 55. 56. 57. 58. 59. 60.

EMR BNR DMS DMT EMS BNS BNT EMT BOR BOS CNR BOT CNS CNT DNR COR ENR DNS DNT COS ENS COT DOR ENT EOR DOS DOT EOS EOT

vysoký IF český ostatní světové ostatní světové český vysoký IF vysoký IF český vysoký IF vysoký IF standardní IF vysoký IF standardní IF standardní IF ostatní světové standardní IF český ostatní světové ostatní světové standardní IF český standardní IF ostatní světové český český ostatní světové ostatní světové český český

nadstandardní výborný výborný výborný výborný nadstandardní nadstandardní výborný standardní standardní nadstandardní standardní nadstandardní nadstandardní nadstandardní standardní nadstandardní nadstandardní nadstandardní standardní nadstandardní standardní standardní nadstandardní standardní standardní standardní standardní standardní

velký velký střední malý střední střední malý malý velký střední velký malý střední malý velký velký velký střední malý střední střední malý velký malý velký střední malý střední malý

0,0121 0,0120 0,0117 0,0113 0,0110 0,0110 0,0106 0,0106 0,0099 0,0088 0,0088 0,0084 0,0077 0,0073 0,0072 0,0066 0,0066 0,0061 0,0057 0,0056 0,0055 0,0052 0,0051 0,0051 0,0044 0,0040 0,0036 0,0033 0,0029

86 86 83 81 78 78 76 76 71 63 63 60 55 52 51 47 47 44 41 40 39 37 36 36 31 29 26 24 21

Nejnižší bodovaná kategorie (EOT) získává 21 bodů, což je podstatně více, jak dle Metodiky 2012, která však neobsahuje peer-review hodnocení. Aby byl článek přiřazen do této kategorie, musí ho hodnotící panel shledat jako standardní, což už je známka určité kvality publikovaného výsledku. Princip takto nastaveného modelu nám nabízí daleko objektivnější bodové ohodnocení publikací oproti aktuálně používanému systému založenému na stanovení bodové hodnoty v závislosti na pořadí časopisu a počtu časopisů v kategorii. Podle výše popsaného modelu lze daleko lépe ohodnotit kvalitu publikace, kvalitu samotného výsledku. Obecný model výše popsaný by eventuálně mohl sloužit k internímu hodnocení článků v rámci jednotlivých VO. Takové hodnocení není součástí hodnocení VaVaI dle Metodiky 2012, tudíž nemá vztah na množství institucionální podpory získané na další období. Mohlo by sloužit managmentu

47

výzkumné jednotky k vnitřnímu hodnocení prací svých zaměstnanců. Systém interního hodnocení založený na peer-review u nás využívá pouze AV ČR. Vyjdeme-li z předpokladu, že každý článek před publikací v příslušném časopise musí projít recenzním řízením, které rozhodne o jeho publikování v daném časopise, je přiřazení do některých kategorií spíše nepravděpodobné. Vezmeme-li jako příklad kategorii AOR, pak by byl článek velkého rozsahu publikovaný v časopise s extrémním IF v daném oboru přiřazen odbornou komisí do kategorie O-standardní. K této situaci by mohlo reálně dojít s malou pravděpodobností. Je zřejmé, že existuje určitá závislost mezi kritériem 1 a kritériem 2. Za účelem sestavení obecného modelu výše ovšem pokládáme kritéria za nezávislá, neboť používáme základní Saatyho model, který nepracuje s jinými vazbami, než v rámci dané hierarchie. Popsaný model budeme dále modifikovat do praktičtější podoby a pro realističtější použití následujícím způsobem. Modifikace modelu A: Pokud bychom chtěli provést hodnocení všech VO dle modelu výše, musíme primárně omezit množství hodnocených publikací. Vhodným omezením může být navázání počtu předkládaných výsledků na množství institucionální podpory. Tedy by se předložil 1 výsledek na X Kč započaté podpory. Nicméně i tak by byl počet peer-review hodnocených publikací jistě poměrně značný (není vhodné počty omezovat extrémně), proto je dobré usnadnit hodnotitelům práci následující modifikací původního modelu. Podíváme-li se na kritérium 1 jako na hodnocení kvality periodika, pak lze na kritérium 2 nahlížet jako na ohodnocení kvality samotného článku (resp. ještě přesněji – v něm publikovaného výsledku). Aby byl článek publikován v prestižním časopise, musí úspěšně projít náročným recenzním řízením. Lze tedy uvažovat tak, že kvalita článku nebude ve většině případů extrémně odlišná od kvality časopisu, ve kterém byl článek publikován. Nicméně jistý nesoulad je možný – při rozhodování o přijetí článku se totiž vedle kvality samotného výsledku zohledňují i charakteristiky kvality zpracování článku (jeho struktura a jazyková úroveň zpracování), které přímo nesouvisejí s kvalitou prezentovaného výsledku.

48

Výše popsaný model tedy modifikujme následujícím způsobem: Nechť článek publikovaný v časopisech z kategorie A-extrémní IF má přednastaveno automaticky hodnocení L-excelentní, článek publikovaný v časopise z kategorie B-vysoký IF jako Mvýborný, pro článek publikovaný v časopise kategorie C-standardní IF jako N-nadstandardní, a D-ostatní světové nebo E-český jako O-standardní. Odborná komise pak může automaticky přednastavené hodnocení potvrdit nebo pouze o 1 kategorii zvýšit či snížit. V takto nastaveném systému pak ubydou kategorie: ANZ, AOZ, BOZ, CLZ, DLZ, DMZ, ELZ a EMZ, kde Z značí libovolnou kategorii kritéria 3. Počet kategorií uvedený v Tabulce 3.11 se tedy redukuje z počtu 60 na 36. Výsledek modifikace reprezentuje Tabulka 3.12.

Tabulka 3.12 Pořadí 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18.

Kombinace ALR ALS ALT BLR BLS BLT AMR AMS AMT BMR BMS BMT CMR CMS CMT BNR BNS BNT

Pořadí 19. 20. 21. 22. 23. 24. 25. 26. 27. 28. 29. 30. 31. 32. 33. 34. 35. 36.

Body 305 297 295 261 254 251 169 162 159 126 118 115 102 95 92 86 78 76

49

Kombinace CNR CNS CNT DNR ENR COR DNS DNT COS ENS DOR COT ENT EOR DOS DOT EOS EOT

Body 63 55 52 51 47 47 44 41 40 39 36 37 36 31 29 26 24 21

Model B Předpokladem modelu A je nezávislost kritérií 1 a 2. Na tomto předpokladu jsou pak stanoveny váhy jednotlivých kritérií a následně i bodové hodnoty pro jednotlivé kategorie. V modelu B si představíme vzhledem k jisté závislosti kritérií 1 a 2 další alternativní způsob stanovení bodových hodnocení. Kritérium 1 a 2 agregujeme v jediné kritérium (1,2) vyjadřující kvalitu publikace, které má v sobě zakomponováno ohodnocení kvality periodika s peer-review hodnocením kvality publikovaného výsledku. Kritérium 3, rozsah publikace, zde uvažováno nebude. Rozsah u článků (na rozdíl od knih) je brán jako málo významné kritérium, proto ho pro zjednodušení postupu v modelu B vyřadíme z hodnocení. V modelu B bude rovněž využita modifikaci modelu A, tedy budeme uvažovat hodnocení pouze omezeného počtu publikací a zároveň každá publikace bude mít implicitně přiřazené hodnoty kritéria 2. Kritérium (1,2) bude tedy obsahovat 12 kategorií (kombinací) XY kritérií 1 a 2. Získané kombinace kritéria (1,2) jsou: AL, AM, BL, BM, BN, CM, CN, CO, DN, DO, EN, EO. Tyto kombinace mezi sebou nejprve uspořádáme podle významnosti. Pomocí metody párového srovnávání vytvoříme matici preferencí P obsaženou v Tabulce 3.13. Dle ní si pak uspořádáme kombinace XY a následně za využití AHP expertně porovnáme. Tabulka 3.13: Matice P párových srovnání variant dle kritéria (1,2) P AL AM BL BM BN CM CN CO DN DO EN EO

AL 0,5 0 0 0 0 0 0 0 0 0 0 0

AM 1 0,5 1 0 0 0 0 0 0 0 0 0

BL 1 0 0,5 0 0 0 0 0 0 0 0 0

BM 1 1 1 0,5 0 0 0 0 0 0 0 0

BN 1 1 1 1 0,5 1 0 0 0 0 0 0

CM 1 1 1 1 0 0,5 0 0 0 0 0 0

CN 1 1 1 1 1 1 0,5 0 0 0 0 0

50

CO 1 1 1 1 1 1 1 0,5 1 0 1 0

DN 1 1 1 1 1 1 1 0 0,5 0 0 0

DO 1 1 1 1 1 1 1 1 1 0,5 1 0

EN 1 1 1 1 1 1 1 0 1 0 0,5 0

EO 1 1 1 1 1 1 1 1 1 1 1 0,5

h1(XY) 11,5 9,5 10,5 8,5 6,5 7,5 5,5 2,5 4,5 1,5 3,5 0,5

Dále uspořádáme kombinace sestupně dle hodnocení h1(XY) z Tabulky 3.13.

AL ≻ BL ≻ AM ≻ BM ≻ CM ≻ BN ≻ CN ≻ DN ≻ EN≻ CO ≻ DO ≻ EO Z takto uspořádaných kategorií vytvoříme Saatyho matici intenzit preferencí reprezentovanou Tabulkou 3.14. Tato matice nepatrně přesahuje hranici konzistence (CR = 0,106), avšak splňuje podmínku slabé konzistence (viz kapitola 2.1.2.1), proto s ní můžeme pracovat dále. Pomocí metody vlastních čísel vypočítáme váhy kategorií, které následně znormujeme. Vektor normovaných vah vydělíme největším prvkem souboru (analogicky modelu A). Tyto poté násobíme 305 body a vše takto zapíšeme do Tabulky 3.15. Model B nabízí tedy druhou možnost stanovení vah, respektive hodnocení výsledku výzkumu a vývoje typu J - článek v odborném periodiku. Podíváme-li se na výsledná bodová hodnocení jednotlivých kategorií, zjistíme, že bodová škála (rozpětí 11 – 305) je téměř totožná se škálou dle Metodiky2012 (10 305).

Tabulka 3.14 Saatyho matice S intenzit preferencí variant dle kritéria (1,2) S AL BL AM BM CM BN CN DN EN CO DO EO

AL 1

BL 3 1

AM

3 3 1

BM 5 3 3 1

CM 5 5 3 3 1

BN 5 5 5 3 3 1

51

CN 7 5 5 5 3 3 1

DN 7 7 5 5 5 5 3 1

EN 7 7 7 7 5 5 5 3 1

CO 9 9 7 7 7 5 5 3 3 1

DO 9 9 9 9 7 7 7 5 3 3 1

EO 9 9 9 9 9 7 7 5 5 3 1 1

Tabulka 3.15 Pořadí 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12.

Kombinace

AL BL AM BM CM BN CN DN EN CO DO EO

K1 extrémní IF vysoký IF extrémní IF vysoký IF standardní IF vysoký IF standardní IF ostatní světové český standardní IF ostatní světové český

K2 excelentní excelentní výborný výborný výborný nadstandardní nadstandardní nadstandardní nadstandardní standardní standardní standardní

52

Váhy

0,262 0,197 0,148 0,113 0,082 0,063 0,047 0,030 0,022 0,016 0,011 0,010

Body 305 230 172 131 95 74 55 35 26 18 12 11

Závěr V této práci jsem řešil model hodnocení výsledků výzkumu a vývoje. Proniknout do problematiky řízení a hodnocení VaVaI, nastudovat si k tématu všechny potřebné zdroje bylo pro mne nesmírně náročné (např. jen zprávy IPN Audit VaVaI představovaly rozsah více než 1 200 stránek anglického textu). Studoval jsem také analýzy stavu výzkumu, vývoje a inovací v České republice, metodiky hodnocení od roku 2004, sledoval jsem aktuální dění kolem IPN Metodika, tedy věci týkající se předpokládaného vývoje hodnocení výsledků VaVaI. Na druhou stranu jsem tímto neobyčejně náročným studiem získal zcela nadstandardní znalosti z oblasti řízení VaVaI v ČR, především pak v oblasti hodnocení výstupů. O to náročnější bylo pro mne shrnout obrovské množství informací do kvalifikační práce na úrovni bakalářského studia. Cílem první kapitoly bylo poskytnout čtenáři základní informace o hodnocení VaVaI v ČR. Je zde popsán ohlas, který systém hodnocení známý jako „kafemlejnek“ vzbudil, jsou zde rozebrány jeho silné a slabé stránky i vývoj snažící se slabé stránky potlačovat. Dále je zde popis aktuálního dění v oblasti hodnocení, tedy tvorba „malé“ a „velké“ metodiky hodnocení, IPN Metodika, je uváděn vliv IPN Auditu VaVaI na vývoj systému hodnocení v ČR. Po obecných informacích o hodnocení VaVaI je zde rozebrána procedura hodnocení dle Metodiky 2012. Po přečtení této kapitoly by měl čtenář získat základní informace o této problematice. Cílem druhé kapitoly bylo provést analýzu stanovování bodových hodnot dle Metodiky 2012. V první části je zpracován přehled výsledků a bodových hodnot, které jsou jim přiřazovány. Důraz je přitom kladen na analýzu článků v impaktovaných časopisech. Nejprve jsou zde vypsány mezinárodní databáze využívané při hodnocení, dále jsou zde popsány kvantitativní ukazatele hodnocení periodik společnosti Thomson Reuters. Každý ukazatel je popsán definicí, příkladem a tabulkou reprezentující několik periodik s jeho nejvyššími hodnotami. Dále je zde rozebráno samotné hodnocení článků v impaktovaných časopisech pomocí vzorců a grafického zobrazení. V Tabulce 2.13 je ukázka určité slabiny systému, kterou jsem odhalil. Analýza je obohacena o praktický návod na výpočet bodového hodnocení daného časopisu (vyžadující zjištění pořadí časopisu v uspořádání časopisů 53

sestupně dle IF a celkového počtu časopisů v rámci dané kategorie) a o příklad výpočtu bodové hodnoty časopisu Fuzzy sets and systems pro články publikované v roce 2011. Druhá část této kapitoly obsahuje popis úprav při procesu hodnocení, tzv. proces renormalizace, v rámci kterého se přepočítávají body na korigované body. Cílem této operace je omezení abnormálních nárůstů těžko ověřitelných výsledků, dále nastavení cíleného poměru mezi základním a aplikovaným výzkum a na závěr ztlumit negativní dopady jednotné metodiky na různorodé obory. Dále je zde popsán postup výpočtu finanční hodnoty korigovaného bodu. Třetí část této kapitoly obsahuje ukázku časového vývoje počtu výsledků v jednotlivých bodovaných kategoriích v letech 2009 – 2012. Se zavedením „kafemlejnku“ došlo k výraznému zvýšení účelové „produkce“ výsledků aplikovaného výzkumu – pozdější modifikace metodiky hodnocení z roku 2010 tento negativní vývoj omezují. Cílem třetí kapitoly bylo vytvoření alternativního modelu hodnocení výsledku typu J – článek v odborném periodiku. V první části je popsán použitý matematický aparát, metoda párového srovnávání a Saatyho Analyticko-hierarchický proces. Druhá část kapitoly obsahuje popis nejdříve obecného modelu, poté jsou představeny dvě metody stanovení vah. Smyslem a cílem navrhovaných modelů je zejména zkvalitnění hodnocení článků cestou obohacení hodnocení vycházejícího z IF časopisu o peer-review samotného článku (přesněji konkrétního výsledku v něm publikovaného). Důležitým předpokladem realizovatelnosti modelu je omezení počtu hodnocených výsledků. Prakticky by bylo možné tento přístup uplatnit jak při hodnocení článků v rámci jednotlivých skupin oborů v ČR, tak k internímu hodnocení článků v jednotlivých VO. Ve výzkumu problematiky hodnocení VaVaI bych rád pokračoval i v rámci diplomové práce na navazujícím studiu s pravděpodobným zaměřením na fuzzy modely hodnocení VaVaI.

54

Literatura [1]

Gantmacher, F.R.: Teorija matric, Nauka, Moskva, 1966.

[2]

MŠMT, Návrh implementace závěrů a doporučení Mezinárodního auditu systému VaVaI v ČR do Metodiky hodnocení výsledků VaV, 2012, [online], dostupné z: http://audit-vav.reformy-msmt.cz/audit-vavai-%E2%80%93-soubory-kestazeni/implementace-vysledku-mezinarodniho-auditu-vavai/view-category, [citováno 18. 4. 2013].

[3]

On-line kalkulátor pro články v časopisech s IF od roku vydání 2008 [online], dostupný z: http://www.lf3.cuni.cz/cs/pracoviste/svi/hodnoceni/2009/kalkulator2009.html, [citováno 18. 4. 2013].

[4]

OECD, Frascati Manual 2002 [online], dostupné z: http://www.oecdilibrary.org/science-and-technology/frascati-manual-2002_9789264199040-en, [citováno 18. 4. 2013].

[5]

RVVI, Analýza stavu výzkumu, vývoje a inovací v ČR a jejich srovnání se zahraničím v roce 2012 [online], dostupné z: http://www.vyzkum.cz/FrontClanek.aspx?idsekce=674510, [citováno 18. 4. 2013].

[6]

RVVI, Dlouhodobé principy hodnocení výzkumných organizací [online], dostupné z: http://home.cergeei.cz/munich/blogy/263%20B2%20Dlouhodobe%20principy%20hodnoceni.pdf, [citováno 18. 4. 2013].

[7]

RVVI, Hodnocení VaVaI 2009 – 4. etapa, Tabulka č. 4 [online], dostupné z: http://www.vyzkum.cz/FrontClanek.aspx?idsekce=551144, [citováno 18. 4. 2013].

[8]

RVVI, Hodnocení VaVaI 2010 – 4. etapa, Tabulka č. 5 a Tabulka č. 6 [online], dostupné z: http://www.vyzkum.cz/FrontClanek.aspx?idsekce=567468, [citováno 18. 4. 2013].

55

[9]

RVVI, Hodnocení VaVaI 2011 – 4. etapa, Tabulka č. 5 a Tabulka č. 6 [online], dostupné

z:

http://www.vyzkum.cz/FrontClanek.aspx?idsekce=611285,

[citováno 18. 4. 2013]. [10] RVVI, Hodnocení VaVaI 2012 – 4. etapa, Tabulka č. 5 a Tabulka č. 6 [online], dostupné z: http://www.vyzkum.cz/FrontClanek.aspx?idsekce=650812, [citováno 18. 4. 2013]. [11] RVVI,

Klasifikace

oborů

CEP

&

CEZ

&

RIV

[online],

dostupné

z:

http://www.vyzkum.cz/FrontClanek.aspx?idsekce=1374, [citováno 18. 4. 2013]. [12] RVVI, Metodika hodnocení výsledků výzkumných organizací a hodnocení ukončených programů (platná pro léta 2010, 2011 a rok 2012) [online], dostupné z: http://www.vyzkum.cz/FrontClanek.aspx?idsekce=650022, [citováno 18. 4. 2013]. [13] RVVI, Metodika hodnocení výsledků výzkumných organizací a hodnocení ukončených programů (platná pro léta 2010 a 2011) [online], dostupné z: http://www.vyzkum.cz/FrontClanek.aspx?idsekce=566918, [citováno 18. 4. 2013]. [14] RVVI, Národní politika výzkumu, vývoje a inovací v ČR na léta 2009 – 2015 [online], dostupné z: http://www.vyzkum.cz/FrontClanek.aspx?idsekce=532844, [citováno 18. 4. 2013]. [15] RVVI, Seznam recenzovaných neimpaktovaných periodik vydávaných v České republice,

[online],

dostupné

z:

http://www.vyzkum.cz/FrontClanek.aspx?idsekce=679030, [citováno 18. 4. 2013]. [16] Ramík, J.: Analytický hierarchický proces (AHP) a jeho využití v malém a středním podnikání, Slezská univerzita v Opavě, Karviná, 2000, ISBN 80-7248-088-X.

56

[17] Seznam poskytovatelů podpory VaVaI [online], dostupné http://www.isvav.cz/findFunderByFilter.do?sortField=reskod&sortType=0, [citováno 18. 4. 2013].

z:

[18] Stoklasa J., Jandová V., Talašová J.: Weak consistency in Saaty’s AHP – evaluating creative work outcomes of Czech Art Colleges, Neural network world; Volume 23, 2013, ISSN 1210-0552, [citováno 18. 4. 2013]. [19] Talašová, J., Fuzzy metody vícekriteriálního hodnocení a rozhodování, Vydavatelství UP, Olomouc, 2003, ISBN 80-244-0614-4. [20] Technopolis Group, Mezinárodní audit výzkumu, vývoje a inovací v České republice, 2011 [online], dostupné z: http://audit-vav.reformy-msmt.cz/, [citováno 18. 4. 2013]. [21] Technopolis Group, Mezinárodní audit výzkumu, vývoje a inovací v České republice, Závěrečná zpráva – 1: Hodnocené veřejných výdajů na VaV v České republice, 2011, [online], dostupné z: http://audit-vav.reformy-msmt.cz/soubory-ke-stazeni/zaverecnazprava-z-auditu-vaval, [citováno 18. 4. 2013]. [22] Technopolis Group, Mezinárodní audit výzkumu, vývoje a inovací v České republice, Závěrečná zpráva – 3: Kvalita výzkumu, institucionálního financování a hodnocení výzkumu v České republice a zahraničí, 2011, [online], dostupné z: http://auditvav.reformy-msmt.cz/soubory-ke-stazeni/zaverecna-zprava-z-auditu-vaval, [citováno 18. 4. 2013]. [23] Thomson Reuters, Web of Knowledge, Journal Citation Reports, [online], dostupné z: http://admin-apps.webofknowledge.com/JCR/JCR, [citováno 18. 4. 2013].

57