Hodnocení výzkumu. Pavel Surynek. KTIML Katedra teoretické informatiky a matematické logiky

Hodnocení výzkumu Pavel Surynek KTIML

Katedra teoretické informatiky a matematické logiky

MFF UK

Matematicko-fyzikální fakulta, Univerzita Karlova v Praze

Přehled přednášky • Dva pohledy: ▫ Bodové hodnocení podle metodiky RVVI (podrobně)  přesné přiřazení  výsledek/publikace -> jistý počet bodů

▫ Hodnocení podle skutečné kvality (stručně)  kombinace několika kritérií  ţebříčky konferencí a časopisů (rank)  podíl přijatých článků (acceptance rate)  šance na citaci Výjezdní zasedání KTIML, Slapy, 2010

Pavel Surynek

Bodové hodnocení výzkumu podle metodiky Rady pro výzkum, vývoj a inovace (RVVI)

Bodové hodnocení všeobecně (1) • Metodika hodnocení výsledků výzkumných organizací a hodnocení ukončených programů ▫ Celý dokument dostupný na: www.vyzkum.cz

 odkazy Hodnocení VaVaI, pak Hodnocení výsledků výzkumu a vývoje v roce 2010

▫ Pouze definice druhů výsledků: www.vyzkum.cz

 odkazy Informační systém VaVaI, pak Druhy výsledků v IS VaVaI

▫ Schváleno 4. srpna 2010 ▫ Popisuje různé druhy výsledků:    

článek v časopise, sborníku kniha, kapitola patent, plemeno …

▫ Definuje přiřazení druh výsledku -> body Výjezdní zasedání KTIML, Slapy, 2010

Pavel Surynek

Bodové hodnocení všeobecně (2) • Webová stránka www.vyzkum.cz

Výjezdní zasedání KTIML, Slapy, 2010

Pavel Surynek

Relevantní druhy výsledků • Druhy výsledků relevantních pro informatiku a kódy: ▫ ▫ ▫ ▫ ▫

Článek ve sborníku Článek v časopise Odborná kniha Kapitola v knize Software

D J B C R

• Hlavní zásady uplatňování výsledků:

▫ Kaţdý výsledek lze vykázat jen jednou a to jako ten druh, který jej nejvýstiţněji charakterizuje ▫ Výsledek lze přiřadit k projektu či výzkumnému záměru, pokud byl vytvořen v rámci tohoto projektu či záměru  souhlasí věcné a časové vymezení

▫ Při „normálním“ uvaţování nelze porušit. Výjezdní zasedání KTIML, Slapy, 2010

Pavel Surynek

Článek ve sborníku … D (1) • Kód výsledku: D

▫ Recenzovaný článek citující zdroje a prezentující původní výsledky výzkumu splňující:  Je součástí sborníku

 Neperiodická publikace vydaná u příleţitosti konání konference, semináře, …

 Sborník je evidován v:

 Conference Proceedings Citation Index společnosti Thomson Reuters

 Rozsah je aspoň 2 stránky

▫ Jako výsledek druhu D se nepočítá:

 Abstrakt  Editorský příspěvek  Článek v účelovém sborníku (bez konference)

• Počet bodů = 8 Výjezdní zasedání KTIML, Slapy, 2010

Pavel Surynek

Článek ve sborníku … D (2) • Hledání v databázi Conference Proceedings Citation Index (v rámci ISI Web of Knowledge http://wokinfo.com ) ▫ uţivatelsky dosti nepřátelské prostředí ▫ obtíţné vyhledávání  podle jména nemusí vţdy fungovat  doporučeno hledat i podle názvu článku


Pavel Surynek

Článek v časopise … J • Kódy výsledků: Jimp, Jneimp, Jrec

▫ Recenzovaný článek citující zdroje a prezentující původní výsledky výzkumu splňující:  Je uveřejněn v odborném periodiku (časopise), který má přidělen ISSN kód  Rozsah je aspoň 2 stránky  neplatí pro kategorii Jimp – zřejmě stačí 1 stránka

▫ Jako výsledek druhu J se nepočítá:  Abstrakt, souhrn, oprava  Ediční materiál

• Počet bodů  [4 .. 500] Výjezdní zasedání KTIML, Slapy, 2010

Pavel Surynek

Článek v impaktovaném časopise … Jimp (1) • Kód výsledku: Jimp ▫ Navíc splňuje:

 Je obsaţen v databázi Web of Science společnosti Thomson Reuters  Impact factor je zveřejněn v databázi Journal Citation Report (JCR) společnost Thomson Reuters

• Počet bodů  [10 .. 305]

▫ počet bodů = 10 + 295 * faktor, kde ▫ faktor = (1 - N) / (1 + (N / 0.057)), kde ▫ N = (P - 1) / (Pmax- 1), kde

 P = pořadí časopisu v daném oboru podle JCR v řadě seřazené sestupně podle impact factoru  Pmax = celkový počet časopisů v daném oboru dle Journal Citation Report

• Př. (z umělé inteligence - AI): časopis Artificial intelligence, Elsevier impact factor = 3.036, P = 10, Pmax = 102, N = (10 – 1) / (102 – 1) = 0.089, factor = (1 - 0.089) / (1 + (0.089 / 0.057)) = 0.911 / 2.56 = 0.356, počet bodů = 10 + 295 * 0.356 = 115 Výjezdní zasedání KTIML, Slapy, 2010

Pavel Surynek

Článek v impaktovaném časopise … Jimp (2) • Hledání v databázi Journal Citation Report (v rámci ISI Web of Knowledge) ▫ záloţka additional resources ▫ pak nástroj JCR


Pavel Surynek

Článek v prestižním impaktovaném časopise … Jimp • Kód výsledku: Jimp ▫ Navíc splňuje:

 Je uveřejněn v časopise Nature nebo Science

• Počet bodů = 500 • Př. (z umělé inteligence - AI): Scott Kirkpatrick, Bart Selman: Critical Behavior in the Satisfiability of Random Boolean Expressions. Science 27, May 1994 Vol. 264. no. 5163, pp. 1297 – 1301 • Př. (z molekulární imunologie a ČR): I.Hilgert, V.Hořejší, P.Angelisová, H.Kristofová: Lentil lectin effectively induces tolerance to skin allograft in mice. Nature 284, 273-274, 1980. Výjezdní zasedání KTIML, Slapy, 2010

Pavel Surynek

Článek v recenzovaném nebo neimpaktovaném časopise … Jrec,Jneimp • Kód výsledku: Jrec ▫ Navíc splňuje:

 Je uveřejněn v českém recenzovaném časopise  Časopis je na seznamu recenzovaných periodik na www.vyzkum.cz  Počet bodů = 4 (10 pro humanitní)

• Kód výsledku: Jneimp ▫ Navíc splňuje:

 Je uveřejněn v recenzovaném časopise  Časopis je veden v databázi SCOPUS (v databázi ERIH pro humanitní)  Počet bodů = 12 ( [10 .. 30] pro humanitní) Výjezdní zasedání KTIML, Slapy, 2010

Pavel Surynek

Odborná kniha … B • Kód výsledku: B

▫ Kniha vydaná v nakladatelství s vědeckou redakcí (tiskem či elektronicky) splňující:  Recenzovaná aspoň jedním uznávaným recenzentem  Má přidělený kód ISBN  Povinný výtisk je registrován v Národní knihovně České republiky, je-li vydána v ČR  Rozsah je aspoň 50 stran

▫ Jako výsledek druhu B se počítá (mimo jiné):  Encyklopedie  Monografie  Kriticky komentovaná edice

▫ Jako výsledek druhu B se nepočítá (mimo jiné):

 Kniha, jejíţ ISBN je nalezeno v Conference Proceedings Citation Index (v rámci ISI Web of Knowledge)  Diplomové, disertační a habilitační práce  Učebnice, skripta

• Počet bodů = 40 (světový jazyk) nebo 20 (jiný jazyk) Výjezdní zasedání KTIML, Slapy, 2010

Pavel Surynek

Kapitola v odborné knize … C • Kód výsledku: C

▫ Kapitola v knize splňující podmínky na odbornou knihu podle druhu výsledku B. ▫ Uplatňuje se, kdyţ:  Celá kniha má jen editora a  kaţdá kapitola má samostatného autora

• Počet bodů:

▫ 40 * faktor kapitoly (světový jazyk) ▫ 20 * faktor kapitoly (jiný jazyk) ▫ Faktor kapitoly = počet stran kapitoly / počet stran celé knihy  Nelze-li dohledat, pouţije se faktor kapitoly = 0.1  Př.: kapitola … 25 stran, kniha … 350 stran, angličtina počet bodů = 40 * (25/350) = 2.86 při nedohledání … počet bodů = 40 * 0.1 = 4.0

• Pozn.: neostrá hranice mezi autorským kolektivem a autory kapitol Výjezdní zasedání KTIML, Slapy, 2010

Pavel Surynek

Software … R • Kód výsledku: R ▫ Software splňující:  ekonomický přínos aspoň 1 mil. Kč (doloţeno smlouvou)  platné od 1. ledna 2011

▫ Jako výsledek druhu R se nepočítá:  software, který vytvořil autor jen pro svoji potřebu  software, který je vyuţíván jen tzv. dalším účastníkem nebo tzv. poskytovatelem

• Počet bodů = 40 Výjezdní zasedání KTIML, Slapy, 2010

Pavel Surynek

Různé postřehy k hodnocení (1) • Jak zohledňovat při výzkumné práci? ▫ pravděpodobně do míry určené nadřízeným

• Nebezpečí chyby, způsobí ztrátu bodů • Zbavení se odpovědnosti ▫ systém hodnocení je konstruován tak, aby za hodnocení nebyl nikdo odpovědný

• Silně podporuje drobení výsledků ▫ místo jednoho kvalitního článku raději tři horší ▫ drobení výsledků poškozuje dobré jméno výzkumníka

• Finanční ohodnocení bodu a náklady na bod ▫ 1 bod = cca 2.000,- aţ 3000,- Kč (zdroj: RNDr. Jan Hric) ▫ cca 90.000 Kč = 1 bod (zdroj: zpráva RVVI za rok 2008)

• Impact factor lze uměle zvýšit ▫ přinucením autora přijatého článku k vybraným citacím Výjezdní zasedání KTIML, Slapy, 2010

Pavel Surynek

Různé postřehy k hodnocení (2) • Dovoluje vydělávat na nesmyslných inovacích

▫ Patent na dvojnásobné zpomalení počítače = 500 bodů (zdroj: prof. RNDr. Jiří Zlatuška, CSc., FI MUNI) ▫ Cena za vyřízení patentu cca 350.000,- Kč (zdroj: www.inovace.cz), teoretický výdělek za přidělené body = 1.000.000,- Kč (podle dolního odhadu ceny bodu) • Do konce roku 2010 podporuje vykazování kaţdého zápočtového programu (pak bude platit podmínka na ekonomický přínos aspoň 1 mil. Kč) • Na Filozofické fakultě Univerzity Hradec Králové se poţaduje roční produkce výzkumníka aspoň 20 bodů (zdroj: Mgr. Petr Grulich, Ph.D.:výnos děkana č. 6/2010) • „… soukromé firmy u nás investují do výzkumu čím dál méně ...“ „… podniky výzkum prostě nepotřebují, protoţe dokáţou dosáhnout zisku i bez inovací …“ (zdroj: PhDr. Václav Marek, Česká hlava) Výjezdní zasedání KTIML, Slapy, 2010

Pavel Surynek

Personální sloţení RVVI • 1. místopředsedkyně: prof. Ing. Stanislava Hronová, CSc. • místopředseda: prof. Ing. Vladimír Haasz, CSc. • místopředsedkyně: PhDr. Miroslava Kopicová • Členové: Ing. Karel Aim, CSc. doc. Ing. Jiří Cienciala, CSc. prof. Ing. Jiří Drahoš, DrSc., dr.h.c. prof. PhDr. Petr Fiala, Ph.D. Ing. Zbyněk Frolík prof. RNDr. Václav Hampl, DrSc. prof. Ing. Rudolf Haňka, MA, Ph.D., FEng. prof. RNDr. Pavel Hobza, DrSc. Ing. Pavel Kafka, dr.h.c. Ing. Jaroslav Míl, MBA doc. RNDr. Karel Oliva, Dr. prof. RNDr. Tomáš Opatrný, Dr. prof. Ing. Karel Pospíšil, Ph.D., MBA

– ekonomie – měřící technika – lidské zdroje

– fyzikální chemie – těţké strojírenství – chemické inţenýrství - politologie – nemocniční lůţka (Linet) – fyziologie – lékařská informatika - organická chemie – zahraniční obchod – prezident Svazu průmyslu ČR – matematická lingvistika – kvantová fyzika – dopravní systémy

• Ani jeden informatik či matematik ! Výjezdní zasedání KTIML, Slapy, 2010

Pavel Surynek

Hodnocení podle skutečné kvality na základě všeobecně (světově) uznávaných měřítek

Obecně o hodnocení • Srovnání se špičkovým zahraničním výzkumem ▫ typicky následuje vystřízlivění

• Nutno kombinovat různé zdroje ▫ ▫ ▫ ▫

Ţebříčky konferencí a časopisů (rank) Podíl přijatých článků (acceptance rate) Databáze publikací Šance na citaci

• Částečně subjektivní a závislé na zkušenostech ▫ názor se můţe časem mírně měnit Výjezdní zasedání KTIML, Slapy, 2010

Pavel Surynek

Ţebříček časopisů CORE • Ţebříček CORE ▫ Computing Research and Education Association of Australasia

• 4 kategorie časopisů (s příklady z umělé inteligence) ▫ A* … špičkový  Př.: Artificial Intelligence ▫ A … velmi dobrý  Př.: Journal of Artificial Intelligence Research ▫ B … dobrý  Př.: Annals of Operations Research ▫ C … poněkud horší  Př.: International Journal on Artificial Intelligence Tools Výjezdní zasedání KTIML, Slapy, 2010

Pavel Surynek

Ţebříček konferencí CORE • 4 kategorie konferencí (opět s příklady z umělé inteligence) ▫ A* … špičková  vedoucí osobnosti oboru, zpravidla všeobecné pro širší obor

 Př.: AAAI, IJCAI ▫ A … velmi dobrá  zpravidla specializovanější konference - podobory

 Př.: CP, SAT, ICLP ▫ B … dobrá  velký podíl studentských článků

 ▫ C  

Př.: CSCLP, TAMC, ICRA … poněkud horší konference lokálního charakteru Př.: ISMIS, ICAART


Pavel Surynek

Další ţebříčky a zdroje (1) • Computer Science Conference Rankings ▫ Méně propracované neţ CORE ▫ dostatečné pro rychlou orientaci

▫ http://www3.ntu.edu.sg/home/ASSourav/crank.htm

• SCIMago

▫ vhodné pro rychlé zjištění impact factoru (uţivatelsky přívětivější neţ ISI Web of Knowledge) ▫ impact factor = cites per doc. ▫ http://www.scimagojr.com/index.php


Pavel Surynek

Další ţebříčky a zdroje (2) • SCIMago ▫ bezplatné ▫ generování ţebříčku časopisů ve zvoleném oboru ▫ hodnocení států podle publikací


Pavel Surynek

Podíl přijatých článků • podíl = počet přijatých článků / počet všech posuzovaných článků ▫ uvádí se hlavně u konferencí ▫ známé i pro časopisy – skoro 2x niţší neţ u odpovídající konference (zamítnutí editorem)

• Vzhledem ke kategoriím z CORE ▫ ▫ ▫ ▫

A* … podíl přijatých < 20% A … podíl přijatých 20% aţ 33% B … podíl přijatých 33% aţ 50% C … podíl přijatých 50% aţ 66%

• Conference Acceptance Ratio Statistics

▫ http://www.adaptivebox.net/CILib/CICON_stat.html ▫ naposledy aktualizováno v roce 2008


Pavel Surynek

Kvalita pohledem ţebříčků a podílu • Opět s příklady z umělé inteligence Časopisy Všeobecné Oborové

Konference Všeobecné Oborové A*

AAAI IJCAI

A

CP SAT ICLP

B

TAMC ICRA CSCLP

Rostoucí kvalita

C

JAIR Klesající podíl přijatých

ANOR

ISMIS

IJAIT

ICAART Znalosti WDS

hranice nepřijatelnosti

20%

AI

WSEAS IIIS


66%

66% aţ 100%

Kybernetika WSEAS Tr. Pavel Surynek

Databáze publikací • Umoţňují přímé srovnání výkonnosti se zahraničním výzkumem ▫ DBLP

 http://www.informatik.unitrier.de/~ley/db/index.html

▫ Scientific Commons

 http://en.scientificcommons.org/  zřejmě opisuje od DBLP  občas něco přidá

▫ Computer Science Bibliographies  http://liinwww.ira.uka.de/ bibliography/index.html  také asi opisuje od DBLP  občas něco přidá


Pavel Surynek

Citace a šance na citaci • Google Scholar

▫ základní nástroj ▫ umoţňuje nastavit „citation alert“ ▫ http://scholar.google.com/

• Publish or Perish ▫ ▫ ▫ ▫

volně šiřitelný program databáze publikací + citace statistiky výkonnosti www.harzing.com

• Šance na citaci (kromě „samocitace“ a „přátelské citace“) ▫ ▫ ▫ ▫

A* … velmi vysoká A … vysoká B … blízká nule (nutno se pozitivně zviditelnit) C … prakticky nulová (i při zviditelnění)

 Pravděpodobněji méně kvalitní cituje kvalitnější či stejné, méně pravděpodobně kvalitní cituje horší (téměř jistě A* nebude citovat C)


Pavel Surynek

Závěr a diskuse • Bodové hodnocení podle metodiky RVVI

▫ podán přehled výsledků relevantních pro informatiku ▫ doporučeno samostatné prostudování metodiky (tato prezentace není zdroj informací, ale navigace k informacím) ▫ obsahuje různé podivnosti a paradoxy ▫ hodnocení impaktovaných časopisů je navrţené dobře ▫ nerozlišuje kvalitu konferencí (pro informatiku důleţité)

• Hodnocení podle skutečné kvality

▫ umoţňuje srovnání se zahraničním výzkumem ▫ kombinace několika kritérií (ţebříčky, acceptance rate) ▫ podán subjektivní pohled vztaţený k umělé inteligenci

 doporučeno samostatné studium  více informatické (softwarové) obory odpovídají UI  více matematické obory mají jisté odlišnosti (konference má nízkou váhu)


Pavel Surynek

Hodnocení výzkumu. Pavel Surynek. KTIML Katedra teoretické informatiky a matematické logiky

Recommend Documents