Bibliometrie: přínosy, úskalí. Jiří Jirát VŠCHT Praha

Bibliometrie: přínosy, úskalí Jiří Jirát VŠCHT Praha

zde jsme teď

Přístup

Složitost

Vypovídací hodnota

Potřebné nástroje / data

Článek jako článek

nízká

mizivá

Všechny články v daném časopise a roce jsou si rovny

střední

omezená, Hodnoty metrik pro časopisy rel. (IF, AI v Journal Citation Reports, jednoduchá, SNIP, SJR na JournalMetrics.com) ale schová extrémy

Články v daném časopise a roce mají různou „hodnotu“ podle citovanosti

vysoká

vysoká, ale složitá

Vyžaduje nadstavbový nástroj (InCites, SciVal) nebo datový set + netriviální zpracování

Datové sady – srovnání Obsahové pokrytí

Přesnost určení Hlavní zápory autorů a institucí z ČR

RIV

+ kromě časopisů a sborníků i jiné typy dokumentů − nekompletní časopisy, úzký výběr

extrémně přesný

Web of Science

• časopisy, sborníky (+ knihy) identifikace • několik indexů, ne všichni autorů, institucí a mají vše (např. Book CI) afilací autorů zatížena určitou chybou

Scopus

• časopisy, sborníky (+ knihy) dtto monolitická

• nejsou citační údaje • omezení pouze na ČR: nejsou údaje o zahraničních publikacích, autorech, inst. apod. • metriky časopisů stejně z externího zdroje

Charakteristika časopisu (resp. typického článku z časopisu) Stáří

V které db. Nutná znalost použito matematiky

Impact Factor (IF)

60. léta 20. stol.

WOS

Eigenfactor

~ 2007

WOS

ArticleInfluence

~ 2007

WOS

Source ~ Normalized 2010(2012) Impact per Paper (SNIP/SNIP2) SCImago Journal Rank (SJR)

~ 2010

Způsob výpočtu

3. třída ZŠ (dělení celých čísel v číselném oboru 0-1000)

1-2 semestry VŠ lineární algebry (vlastní čísla matice)

Scopus

matematické gym./Bc. studium na VŠ tech./přírod. směru

Scopus

dtto

numerické metody pro řídké matice

iterativní algoritmus

Některé vlastnosti Impact Factor (IF)

Časové Zahrnutí okno autocitací publikací / časopisu roky

Typický rozsah hodnot

Zahrnuje normalizaci vůči oboru

2 nebo 5

> 0, do cca 30 až 40

NE

ano (* existuje IF bez autocitací časopisu; penalizace přílišných autocitací)

následné ex-post normalizace spoléhají na správnost dělení do oborů

Eigenfactor

5

vyloučeny

pozor, popisuje časopis, ne článek!

ano

ArticleInfluence

5

vyloučeny

normalizované - vliv článku: 1.0 = průměrný, > 1.0 nadprům., < 1.0 podprům.

ano

Source Normalized Impact per Paper (SNIP/SNIP2)

3

ano

0 do cca 10 až 15 (i více)

ano

SCImago Journal Rank (SJR)

3

omezeně do výše 33 %

min. 0,1, do cca 10 (i ano více)

h-index h-index

Výskyt

Výpočet

Nutná znalost matematiky

standard (WOS, Scopus ad.)

seřaď sestupně podle citací, pak pro h: citace h-tého článku: ≥ ℎ citace (h+1)ního článku: ≤ ℎ

2. až 3. třída ZŠ (řazení a porovnání čísel v oboru 0-100, resp. 0-1000)

Typy metrik (veličin) • extenzivní – fyzikálně: • je úměrná velikosti systému • jsou aditivní

– závisí na velikosti instituce: „size-dependent“, „power metrics“ apod. – př.: počet publikací, počet citací ad.

• intenzivní – fyzikálně: • na velikosti soustavy nezáleží

– nezávislá na velikosti instituce: „size-independent“ – př.: citace/publikaci; podíl publikací v nejlepším percentilu, kvartilu apod.

Některé jsou funkcí oboru, času.

Příklad č. 1

SROVNÁNÍ INSTITUCÍ

Zjednodušený příklad – srovnání institucí pro jeden časopis Polymer je v Q1 (1. kvartil) časopisů v ISI JCR kategorii Polymer Science

Porovnání: • ETH Zürich vs. • Virtuální česká nad-univerzita (UK + VŠCHT + VUT + UPce + MU + UTB + VŠB-TUO + ČVUT) (Pozn.: některé VŠ z ČR nejsou zahrnuty, protože neměly v tomto období žádné publikace v Polymeru).

Publikace v tomto titulu z let 2005 a 2006.

Zdroj dat: Scopus Citation Tracker

Zdroj: http://www.journals.elsevier.com/polymer/, 8.10.2014

Příklad č. 1 – srovnání institucí “raw Impact Factor v r. 2007” =

7714 2396

= 3,22 (Scopus Citation Tracker)

pro srovnání: IF(2007) = 3,065 (2007 JCR Science Edition) ETH Zürich Virtuální česká nad-univerzita Počet publikací (Polymer, 2005-2006)

13

18

Počet citací v r. 2007

71

45

Průměrný počet citací v r. 2007

5,5

2,5

A další roky?

Citovanost: Polymer (2005+2006) v r. 2007

Vývoj citovanosti – kumulativní citace – období 2007-2013

2007-2013

2007

Pozn.: pořadí publikací se z rok na roku mění!

R. 2013 – srovnání univerzit (časopis Polymer 2005+2006)

Charakteristika pomocí percentilů Absolutní počet publikací

Jsme lepší!

20

Jak je to s rozdělením do kvartilů podle citovaností?

15

10

Absolutní počet publikací

V absolutních číslech

5

V podílech

0 Česká virt. univerzita

ETH

Hmm… 20

100%

80%

15 horní kvartil

60%

10

6% 22%

33%

„podíl publikací v lepší polovině“

38% horní kvartil 31%

40% spodní kvartil

spodní kvartil

5 20% 0 Česká virt. univerzita

ETH

39%

23% 8%

0% Česká virt. univerzita

ETH

Srovnání – bibliometrický nástroj • Srovnání v rámci časopisu – omezená vypovídací hodnota • Porovnání v rámci země, Evropy, světa? – bez nadstavbových nástrojů extrémně pracné/nemožné

• Srovnání pomocí SciVal: – vytvoření dvou datových setů (DOI upload) – srovnání „kvantitativně-kvalitativní“

Počty publikací institucí v časopisu Polymer

Zdroj: SciVal, Elsevier

Srovnání institucí – Polymer, 2005+2006


Kvantita vs. kvantita: Počet citací vs. počet publikací


Intenzita vs. kvantita: Počet citací na publikaci vs. počet publikací


Kvantita (výběr kvality) vs. kvantita vs. intenzita: Počet publikací v 25 % top publikací celosvětově vs. počet publikací vs. počet citací na publikaci

Rozdíl nevypadá až tak hrozně…

Velikost bubliny je úměrná počtu citací na publikaci


Kvalita vs. kvantita vs. intenzita: Podíl v 25 % top publikací celosvětově vs. počet publikací vs. počet citací na publikaci

Velikost bubliny je úměrná počtu citací na publikaci Tady už to tak dobře nevypadá…


Hledáme excelenci - finální rozhodnutí? 12

Kde uděláme čáru, abychom našli „top“ výsledky?

Počet publikací

10 8 6

ETH

4

VČNU

Když v 1 %: vyhrává VČNU

2 0 1%

5%

10%

Když v 5 %, 10 % nebo 25 %: vyhrává ETH

25%

Top x % celosvětových publikací 100%

Podíl publikací

80% 60% ETH

40%

VČNU 20% 0% 1%

5%

10%

Top x % celosvětových publikací

25%

Příklad č. 2

KVALITA VÝZKUMNÉ SKUPINY

Hodnocení tradiční Kde se v ČR dělá nejlepší výzkum 9.8. 2012 (DOPLNĚNO 20.12.2012) ŠTĚPÁN JURAJDA a DANIEL MÜNICH:

(rozdělení do tercilů podle IF časopisu, období 2006-2010, ale zahrnuje podíly na publikaci z RIV aj.)

Je Ústav anorganické chemie VŠCHT Praha tak špatný?

Rychlý náhled pomocí nástroje pro bibliometrickou analýzu (SciVal)…

Kolik (objem publikační činnosti) (kvantita vs. čas) nové vedení ústavu

Kde? Hlavní obory

Podobory chemie

Přehled za období 2011-2013, obor Chemistry

FWCI – normalizace citovanosti vůči oboru, roku atd., hodnota > 1: lepší než světový průměr

Srovnání se světem a ČR: podíl publikací v top 25 % časopisů (podle SJR)

Vývoj! – obor Chemistry, instituce v ČR podíl publikací v top 10 % časopisech (SJR) vs. citace na publikace vs. podíl v 25 % top publikacích (bublina) Období 2006-2010

Acad. Sci.

World Czech R.

Období 2010-2014 Acad. Sci. World

Czech R.

Srovnání kvalit:

Velikost bubliny je úměrná podílu publikací v 25 % top časopisů (podle SJR)

Ověření – pohled na tituly

Definice oborů • Co je „anorganická chemie“? (neformální diskuse na křtu nové knihy „Anorganická chemie“): „Anorganická chemie je všechno, co není organická chemie (oxid uhličitý ať si anorg. chemici také vezmou, o oxidu uhelnatém si ještě popovídáme).“ • Na těchto exaktních definicích oborů pak lze postavit celý normalizační aparát, mediány a pořadí…?

Příklad č. 3

HLEDÁME EXCELENTNÍHO VĚDCE

Prvotní porovnání kandidátů obor (Research Area WOS)

h-index

počet počet publikací v publikací posledních 15 letech

Physics, Science technology other topics, Materials Science

29

148

140

Materials Science, Metallurgy Metalurgical eng.

22

108

26

Chemistry, Biochemistry molecular biology

54

754

307

Physics

10

22

2

Zdroj dat: Web of Science, Thomson-Reuters

1. screening – vyloučení nízkých hodnot obor (Research Area WOS) h-index počet počet publikací v publikací posledních 15 letech Physics, Science technology other topics, Materials Science

29

148

140


22

108

26


54

754

307

Physics

10 22 2 málo publikací, příliš nízký h-index

Kandidát č. 2

Zdroj dat: Web of Science, Thomson-Reuters

Další filtr obor (Res. Area WOS)

h-index

počet publ.

počet citací celkem / bez autocitací

Physics, Science technology other topics, Materials sci.

29

148

6544/6466


22

108

3492/3181


h-index nic moc, citací je rel. nejméně 54

754

15451/10984

Srovnání finalistů – publikace v top 5 % nejlepších časopisů (SJR) Zdroj: SciVal, Elsevier č. 1

č. 3

Kandidát č. 3

Kandidát č. 1


Citace na publikaci vs. počet publikací (velikost bubliny – podíl publikací v top 5 % časopisů) (1996-2013)


Porovnání lidí (WOS)? obor (Res. Area h-index počet WOS) publ.


průměrný počet citací na publ.

Physics, Science 29 technology other topics, Materials sci.

148

6544/6466

23.59


22

108

3492/3181

60.59


54

754

15451/10984

20.49

Physics

10

22

4588/4572

208.55

Porovnání lidí (WOS)? obor (Res. Area h-index počet WOS) publ.


průměrný počet citací na publ.

Physics, Science 29 technology other topics, Materials sci.

148

6544/6466

23.59


22

108

3492/3181

60.59


54

754

15451/10984

20.49

Physics

10

22

4588/4572

208.55

Odhalení

Prof. Dan Shechtman , Nobelova cena za chemii 2011

Prof. P.W.

Na 4. místě…

Potato. [Photography]. Retrieved from Encyclopædia Britannica ImageQuest. http://quest.eb.com/#/search/156_2410939/1/156_2410939/cite

Na 3. místě…

London 2012 Medals Being Produced by Royal Mint. [Photography]. Retrieved from Encyclopædia Britannica ImageQuest. http://quest.eb.com/#/search/115_3907467/1/115_3907467/cite

Na 2. místě…


Vítězem se stává…


Výsledek… 1.

3.

2.

4.

Jan Hendrik Schön, „největší podvodník za minulých 50 let ve světě vědy“, vymýšlená podvodná data, většina článku stažena (Retracted papers) Prof. Dan Shechtman, Nobelova cena za chemii 2011

Prof. Antonín Holý

Prof. P.W. Higgs, Nobelova cena za fyziku 2013 (208 citací/publikaci) Fotografie: Israeli Daniel Shechtman Wins Nobel Chemistry Prize. [Photography]. Retrieved from Encyclopædia Britannica ImageQuest. http://quest.eb.com/#/search/115_3898080/1/115_3898080/cite British theoretical physicist Prof. Peter Higgs. [Photography]. Retrieved from Encyclopædia Britannica ImageQuest. http://quest.eb.com/#/search/132_1249998/1/132_1249998/cite http://www.uochb.cz/web/structure/698.html?lang=cz

Závěr • Bibliometrické nástroje – přínosy: • možnost najít kvalitu a změny ve výzkumu instituce • hlubší vhled do výzkumu instituce

• Pozor: – mechanická aplikace vede často k zavádějícím výsledkům – hodnotitel by ideálně měl mít vhled do instituce a vědního oboru

Bibliometrie: přínosy, úskalí. Jiří Jirát VŠCHT Praha

Recommend Documents