Název projektu:
Od rozvoje znalostí k inovacím
Registrační číslo projektu: CZ.1.07./2.3.00/09.0009 Tento projekt je spolufinancován Evropským sociálním fondem a státním rozpočtem České republiky.
SCIENTOMETRIE JE MOŽNÉ „MĚŘIT“ VĚDECKOU PRÁCI? Ano, ale…
Prof. RNDr. E. Šucman, CSc. VFU Brno
[email protected]
Cíl vědecké práce Poznání a jeho využití Informace o poznaném (information science) - poznatky je třeba zveřejnit
„Work – Finish – Publish“ Michael Michael Faraday‘s well-known advice to the young William Crookes, who had asked him the secret of his success as a scientific investigator (1874).
- poznatky musí být vyhledatelné tj. musí vejít ve známost
EVROPSKÁ UNIE
I N V E S T I C E
D O
R O Z V O J E
V Z D Ě L Á V Á N Í
Vědecká práce Cesta k poznání:
Myšlenka a metody jejího ověření/potvrzení/rozšíření/…
Experimenty a jejich vyhodnocení/interpretace
Sdělení
přednáška, poster, publikace, …
EVROPSKÁ UNIE
I N V E S T I C E
D O
R O Z V O J E
V Z D Ě L Á V Á N Í
Výsledky práce Zveřejnění výsledků vědecké práce: • Formy - publikace/přednášky/postery/… Vyhledatelnost • Databáze výsledků na různých úrovních - institucionální úrovni (ročenky,…) - celonárodní úrovni (RIV – rejstřík informací o výsledcích) - nadnárodní databáze výsledků/publikací (různé většinou oborově orientované databázové informační/vyhledávací systémy)
• Databázové vyhledávací systémy
EVROPSKÁ UNIE
I N V E S T I C E
D O
R O Z V O J E
V Z D Ě L Á V Á N Í
Výsledky práce Zveřejnění výsledků vědecké práce: Přednáška - hodnocení subjektivní - přijetí přednášky organizátorem konference - posluchači sledovali výklad se zájmem - bohatá diskuse
EVROPSKÁ UNIE
I N V E S T I C E
D O
R O Z V O J E
V Z D Ě L Á V Á N Í
Výsledky práce Zveřejnění výsledků vědecké práce: Poster (plakátové sdělení) - hodnocení subjektivní - přijetí posteru organizátorem konference - účastníci se zastavovali, prohlíželi se zájmem prezentovaný poster
- bohatá diskuse (souhlas, nesouhlas, komentáře) - možnost navázání nových kontaktů - možnost zapojení do projektů
EVROPSKÁ UNIE
I N V E S T I C E
D O
R O Z V O J E
V Z D Ě L Á V Á N Í
Výsledky práce Zveřejnění výsledků vědecké práce: Publikace - hodnocení objektivní
- přijetí práce k publikaci na základě kladných/doporučujících recenzí - čtenářský ohlas – citace
- navázání nových kontaktů s badateli zabývajícími se podobnou tématikou - zapojení do projektů
EVROPSKÁ UNIE
I N V E S T I C E
D O
R O Z V O J E
V Z D Ě L Á V Á N Í
Scientometrie – možnosti využití Hodnocení výsledků vědecké práce • Osobní hodnocení • Hodnocení na institucionální úrovni • Jiné určení hodnocení pokroků disciplíny, vyhledávání pracovníků/týmů zabývajících se stejným tématem, bibliografické práce,…
EVROPSKÁ UNIE
I N V E S T I C E
D O
R O Z V O J E
V Z D Ě L Á V Á N Í
Scientometrie - definice Scientometrie
je věda, která studuje pokrok vědeckého poznání pomocí počtu vědeckých článků publikovaných v daném období Podstatou je tedy měření/zjišťování - individuálního - institucionálního (na různé hladině)
příspěvku k vědeckému poznání EVROPSKÁ UNIE
I N V E S T I C E
D O
R O Z V O J E
V Z D Ě L Á V Á N Í
Scientometrie - definice Posuzování výkonnosti vědecké práce je realizováno pomocí indikátorů: - počet článků publikovaných ve vědecky uznávaných časopisech - počet citací těchto článků jinými autory ve vědecky uznávaných časopisech EVROPSKÁ UNIE
I N V E S T I C E
D O
R O Z V O J E
V Z D Ě L Á V Á N Í
Scientometrie Dr. Eugen Garfield Founder & Chairman Emeritus Institute for Scientific Information, now Thomson Reuters - 1951 Welch Medical Indexing Project at Johns Hopkins University, funded by the Army Medical Library, the predecessor of the National Library of Medicine.
- 1957 CurrentContents/PharmacoMedical & Life Sciences, - 1960 zakládá ISI - 1964 Science Citation Index
EVROPSKÁ UNIE
I N V E S T I C E
D O
R O Z V O J E
V Z D Ě L Á V Á N Í
Thomson Reuters Institute for Scientific Information (ISI) - ve všech oblastech vědy - předpokládá se, že tyto časopisy mají vysokou vědeckou hodnotu uznávanou akademickou komunitou
- publikované práce se soustřeďují v časopisech (často multidisciplinárních) s vysokým impaktním faktorem - takové časopisy (asi 9500, pokrývající oblast asi 150 vědeckých disciplín) zahrnují 90% literatury
EVROPSKÁ UNIE
I N V E S T I C E
D O
R O Z V O J E
V Z D Ě L Á V Á N Í
ISI Web of Knowledge
Impact factor
CITACE Formalizovaný odkaz na určitý výsledek, metodu, či myšlenku v jiné publikaci Citovanost - počet citací dané publikace v určitém období
Autocitace - autor článku cituje práce, v nichž figuruje jako autor či spoluautor a - citace kterýmkoli ze spoluautorů dané práce.
EVROPSKÁ UNIE
I N V E S T I C E
D O
R O Z V O J E
V Z D Ě L Á V Á N Í
CITACE Citační zvyklosti jsou v různých oborech/časopisech odlišné Vysokou citovanost lze předpokládat pro - přehledné články „REVIEW“ - kontroverzní publikace - publikace chyby (výsledek/poznatek/interpretace)
EVROPSKÁ UNIE
I N V E S T I C E
D O
R O Z V O J E
V Z D Ě L Á V Á N Í
Impact factor (IF) Počet citací v roce R na články publikované v letech (R-1) a (R-2)
IF =
———————————————————————————— Celkový počet článků publikovaných v letech (R-1) a (R-2)
Příklad: Analytical Chemistry, IF 2006 Cites in 2006 to articles published in:
2005 =
4980
2004 =
6871
Sum:
Number of articles published in:
11851
2005 =
1092
2004 =
1007
Sum:
2099
Calculation: Cites to recent articles Number of recent articles
EVROPSKÁ UNIE
I N V E S T I C E
D O
R O Z V O J E
V Z D Ě L Á V Á N Í
= 11851 2099
= 5 .646
Impact factor (IF) IF (faktor dopadu) je určitým (ne zcela ideálním) hodnotícím kritériem pro časopis
nemůže být kritériem pro hodnocení jedné konkrétní práce v tom časopise publikované.
asi 95 % vědeckých publikací není nikdy citováno tzn. na IF se tedy průměrně podílí zhruba 5 % článků (samozřejmě v citovanějších oborech a v lepších časopisech více).
použití IF jako jediného kritéria hodnocení kvality časopisu je, jako posuzovat zdravotní stav organismu jen na základě jeho hmotnosti.
EVROPSKÁ UNIE
I N V E S T I C E
D O
R O Z V O J E
V Z D Ě L Á V Á N Í
Impact factor (IF) Poznámky 1.
IF rozhodně nevyjadřuje „obtížnost publikování“ v daném časopise, ale průměrnou míru ohlasu informací publikovaných v tomto časopise v následujících dvou letech. To závisí nejen na kvalitě práce samotné, ale i na sledovanosti a dostupnosti časopisu a ve značné míře i na určité „módnosti“ dané tematiky.
2.
IF samozřejmě v průměru s kvalitou prací koreluje, ale určitě ne přímo úměrně a už vůbec se nedá aplikovat na hodnocení malého vzorku prací.
EVROPSKÁ UNIE
I N V E S T I C E
D O
R O Z V O J E
V Z D Ě L Á V Á N Í
Impact factor (IF) Kvantitativní spolehlivost údajů je však sporná, chyby nejrůznějšího charakteru dosahují až 25 % počtu prací, spolehlivost údajů o počtu citací ve starším období je snížená. Databáze citací ISI uvádí výhradně práce, na něž se někdy někdo (včetně autorů samých) odvolával.
Citovanost prací publikovaných v časopisech s vyšším IF je sice obecně vyšší (neplatí absolutně) ale i práce zveřejněné v časopise s nižším IF mohou mít solidní ohlas. Záleží
tedy
EVROPSKÁ UNIE
I N V E S T I C E
D O
R O Z V O J E
V Z D Ě L Á V Á N Í
nejen
na
časopise.
Impact factor (IF) Citovanost práce hodně závisí na oboru její působnosti:
Např.: biologicky zaměřené práce mají v současnosti podstatně vyšší citovanost, než práce chemické. Biologické práce (povětšinou) citují jen práce v biologických časopisech. Skutečný dopad práce tedy není bezezbytku vyjádřen ani samotným IF, ani samotnou citovaností. Databáze citací ISI nepřihlíží k počtu spoluautorů ani autorských pracovišť. U téhož autora musí mít nepochybně jinou váhu práce, kde je autorem jediným, než práce, kde je spoluautorem s deseti dalšími.
Databáze nebere ohled na počet autocitací. EVROPSKÁ UNIE
I N V E S T I C E
D O
R O Z V O J E
V Z D Ě L Á V Á N Í
Impact factor (IF) Poznámky k časopisům s nízkým IF Časté problémy časopisů s nízkým IF 1. Nedostatek vysoce kvalifikovaných recenzentů a tudíž je u nich vyšší pravděpodobnost publikace nekvalitních prací. Záleží na šíři problematiky, kterou časopis pokrývá (scope of the journal) 2. Slabé ocenění publikovaných prací při evaluacích a financování výzkumu 3. Menší zájem čtenářů 4. Nestabilita IF . . . .
EVROPSKÁ UNIE
I N V E S T I C E
D O
R O Z V O J E
V Z D Ě L Á V Á N Í
Vybráno z Nature:
Impact factor „hrátky s IF“
Časopis Folia Phoniatrica et Logopaedica má mezi badateli v dané oblasti dobrou reputaci, třebaže jeho impact factor byl 0.655 in 2006 Publikace v takovém časopise však autorům/institucím, bohužel, nepřinese uznání, či grantové peníze.
Dva badatelé Holanďan a Čech využili vlastností systému a publikovali článek s názvem: „Reaction of Folia Phoniatrica et Logopaedica on the current trend of impact factor measures“ (H. K. Schutte and J. G. Švec: Folia Phoniatr. Logo., 59, 281-285, 2007).
V tomto článku byly citovány všechny práce publikované v Folia Phoniatrica et Logopaedica v předchozích dvou letech. EVROPSKÁ UNIE
I N V E S T I C E
D O
R O Z V O J E
V Z D Ě L Á V Á N Í
Impact factor „hrátky s IF“ Vybráno z Nature: Na základě definice „impact factoru“ tato strategie vedla k dramatické změně a pro Folia Phoniatrica et Logopaedica se
impact factor pro rok 2007 zvýšil na 1.439 Srovnej 0,655 v roce 2006
EVROPSKÁ UNIE
I N V E S T I C E
D O
R O Z V O J E
V Z D Ě L Á V Á N Í
Impact factor „hrátky s IF“ Impaktní faktory a citační ohlasy jsou významnými scientometrickými údaji
ty jsou zvláště důležité při hodnocení institucí a výkonnosti vědy ve státech či regionech.
při hodnocení jednotlivců nebo týmů mohou prosté součty citací a/nebo IF vést k nesprávným závěrům.
impaktní faktory reflektují citovanost průměrné práce v daném časopise. vyjadřují tedy naději, že určitá publikovaná práce získá stejný počet ohlasů (citací). Po určitém čase lze posoudit, zda skutečné citační ohlasy této naději opravdu odpovídají.
EVROPSKÁ UNIE
I N V E S T I C E
D O
R O Z V O J E
V Z D Ě L Á V Á N Í
Impact factor „hrátky s IF“ Počet citací je sice dobrým vodítkem pro předběžný odhad kvality práce badatelů v dané vědecké oblasti. ALE… K ZAMYŠLENÍ: 1. Autor hojně publikuje a cituje hlavně sebe 2. Spoluautor získal spoustu citací, ale jeho vlastní zásluhy jsou malé (např. v době výzkumu pracoval ve špičkovém zahraničním kolektivu, kde jeho vlastní, tvůrčí přínos mohl být malý (stáž, hostování, studijní pobyt apod.) 3. Citace jsou dokladem minulosti autora a neříkají nic jeho aktuálním vědeckém výkonu 4. Citovaná práce je přehledný článek, nepřináší tedy žádné nové poznatky 5. Práce je silně citována proto, že je kritizována pro závažnou chybu 6. Autor svým objevem předběhl dobu (G.J.Mendel)
EVROPSKÁ UNIE
I N V E S T I C E
D O
R O Z V O J E
V Z D Ě L Á V Á N Í
Impact factor „hrátky s IF“ • Body 1. – 5. lze řešit pomocí citační analýzy.
• V případě popsaném v bodě 6. lze autora jen politovat
EVROPSKÁ UNIE
I N V E S T I C E
D O
R O Z V O J E
V Z D Ě L Á V Á N Í
-
Immediacy Index (Index bezprostřednosti, naléhavosti)
-
Journal Cited Half-Life (Citační poločas článků v časopisu)
- Journal Citing Half-Life (Citační poločas časopisu)
EVROPSKÁ UNIE
I N V E S T I C E
D O
R O Z V O J E
V Z D Ě L Á V Á N Í
ISI Web of Knowledge
Další scientometrické parametry časopisů
Immediacy Index
Příklad: Analytical Chemistry Cites in 2006 to articles published in 2006 =
Number of articles published in 2006 =
Calculation:
Cites to current articles Number of current articles
EVROPSKÁ UNIE
I N V E S T I C E
D O
R O Z V O J E
V Z D Ě L Á V Á N Í
865 1088
865
1088
= 0.795
Journal Cited Half-Life (Citační poločas článků v časopisu)
The cited half-life je dán jako medián stáří článků publikovaných v daném časopise a citovaných v JCR (Journal Citation Report) v daném roce. Takže právě polovina článků publikovaných v daném časopise je citována v této době.
Příklad: Analytical Chemistry Cited Half-Life: 7.0 years EVROPSKÁ UNIE
I N V E S T I C E
D O
R O Z V O J E
V Z D Ě L Á V Á N Í
Journal Citing Half-Life (Citační poločas časopisu)
The citing half-life je dán jako medián stáří publikace citované v daném roce v JCR (Journal Citation Report)
Takže právě polovina citací v článku uveřejněném v daném časopise má stáří dané touto dobou Příklad: Analytical Chemistry Citing Half-Life: 5.2 years
EVROPSKÁ UNIE
I N V E S T I C E
D O
R O Z V O J E
V Z D Ě L Á V Á N Í
Měření vědecké výkonnosti jednotlivce Co se hodnotí:
Články ve vědeckých časopisech (s IF)
Monografie, kapitoly v monografiích Konferenční příspěvky (zejména zvané plenární přednášky) Popularizační články Pedagogická a osvětová činnost
Parametry Celkový počet publikovaných článků Celkový počet citací Citace připadající na jeden článek Počet významných článků EVROPSKÁ UNIE
I N V E S T I C E
D O
R O Z V O J E
V Z D Ě L Á V Á N Í
Citace – obory
Molekulární biologie a genetika
Nasmyth, K. – molekulární biologie 1. Nejcitovanější práce: 531 citací . . . 20. Práce 241 citací (z hlediska citovanosti)
EVROPSKÁ UNIE
I N V E S T I C E
D O
R O Z V O J E
V Z D Ě L Á V Á N Í
Citace – obory Matematika
Csorgo, S. – statistika 1. Nejcitovanější práce:
82 citací
. . . 20. Práce 12 citací (z hlediska citovanosti) EVROPSKÁ UNIE
I N V E S T I C E
D O
R O Z V O J E
V Z D Ě L Á V Á N Í
CITACE OBORY:
(odhad počtu citací článku)
Astronomie, astrofyzika Fyzika
-
Molekulární biologie, biochemie, genetika
EVROPSKÁ UNIE
D O
R O Z V O J E
desítky
- desítky až stovky
Chemie
I N V E S T I C E
-
V Z D Ě L Á V Á N Í
stovky
- stovky až tisíce
EVROPSKÁ UNIE
I N V E S T I C E
D O
R O Z V O J E
V Z D Ě L Á V Á N Í
Měření vědecké výkonnosti jednotlivce V posledních letech zaváděna nová kritéria (míry)
• Hirsch (2005): h-index
• Egghe (2006):
g-index
• Batista et al. (2006): individualizovaný h-index
EVROPSKÁ UNIE
I N V E S T I C E
D O
R O Z V O J E
V Z D Ě L Á V Á N Í
Extra třída bio
ČEŠI a. Fyzici
Nobel
c.Bio b.Chemici
Vesmír, září 2006
EVROPSKÁ UNIE
I N V E S T I C E
D O
R O Z V O J E
V Z D Ě L Á V Á N Í
h - index
Robustní míra zohledňující kvalitu a kvantitu práce autora, nebo instituce, kterou vyjadřuje pomocí jednoho údaje (čísla) •
Využívá citačních ohlasů vědeckých prací.
•
h-index je roven
•
index neřeší srovnávání výkonnosti vědců v různých oborech, je vázaný na vědní disciplínu
•
Hirsch J.E.: Proc.Natl.Acad.Sci. 106, 16569 (2005)
pořadovému číslu h publikace (publikace jsou seřazeny sestupně podle počtu citačních indexů), která má citační index rovný, nebo větší než toto pořadové číslo.
EVROPSKÁ UNIE
I N V E S T I C E
D O
R O Z V O J E
V Z D Ě L Á V Á N Í
h – index (příklad pro jednotlivce) Počet citací
Pořadí práce
Suma citací
h2
47
1
47
1
42
2
89
4
37
3
126
9
36
4
162
16
21
5
183
25
18
6
201
36
17
7
218
49
16
8
234
64
16
9
250
81
16
10
266
100
15
11
281
121
13
12
294
144
13
13=h
307
169
13
14
320
196
13
15
333
225
12
16
345
256
12
17
357
289
12
18
369
324
12
19
381
361
11
20
392
400
EVROPSKÁ UNIE
I N V E S T I C E
D O
R O Z V O J E
V Z D Ě L Á V Á N Í
Egghe L.: ISSI Newsletter, 2, 8 (2006)
h – index (příklad pro instituce)
Acad.Sci,Brno h index = 76
Acad Sci, Praha h index = 144
EVROPSKÁ UNIE
I N V E S T I C E
D O
R O Z V O J E
V Z D Ě L Á V Á N Í
g – index Robustní míra zohledňující kvalitu a kvantitu práce autora, nebo instituce, kterou vyjádřuje pomocí jednoho údaje (čísla)
• námitka- h-index nezohledňuje „váhu“ publikace, tj. kolikrát byl článek citován • g-index také využívá citačních ohlasů vědeckých prací •
g-index je roven pořadovému číslu g publikace (publikace jsou seřazeny sestupně podle počtu citačních indexů), pro kterou je suma citací rovna, nebo větší než g2
•
Egghe L.: Scientometrics, 69, 131 (2006)
EVROPSKÁ UNIE
I N V E S T I C E
D O
R O Z V O J E
V Z D Ě L Á V Á N Í
g – index (příklad pro jednotlivce) Počet citací
Pořadí práce
Suma citací
g2
47
1
47
1
42
2
89
4
37
3
126
9
36
4
162
16
21
5
183
25
18
6
201
36
17
7
218
49
16
8
234
64
16
9
250
81
16
10
266
100
15
11
281
121
13
12
294
144
13
13
307
169
13
14
320
196
13
15
333
225
12
16
345
256
12
17
357
289
12
18
369
324
12
19=g
381
361
11
20
392
400
EVROPSKÁ UNIE
I N V E S T I C E
D O
R O Z V O J E
V Z D Ě L Á V Á N Í
Egghe L.: ISSI Newsletter, 2, 8 (2006)
Individualizovaný h-index • Komplementární míra h-indexu • Zohledňuje spoluautorství (spoluatoři také citují práce) • Je méně závislý na vědním oboru • Předpokládaný hI-index daného autora, který by pracoval sám • Je-li průměrný počet spoluautorů h-publikací Np= Nc/h pak hI = h/Np = h2/Nc •
Batista P.D. et al.: Scientometrics, 68, 179(2006)
EVROPSKÁ UNIE
I N V E S T I C E
D O
R O Z V O J E
V Z D Ě L Á V Á N Í
Časopisy - scientometrie Journal
Scientometrics
Publisher
Akadémiai Kiadó, co-published with Springer Science+Business Media B.V., Formerly Kluwer Academic Publishers B.V.
ISSN
0138-9130 (Print) 1588-2861 (Online)
Issue
Volume 31, Number 3 / November, 1994
DOI
10.1007/BF02016875
Pages
251-260
Subject Group
Computer Science
Online Date
Saturday, August 06, 2005
EVROPSKÁ UNIE
I N V E S T I C E
D O
R O Z V O J E
V Z D Ě L Á V Á N Í
