Citation Statistics zpr´ ava spoleˇ cn´ e komise Int. Mathematical Union Int. Council of Industrial and Applied Mathematics Institute of Statistics
Citace ze zad´ an´ı: The drive towards more transparency and accountability in the academic world has created a ”culture of numbers” in which institutions and individuals believe that fair decisions can be reached by algorithmic evaluation of some statistical data; unable to measure quality (the ultimate goal), decision-makers replace quality by numbers that they can measure. This trend calls for comment from those who professionally ”deal with numbers” - mathematicians and statisticians.
Hlavn´ı z´ avˇ er: This belief is unfounded.
• Interpretace a platnost statistick´ ych dat je je alespoˇ n tak subjektivn´ı jako ”peer review”.
• Protoˇ ze tato subjektivita je u ”ˇ c´ısel” m´ enˇ e zjevn´ a, ti kdo ji uˇ z´ıvaj´ı o n´ı ˇ casto nevˇ ed´ı ˇ ci nech´ apou, v ˇ cem spoˇ c´ıv´ a.
• Rozhodov´ an´ı pouze na z´ akladˇ e citaˇ cn´ı statistiky vede v lepˇ s´ım pˇ r´ıpadˇ e k ne´ upln´ ym ale ˇ casto k bezobsaˇ zn´ ym z´ avˇ er˚ um.
• Porovn´ av´ an´ı jednotliv´ ych vˇ edc˚ u, ˇ cl´ ank˚ u, program˚ u ˇ ci instituc´ı jen na z´ akladˇ e citaˇ cn´ı statistiky je prokazatelnˇ e chybn´ e.
Uvedu p´ r´ıklady na
• Nekoherentnost a subjektivitu pˇ ri sbˇ eru dat,
• koncepˇ cn´ı chyby v interpretaci dat,
• matematick´ e chyby v odvozov´ an´ı z´ avˇ er˚ u.
Doporuˇ cen´ı zpr´ avy: • Hodnocen´ı vˇ edy je velmi d˚ uleˇ zit´ e a pochopit, proˇ c napˇ r. jedna instituce je lepˇ sı neˇ z jin´ a, je z´ asadn´ı probl´ em.
Klademe-li vysok´ e n´ aroky na vˇ edu, mˇ eli bychom kl´ ast podobn´ e n´ aroky i na jej´ı hodnocen´ı. Pˇ redstava, ˇ ze ho lze ponechat byrokrat˚ um porovn´ avaj´ıc´ı ˇ c´ısla je myln´ a.
Zpr´ ava rozhodnˇ e nedoporuˇ cuje zavrhnout citaˇ cn´ı statistiku pˇ ri hodnocen´ı vˇ edy, ale doporuˇ cuje, aby byla jen jedn´ım z v´ıce krit´ eri´ı. ”Dˇ elat z´ avˇ ery o kvalitˇ e vˇ edce, ... na z´ akladˇ e jednoho ˇ c´ısla odvozen´ eho z citaˇ cn´ı statistiky je stejn´ e, jako ˇ cinit z´ avˇ er o zdrav´ı ˇ clovˇ eka jen na z´ akladˇ e jeho hmotnosti.”’
Impact factor (IF) ˇ casopisu
A (poˇ cet citac´ı v r.’07 na ˇ clanky v B) B (poˇ cet ˇ clank˚ u publ. v letech ’05 a ’06)
• Sbˇ er dat: V B nejsou opravdu vˇ sechny ˇ cl´ anky (napˇ r. sloupky, koment´ aˇ re, ... se nepoˇ c´ıtaj´ı). Naopak do A se zapoˇ c´ıt´ avaj´ı citace i na tyto ˇ cl´ anky. Pro nˇ ekter´ eˇ casopisy to nehraje roli, ale u nˇ ekter´ ych to zmˇ en´ı v´ ysledky podstatnˇ e.
am o sobˇ e subjektivn´ı • Pojem ”citace” je s´ a prokazatelnˇ e vˇ etˇ sina tzv. citac´ı v textu se net´ yk´ a an acknowledgement of intellectual debt coˇ z byl p˚ uvodn´ı z´ amˇ er. Subjektivn´ı peer review je nahrazen subjektivn´ı interpretac´ı pojmu citace.
,
• V´ yznam IF: Fakt, ˇ ze ˇ casopis X m´ a vˇ etˇ s´ı IF neˇ zˇ casopis Y interpretujeme tak, ˇ ze X je ”lepˇ s´ı neˇ z” Y . Ovˇ sem vztah ”lepˇ s´ı neˇ z” nen´ı dopˇ redu definov´ an a za jeho definici se vlastnˇ e bere uspoˇ r´ ad´ an´ı dan´ e IF. • 2-let´ e ok´ enko pro sbˇ er citac´ı: – napˇ r. v biomedic´ınsk´ ych oborech se vˇ etˇ sina citac´ı objev´ı do 2 let po publikaci, – napˇ r. v matematice se pˇ res 90% citac´ı objev´ı aˇ z po 2 letech, a 50% dokonce po 10 letech. Toto se v´ yznamnˇ e liˇ s´ı obor od oboru. Znamen´ a to, ˇ ze z´ avˇ ery o komplikovan´ e distribuci citac´ı se ˇ cin´ı z velmi mal´ eho vzorku dat.
• Hodnocen´ı jednotliv´ ych ˇ cl´ ank˚ u pomoc´ı IF: Je matematicky chybn´ e. Pˇ r´ıklad: ˇ asopis X : 2381 ˇ – C cl´ ank˚ u, IF = 0.434. ˇ asopis Y: 1165 ˇ – C cl´ ank˚ u, IF = 0.846. Obvykl´ y z´ avˇ er: N´ ahodnˇ e zvolen´ yˇ cl´ anek v Y ma asi 2-kr´ at v´ıce citac´ı neˇ zˇ cl´ anek z X . Chyba! V tomto pˇ r´ıkladˇ e dokonce s pravdˇ epodobnost´ı 62% bude m´ıt naopak m´ enˇ e citac´ı! D˚ uvodem je komplikovan´ a distribuce dat a u ´zk´ e ok´ enko pro jejich sbˇ er.
Navzdory prokazateln´ e mylnosti t´ eto interpretace IF je to pˇ resnˇ e to, ˇ c´ım se dnes hodnot´ı ˇ cesk´ a vˇ eda!
• Hodnocen´ı napˇ r´ıˇ c obory. Citaˇ cn´ı zvyklosti se podstatnˇ e liˇ s´ı obor od oboru. Pˇ r. pr˚ umˇ eru citac´ı na 1 ˇ cl´ anek: – vˇ edy o ˇ ziv´ e pˇ r´ırodˇ e (life sciences): lehce pˇ res 6 – klinick´ a medic´ına: lehce pˇ res 3 – chemie, fyzika, farmakologie: kolem 3 – biologie, ekologie: lehce pˇ res 2 – sociologie: lehce pˇ res 1 – matematika/informatika: lehce pod 1 Vzhledem ke komplikovanosti distribuce dat toto nelze lehce korigovat. Z´ avˇ er: Nelze smysluplnˇ e porovn´ avat pomoc´ı IF dva ˇ casopisy z r˚ uzn´ ych obor˚ u. (To pˇ resnˇ e teˇ dˇ cesk´ a vˇ eda dˇ el´ a!)
Pozn´ amka k pˇ r´ıpadn´ e diskusi:
• Zpr´ ava je vˇ ecn´ a, uv´ ad´ı fakta a poukazuje na matematick´ eˇ ci koncepˇ cn´ı chyby v pouˇ z´ıv´ an´ı citaˇ cn´ı statistiky.
• Pˇ r´ıpadn´ a kritika zpr´ avy by tedy mˇ ela pouk´ azat na faktickou ˇ ci logickou chybu. Nestaˇ c´ı jen poukazovat na ”sv˚ uj dojem”, ”zjevn´ y v´ yznam”, ”uˇ ziteˇ cnost z´ avˇ er˚ u”, ”evidentnost interpretace” a pod., jak opakovanˇ e zaznˇ elo v emailov´ e diskusi.
