Az Országos Traumatológlai Intézet közleménye
Az Impact Factor (IF) az ortopédiában és a traumatológiában DR. KAZÁR GYÖRGY Érkezett 1999. február t5.
Ö SSZEFOGLALÁS A szerzõ irodalmi adatok alapján elemzi az Impact Factor jelentõségét és hiányosságait a kutatásban általában, valamint a medicinában, különös tekintettel az ortopédiára és a traumatológiára. Következtetésül levonja, hogy csak az egyes tudományágakon belül használható, de ott sem kiemelten, hanem más mutatókkal együtt, gondos mérlegelés alapján. Impact Factor, Tudományos kutatás-Statisztika, Publikdció-Statisztika, Folyóiratok-Statisztika, Ortopédia, Traumatológia
Kulcsszavak:
Gy. Kazár: The Impact Factor (IF) in orthopaedics and in traumatology Author gives an evaluation on the importance of IF in medicine, particularly in orthopaedics and in traumatology. His conclusion is, that the IF could be used within the particular scientific field only for comparison with other parameters in addition a thorough analysis was made. Keywords:
Publishing-Statistical and numericad dala; Orthopedics; Traumatodogy; Research - Stalistical and numerical data; Periodicals - Statistical and numerical data:
A tudományos munka reális értékelése máig sem tekinthetõ megoldottnak (1, 12, 20, 21, 23, 24 26). Amikor az egyes tudományágak oly nagymértékben specializálódtak, hogy egyik kutatási ág a másikat csak formailag, vagy számára racionálisnak látszó szempontok alapján ítélheti meg, különösen olyan intézményben, mint az egyetem, jelentõs ez a probléma. Nem jobb a helyzet azokon a szakokon sem, ahol egy egyetemen belül két (esetleg több) hasonló tanszék mûködik, mert az egyre élesedõ konkurenciában egymás iránti objektivitásuk igen kétséges: a megítélésnek mind a tanszékek, kutatócsoportok, mind az egyes kutatók szempontjából döntõ a jelentõsége: kap-e a kutatócsoport, és milyen mértékû támogatást, milyen elismertséget, kinevezést ér el a kutatócsoport vezetõje és tagjai (5, 12, l5, 16, 18). A mennyiségi mutató (dolgozatok, egyéb tudományos munkák száma) erre csak igen durva megközelítést ad. Így érthetõ, hogy mind a kutatóhelyek, mind az ezeket elbíráló intézmények, mind az egyes kutatók érdekeltek reálisabb, a minõséget is értékelõ mutatók alkalmazásában. Ma a kérdéssel már külön tudomány (scientometria) foglalkozik. Az Egyesült Államokban a század második felében magánkezdeményezésbõl létrejött kutatóintézet (Institute of Scientific Informations ISI) a közlemények száma és a nemzetközi szakirodalomban kifejtett hatásuk alapján két mutatót dolgozott ki: a tudományos idézetek számát mutató citációs indexet (SCI) és a tudományos folyóiratokat minõsítõ (IF) impact factort (5, 10, 15, 27). Elõbbi azt tartja nyilván, hogy egy szerzõ (kutatócsoport) adott dolgozatát meghatározott idõn belül hányan idézik, abból kiindulva, hogy a dolgozatok tudományos értékét idézéseik száma határozza meg (30). Az IF a tudományos folyóiratokat értékeli évente mennyiségi mutatóval: az adott évben a folyóiratban megjelent összes dolgozatokra a következõ 2 évben átlagosan hány idézés esik - ugyancsak meghatározott folyóiratokban. Az IF alapján az egyes folyóiratok értéke (0,01-50 között) igen széles skálán tér el egymástól. Az egyes kutató (kutatócsoportok) IF értéke pedig amn folyóiratok IF-ainak összegébõl adódik, ameMagyar Traumatológia, Ortopédia, Kézsebészet, Plasztikai Sebészet 1999. 42. 4.
331
lyekben és ahányszor dolgozatuk megjelent. (PL: ha egyik dolgozat 4,8 IF értekû, kettõ 1,2 IF értékû és egy 0,2 IF értékû folyóiratban jelent meg, úgy a kutató IF értéke 4,8 + 2x1,2 + 0,2 = 7,4). Érthetõ, hogy az orvostudományi kutatásban az elbírálók részérõl - Európában is - kedvezõ fogadtatásra talált ez a mutató, amely mennyiségi mellett minõséginek és objektívnak, így az eddigieknél sokkal megbízhatóbbnak látszott, olyannyira, hogy számos egyetemen a kutatócsoportok és egyes kutatók munkájának megítélésében egyetlen vagy meghatározó mutatónak tekintették (5, 12, I5, 16, 18). Ezzel együtt azonban - különösen a magukat alulértékeltnek érzõ kutatók, tudományágak részérõl - az IF kritikája is jelentkezett, fõként Európában (13, 17, 22, 28) elsõsorban két vonatkozásban: 1. a nem angol nyelven közölt dolgozatok alulértékelése miatt (6, 10, 20, 22, 23) és 2. a tudomány különbözõ ágainak - a medicinában elsõsorban az alapkutatásoknak és klinikai kutatásoknak-egymástól igen eltérõ értékelése miatt (3, 10, I1, 13, 15, 16, 22, 27). Az ISI amerikai intézmény, elsõsorban az USA számára igyekezett képet nyújtani a világ tudományos tevékenységérõl - a kiemelt folyóiratok 97,5 %-a angol nyelvû (l5), így a citációs indexbe felvett közlemények is elsõsorban angol nyelvûek. Ez azonban olyan mértékben torzítja a helyzetet, hogy több országban felvetették, van-e még értelme tudományos közlésnek nem angol nyelven (6, 10). Ugyanakkor tekintélyes angol szerzõ sem tartja ezt kedvezõnek, s így helyteleníti a folyóiratoknak azt a gyakorlatát, hogy csak eredeti, másutt meg nem jelent közleményt fogadnak el (6). Így a nem angol nyelven megjelent új megállapítások is csak nagy késedelemmel jutnak az egész világ tudomására, s erre számos példát sorol fel a Journal of Bone and Joint Surgery: a német velõûrszegezést, a svájci Arbeitsgemeinschaft fúr Osteosynthesefragen munkásságát, az orosz Ilizarov, az olasz Bastiniani új eljárását (6). De hátrányt szenvedett a nemzetközi vonatkozásban is élenjáró német polytraumaellátás is (15, 18). Ezért Goodfellow megoldásként azt javasolja, hogy fogadják el nem angol nyelven megjelent értékes dolgozatok angol nyelvû másodközlését (6). A dolgozatoknak és a kutatók munkásságának értékelésében ugyancsak nagy különbség mutatkozik az egyes tudományterületek (8, 18, 20, 22, 25, 26, 28), így a medicinán belül az alapkutatással foglalkozó és általános folyóiratok, illetve a klinikai kutatással foglalkozók között (3, 10, 1 l, 13, I5, 16, 22, 27), amely a nagyságrendet is eléri. Gyakran hasonló nagyságú eltérést találunk a nem manuális és manuális, illetve az úgynevezett ,,nagy” és ,,kis” (specializált) klinikumok között is, utóbbiak hátrányára. Statisztikák szerint egy belgyógyászati dolgozat átlagosan 4 sebészetivel ér fel és 12-15 traumatológiai dolgozat értéke felel meg egy belgyógyászatinak (9, 11, 15, 19). A nagy eltéréseknek különbözõ okai vannak: egyes folyóiratokban a közölhetõ irodalmi idézetek száma korlátozott, másutt nem, de az egyes tudományágak mûvelõinek és lapjaik olvasóinak száma is igen eltérõ, emiatt az idézések száma is. Így érthetõ, hogy miért magas az idézettsége aránya az általános tudományos érdeklõdési körû (Science, Nature) illetve az általános orvosi (Lancet, Brit med J) folyóiratoknak. Egyes, egész kutatócsoportok munkájának értékelésében jelentkezõ, fentiekbõl adódó aránytalanságok már szinte anekdotikusak (25, 26). Belejátszanak az adott tudományágak határterületei, azok tudományos jelentõsége is. Mindez a medicina különbözõ területein dolgozó kutatók munkájának SCI és IF szerinti összehasonlítását teljesen irreálissá teszi, s aki mégis megteszi ,,értékes” és ,,értéktelen” tudományágakat állít egymással szembe. Más szempontokból is sokan bírálják az IF szerinti értékelést. Az IF egy-egy folyóirat dolgozataira vonatkozóan idézettségi átlagot mutat, holott az idézetek száma az egyes szerzõk között igen aránytalanul oszlik meg. Egy felmérés szerint az idézetek fele a dolgozatok 10 %-ára esik, a szerzõk felére pedig az idézetek 90 %-a. Így amennyiben el is fogadjuk,
332
Magyar Traumatológia, Ortopédia, Kézsebészet, Plasztikai Sebészet 1999. 42. 4.
hogy a dolgozatok értékét idézettségük határozza meg, az átlaggal számolás akkor is erõsen meghamisítja a reális képet (3, 5, 7, 8, 10, 18, 21). Kimutatták azt is, hogy a listára felvett folyóiratok több mint felében a dolgozatok többségét egyáltalán nem idézik 5 éven belül (8). A megmérettetésben rosszul járt nyelvek és tudományágak képviselõi számos kifogást emelnek a rendszer megvalósítóival szemben: nem arányos, nem objektív (az alapul szolgáló folyóiratok megválasztásában), így sok vonatkozásban megtévesztõ (9, 13, 21). A legalapvetõbb észrevétel mégis az, hogy nem azt méri, amire használják: a tudományos kutatócsoportok és egyes kutatók munkájának megítélésére (5, 13, 15, 27). Az IF lényegében arányszám, amely az adott folyóirat közleményeinek - az ISI által kiválasztott - folyóiratokban való idézettségét mutatja, így közvetlenül talán az azokban hirdetõ gyártóknak, vállalatoknak ad útmutatást: hol érdemes hirdetniük és hirdetésükkel a folyóiratot támogatniuk. A klinikai kutatások számára további diszkriminatív megkülönböztetést jelent, hogy az IF meghatározásában a dolgozat megjelenését követõ két éven belüli idézettséget fogadják el (9, l I, 12, 13, l5, 16, 17, 2l). A medicinában egyes kísérleti kutatások területén reális lehet az a követelmény, hogy a közölt új eredményt más kutatók 2 éven belül ellenõrizzék. (esetleg állatkísérletben) és igazolják vagy cáfolják. Klinikumban ez szinte elképzelhetetlen: retrospektív vizsgálatban egy új megállapítás adatai aligha állhatnak rendelkezésre, prospektív vizsgálat megtervezése, megszervezése és lebonyolítása viszont messze túlterjed két éven. Nem véletlen ezért, hogy többen a klinikai kutatások értékelése szempontjából nem a 2, hanem az 5 éves idézettséget tartják elfogadhatónak (10, 45), de a késõi eredmények azt is kimutatták, hogy gyakran az 5 év is elégtelen a reális értékeléshez (11, 12). Egyes endoprotézisek késõbbi csõdje igazolja ezt az ortopédia-traumatológiában is. Önkényesként értékelik többen azt is, hogy csak bizonyos folyóiratokban közölteket és azoknak is csak meghatározott közleményeit számítják be (13, 15, 18, 21). Így nem szerepelnek az egyes szakkönyvekben, kézikönyvekben, monográfiákban közölt idézetek, melyek pedig tekintélyüknél fogva is gyakran határozzák meg egy új eredmény elfogadását vagy elvetését (22, 26). Nem számítanak be a szerkesztõségekhez írt levelek sem, melyek sokszor az új eljárás szempontjából alapvetõ problémákat vetnek fel (5, 22). Ezzel szemben a hasonló feladatú, az egyes problémákat a nemzetközi irodalom alapján összefoglaló referátumok (review) idézettsége kimagaslik, mert az idézetek számának csökkentésével ezekre gyakrabban hivatkoznak (22). Erõsen vitathatónak ítélik a kiemelt folyóiratokból az önidézések beszámítását (13, 15, 18, 20, 27), valamint az egymás idézésének (,,Te engem, én-Téged”) helyenként kialakult gyakorlatát (13, 20, 22). Mindezekbõl érthetõ, hogy a felhozott aránytalanságok miatt a kedvezõtlen helyzetûek egy része az egész módszert alkalmatlannak ítéli a kutatások elbírálására (9, 14, 18), újabb, helyesebb mutatók kidolgozását, illetve a tudományos munkák gondos mérlegelését igényli (5, 21, 24, 26, 27). Van ahol egy folyóiraton belül folyik vita az IF használhatóságáról (2, 4). Aligha kétséges tehát, hogy súlyos mulasztást követnek el azok az egyetemek, intézmények és szponzorálók, amelyek a kutatócsoportok és egyes kutatók elbírálásában egyetlen vagy fõ szempontnak az IF-t tekintik olyan meghatározó szerepet tulajdonítva neki, amilyet az értékelés megalkotói maguk sem szántak neki (5). A csak angol nyelvû közlésre - német nyelvû folyóiratokban megfogalmazott - törekvés esetén háttérbe kerül a kutatók egyik fontos feladata, a hazai továbbképzésben való közremûködés (10, 12). Ez a feladat, saját nyelven való közlés elmaradása esetén, súlyosan károsodik, hiszen a legtöbb gyakorló orvos (ma még) nyelvtudás híján, de különösen elfoglaltsága miatt idõhiányban gyógyítási munkájához elsõsorban a hazai irodalmat veszi igénybe. A nyelvi hátrány tekintetében eltérõ a magyar traumatológia és a magyar ortopédia helyzete. A traumatológia, hazai kialakulásakor, az akkor nemzetközi viszonylatban is élenjáró (Böhler, Küntsoher, AO) német nyelvû kutatásra támaszkodott, német nyelvû folyóiraMagyar Traumatológia, Ortopédia, Kézsebészet, Plasztikai Sebészet 1999. 42. 4.
333
tokban törekedett közlésre, a német nyelvterület intézményeivel épített ki kapcsolatot (tanulmányutak, kongresszusok). Ezzel szemben az ortopédia hazánkban a 80-as évek elején indult újabb fejlõdésnek, s kapcsolatait is már angol-franoia kutatókkal (SICOT) építette ki, angol nyelven törekedett közlésre, s ezzel a nemzetközi elfogadottság (SCI, IF) tekintetében kedvezõbb helyzetbe került. Nem volt ilyen különbség a két tudományág között tudományos folyóirataiknak szakmai értékelésében: az IF a sebészeti folyóiratok 4 fölötti, a belgyógyászati folyóiratok 10 fölötti maximális értékével szemben nem haladja meg az 1,6-ot (JBJS-A), ami kisebb tudományágakra jellemzõ (6, 9, 11, 15). Közvetlen oka is van a két tudományág hasonló értékelésének: folyóirataik jelentõs része közös, de határterületeik (rehabilitáció, kézsebészet, idegsebészet stb.) sem mutatnak magasabb értéket. Az impact factortal kapcsolatban lényegében azt a következtetést vonták le, hogy egy adott szakterületen belül az egyes folyóiratok értékérõl viszonylagosan tájékoztat, de az egyes kutatókról, munkájuk minõségérõl és jelentõségérõl nem (l5). Az IF felemlített hiányosságai miatt számosan óvnak fõértékelõként való használatától, a Német Balesetsebészeti Társaság (DGU) elnöksége egyenesen felszólítja az egyetemeket, hogy kutatócsoportok és egyes kutatók tudományos munkájának értékelésében egyáltalán ne vegyék figyelembe (l8). Sokan mind a dolgozatok, mind szerzõik értékelésében a “careful human judgement”et a gondos megítélést tartják a bírálók fõ feladatának mind a tudományos fórumokon és egyetemeken, mind pedig folyóiratok szerkesztõségében (5, 21, 24, 26, 27). Ha azonban ennek a bevezetõben említett nehézségét (hozzáértõ és elfogulatlan bírálók a tudományos pozíciókért és a korlátozott anyagi lehetõségek elnyeréséért folytatott harc közepette) figyelembe vesszük, kiderül, hagy az eltérõ érdekek miatt itt sem kisebb a hibalehetõség, mint az IF-el. Az adott körülmények között viszonylag reálisnak különbözõ tényezõk együttes mérlegelése a MTA gyakorlata (29, 30) - látszik, ha az egyes mutatókat nem mechanikusan, hanem tudományáganként eltérõ szerepüket, jelentõségüket számításba véve, azokat megfelelõen alkalmazni tudjuk.
I RODALOM 1. Braun T: Egy örökzöld téma néhány elõzményérõl Magy. Tudomány 1997, 104/42, 321-322. 2. Bordy St: Impact factor as the best operational measure of medical journals Lancet 1995, 346, 1300-301. 3. Easterbrook Ph J, J Berlin, R. Gopalan és mtsa: Publication bias in clinical research. Lancet 1991, 337, 867872. 4. Foster WR: Impact factor as the best operational measure for medical joumals? Lancet 1995, 346, 1301. 5. Garf eld E: How can impact factor be improved? Brit Med J 1996, 313, 411-413. 6. Goodfellow JW: The new esperanto J Bone Joint Surg 1993, 75-A, 1423-1426. 7. Hamilton DP: Publishing by-and for?-the numbers. Science 1990, 250, 1381-1382. 8. Hamilton DP: Research papers: Who’s uncited now? Science 1991, 251, 25. 9. Hansson S: Impact factor as a misleading tool in evaluation of medical joumals Lancet 1995, 346, 906. 10. Herfarth Ch, G Schürmann: Deutsche Klinische Zeitschriften und der Impact Factor Chirurg 1996, 67, 297299. 11. Kannus P, M Järvinen: Better recognition of orthopedics, traumatology and sport medicine in the system of journals ranking Acta Otthop Scand 1998, 69, 222-223. 12. Langenbeck U: Zum Beitrag NM Meenen: Der Impact-Faktor ein zuverlássiger scientometrischer Parameter? Unfallchirurgie 1997, 23, 135-136. 13. Lindner UK, K Gehm: Die Magie des Impact Faktors-Enttarnung eines Phánomens Unfallchirurg 1997, 100, 253-254. 14. Maffuli N: More on citation analysis Nature 1995, 378, 760. 334
Magyar Traumatológia, Ortopédia, Kézsebészet, Plasztikai Sebészet 1999. 42. 4.
15. Meenen NM: Der Impact Faktor-ein zuverlássiger scientometrischer Parameter? Unfallchirurgie 1997, 23, 128-134. 16. Metcalfe NB: Journal impact factors Nature 1995, 377, 260-261. 17. Möller AP: National citation Nature 1990, 348, 480. 18. Oestern HJ, J Probst: Zur Verwendung des Impact-Faktors als Mass wissenschaftlicher Leistungen (Beschluss der Deutschen Gesellschaft für Unfallchirurgie) Unfallchirurgie 1997, 23, 221.; Unfallchirurg. 1997, 100, 838. 19. Rydholm A: Impact factors (Editorial) Acta Orthop Scand 1998, 69, 221. 20. Sauer R: In eigener Sache: der Impact Faktor Strahlenther, Onkol 1995, 171, 487-488. 21. Seglen PO: Why the impact factor of journals should not be used for evaluating research? Brit Med J. 1997, 314, 298-302. 22. Seglen PO: Citation rates and journal impact factors are not suitable for evaluation of research Acta Orthop Scand 1998, 69, 224-229. 23. Sperlágh S: A tudományos cikkek elbírálásának anomáliái Magy. Tudomány 1997, 104/42, 463-467. 24. Taubes G: Measure for measure in science Science 1993, 250, 1381-1382. 25. Varga P: A tudományos kutatás értékelésérõl -restrikciók fenyegetõ árnyékában Magy. Tudomány 1997, 104/ 42, 315-317. 26. Verõ J: Összehasonlíthatók-e egyes tudományterületek? Magy. Tudomány 1998, 105/43, 994-1001. 27. WellerS: Impact Faktor oder Careful Human Judgement? Akt Traumat 1997, 27, 123-124. 28. Yaalon DH: More on citation analysis Nature 1995, 378, 760. 29. Zolnai L, Gácsi Z: Mérünk, de mit? Magy. Tudomány 1998, 105/43, 988-993. 30. Az akadémiai kutatóintézetek 1992-1995. évi felmérése, az értékelés alapelvei Magy. Tudomány 1997, 104/ 42, 323-328. Dr Kazár György
Országos Traumatológiai Intézet 1081 Budapest, Fiumei út 17.
Pályázati felhívás A Magyar Traumatológus Társaság Elnöksége pályázatot hirdet 4 hetes ösztöndíjas tanulmányútjára 2000 évben az alábbi klinikákon:
Bécs, Univ. Klinik für Unfallchirurgie, - Prof. Vilmos Vécsei. Mainz, Gutenberg Univ. Klinik für Unfallchirurgie, - Prof. Rommens. Salzburg, LKH Unfallchirurgie, Prof. Herbert Resch. Graz, Univ. Klinik für Unfallchirurgie, - Prof. R. Sziszkowitz. Innsbruck, Univ. Klinik für Unfallchirurgie, - Prof. E. Beck A Magyar Traumatológus Társaság évente 4 pályázó részére 200.000—200.000.Ft ösztöndíjat biztosít a négyhetes idõtartamra. A pályázatban szereplõ klinikák eltérõ feltételek mellett kedvezményes szállásért étkezési lehetõséget biztosítanak 400—800 DM-nek megfelelõ összegért. Pályázati feltételek: 40 éves korhatár, baleseti sebész szakképesítés, német nyelvtudás társalgási szinten. A pályázatnak tartalmaznia kell fényképes szakmai önéletrajzot, további szakmai tervet, tudományos tevékenységet, a munkahelyi vezetõ véleményét, javaslatát. A pályázatokat 1999. december 31-ig a MTT elnökéhez kell eljuttatni, 1145 Budapest, Mexikói u. 2. Magyar Traumatológia, Ortopédia, Kézsebészet, Plasztikai Sebészet 1999. 42. 4.
335
