RANKING světové a evropské žebříčky vysokých škol

RANKING – světové a evropské žebříčky vysokých škol

Základní přehled problematiky a perspektivy pro UK

Centrum pro studium vysokého školství, v. v. i. pro Univerzitu Karlovu

Praha, listopad 2010

1

OBSAH 1. 2. 2.1. 2.1.1. 2.1.2. 2.1.3. 2.1.4. 2.2. 2.3. 2.3.1. 2.3.1.1. 2.3.1.2. 2.3.1.3. 2.3.2. 3. 3.1. 3.2. 3.3. 3.4. 3.5. 3.6. 3.7. 3.8. 3.9. 3.9.1. 3.9.2. 3.9.3. 3.10. 3.10.1. 3.10.2. 3.10.3. 3.10.4. 3.10.5. 3.10.6. 3.10.7. 3.10.8. 4. 5. 5.1. 5.2. 5.3. 5.4.

Úvod ...................................................................................................................... 3 Konstrukce nejvýznamnějších světových rankingů .............................................. 4 Academic Ranking of World Universities – tzv. šanghajský žebříček (ARWU 2009)....................................................................................................... 4 Výběr univerzit ...................................................................................................... 4 Kritéria hodnocení a váhy ..................................................................................... 4 Popis indikátorů..................................................................................................... 4 Zdroje dat .............................................................................................................. 5 World Univeristy Rankings – Times Higher Education (THE 2010)............. 6 CHE Excellence 2009 ........................................................................................ 10 Metodika.............................................................................................................. 10 První výběr .......................................................................................................... 10 Výsledky prvního kola ........................................................................................ 12 Hloubková analýza .............................................................................................. 13 Výhled do budoucnosti........................................................................................ 15 RANKINGS - charakteristiky, kritické pohledy, potenciální přínos ........... 17 Cílové skupiny (uživatelé) rankingů .................................................................... 18 Tvůrci žebříčků (league tables) ........................................................................... 19 Institucionální ranking a ranking oborový.......................................................... 19 Národní a mezinárodní rozměr rankingu ............................................................ 20 Metodické nedostatky při užití smíšeného celkového indikátoru ........................ 20 Problém vytváření žebříčků ................................................................................. 21 Publikace a citační databáze. Oborová a regionální jednostrannost (zaujatost)21 Nespecifikované a nestálé metodologie............................................................... 22 Kritické zhodnocení globálních rankingů ........................................................... 23 ARWU (Shanghai‘s Jiao Tong University‘s (SJTU) Academic Ranking of World Universities) – rozbor indikátorů ........................................................................ 23 THE (Times Higher Education Ranking) ............................................................ 24 HEEACT (The Higher Education Evaluation and Accreditation Council, Taiwan 24 Využití a efekt rankingů ....................................................................................... 25 Požadavky studentů ............................................................................................. 25 Veřejné financování ............................................................................................. 25 Závody „ve zbrojení“ ve vysokém školství .......................................................... 25 Koncept kvality a nebezpečí pro diverzitu........................................................... 26 Narůstající výkonový rozdíl mezi institucemi ...................................................... 26 Hra o výsledky ..................................................................................................... 26 Ranking a vnitřní řízení ....................................................................................... 27 Potenciál rankingů k pozitivnímu vlivu ............................................................... 27 Shrnutí a doporučení ........................................................................................ 29 Přílohy ................................................................................................................. 32 Příklad srovnání postavení stejných univerzit v Academic Ranking of World Universities (ARWU) a Times Higher Education Supplement – THE ............... 32 Srovnání prvních 20 vysokých škol v THE 2009 a 2010 .................................... 33 Příklady velkých meziročních posunů mezi THE 2009 a 2010 .......................... 33 Porovnání prvních 20 vysokých škol mezi ARWU, THE, QS 2010 .................. 34

2

1. Úvod Následující text se snaží osvětlit pohled na vytváření žebříčků univerzit, z nichž některé se v několika posledních letech staly poměrně prestižní záležitostí. Přestože je obecně známo, že „ohodnocení“ velmi komplexní instituce, kterou je nepochybně každá vysoká škola, jedním číslem je velmi problematická záležitost a diskuse o negativních i případně pozitivních vlivech žebříčků je složitá a rozporuplná, umístění univerzity na žebříčku je považováno za prestižní, protože žebříčky mají v některých případech značný vliv ve společnosti. Samotné univerzity výsledky rankingů sledují. V první části je předložen souhrn základních indikátorů, definic a základních postupů ke zpracování žebříčku vysokých škol pro tři ze známých rankingů, považovaných i v ČR za důležité. Druhá část obsahuje volné zpracování základních souhrnných informací úvodní kapitoly studie U_multirank (zabývá se „inventurou“ existujících rankingů včetně kritických názorů i jejich případných pozitivních dopadů), která je prvním výstupem projektu řešeného konsorciem významných evropských institucí (Center for Higher Education Development, Center for Higher Education Policy Studies, CWTS University of Leiden, INCENTIM Katholic University of Leuven, Observatoire des Science et des Techniques, European Foundation of Management Development, European Federation of National Engineering Associations) financovaného Evropskou komisí. Základním úkolem tohoto projektu je navrhnout způsob hodnocení evropských vysokých škol, které by přinášelo vhodné, spolehlivé a srozumitelné informace všem jejich uživatelům, aniž by integrovala do jednoho ukazatele všechny sledované indikátory a dovolila tak sledovat výrazně diverzifikované cíle jednotlivých vysokých škol a jejich různé profily. Závěrečná shrnutí a doporučení poukazují na možná negativa působení rankings a na možná východiska pro Univerzitu Karlovu. Přílohy pak ilustrují kritické body uvedených rankings na příkladech srovnání mezi nimi navzájem a meziročně.

3

2. Konstrukce nejvýznamnějších světových rankingů 2.1. Academic Ranking of World Universities – tzv. šanghajský žebříček (ARWU 2009) - UK v roce 2010 na 253. místě 2.1.1. Výběr univerzit ARWU hodnotí univerzity, které mají laureáty Nobelovy ceny, držitele oborových medailí, vysoce citované výzkumníky, nebo články publikované v časopisech Nature a Science. Dále univerzity s významným množstvím článků zanesených v Science Citation Index-Expanded (SCIE) a Social Science Citation Index (SSCI). Celkově je hodnoceno z cca 17 500 vysokých škol na světě více než 1000 univerzit a 500 nejlepších je zveřejněno na webových stránkách. 2.1.2. Kritéria hodnocení a váhy Univerzity jsou hodnoceny podle několika indikátorů akademických nebo výzkumných výkonů včetně absolventů a zaměstnanců, kteří získali Nobelovu cenu nebo oborové medaile (Fields Medals), vysoce citovaných výzkumníků, článků publikovaných v časopisech Nature a Science, článků zařazených do hlavních citačních indexů a akademického výkonu instituce převedenéjho na počet zaměstnanců. Přidělení bodů probíhá následujícím způsobem: instituce, která je v rámci daného indikátoru nejlepší, dostane 100 bodů. Další instituce dostanou poměrnou část nejvyššího ohodnocení. Pro případné úpravy indikátorů se používají standardní statistické metody. Body získané za každý indikátor jsou váženy (viz procenta u jednotlivých indikátorů), čímž se dojde k celkovému počtu bodů příslušné instituce. Instituci, která získala nejvyšší počet bodů, je přiděleno skóre 100 bodů. Skóre ostatních institucí se vypočítá procentuálně (vůči této nejlepší instituci). Umístění instituce na žebříčku tudíž odráží počet institucí, které jsou v žebříčku nad ní. 2.1.3. Popis indikátorů 1. Kritérium: kvalita vzdělávání Indikátor: absolventi instituce, kteří získali Nobelovu cenu a oborové medaile Váha: 10 % Definice: Celkový počet absolventů instituce, kteří získali Nobelovu cenu a oborové medaile. Absolventi jsou definováni jako ti, kdo na příslušné instituci obdrželi bakalářský, magisterský nebo doktorský titul. Jsou jim přiděleny různé váhy podle toho, v jakém období titul získali: 100 % pro období po roce 1991, 90 % pro období 1981 – 1990, 80 % pro období 1971 – 1980, a tak dále až k hodnotě 10 % pro období 1901 – 1910. Pokud někdo získal více než jedno ocenění, jeho instituce je počítána pouze jednou. 2. Kritérium: kvalita zaměstnanců instituce Indikátor: zaměstnanci instituce, kteří získali Nobelovu cenu a oborové medaile Váha: 20 % Definice: Celkový počet zaměstnanců instituce, kteří získali Nobelovu cenu za fyziku, chemii, medicínu a ekonomii a oborové medaile za matematiku. Zaměstnanci jsou definováni jako ti, kdo pracovali na dané instituci v době, kdy získali ocenění. Jsou jim

4

přiděleny různé váhy podle toho, v jakém období cenu získali: 100 % pro období po roce 2001, 90 % pro období 1991-2000, 80 % pro období 1981-1990, 70 % pro období 1971 – 1980 a tak dále až k hodnotě 10 % pro období 1911-1920. Pokud je držitel ocenění spjat s více institucemi, každé z nich je připsána poměrná část podle počtu institucí. V případě Nobelovy ceny, která je sdílena více držiteli, je mezi ně váha rozdělena podle jejich podílu na ocenění. 3. Kritérium: kvalita zaměstnanců instituce Indikátor: vysoce citovaní výzkumníci ve 21 širokých oborových kategoriích Váha: 20 % Definice: Počet vysoce citovaných výzkumníků ve 21 kategoriích. Tito výzkumníci jsou ti nejčastěji citovaní v příslušné kategorii. Definice kategorií jsou k dohledání na internetových stránkách Thomson ISI. 4. Kritérium: výzkumné výstupy Indikátor: články publikované v časopisech Nature a Science (Na instituce, které se zaměřují na humanitní a společenskovědní discipliny, jako třeba London School of Economics, není tento indikátor aplikován, ale jeho váha je přenesena na ostatní indikátory.) Váha: 20 % Definice: Počet publikací v časopisech Nature a Science mezi lety 2004 a 2008. Aby se odlišil přínos jednotlivých autorů, prvnímu anebo korespondujícímu autorovi (jeho instituci) je připsáno 100 % celkové hodnoty, druhému autorovi 50 %, dalšímu autorovi 25 % a ostatním autorům po 10 %. Berou se v úvahu pouze publikace typu 'Article' a 'Proceedings Paper'. 5. Kritérium: výzkumné výstupy Indikátor: Publikace zanesené v Science Citation Index-expanded a Social Science Citation Index Váha: 20 % Definice: Celkový počet publikací zanesených v Science Citation Index-Expanded a Social Science Citation Index v roce 2008. Berou se v úvahu pouze publikace typu 'Article' a 'Proceedings Paper'. 6. Kritérium: Velikost instituce (resp. výkon převedený na hlavu) Indikátor: Akademický výkon instituce převedený na počet jejích zaměstnanců Váha: 10 % Definice: Vážené skóre prvních pěti indikátorů dělené počtem akademických zaměstnanců pracujících na dané instituci na plný úvazek. Pro ARWU 2009 byl počet akademických zaměstnanců na plný úvazek získán od institucí v USA, Velké Británii, Francii, Kanadě, Japonsku, Itálii, Číně, Austrálii, Nizozemsku, Švédsku, Švýcarsku, Belgii, Jižní Koreji, Česku, Slovinsku, Novém Zélandě etc.

2.1.4. Zdroje dat Indikátor Laureáti Nobelovy ceny Oborové medaile Vysoce citovaní

Zdroj dat http://nobelprize.org/ http://www.mathunion.org/medals/ http://www.isihighlycited.com 5

Indikátor Zdroj dat výzkumníci Publikace v Nature a http://www.isiknowledge.com Science Články zanesené v Science Citation Index-Expanded a http://www.isiknowledge.com Social Science Citation Index Počet akademických zaměstnanců. Data jsou získávána od národních agentur jako jsou ministerstva školství, statistické Ostatní úřady, asociace univerzit, rektorské konference.

Zdroj: Academic Ranking of World Universities. Ranking Methodology [online]. [cit. 30-7-2010]. Dopstupno z www: http://www.arwu.org/ARWUMethodology2009.jsp.

2.2. World Univeristy Rankings – Times Higher Education (THE 2010) – UK v roce 2010 na 267. místě V letošním roce přistoupil Times Higher Education k vypracování nové metodologie, která byla po dobu deseti měsíců konzultována s experty na globální vysoké školství, aby byla získána zpětná vazba. Namísto společnosti Quality and Success1 spolupracuje na vypracování rankings nyní THE se společností ISI Thomson2. Výsledky zveřejněné v září 2010 odrážejí změny v metodologii (a tím řadu značných jinak nevysvětlitelných posunů jednotlivých institucí). Ranking je založen na 13 indikátorech (z nichž 6 je ze staré metodologie) seskupených do pěti kategorií: Výuka – studijní prostředí (30 % z celkového skóre) Výzkum – objem, příjem a reputace (30 %) Citace – výzkumný vliv (32,5 %) Příjem z průmyslu – inovace (2,5 %) Mezinárodní prostředí – vyučující a studenti (5 %) 2.2.1. Metodika

1

Společnost QS v roce 2010 zveřejnila vlastní ranking, který v hlavních směrech vychází z předchozích THE rankings. 2 Provozovatel známé a respektované databáze vědeckých časopiseckých publikací (a dalších výstupů Web of Science)

6

Pro výpočet celkového výsledku byly vytvořeny Z-skóry pro každý datový soubor. Tento krok standardizoval odlišné typy dat a umožnil jejich srovnání, což je nezbytné všude, kde se kombinují rozdílné informace a vytváří se jejich pomocí jediný žebříček či stupnice. Do žebříčku nebyly zahrnuty univerzity, které nemají pregraduální studenty (undergraduates), pokud produkují méně než 50 výzkumných článků za rok, anebo pokud vyučují pouze jediný obor. Novou zásadou žebříčku THE je, že všechny univerzity, které se v žebříčku umístily, aktivně spolupracovaly při sběru dat. Pouze několik institucí se na projektu nechtělo podílet (ani po opakovaných pozváních). Instituce zahrnuté v žebříčku poskytly a ověřily svá data. Pokud instituce neposkytly informace z určité oblasti, byly tyto kolonky zanechány prázdné. Na jaře 2010 se konal celosvětový výzkum reputace. Získáno bylo celkově 13 388 odpovědí. Výsledky tvoří 34,5 % z celkového skóre žebříčku (15 % v rámci kategorie výuka a 19,5 % v kategorii výzkum). Příjem z průmyslu – inovace (2,5 %) Tato kategorie pokrývá oblast přenosu znalostí a je měřena jen jedním indikátorem: poměr výzkumného příjmu z průmyslu a počtu akademických pracovníků. Do budoucna je plánováno tuto kategorii doplnit dalšími indikátory (nakolik jsou uživatelé ochotni za výzkum platit, schopnost univerzit nalézt finanční zdroje na komerčním trhu).

7

Čísla, která instituce uváděly k tomuto indikátoru, byla velice nestejnorodá, proto mu bylo pro rok 2010 přiděleno pouze 2,5 % z celkového skóre. Do budoucna se počítá po zkvalitnění metodiky s výrazně větší vahou. Výuka – studijní prostředí (30 %) Tato široká kategorie zahrnuje pět dílčích indikátorů a poskytuje tak přehled o studijním prostředí jednotlivých institucí z hlediska studentů i akademiků. Hlavní indikátor využívá výsledky reputačního výzkumu (Academic Reputation Survey), který provádí Thompson Reuters. Respondenty jsou zkušení akademici z celého světa a předmětem výzkumu je prestiž institucí z hlediska jejich výzkumné a vzdělávací aktivity. V roce 2010 se pracuje se 13 388 odpověďmi, vzorek je reprezentativní z hlediska oboru a geografické polohy institucí. Výsledky výzkumu zahrnují 50 % skóre v rámci kategorie výuka a 15 % z celkového skóre žebříčku. Kategorie měří také počet přijatých studentů (undergraduates) vůči počtu akademických zaměstnanců (protože je tento indikátor používán jen jako náhrada za kvalitu výuky, zahrnuje pouze 4,5 % z celkového skóre žebříčku). Zde je vidět velký rozdíl oproti předchozí metodice, která tomuto indikátoru přidělovala 20 %. Kategorie výuka zjišťuje také poměr udělených titulů Ph.D. a bakalář, kterému náleží 2,25 % z celkového skóre. Předpokládá se, že na institucích s větším poměrem doktorandů je prostředí, které studenty silněji vede k výzkumu (což ocení studenti všech stupňů studia). Rovněž se zohledňuje počet udělených titulů Ph.D. v poměru k počtu akademických pracovníků instituce (6 % z celkového skóre). Posledním indikátorem této kategorie je poměr institucionálního příjmu vůči počtu akademických pracovníků (2,25 % z celkového skóre). Tento údaj poskytuje přehled o infrastruktuře instituce a o jejím vybavení, které poskytuje vyučujícím a studentům. Citace — výzkumný vliv (32,5%) Tato kategorie zastupuje kvalitu výzkumu na jednotlivých institucích (ačkoliv je její měření prostřednictvím citací kontroverzní – každopádně existuje zřejmý vztah mezi počtem citací a výzkumnou produkcí). Data byla získána z 12 000 periodik z databáze Thomson Reuters' Web of Science a byla sebrána pro každou univerzitu za období 2004 – 2008. Na rozdíl od staré metodiky byla tato data normalizována, aby se zohlednily rozdíly mezi jednotlivými obory. Výzkum – objem, příjem a reputace (30 %) Největší indikátor této kategorie je opět založen na výzkumu reputace, zahrnuje 19,5 % z celkového skóre. 5,25 % z celkového skóre závisí na výzkumném příjmu instituce (v poměru vůči počtu zaměstnanců). Tato čísla mohou být ovlivněna národními politikami a ekonomickou situací, ale výzkumný příjem je zásadní pro rozvoj výzkumu, proto se s tímto indikátorem pracuje. Dalším indikátorem je objem výzkumu v poměru k počtu zaměstnanců. Započítávají se články publikované v časopisech zanesených v databázi Thomson Reuters, indikátor má váhu 4,5 % z celkového skóre. Posledním indikátorem této kategorie je výzkumný příjem z veřejných zdrojů v poměru k celkovému příjmu instituce (0,75 % z celkového skóre). Mezinárodní prostředí – vyučující a studenti (5 %) Poslední kategorie přihlíží k diverzitě v akademické obci (nakolik je instituce globální). Klíčem ke globálnímu úspěchu instituce je schopnost přitáhnout nejlepší vyučující z celého světa. Proto je v rámci této kategorie přidělováno 60 % váhy poměru mezinárodních a

8

domácích vyučujících, což tvoří 3 % celkového skóre. Podobně i poměr mezinárodních studentů ku domácím vypovídá o globální konkurenceschopnosti instituce. Tento indikátor dostává 40 % váhy, tedy 2 % z celkového skóre.

2.2.2. THE 2010 – původní návrh

V létě 2010 byl na internetových stránkách THE k dispozici návrh nové metodiky žebříčku. Skutečné indikátory použité v roce 2010 se však od tohoto návrhu odlišují – pravděpodobně došlo ke změnám na základě konzultací s mnoha experty, o nichž autoři žebříčku THE hovoří. V několika případech došlo ke změně váhy jednotlivých indikátorů anebo byly indikátory přiřazeny do jiné kategorie. Nejvýraznější je v tomto směru indikátor citace, který byl v návrhu zařazen do kategorie výzkum, zatímco v realizované metodice vystupuje jako samostatný indikátor (či kategorie) s velmi vysokým ohodnocením: 32,5 %. V návrhu mu bylo přiděleno pravděpodobně menší procento, ale nebylo již přesně určeno – citace tvořily součást kategorie výzkum, která zahrnovala celkově 55 %. Velká změna nastala také v případě indikátoru výzkumný příjem z průmyslu (inovace), kterému bylo v návrhu přiděleno 10 %, ale nakonec se váha výrazně snížila na 2,5 %. V realizované metodice byla oproti návrhu snížena také váha mezinárodního prostředí instituce z 10 % na 5 %. Naopak zvýšena byla váha kategorie výuka – návrh 25 %, realizovaná metodika 30 %.

Zdroje: [1] BATY, Phil. Rankings 09: Talking points. Times Higher Education [online]. [cit. 04-082010]. Dostupno z www: http://www.timeshighereducation.co.uk/story.asp?storycode=408562.

9

[2] The Ranking Forum of Swiss Universities. Times Higher Education Supplement (THES) [online]. [cit. 03-08-2010]. Dostupno z www: http://www.universityrankings.ch/en/methodology/times_higher_education.

2.3. CHE Excellence 2009 Nová varianta pouze německého žebříčku CHE se soustředí i na ostatní evropské univerzity. V roce 2007 byl žebříček sestaven pro obory biologie, chemie, matematika a fyzika; v dalších kolech byly hodnoceny ještě politické vědy, ekonomie, psychologie. Účelem není říci, která univerzita je nejlepší, ale odhalit, které pracoviště je nejlepší vzhledem k určitému indikátoru. Žebříček se zabývá výhradně jednotlivými disciplinami, nikoliv celými univerzitami, a chce poskytnout pohled na jednotlivé instituce z různých perspektiv (včetně pohledu studentů). Vedle hodnocených kritérií poskytuje žebříček také další informace, které nejsou hodnoceny: fakulty, podmínky přístupu, detaily o akademických programech, specifické výzkumné skupiny. 2.3.1. Metodika 2.3.1.1.První výběr V prvním kroku byly evropské vysoké školy vybírány na základě čtyř indikátorů z roku 2007 a pěti indikátorů z roku 2009. Aby mohla být škola do žebříčku zařazena, musela získat alespoň tři hvězdičky v roce 2007 a dvě hvězdičky v roce 2009. Instituce získala hvězdičku, pokud dosáhla alespoň 50 % nejlepšího výkonu v příslušném indikátoru (např. 50 % z největšího počtu publikací). Sdílení hvězdiček tudíž závisí na tvaru distribuce; např. publikace – pokud existuje malý počet institucí s vysokým počtem publikací, distribuce je strmá (špičatá), a tudíž je zde náročnější získat hvězdičku, než u distribucí plošších. Klasifikace je založena na následujících indikátorech: 1. Počet publikací na „web of science“ (indikátor velikosti/rozsahu) Popis: Jedná se o počet publikací nalezených na „web of science“ s ohledem na instituci a obor: biologie, chemie, matematika a fyzika následované politickými vědami, ekonomií a psychologií. Publikační roky byly 1997 – 2004 pro přírodní vědy a matematiku a roky 1999 – 2006 také pro ostatní obory. Tento indikátor byl vybrán pro obě kola: 2007 i 2009 a byl míněn jako indikátor velikosti (rozsahu), který popisuje celkový vliv vědeckého pracoviště. Hvězdičku dostávají ty instituce, které mají největší publikační výstup; tedy ty, které měly alespoň 50 % publikací z nejvyššího počtu publikací. Zařazeny sem byly univerzity, které měly alespoň 3000 publikací na „web of science“ v letech 1997 – 2004 (resp. 1999 – 2006) napříč všemi obory. 2. Citace (v porovnání s mezinárodním standardem) (indikátor ohlasu) Popis: Indikátor porovnává průměrné počty citací, které má příslušné pracoviště (CPP), s mezinárodní referenční hodnotou (FCSm). Tuto metodu vyvinul Anthony van Raan a CWTS (Centre for Science and Technology Studies of Leiden University) jako měřítko viditelnosti jednotlivých pracovišť v porovnání s mezinárodním standardem. Sebecitování se nezapočítává, aby poměr nebyl ovlivněn různým sebecitačním chováním. Tento indikátor byl vybrán pro obě kola: 2007 i 2009.

10

Pokud je poměr CPP/FCSm (=crown indicator) nad (nebo pod) hodnotou 1,0, znamená to, že články daného pracoviště jsou citovány častěji (nebo méně často), než přůměrná publikace v příslušném oboru. FCSm ustavuje celosvětový průměr v určitém oboru nebo v kombinaci oborů. Tímto způsobem lze získat údaje o pozici pracoviště v mezinárodním měřítku a o jeho vlivu v porovnání se světovým průměrem. Tento světový průměr se počítá pro celkový počet článků publikovaných v časopisech s impakt faktorem. Indikátor se soutředí na „recepční“ vliv jednotlivých pracovišť v rámci vědecké komunity. Hvězdičku získavají univerzity s nejvyšším citačním ukazatelem (musí získat alespoň 50 % nejvyšší hodnoty). V případě biologie byly spojeny tři obory, takže průměrný indikátor byl o něco nižší, proto byla pro biologii stanovena hranice 0,9. 3. Vynikající výzkumníci Popis: Indikátor má rozpoznat instituce s vynikajícími výzkumníky. Započítavají se pouze ti výzkumníci, kteří stále vyučují na dané instituci. Thomson Scientific poskytuje seznam vysoce citovaných výzkumníků (250 nejčastěji citovaných výzkumníků v určitém obodbí). Navíc se sem započítávají také držitelé Nobelovy ceny a oborových medailí za matematiku. Tento indikátor byl použit v kole roku 2007. Ukázalo se však, že tento indikátor byl příliš těsně spjat s indikátorem citačním, proto se od jeho používání v roce 2009 ustoupilo. 4. Počet projektů v programu Marie Curie (indikátor evropské dimenze) Popis: Tento indikátor měří aktivitu v rámci Evropy. Šestý rámcový program (Human Resources and Mobility) je založen na financování vzdělávání a mobility výzkumníků. Tyto aktivity jsou zaměřeny na vývoj a předávání výzkumných kompetencí, upevňování a rozšiřování profesionální perspektivy vzkumníků a na podporování excelence v evropském výzkumu. Tento indikátor byl použit v kole roku 2007. Data pocházejí z databáze Evropské komise Cordis (http://cordis.europa.eu/fp6/projects.htm). V úvahu byly brány následující oblasti vždy s ohledem na jejich finanční vliv a dostupnost/dosažitelnost (např. EXC jsou velmi ojedinělé, ale silně financované; zatímco EIF nebo IIF jsou vcelku početné, ale podstatně méně financované). o Marie Curie Intra-European Fellowships (EIF) o Marie Curie Incoming International Fellowships (IIF) o Marie Curie Research Training Networks (RTN) o Marie Curie Host Fellowships for Early Stage Research Training (EST) o Marie Curie Excellence Grants (EXT) o Marie Curie Chairs (EXC) Indikátor zdůrazňuje evropskou dimenzi jednotlivých pracovišť. Všechny oblasti aktivit nebyly hodnoceny stejně: váhu jedna mají oblasti EIF a IIF, váhu dvě mají oblasti RTN a EST, váhu tři mají oblasti EXT a EXC. Metoda pro přidělování hvězdiček se podobá metodě pro vytváření skupin u publikačního indikátoru. Pro přidělení hvězdičky byly dostatečné tři body u oborů biologie, chemie a matematika. V případě fyziky byly nutné body čtyři. Indikátor byl použit pouze v roce 2007, protože v roce 2009 nebyl program Marie Curie dostatečně pokryt analyzovanými akademickými obory. 5. Studentská mobilita (dimenze evropské mobility) Popis: Indikátor měří, jaké příležitosti pro účast na mobilitě mají postgraduální studenti, a zároveň je evropskou komponentou. Společně s dalšími evropskými komponentami by měl tvořit protiváhu k chybějícímu evropskému aspektu programů Marie Curie, které

11

nemohly být použity pro jednotlivé obory v roce 2009 kvůli omezenému počtu případů (výskytů). Tento indikátor byl použit v kole roku 2009. Hvězdičku dostávají instituce, které realizují největší objem studentské mobility (zahrnují alespoň 80 % z maximálního objemu mobility). V oboru ekonomie stačilo pro získání hvězdičky 35 studentů, v politických vědách 30 a v psychologii 16 studentů. 6. Mobilita vyučujících (dimenze evropské mobility a výuky) Popis: Podobně jako u studentů, lze také zjišťovat, kolik vyučujících bylo vysláno do zahraničí v rámci programu Erasmus (v úvahu se bere dlouhobobější působení, nikoliv jednorázové přednášky). Indikátor kombinuje evropskou perspektivu a perspektivu výuky. Tento indikátor byl použit v kole roku 2009. Hvězdičku získávají instituce, které realizují největší objem mobility vyučujících (zahrnují alespoň 80 % z maximálního objemu mobility). Minimální počet pro získání hvězdičky za mobilitu vyučujících byl pro všechny obory počet tři (v roce 2009). 7. Erasmus-Mundus-Master Popis: Evropská unie nabízí finanční podporu vybraným studijním programům (master’s programmes). Všechny procházejí důkladným prověřovacím procesem a konkurence mezi těmito programy o získání grantu je veliká. Programy jsou obvykle velice interdisciplinární a někdy může být započítáno pouze jedno pracoviště participující na programu EM, protože ostatní pracoviště nepokryla ty obory, které zde byly zkoumány. Tento indikátor byl použit v kole roku 2009. Hvězdička byla přidělena, pokud pracoviště participovalo na programu EM. 8. Knižní citace Popis: Poprvé byl učiněn pokus analyzovat nejen citace článků, ale také knih. CWTS Leiden se ujal tohoto úkolu, protože tvůrci žebříčku byli přesvědčeni, že ve splečenskovědních oborech analyzovaných v roce 2009 budou hrát knihy zásadní roli. Ačkoliv se ukázalo nemožným provést analýzu přesně srovnatelnou s citacemi článků (kvůli nedostatkům v dostupných databázích), bylo možné identifikovat určité množství vysoce citovaných knih, které jsou považovány za významné v tom kterém oboru. Avšak kvůli nedostatku dat nebyly tyto údaje použity jako samostatný indikátor, ale pouze jako pomocný indikátor k indikátoru citačnímu. Tento indikátor byl použit v kole roku 2009. V roce 2007 bylo pro zařazení do excelentní skupiny nutné získat tři ze čtyř hvězdiček. V roce 2009 bylo nutné získat alespoň jednu hvězdičku ze dvou výzkumně orientovaných indikátorů (publikace a citace) a další hvězdičku z jednoho ze zbývajících tří indikátorů (mobilita astudentů a vyučujících, Erasmus Mundus). Pokud v roce 2009 univerzita získala tři hvězdičky za ne-výzkumné indikátory, byla rovněž zařazena do skupiny excelence. 2.3.1.2.Výsledky prvního kola V roce 2007 bylo do skupin excelence vybráno 66 institucí; 33 v oboru biologie, 25 v oboru chemie, 24 v oboru fyzika a 20 v oboru matematika. V roce 2009 bylo do žebříčku přidáno 75 institucí; jako excelentní bylo označeno 51 univerzit v oboru politické vědy, 69 v oboru ekonomie a 59 v oboru psychologie. V České republice se do skupiny excelence dostaly dvě univerzity, UK a VŠE; obě za obory ekonomie a politické vědy a dohromady získaly sedm hvězdiček za ekonomii a pět za politické vědy. UK získala v oboru ekonomie hvězdičky za tyto indikátory: publikace, studentská i učitelská mobilita, Erasmus Mundus master a naopak neuspěla v indikátorech citace a vysoce

12

citované knihy. V oboru politické vědy získala UK hvězdičky za studentskou i učitelskou mobilitu, Erasmus Mundus master a neuspěla v případě publikací, citací a vysoce citovaných knih. Oba obory jsou z Fakulty sociálních věd. UK se již nezapojila do hloubkové analýzy – neposkytla příslušná data [3]. VŠE získala za obor ekonomie tři hvězdičky (publikace, studentská mobilita, Erasmus Mundus master) a za politické vědy dvě (publikace, Erasmus Mundus master). Zapojila se i do hloubkové analýzy [4]. Následující tabulka uvádí počty univerzit ve skupině excelence podle jednotlivých oborů a procentuální údaje o tom, kolik univerzit se zapojilo do druhého kola – hloubkové analýzy. Obor (rok publikace) Biologie (2007) Chemie (2007) Ekonomie (2009) Matematika (2007) Fyzika (2007) Politické vědy (2009) Psychologie (2009)

Univerzity zahrnuté do výzkumu 23 25 69 19 24 51 59

Univerzity, které vyplnily dotazník 15 (65,2%) 17 (68%) 34 (49,3%) 10 (52,6%) 17 (70,8%) 27 (52,9%) 37 (62,7%)

2.3.1.3.Hloubková analýza Univerzity vybrané pro hloubkovou analýzu byly osloveny na centrální úrovni, z níž měla být jmenována kontaktní osoba pro projekt (žebříček CHE Excellence). Oslovována byla obvykle také zahraniční oddělení univerzit. Některé univerzity pověřily jedinou kontaktní osobu na celý projekt, jinde jich bylo určeno více – pro každý obor zvlášť; v různých případech se jednalo jak o akademiky, tak o administrátory. Druhým krokem žebříčku byla tedy hloubková analýza vybraných institucí a jejich detailní prezentace (podmínky studia, programy a další kritéria). Aby byla zajištěna nejvyšší možná kvalita těchto výstupů a povědomí o interkulturních rozdílech, byla vybrána skupina institucí z různých zemí a akademických oborů, která otestovala dotazníky a metody v roce 2007. Jelikož se vzdělávací a výzkumné systémy v rámci Evopy podstatně odlišují, žebříček CHE Excellence se zaměřuje právě na tyto aspekty výzkumu. Testovací partneři byli vybráni podle sady indikátorů (včetně úrovně jejich výkonu v co nejvíce zkoumaných oblastech) a podle regionální příslušnosti, aby se mohly snadněji identifikovat „kulturní“ rozdíly mezi různými univerzitními systémy. V roce 2009 nebylo nutné tento test opakovat, ale dotazníky byly dány k posouzení odborníkům z příslušných oborů. V další fázi projektu byla analyzována data, která se sebrala od institucí a ze studentských šetření, a podle jejich validity a kompletnosti byly jednotlivým pracovištím přiděleny hvězdičky za konkrétní indikátory. Ostatní data byla prezentována bez přidělení hvězdiček. Hvězdičky se přidělovaly za indikátory splňující následující kritéria: • Alespoň 50 % institucí bylo schopno poskytnout spolehlivá a důvěryhodná data. • Poskytnutá data lze pokládat za mezinárodně srovnatelná (do určité míry). Například se ukázalo, že financování nemůže být indikátorem; rozpočtové systémy, způsoby výpočtu nákladů na zaměstnance apod. se příliš lišily. • Studentská hodnocení se brala v potaz, pouze pokud bylo ve vzorku pro každý indikátor alespoň deset studentů. Hvězdičky byly nakonec přidělovány na základě těchto indikátorů:

13

1. Studentské posouzení (magisterská a doktorská úroveň): celková situace, aspekty výuky a kurzů, poradenské služby, počítačová vybavenost, laboratoře, knihovna. Doktorandi posuzovali aspekty více zaměřené na výzkum, např. možnost zapojit se do akademické komunity prostřednictvím účasti na konferencích nebo publikování článků (v obou letech 2007, 2009). Studentský výzkum byl proveden pomocí elektronického dotazníku. Respondenti posuzovali určité výroky na šestibodové škále s krajními hodnotami „zcela souhlasím“ a „vůbec nesouhlasím“. Jednotlivá pracoviště byla porovnávána podle svého průměrného hodnocení (rozmezí 1 – 6). Univerzity, které měly interval spolehlivosti celý nalevo od celkového průměru, byly označeny jako horní skupina, naopak univerzity s intervalem spolehlivosti zcela napravo od celkového průměru tvoří spodní skupinu. Ostatní tvoří skupinu prostřední. Příkladem je následující graf – ukazuje situaci pro obor chemie; celkový průměr je těsně pod hodotou 2, horní skupina obsahuje dvě a spodní skupina tři univerzity, zbytek je v prostřední skupině.

2. Procento zahraničních vyučujících s doktorátem (v obou letech 2007, 2009). 3. Procento zahraničních doktorských a magisterských studujících (v obou letech 2007, 2009). 14

4. Procento žen mezi zaměstnanci a studujícími doktorských a magisterských programů (pouze 2007). 5. Genderová rovnováha. Odchylka od podílu 1:1 (který je považován za ideál) ve skupině zaměstnanců a studujících doktorských a magisterských programů (pouze 2009). 6. Počet vědeckých oborově specifických periodik, která jsou předplacena v knihovně (tištěná nebo elektronická) (pouze 2009). 7. Počet členství v redakčních radách hlavních vědeckých periodik na deset vědeckých pracovníků (pouze 2009). 8. Počet renomovaných vědeckých ocenění získaných zaměstnanci (pouze politické vědy). 9. Počet mezinárodních konferencí pořádaných příslušným pracovištěm v posledních pěti letech (pouze politické vědy). 10. Vědečtí pracovníci působící na letních školách – procento za rok (pouze politické vědy). V letech 2007 a 2009 byla získána data odlišné kvality – v roce 2007 hodně dat chybělo nebo bylo dodáno v takové podobě, která neumožňovala srovnání, tudíž mnoho aspektů nemohlo být v žebříčku porovnáno. Jednou z přidaných hodnot hloubkové analýzy žebříčku je zjišťování výzkumných kategorií; každé pracoviště bylo požádáno, ať vyjmenuje své výzkumné skupiny (týmy) a přiřadí jim jednu nebo více výzkumných kategorií (identifikováno bylo více než 2000 výzkumných skupin). Tento krok umožňuje studentům vybrat si takové pracoviště, které se specializuje na určitý podobor. Pro zájemce o studium je důležitější odborné zaměření příslušného pracoviště, než celkový výkon fakulty. 2.3.2. Výhled do budoucnosti Žebříček CHE Excellence představuje první a zároveň zkušební přístup k identifikování univerzit, které jsou excelentní v určitých oborech. Jeho metody musely být vyvinuty a testovány; první kolo ukázalo, že je potřeba tyto metody upravit pro kola následující. Obzvláště zajímavé (ačkoliv ne překvapující) bylo zjištění, že zformulovat přesné znění jednotlivých indikátorů v dotaznících bylo ještě obtížnější, než se předpokládalo (zejména v oblasti financování, rozpočtu a označení akademických pozic); bylo třeba mnoho pojmů vysvětlovat. Podle filozofie CHE se tyto úpravy objevily již v roce 2008/2009 ve výzkumu politických věd, ekonomie a psychologie a bude se v nich i nadále pokračovat ve spolupráci s analyzovanými institucemi.

Zdroje: [1] CHE Ranking. CHE Excellence Ranking Methods [online]. [cit. 2010-08-12]. Dostupno z www: http://www.che-ranking.de/cms/?getObject=720&getLang=en [2] BERGHOFF, Sonja, BRANDENBURG, Uwe, CARR, Diane, HACHMEISTER, CortDenis, LEICHSENRING Hannah, ZIEGELE, Frank: Identifying the Best: The CHE ExcellenceRanking for Natural Sciences, Economics, Political Science and Psychology in Europe [online]. Gütersloh: CHE Centre for Higher Education Development, 2009 [cit. 2010-

15

08-17]. Dostupno z www: http://www.che.de/downloads/CHE_AP124_ExcellenceRanking_2009.pdf. [3] Zeit online. Excellence ranking. Universities. Univerzita Karlova v Praze [online]. [cit. 2010-09-14]. Dostupno z www: http://www.excellenceranking.org/eusid/EUSID?module=Hochschule&do=show&id=140001. [4] Zeit online. Excellence ranking. Universities. Vysoká škola ekonomická v Praze [online]. [cit. 2010-09-14]. Dostupno z www: http://www.excellenceranking.org/eusid/EUSID?module=Hochschule&do=show&id=140002.

16

3. RANKINGS - charakteristiky, kritické pohledy, potenciální přínos3 Přestože jsou rankingy a z nich vyplývající žebříčky (league tables) diskutabilní a sporná záležitost, v současné době existují a mají velký vliv na politiky i na vysoké školy všech úrovní ve všech zemích. Většina rankingů se zaměřuje především výzkumnou činnost vysokých škol a vlády se snaží podporovat ve svých zemích rozvoj univerzit „světové úrovně“ („world-class“). Koncentrace na úsilí vyniknout ve výzkumu může však vést ke ztrátě zájmu a o další činnosti vysokoškolských systémů a o jejich podporu. Nicméně pro univerzitu výzkumného typu mohou poskytovat využitelnou reflexi. V ekonomických termínech není vysoké školství „zboží hledání/vyhledání, u něhož lze určit kvalitu předem, ale jde o „zboží zkušeností“, kde lze kvalitu posoudit až právě podle získaných zkušeností, někdy je dokonce označována jako „zboží víry“. Otázkou je, zda student, který je považován za jednoho z důležitých „spotřebitelů“ informací z rankingů, může zhodnotit znalosti a dovednosti studiem získané, protože zjistit míru nově nabytých znalostí je obecně obtížné. Světové žebříčky se objevují až v posledních letech, například Academic Ranking of World Universities (ARWU, Šanghaj Jiao Tong University) byl poprvé proveden v roce 2003 a podobně je tomu i v ostatních případech: Times Higher Education/QS World Ranking (THE), bibliometrický Leiden Ranking (Center for Science and Technology Studies, University of Leiden) a ranking prováděný Higher Education Evaluation and Accreditation Council of Taiwan (HEEACT). Vznik rankingů je zdůvodňován stále větší konkurencí mezi světovými vysokými školami, avšak k tomu je nutné poznamenat, že rankingy samy přispívají k tomu, aby konkurence byla stále intenzivnější (Federkeil 2006). Frans van Vought (CHEPS, University of Enschede) zdůrazňuje, že žebříčky se zabývají prakticky pouze jedním modelem vysoké školy, kterým je mnohooborová výzkumná univerzita. Nerespektují to, že vysoké školy se zabývají řadou různých činností a mají tudíž velmi diverzifikovaná poslání, cíle a profily. Důsledkem je to, že žebříčky vytvářejí/podporují vertikální stratifikaci vysokých škol, namísto horizontální diverzifikace, která je v rozvoji vysokého školství očekávána (Ulrich Teichler, 2007). Dodává, že proto je potřeba tvořit nástroje transparentnosti, které respektují vertikální i horizontální diverzitu vysokých škol a různé formy excelence, které se na nich rozvíjejí. Vysvětlení terminologie, kterou užívá výše zmíněná studie • Nástroj transparentnosti je souhrnné označení zahrnující různé možnosti, které poskytují vhled do diverzity vysokého školství. • Klasifikace je systematické roztřídění mezi různými třídami a charakteristikami institucí, bez zamýšlené tvorby jejich pořadí/preferencí. • Rankingy jsou nástroje pro vertikální třídění užívající kvantitativní indikátory. Většina rankingů užívá žebříčky („ligové tabulky“), kterými jsou jednorozměrné seznamy začínající nejlepším a končící nejhorším subjektem a označují každý z nich diskrétní pozicí, která udává zdánlivě stejný odstup jednoho subjektu od druhého. • Rankingy a žebříčky srovnávají vysoké školy do pořadí jednu po druhé podle toho, jak naplňují určitá kriteria. Na první pohled tedy umožňují zjistit, která škola je na které pozici. 3

Volně převzato ze studie U-Multirank, Interim Progress Report, zpracované v rámci projektu „Design and Testing the Feasibility of a Multi-dimensional Global University Ranking“ Poznámka ke zdrojům uváděným v textu: V textu jsou citovány pouze ty zdroje (a uvedeny jako seznam vybrané literatury), kde jsou volně přeložené citace ze studie. Rozsáhlý seznam použité literatury pro zpracování studie lze získat na adrese http://www.u-multirank.eu/UMR_IR_0110.pdf, kde je studie zveřejněna.

17

• •

Mnohorozměrné rankingy třídí instituce do skupin a od jednorozměrných žebříčků se výrazně odlišují. Zajišťování kvality je jiným nástrojem transparentnosti, který poskytuje informace uživatelům vysokých škol. Zajišťování kvality na jedné straně a rankingy a klasifikace na straně druhé se vzájemně doplňují.

3.1. Cílové skupiny (uživatelé) rankingů Původní cílovou skupinou žebříčků byli studenti a národní rankingy se rozvíjely proto, aby poskytovaly informace pro studenty a jejich rodiče. Jejich vznik je doprovázen potřebou najít rovnováhu mezi nutnou redukcí komplexních informací (pro základní skupinu uživatelů, tj. pro studenty) a úmyslem poskytovat sofistikované a dobře zpracované informace pro vysokoškolský sektor jako takový (Federkeil 2006). Žebříčky (národní) nejsou zaměřeny na potřeby všech studentů, resp. různé skupiny studentů mají různé zájmy a žebříčky se tomu přizpůsobují. Některé mají úmysl oslovit studenty, kteří se chystají poprvé vstoupit na vysokou školu, a dát jim tudíž požadované základní informace (CHE), jiné se soustřeďují na vyspělé studenty s cílem zlepšit jejich rozhled v tom, kde a jak získávat další znalosti (Financial Times). Cílem žebříčků mohou být například studenti zajímající se o studium zaměřené na životní prostředí (interested in green values) nebo o etické modely podnikání. Zcela jiné požadavky mají skupiny studentů se spotřebními motivacemi (zajímají se o kampus, jeho vybavení, materiální podmínky studia apod.) a skupiny studentů s motivy investičními (charakteristické pro studenty vracející se ke studiu po určité praxi). Řada výzkumných studií z oblasti rankingu potvrzuje výše uvedené, a to že i jedna cílová skupina, kterou jsou například studenti jako zákazníci/uživatelé vysokého školství, potřebuje pro své rozhodování „vícerozměrné informace“, protože motivace studentů k výběru určitého studijního programu, instituce i její lokality jsou velmi různorodé. Vhodné informace mohou být velmi důležité i v sociální oblasti, kde mohou pomoci zmírnit dopady sociální stratifikace. Pro stejnou cílovou skupinu, tedy pro studenty, jsou důležité i žebříčky zaměřené na různé oblasti/obory činností vysokých škol – například žebříčky pro ekonomické školy nebo programy MBA apod. Mezinárodní oborové žebříčky se objevily nejprve v těch oborech, které jsou mezinárodně integrované – například ekonomická studia (business studies), a až později se začínají objevovat i v oborech dalších (CHE – Excellence ranking). Významné mezinárodní žebříčky nejsou na rozdíl od národních zaměřeny na určitou (explicitně definovanou) skupinu uživatelů, ale spíše na širší veřejnost uvnitř i vně vysokého školství. ARWU byl ranking původně zaměřený na srovnání výkonu čínských univerzit ve vědních a technologických oborech a na srovnání čínského národního školství se světovým. Cílovou skupinou byli tudíž řídící pracovníci (čínské ministerstvo školství a vědy). Leidenský ranking hledá různá srovnání v oblasti výzkumu a je zdrojem informací pro cílovou skupinu vedoucích pracovníků vysokoškolských institucí a podobně jako ARWU naplňuje specifické informační potřeby pracovníků institucí a jejich vedení. Širší cílová skupina uživatelů vysokého školství a veřejnost přijímá výsledky rankingů velmi dobře, protože poskytované informace jsou jednoduché a pro zákazníka vhodné. Prestiž, která je pozicí vysoké školy na žebříčku určená, může být efektivním a atraktivním indikátorem kvality pro ty, kteří nemají čas, potřebu nebo další zdroje k pátrání po informačních detailech. Takovou cílovou skupinou jsou například manažeři vysokých škol, kteří dobrou reputaci poskytovanou prostřednictvím rankingu potřebují, protože zákazníci podle ní jednají – dobrá prestiž přináší lepší přístup k finančním prostředkům, je atraktivní pro dobré pracovníky i pro dobře připravené uchazeče o studium apod.

18

3.2. Tvůrci žebříčků (league tables) Většina národních žebříčků je zpracována médii. Jenom výjimečně existují žebříčky zpracované vysokými školami samotnými (například v ekonomii), ale jejich odezva ve veřejnosti obvykle není velká. Také jenom minoritní část rankingů je zpracovávána nezávislou neziskovou organizací, jako například CHE (Centre for Higher Education Development, SRN), Studychoice 123 (Holandsko) nebo Perspektywy Foundation (Polsko). Dalších několik žebříčků vytvářejí oficiální národní instituce, například HEEACT (Higher Education Evaluation and Accreditation Council, Taiwan) nebo Nigerian Rectors Conference. Mezinárodní rankingy jsou naopak většinou záležitostí akademických institucí, THE je mezi nimi výjimka. Tvůrci národních rankingů jsou často úzce propojeni s národními autoritami (např. HEEACT, SK123) a také akademické instituce zabývající se globálními/mezinárodními rankingy jsou většinou instituce veřejné. 3.3. Institucionální ranking a ranking oborový Pod termínem oborový ranking se obvykle rozumí zaměření na menší součásti instituce, jako jsou fakulty, ústavy apod., které se soustřeďují na jednotlivé oblasti vědění, případně na interdisciplinární obory jako jsou třeba ekonomická studia; ranking se také může týkat přímo určitých výzkumných programů. Většina globálních rankingů se zabývá institucemi, i když jak ARWU tak THE publikují (v poslední době) také žebříčky v širších oborech. Naopak například Financial Times se zabývá pouze studiem ekonomiky. Také některé národní rankingy jsou zaměřeny na instituce (například Perspektywy), ale daleko více sledují budoucí studenty jako důležitou cílovou skupinu. Zpracovávají proto informace o studijních možnostech, které mohou vyhovět individuálním potřebám studentů a nevěnují příliš mnoho pozornosti organizaci vysokých škol ani jejich výzkumné činnosti (například CHE nebo SK 123). Zveřejnění průměrné hodnoty sledovaných indikátorů pro celou instituci je problematické, protože ignoruje vnitřní diverzitu a různou kvalitu součástí/oborů a schová výrazné silné stránky instituce, ale též stránky slabé. Ze srovnání kvality dvou oborů univerzit umístěných mezi první stovkou THE žebříčku bylo prokázáno, že pouze velmi malé procento vysokých škol vykazuje stejně vysokou kvalitu všech svých činností (která není ani možná ani žádaná) a diverzifikované profily jednotlivých součástí mohou být někdy strategickým záměrem. Na druhé straně vláda a/nebo vedoucí pracovníci v oblasti vysokého školství mohou mít legitimní zájem na určité charakteristice, která platí pro instituce jako celek, protože na této úrovni rozhodují. Naopak rankingy zaměřené na obory mohou ovlivňovat rozhodování na úrovni řízení instituce, případně na úrovni jednotlivých odborníků. Tento typ rankingů je důležitý i pro manažery, protože průměr je pro řízení nepoužitelný – neukazuje, zda je průměrné všechno nebo naopak zda jsou některé obory vysoce nadprůměrné, zatímco výkony jinde jsou velmi slabé. Jak už bylo výše řečeno, ranking v jednotlivých oborech využijí dobře pro svá rozhodování i studenti, ale také akademičtí pracovníci. Ze tří základních činností vysokých škol – vzdělávání, výzkum a „služba společnosti“, vybírají některé rankingy především činnost vzdělávací, jiné se soustřeďují téměř výhradně na činnost výzkumnou. Národní rankingy s cílem poskytovat informace především studentům – například CHE nebo SK123, se logicky soustřeďují na vzdělávání. Naopak původním cílem ARWU (informace o postavení čínských univerzit ve výzkumu a vývoji) i cílem současným je informovat o výzkumu a vývoji s působností pro univerzity celého světa. Také THE ranking i mezinárodní Leidenský žebříček informuje především o výzkumném výkonu. Významné globální rankingy a následně vytvářené žebříčky jsou tedy zaměřeny téměř výhradně na

19

výzkumnou činnost vysokých škol a využívají dostupná a dobře měřitelná data. Vzdělávací funkce vysokých škol a jejich třetí role je v případě těchto rankingů zcela potlačena. Velmi závažné je to, že přestože uvedené globální rankingy využívají jenom limitovaný počet indikátorů výzkumu a vývoje, o nichž jsou dostupná měřitelná data, vytvářejí ve veřejnosti dojem, že se zabývají celkovou kvalitou instituce. Podobně se chovají i některé národní rankingy, mezi nimi jako příklad velmi úzkého zaměření jmenujme Ecole de Mines, který využívá pouze jeden indikátor, a to počet absolventů (alumni) zaujímajících posty vedoucích řídících pracovníků v 500 podnicích Fortune Global. Globální žebříčky (ARWU, THE, HEEACT) slouží také jako předvýběr pro hodnocení některých oborů, což ovšem následně z žebříčku oborů vylučuje některé menší jednooborové vysoké školy, které se právě vzhledem ke své specializaci mezi prvních 200, resp. 500 top univerzit nedostaly. Tento problém se netýká národních rankingů, které většinou zahrnují všechny domácí univerzity a tudíž není žádná z nich předem z případného předvýběru vyřazena. 3.4. Národní a mezinárodní rozměr rankingu Rankingy a žebříčky na národní úrovni mívají obvykle jednoznačněji určenou cílovou skupinu než rankingy globální. První žebříčky byly publikovány v USA a jejich hlavním účelem bylo srovnat všechny vysoké školy ve všech amerických státech a dát tak studentům souhrnnou informaci o možnostech studia kdekoliv v této zemi. Zajímavé poznámka se může týkat srovnání národního a mezinárodního rankingu v USA a Evropě – národní ranking v USA pokrývá srovnatelné množství institucí jako by tomu bylo v případě rankingu mezinárodního v rámci EHEA, který tvoří vysokoškolské systémy 46 zemí. Podobně jako v USA také ranking CHE zahrnuje všechny vysoké školy všech spolkových zemí v Německu a poskytuje informace zejména potenciálním studentům. Mezinárodní současné žebříčky porovnávají instituce, a protože vytvářejí povědomí o reputaci jednotlivých institucí, jsou velmi rozporuplným a diskutovaným tématem. Nejvýznamnější jsou v tomto smyslu žebříčky ARWU a THE. Ostatní jsou jednoznačnější ve stanovení svých limitovaných rozsahů a dopadů, jejich záměrem je informovat především o výzkumných výkonech a ve srovnání s předcházejícími dvěma rankingy vyvolávají méně zájmu i diskusí. Některé národní rankingy reagují na rozvoj internacionalizace a mobility studentů a rozšiřují proto svoji působnost na instituce dalších zemí (například CHE zahrnuje kromě německých institucí také instituce Rakouska, Švýcarska a Nizozemí). „Excellence Ranking“ CHE se zatím zaměřuje na malý počet oborových oblastí, ale srovnává je na výzkumně orientovaných univerzitách různých evropských zemí. 3.5. Metodické nedostatky při užití smíšeného celkového indikátoru Klasický model žebříčku je založen na jednom složeném (celkovém) indikátoru, který je vypočítán z vážených indikátorů příslušným rankingem sledovaných. V narůstající komplexitě vysokoškolských systémů (jednotlivých vysokých škol), může být tento přístup označen jako „destilování“ složité skutečnosti do zvládnutelné formy. Přestože je metodika využití jednoho integrovaného indikátoru v rankingu velmi častá, může vést k příliš velkému zjednodušení skutečnosti a k prezentování klamného průměru místo jednotlivých indikátorů. Váhu jednotlivých indikátorů obvykle určují autoři rankingů, i když se v nedávné době objevila též možnost, aby v interaktivním rankingu rozhodli o váze indikátorů uživatelé žebříčku. Kritika užívání jednoho celkového indikátoru má několik aspektů: • Přiřazení váhy jednotlivým indikátorům by vyžadovalo konceptuální model, který by na základě argumentů umožnil stanovit relativní důležitost a prioritu těchto indikátorů. Vzhledem k tomu, že neexistují ani teoretické ani empirické argumenty pro přiřazení

20

•

•

váhy, musí být toto přiřazení nahodilé. Subjektivní určení váhy pak definuje model pro vysoké školy, které jsou řazeny do žebříčku. V případě ARWU a THE je modelem velká, výzkumně orientovaná vysoká škola, která produkuje velký počet publikací i citací a zajišťuje si tím prestiž (čelní místo v žebříčku). Prestiž pak může podpořit atraktivita lokality, v níž se instituce nachází (pro turisty, pro média apod.) a která jí rovněž poskytuje určitou dobrou „značku“. Ranking se může stát pro jeho uživatele užitečným, když respektuje heterogenitu skupiny uživatelů a ponechá na jejich rozhodnutí, jaká váha bude přiřazena jednotlivým sledovaným indikátorům. Výše bylo již uvedeno, že některé rankingy se o uživatelský přístup (user-driven) snaží a uživatelům umožňují interaktivně zasahovat do tvorby žebříčků a váhu indikátorů určit (tz. web based ranking, například Guardian Ranking). Také SK123, CHE nebo HEEACT dovolují uživatelům stanovit priority řady indikátorů. Metodologie konstrukce celkového indikátoru ARWU a THE byla statisticky analyzována. Ukázalo se, že pozice velkého procenta univerzit (67% v rankingu THE a 60% v rankingu ARWU) je velmi citlivá na složení celkového skóre. Změna v pořadí vysokých škol v žebříčku v případě změny některého z indikátorů je obecně větší pro hůře hodnocené instituce, ale například i pořadí Massachusetts Institute of Technology se při změně indikátoru změnilo z 10. pozice na pozici 25. v THE rankingu. Autoři uvedené analýzy proto soudí, že z žádného rankingu nelze dělat rozhodující závěry o relativním výkonu většiny ze zúčastněných vysokých škol.

3.6. Problém vytváření žebříčků Žebříček řadí vysoké školy do seznamu od prvního do x-tého místa a model předpokládá, že rozdíl v místech zaujímaných v žebříčku charakterizuje rozdíl ve výkonnosti/kvalitě vysokých škol. Avšak i výše uvedená empirická analýza existujících žebříčků ukázala, že v mnoha případech jen velmi malý rozdíl v numerické hodnotě jednoho z indikátorů může vést k zásadní změně postavení v žebříčku a tudíž že i minimální nahodilé rozdíly mohou být mylně interpretovány jako skutečné rozdíly mezi institucemi. Tuto skutečnost lze ukázat na příkladech THE rankingu: V roce 2008 byl mezi vysokými školami umístěnými na 27. místě (Brown University) a na 43. místě (University of Queensland) rozdíl jen 4,5 bodů ze 100 bodové stupnice (rozdíl v pozicích v žebříčku byl 25 míst). Ve druhé půlce žebříčku byl pak rozdíl mezi 50. a 100. místem vyjádřen pouze rozdílem 10 bodů. Z toho lze odvodit, že žebříčky mají snahu zveličovat rozdíly mezi institucemi a vertikální stratifikaci vést až do extrému. Ve statistické terminologii to znamená, že tvorba žebříčků ignoruje existenci standardních chyb v datech. Vyplývá z toho, že smysluplný ranking by měl ohraničit skupiny nebo klastry institucí s podobnými profily/programy. Ligové tabulky jsou velmi citlivé na změnu v metodice stanovení celkového výsledného indikátoru. Zavedení nové metodiky standardizace v THE rankingu odsunulo London School of Economics ze 17. místa na místo 59. z roku na rok, přičemž byla sbírána (měřena) stejná data. 3.7. Publikace a citační databáze. Oborová a regionální jednostrannost (zaujatost) Indikátory zohledňující počty publikací jsou v případě ARWU a THE rankingu sledovány podle mezinárodních (i když odlišných ) databází – Thomson Reuters‘ Web of Sciences a Elsevier’s Scopus. Podobných databází je velmi málo a proto jsou jiné alternativy prakticky nemožné. Vhledem k (nezamýšlené) zaujatosti a nedokonalosti těchto databází není ve jmenovaných žebříčcích věnována dostatečná pozornost akademické, kulturní a jazykové diverzitě.

21

•

•

•

V obou databázích hrají zásadní roli publikace v recenzovaných časopisech. Publikační kultura a způsoby publikace jsou však v různých oborech velmi rozdílné. Recenzované časopisy hrají zásadní roli především v přírodních vědách, živých vědách a medicíně. V mnoha aplikovaných vědách nebo v inženýrství jsou často sborníky z konferencí důležitější než články v recenzovaných časopisech, v sociálních a humanitních vědách jsou pro rozšiřování znalostí podstatné především monografie a kapitoly v knihách. Indikátory založené téměř výhradně na výše uvedených databázích tudíž upřednostňují vysoké školy zaměřené na přírodní vědy nebo vysoké školy, které mají lékařské fakulty. Způsob publikace a publikační kultura tedy hraje v rankingu velkou roli. Obě databáze vylepšují situaci v oblasti „podceněných“ oborů tím, že využívají stále větší počet časopisů a postupně též začínají počítat se sborníky z konferencí. Rozšířená verze Web of Science (2009) zahrnuje databázi Přednášek ze sborníků z konferencí. Výzkum překryvu obou databází (výzkum provedlo Centre for Science and Technology Studies of Leiden University, CWTS) ukázal, že Scopus vykazuje až 50% převýšení (vzhledem k WoS) počtu publikací ve specifických oblastech jako je umění a humanitní vědy, inženýrství, ekonomika, management a účetnictví, energie. Přesto jsou stále ve velké nevýhodě vědečtí pracovníci, pro jejichž práci nejsou ani články v recenzovaných časopisech, ani přenášky publikované ve sbornících z konferencí základním prostředkem pro šíření znalostí v jejich oborech; jedná se zejména o umění a humanitní vědy. Seznam časopisů, které užívá ARWU a THE, je nevýhodný pro země s jiným mateřským jazykem, než je angličtina. Jde zejména o Thomson Reuters‘ databázi (WoS), která vznikla v USA a zahrnuje především časopisy v anglickém jazyce. To není přílišnou nevýhodou pro obory, kde je standardním komunikačním jazykem angličtina, postihuje však obory (zejména některé humanitní), kde tomu tak není. Znevýhodněny jsou tak například velké a ve výzkumu významné země jako je Francie, Německo, Čína, Japonsko. Jednostrannost ve smyslu zvýhodnění přírodních věd, jejichž vědecká témata jsou vesměs mezinárodního charakteru, je dále zdůrazněna tím, že v humanitních vědách nebo v sociologii jsou často témata výzkumu významná na národní úrovni. Pojednávané významné rankingy berou v úvahu pouze anglosaský model systému vysokého školství a nezabývají se výzkumem uskutečňovaným v neuniverzitních výzkumných institucích, jako je tomu například ve Francii nebo SRN. Nemohou proto přiměřeně zhodnotit výzkumnou kapacitu/výkony v evropských zemích. Komplikace při hodnocení výzkumných výkonů může do žebříčků vnášet i propojení vysokých škol a výzkumných institucí a sdílení pracovníků i vybavení.

3.8. Nespecifikované a nestálé metodologie V prvních letech publikování žebříčků bylo k dispozici velmi málo informací o metodologii jejich sestavování. V poslední době, zřejmě též v souvislosti s aplikací Berlínských principů (viz níže), se situace zlepšila. Přesto AUBR Expert Group 2009 (Assesment of UniversityBased Research Expert Group) otvírá otázku metodologie a jejích změn v případě ARWU: Časopis zveřejňující žebříčky byl obviněn za změnu metodologie s cílem změnit pořadí na vedoucích pozicích žebříčku. Důvodem bylo možné snížení poptávky po časopise, protože hodnota zpráv se snižuje tím, že „top“ univerzity jsou opakovaně tytéž. Podobné důvody však neovlivnily ostatní producenty žebříčků jako jsou vysoké školy nebo nezávislé nadace. Berlínské principy rankingů ve vysokém školství International Ranking Expert Group (IREG), která je složena z osob a organizací zabývajících se vytvářením a zkoumáním rankingů, schválila na své konferenci v roce 2006 v Berlíně

22

principy dobré praxe pro ranking (tzv. Berlínské principy rankingu ve vysokém školství). Berlínské principy se týkají čtyř aspektů rankingů: účelu a cílů rankingu, konstrukce a váhy indikátorů, sběru a zpracování dat a prezentace výsledků rankingů. Vlastní principy žádají: • Mít jasno o účelu rankingu a o jeho cílové skupině. • Uznávat diverzitu institucí. • Používat transparentní metodologii. • Měřit spíše výstupy než vstupy. • Zajistit, aby uživatelé dobře porozuměli všem faktorům užívaným pro rozvoj rankingu a nabídnout jim možnost výběru, jak rankingy prezentovat. • Aplikovat v rankingu principy zajišťování kvality: umožnit porozumění a vnitřní kontrolu (získání zpětné vazby), poskytnout možnost zpětné vazby konečnému uživateli a působit tak, aby zpětná vazba korigovala chyby a přestupky. Berlínské principy byly obecně přijaty jako vhodná označení „dobrého“ rankingu. IREG plánuje provádět od roku 2011 audity a uznávání rankingů, které jsou připravovány v souladu s Berlínskými principy. 3.9. Kritické zhodnocení globálních rankingů Globální rankingy a žebříčky mají podobné principy a přístupy, ačkoliv jsou vedeny různými účely a liší se používanými metodologiemi, kritérii, spolehlivostí a správností (Dill a Soo 2005). Dlouhodobé výzkumy v oblasti kvality ve vysokém školství ukázaly, že neexistuje jedna obecně akceptovatelná definice kvality vysokoškolského vzdělávání a tudíž nemůže existovat ani jeden objektivní žebříček (Brennan, Goedegobuure et al. 1992 a mnoho dalších autorů). Potvrdit to může i zběžné porovnání indikátorů, které hlavní globální rankingy používají. Jak už bylo několikrát řečeno, existující globální rankingy zahrnují pouze jeden model vysokoškolské instituce – velkou, mnohooborovou (komplexní), mezinárodně orientovanou výzkumnou univerzitu, který reprezentuje jenom minoritní část vysokých škol světa. 3.9.1. ARWU (Shanghai‘s Jiao Tong University‘s (SJTU) Academic Ranking of World Universities) – rozbor indikátorů Ranking je založen na indikátorech o publikacích, citacích, vysoce citovaných autorech, které jsou dostupné ve světových databázích, na počtu držitelů Nobelových cen a Field medal (matematika) a počtu akademických pracovníků. Zahrnutí pouze dvou časopisů (publikace v časopise Science nad Nature) potvrzuje velmi silnou orientaci bibliomentrických údajů na výzkum v přírodních vědách. Zároveň se tak projevuje výrazná preference publikací v anglickém jazyce. Počty nositelů Nobelových cen jsou sčítány od roku 1910 a větší váha je dávána laureátům z nedávných let. Nobelovy ceny jsou udělovány za výsledky dlouhodobého výzkumu a jejich držitelé v průběhu doby obvykle měnili svoje působiště. Otázkou pak je, které z univerzit přinesl/přináší laureát větší hodnotu. Dalším problémem spojeným s Nobelovými cenami je jejich udělování pouze v několika oblastech: fyziologie/medicína, chemie, fyzika, ekonomie, přičemž poslední oblast, kterou je cena za literaturu a za mír, se k akademickým činnostem přímo nevztahuje. Ranking je tedy ze 30 % (včetně Field medal za matematiku) soustředěn pouze na několik vybraných oblastí výzkumu. Vedle institucionálního rankingu publikuje ARWU také žebříčky v širších akademických oblastech – přírodní vědy/matematika, inženýrství/technologie a informatika, vědy o životě a zemědělské vědy, klinická medicína a farmakologie a sociální vědy. Indikátory jsou mírně odlišné od indikátorů používaných pro žebříčky institucí. Místo článků pouze v časopisech Nature a Science jsou započítány též články z řady jiných významných časopisů a místo

23

Nobelovy ceny je pro inženýrství zaveden indikátor externě přidělených finančních prostředků. V roce 2009 publikoval ARWU také žebříčky v pěti oborech: matematika, fyzika, chemie, informatika a ekonomie. ARWU využívá pouze existující veřejně dostupné databáze. Vzhledem k výběru indikátorů může ranking poskytovat vhodné a hodnotné informace v oblasti přírodních věd a medicíny, méně vhodné údaje pak poskytuje v oblasti inženýrství a velmi problematické v oblasti sociálních a humanitních věd. ARWU poskytuje všechny informace prostřednictvím webové stránky (www.arwu.org), ale není možný žádný interaktivní přístup ze strany uživatele. Zaregistrovaní uživatelé (registrace je zdarma) mohou najít časovou posloupnost institucionálních rankingů od roku 2003, rankingů v širokých oblastech v časové řadě od roku 2007 a nově (od roku 2009) též žebříčky podle výše uvedených oborů. 3.9.2. THE (Times Higher Education Ranking) THE zahrnuje nejméně 500 vysokých škol, které jsou vybrány podle dvou kritérií (metodologie byla do roku 2009 záležitostí Quacquarelli Symonds (QS), zatímco od roku 2010 je za ní odpovědná společnost Thomson Reuters): vysoká škola musí poskytovat pregraduální studium (tento požadavek z rankingu vyčlenil řadu významných postgraduálních vysokých škol) a musí poskytovat vzdělávání nejméně ve dvou ze základních oblastí – přírodní vědy, biomedicína, technologie, sociální vědy a umění a humanitní vědy. Bibliometrická data byla do roku 2009 získávána z databáze Elsevier’s database Scopus (citace za posledních 5 let vztaženy na akademického pracovníka), zatímco další data (podíl počtu studentů na učitele, mezinárodní studenti a učitelé) byla získávána ze zpráv jednotlivých institucí nebo národních statistik. Názory na reputaci vysoké školy byly získávány z výzkumů (názor zaměstnavatelů na kvalitu absolventů, výzkum mezi akademickými pracovníky), které samozřejmě zdůrazňují názory oslovených respondentů, nikoliv fakta. Problémem indikátoru reputace je proto jeho silné ovlivnění typem respondentů a velmi malá návratnost dotazníků z mezinárodního výzkumu akademických pracovníků (kolem 2%). Federkeil ukazuje (Federkeil 2009), že akademická reputace se vyznačuje poměrně velkou stabilitou, zatímco výsledky výzkumu se u některých vysokých škol z roku na rok výrazně mění. Tyto změny lze proto přičítat spíše problematické metodologii než skutečným změnám na příslušných vysokých školách. Kritizován je též výběr respondentů, který může stranit některé ze sledovaných vysokých škol na úkor škol jiných (například www.insidehighered.com/2009/08/19/rankings). Výsledky THE/QS jsou publikovány na adrese www.topunivesities.com. 3.9.3. HEEACT (The Higher Education Evaluation and Accreditation Council, Taiwan HEEATC provádí ranking akademického výkonu v rámci pětiletého projektu, který končí v roce 2010. Předem vybírá 500 univerzit, pro které sbírá výhradně bibliometrická data o výzkumném výkonu (počty článků za posledních 10 let s váhou 10 % a počty článků za poslední rok také s váhou 10 %) a vlivu výzkumu, který je vyjádřen souborem pěti indikátorů: citace za posledních 10 let s váhou 10 % a za poslední dva roky také s váhou 10 %, průměrný roční počet citací z poslední 10 let s váhou 10 %, Hirschův index za poslední 2 roky s váhou 20 %, vysoce citované články s váhou 15 % a články v posledním roce publikované v časopisech s vysokým impakt-faktorem s váhou 15 %. Na první pohled je vidět odlišnost od výše uvedených globálních rankingů v délce časového intervalu sběru dat, který je 10 let a ve sledování dalších kratších časových období různým způsobem u různých indikátorů. Ranking

24

tudíž upřednostňuje výkony v minulosti než v současné době a vzhledem k používaným databázím má podobnou návaznost na přírodní vědy podobně jako ARWU. HEEACT provádí též ranking na národní úrovni, kde mezi indikátory zahrnuje též názor zaměstnavatelů na absolventy, spolupráci vysokých škol s průmyslem a využívání patentů. Výsledky HEEATC jsou zveřejněny na adrese http://ranking.heeact.edu.tw/enus/2009/TOP/100, kde lze získat pořadí vysokých škol podle výsledného „skóre“, seznam v abecedním pořadí nebo podle jednotlivých sledovaných indikátorů. 3.10. Využití a efekt rankingů Ranking přináší určitý přehled o výkonu jednotlivých vysokých škol, byť s různými výhradami k metodice i k výběru indikátorů. Má však také dopad do rozhodovací sféry na úrovni vysokých škol, případně i v širším měřítku na úrovni celého sektoru vysokého školství. Řada odborníků uvádí, že na úrovni systému vysokého školství je efekt rankingu především negativní: podporuje nehospodárné užívání zdrojů, prosazuje příliš úzký koncept kvality a nabádá instituce ke „hře“ o pořadí. Na druhé straně může mít dobře pojatý ranking i pozitivní efekt, který se projevuje ve zlepšení výkonu institucí. Specifické efekty jednotlivých rankingů závisí na detailech jejich tvorby, existují však i některé společné rysy. 3.10.1. Požadavky studentů Většina rankingů se snaží působit na studenty a dá se prokázat, že skutečně mají vliv na výběr vysoké školy/oboru. Například v USA se jasně ukázalo, že instituce, která se v žebříčku posunula na lepší místo, měla v následujícím roce větší počet uchazečů i větší počet uchazečů s lepším vstupním prospěchem. Podobně oborový ranking CHE (orientovaný přímo na studenty a hodnotící vysoké školy v oborech) ukázal, že po zveřejnění škol excelentních v některých oborech (například psychologie, medicína) počet uchazečů o studium na těchto školách výrazně vzrostl. Potvrdilo se také (výsledky výzkumů, McDonough, Antonio et al. 1998, Cremonini, Westerheijden et al. 2008 a dalších), že jak v USA, tak v Evropě nevnímají všechny skupiny studentů rankingy stejným způsobem. Nejvíce jich využívají studenti s velmi dobrým prospěchem a studenti z vysoce vzdělaných rodin. 3.10.2. Veřejné financování Rankingy mají dopad i na rozhodovací sféru ve vysokém školství a v důsledku na mechanismy financování. Existuje řada příkladů z různých částí světa, kde nespokojenost s umístěním vysokých škol v globálním rankingu iniciovala reformu vysokého školství nebo vedla k deklaraci potřeby rozlišit vysoké školy ve smyslu výsledků jejich činnosti a prestiže a měnit/navýšit finanční prostředky (například Salmi 2009). Mezi cíle takto vyvolaných reforem patří snaha zdokonalit instituce, spojit je za účelem soustředění jejich kapacit nebo i vytvářet instituce nové. Příklady lze nalézt ve Vietnamu (využití půjčky Světové banky), Saudské Arabii, Číně, Jižní Koreji. Zajímavé jsou i příklady z evropských zemí. Například dánské slučování univerzit bylo ovlivněno globálním rankingem, francouzská vláda dokonce rozhodla na základě špatného umístění univerzit v rankingu o absolutní nutnosti reformy vysokého školství (Marshall 2008), německá iniciativa v oblasti excelentních oborů i vliv globálních rankingů byl důvodem poskytnutí doplňujících zdrojů pro řadu univerzit s cílem zvýšit jejich výkon v oblasti výzkumu a vývoje. 3.10.3. Závody „ve zbrojení“ ve vysokém školství Konkurence mezi vysokými školami podporovaná rankingem je typická pro USA (van Vught 2008). Rankingy obecně konkurenci vyvolávají a nutí vysoké školy investovat více prostředků do získávání nadaných studentů a akademických pracovníků a do budování své prestiže. Situace je vždy relativní, záleží na tom, jak na umístění v žebříčcích reagují jiné vysoké školy. Investice však nemusí vždy vést ke zlepšení a je možné, že jejich využití jinde by mohlo být efektivnější.

25

Rankingy se soustřeďují především na výzkumný výkon a návaznost výzkumu na vzdělávací činnost z nich nijak výrazně nevyplývá. Podstatné je, že důraz rankingů na výzkum vede často ke špatným rozhodnutím na institucionální úrovni, tj. že často i takové vysoké školy, jejichž základním cílem je vzdělávání, rozhodnou o investicích (zvýšených investicích) do výzkumu. Snaha dosáhnout dobrých výsledků ve výzkumu je pak velmi drahá a vynaložené prostředky jsou vesměs využity neefektivně. 3.10.4. Koncept kvality a nebezpečí pro diverzitu Každý ranking, bez ohledu na to, jak pečlivě je připraven, zjednodušuje realitu a poskytuje nekompletní popis kvality instituce. Vážným problémem není poskytovaný nedokonalý obraz instituce, ale tendence „zakořenit“ ho jako definici kvality ve vysokém školství. Nebezpečí této interpretace kvality je velké, protože je daleko působivější než strategické dokumenty vlády nebo vědecké analýzy o vysokém školství. Ohrožení plyne také z toho, že to, čemu je v rankingu přikládána malá váha nebo co ranking dokonce vůbec nezahrnuje, začínají instituce a v důsledku i veřejnost postupně ignorovat. Jako negativní příklad mohou sloužit výsledky výzkumu amerických právnických fakult, které braly v potaz indikátory rankingů při definici svých cílů, při hodnocení rozvoje, přijímání studentů i učitelů, při tvorbě nových programů a tvorbě rozpočtů. Začaly se chovat tak, jak ranking „vyžaduje“ a velmi nevhodným způsobem tak potvrdily hodnotu měřených indikátorů. Přeceňovat některé indikátory nebo naopak jiné ignorovat může být nebezpečím i pro celou společnost. Rankingy v sobě zahrnují například námět přesunout zdroje ze vzdělávací činnosti do výzkumu. Rankingy v sobě zahrnují též hrozbu pro horizontální diverzitu. Existující globální rankingy propagují pouze model víceoborové výzkumné univerzity a „z definice trestají/poškozují jiné typy institucí, například vysoké školy zaměřené na profesní vzdělávání apod. Vzhledem k neexistenci politiky, která by diverzitu chránila jinými prostředky, mohou globální rankingy nastartovat vývoj vedoucí k jednotnému a pouze vertikálně diverzifikovanému systému vysokého školství. Není totiž rozumný důvod k předpokladu, že konkurence povede k větší horizontální diverzitě, aniž se najde k takovému vývoji vhodná stimulace. 3.10.5. Narůstající výkonový rozdíl mezi institucemi Výsledky rankingů (žebříčky) vytvářejí mezi institucemi rozdíly (umělou dělící čáru), které lze v realitě nalézt jen obtížně. Konkurenční prostředí podporuje vytvářet tzv. Matoušův efekt, tj. situaci, v níž jsou instituce již dostatečně silné schopny získávat stále větší prostředky (veřejné finanční prostředky, ale též studenty, učitele a další) a dále tak posilují svoji pozici. Toto prostředí zhoršuje podmínky pro mladé výzkumníky a nastoluje vysoké ceny velmi výkonných výzkumných pracovníků a výzkumných skupin, které si mnohé instituce nemohou dovolit poskytovat. Národní autority, vedeny snahou zajistit některé z národních vysokých škol čelné postavení v globálním žebříčku, se snaží koncentrovat výzkum a prostředky pro jeho provádění a zvyšují tak důraz na stratifikaci institucí. Vytváření privilegovaných postavení některých vysokých škol může ohrozit úroveň a kvalitu zdrojů pro jiné vysoké školy. Rovnostářský model, který je běžný v některých evropských zemích, je prostřednictvím žebříčků nahrazován výraznou hierarchií. 3.10.6. Hra o výsledky V systémech, kde jsou výsledky žebříčků považovány uživateli vysokého školství za důležité, jsou instituce pod tlakem zlepšit svoji pozici v tomto hodnocení. K tomu však někdy potřebují potlačit, případně mohou i ohrozit některé svoje základní činnosti. Opět můžeme poukázat na zkušenosti z USA, kde silný vliv rankingu USN&WR (U.S. News&World Report) nutí vysoké školy podřídit se sledovaným indikátorům a často hrát i nečistou hru ve snaze prokázat potřebné výsledky. Jako velmi negativní příklad lze uvést snahu potvrdit výběrovost

26

v příjímání studentů (jeden ze sledovaných indikátorů) tím, že vysoké školy motivují k podání přihlášky ty studenty, které nikdy nemíní přijmout. Jiným sledovaným indikátorem jsou platy akademických pracovníků. Některé z vysokých škol je kvůli dobrému výsledku v žebříčku navyšují bez diskuse o tom, zda jsou takové úpravy efektivní a zda by se prostředky nedaly využít jiným a lepším způsobem. Žebříčky jsou záležitost relativní, ukazují vztah jedné instituce k jiným. Tento fakt může ovlivňovat respondenty ve smyslu negativních postojů ke konkurenčním institucím v těch žebříčcích, které využívají různé výzkumy. Tento nečestný konkurenční boj se potvrdil jak v USA, tak například i v SRN, kde CHE dokonce upustila od výzkumu mezi akademickými pracovníky, kteří začali výzkum využívat jako „marketingovou hru“ ve prospěch svých vysokých škol. 3.10.7. Ranking a vnitřní řízení Výsledky v žebříčků často ovlivňují též vnitřní řízení institucí. Irský výzkum (Hazelkorn 2007) potvrdil, že 63 % řídicích pracovníků využívají potenciální vylepšení v žebříčku pro „oprávněné“ požadavky k navýšení zdrojů. V některých institucích se výsledků v rankingu používá jako důvodu ke vnitřnímu rozdělování finančních prostředků tak, aby se posílily součásti instituce způsobilé k naplnění požadovaných indikátorů (Matoušův efekt). Instituce se také snaží zaměřit se na ty sledované indikátory, které mohou relativně snadno ovlivnit (například publikování v anglickém jazyce) a v extrémních případech je tato snaha tak silná, že „fetišizuje“ některé z forem znalostí/výsledků. Jindy upřednostňuje základní výzkum před aplikovaným (výzkum typu Mode-1 před typem Mode-2), přestože je aplikovaný výzkum považován za velmi důležitý pro znalostní ekonomiku a uvedená snaha ho potlačovat jednoznačně ukazuje nevhodný efekt žebříčků. Negativním efektem jsou i příklady různých platových bonusů, které jsou přímo spojeny s umístěním instituce v žebříčku nebo naopak postihy odpovědných řídicích pracovníků v případě propadu instituce z čelního místa. 3.10.8. Potenciál rankingů k pozitivnímu vlivu Výše diskutované dopady rankingů jsou vesměs negativní. Důvodem není samotná existence rankingů a výsledných žebříčků, ale jejich chyby, které vytvářejí nevhodné pobídky. Vysoké školy i řídicí pracovníci na institucionální i národní úrovni jsou k výsledkům rankingu obecně velmi vnímaví a žebříčky by tudíž mohly být důležitými nástroji ke zlepšení výkonu vysokých škol. Zkušenosti s rankingem prováděným německým CHE ukazují, že je možné poskytovat náměty ke zlepšení a že dobře navržené rankingy mohou být vhodnou pobídkou k vnitřní instiuticionální analýze silných a slabých stránek. Rankingy mohou nabízet možnost srovnání vlastní instituce s jinou nebo partnerství v benchmarkingu nebo poskytovat na míru vytvořenou analýzu (CHE, SK123). Možnost srovnávání je důležitá a rankingy by měly nabídnout výsledky na takové úrovni seskupení institucí, která vyhovuje potřebám vnitřního strategického rozhodování. Rankingy také mohou poskytovat studentům vhodné nástroje k usnadnění volby studia a vedoucím pracovníkům možnost posoudit, kam směrovat systém, aby plnil optimálně svoji sociální funkci. Existující rankingy a žebříčky ale vyvolávají příliš silnou reakci na příliš málo sledovaných oblastí a indikátorů. Zdroje převzaté ze zprávy U_Multirank Cremonini, L., D. F. Westerheijden, et al. (2008). „Disseminating the Right Information to the Right Audience: Cultural Determinants in the Use (and Misuse) of Rankings.“ Higher Education 55: 373-385. Federkeil, G. (2006). „Rankings and Quality Assurance in Higher Education.“ Higher Education in Europe 33: 209-218.

27

Hazelkorn, E. (2007). „The impact of league tables and ranking systems on higher education decision-making.“ Higher Education Management and Policy 19(2): 87-110. Marshall, J. (2008). France: Jiao Tong rankings cause for koncern. University World News McDonough, P. M., A. L. Antonio, et al. (1998). „College rankings: democratized college knowledge for whom? „. Research in Higher Education 39(5): 513-537. Salmi, J. (2009). The Challenge of Establishing World-Class Universities. Washington, D.C., World Bank. Teichler, U. (2007). Higher Education Systems. Conceptual Frameworks, Comparative Perspectives, Empirical Findings. Rotterdam van Vught, F. A., Ed. (2009). Mapping the Higher Education Landscape: Towards a European Classification of Higher Education. Dordrecht etc., Springer.

28

4.

Shrnutí a doporučení

Mediálně nejznámější rankings (THE, ARWU, částečně QS) uvedené v této studii jsou do jisté míry problematické jak po stránce metodické, tak po stránce jejich vypovídací schopnosti o kvalitě VŠ institucí. Na druhé straně jsou rankings nepřehlédnutelným fenoménem v mediálním a politickém prostoru, který do jisté míry utváří obraz a prestiž VŠ institucí před veřejností. Tyto dvě strany problému jsou reflektovány v následujícím shrnutí. Obecně lze říci, že ARWU i THE vypovídají spíše o kvalitách institucí typu „research universities“ než o jiných typech vysokých škol. V tomto smyslu je pro UK jakožto pro instituci, která se vnímá jako „research iniversity“, důležité tyto žebříčky sledovat a své postavení v nich reflektovat. Negativa • neustálý překotný vývoj podoby rankings znesnadňuje identifikaci klíčových kritérií (viz kapitola 2.2.2) • pořadí je vysoce citlivé na změny definic některých indikátorů – meziroční posuny vysoké školy v žebříčku mají jen minimální vypovídací hodnotu (viz příloha 5.2 a 5.3) • zkreslení výsledku rankings je dáno především: • téměř bezvýhradnou orientací na světově nejprestižnější akademické výsledky výzkumu (např. Nobelovy ceny, články v časopisech Science a Nature) – kromě skupiny nejvýše postavených je pořadí citlivé na individuální případy • v případě ARWU je velikost instituce reflektována pouze indikátorem o váze 10% • není zajištěna reprezentativita dotazníkového průzkumu prestiže mezi odborníky • výsledky z přírodních a medicínských věd jsou výrazně více oceňovány • instituce z anglosaských zemí jsou výrazně více zastoupeny (viz příloha 5.2 a 5.4) • budoucí vývoj podoby rankings je velmi obtížné předvídat – ARWU je závislé na podpoře čínské vlády, THE na finančních možnostech vydavatele • výrazné zaměření na malý počet kvantitativních indikátorů znamená, že žádný ranking v žádném případě neodráží a NEPOMĚŘUJE KOMPLEXNÍ KVALITU činnosti VŠ institucí • řada zjednodušení a zkreslení může mít neblahý vliv na institucionální strategie – ranking NENÍ návod na to, jak se stát světově proslulou institucí

Příležitosti • mediální a politická pozornost rankings je (zatím?) nezpochybnitelná • vývoj podoby a vah konkrétních kritérií je obtížně předpověditelný, sledovat je možné pouze tendence v konstrukci rankings • v dlouhodobém horizontu je možné soustředit se v odpovídajících oborech (medicínských a přírodovědných) na používané kategorie výstupů • publikace v časopisech Science a Nature (ARWU) • publikace časopisy v databázích ISI Thompson, a to Science Citation Index Expanded http://science.thomsonreuters.com/cgi-bin/jrnlst/jlresults.cgi?PC=D a Social Sciences Citation Index http://science.thomsonreuters.com/cgi-bin/jrnlst/jlresults.cgi?PC=SS • v krátkodobém horizontu je možné zlepšit viditelnost existujících výsledků výzkumu v jednotlivých datových databázích • kontrola a důsledné trvání na uvádění spoluautorů z University Karlovy na všech

29

• • •

publikacích vytvářených autorskými kolektivy důsledné zvyšování dopadu publikací a jejich rozšiřování v disciplinárních komunitách v rámci možností podpora doktorského studia – navýšení počtu PhD studentů a hlavně PhD absolventů důsledně dbát na zveřejňování všech dat, která jsou pro tvorbu žebříčků užívána (v případě ARWU)

Paralelně vedle samovolného vývoje mezi mediálně nejznámějšími žebříčky probíhá dlouhý proces hledání podoby rankingu, která by nejen více odpovídala očekávání všech aktérů (včetně samotných VŠ institucí), ale která by také reflektovala skutečné proměny současného vysokého školství. Přestože vliv uvedených žebříčků na různé uživatele vysokého školství nelze podceňovat, na evropské úrovni se již delší dobu výrazněji prosazuje diferencovaný přístup v podobě klasifikací a multiranků. Expertní skupina, která se zabývá produkováním a výzkumem rankingů (International Ranking Expert Group), přijala na konferenci konané v Berlíně v roce 2006 soubor principů, které nazvala Berlin Principles on Ranking of Higher Education Institutions. Podle jednoho z těchto principů by rankingy měly „mít jasný účel a cílovou skupinu a měly by být tvořeny v souladu s tímto účelem. Indikátory vytvořené pouze pro specifický účel nebo pro informaci pouze jedné cílové skupiny by neměly být dostačující pro různé účely nebo pro různé cílové skupiny“. Z tohoto hlediska má specifické postavení mezi rankings projekt U-multirank, jehož autoři se snaží vyvarovat většině negativních aspektů předchozích uvedených rankingů. Tvůrci projektu jsou toho názoru, že podle Berlínských principů je nutné, aby ranking zahrnoval a porovnával pouze podobné a porovnatelné instituce nebo programy ve smyslu jejich poslání a profilů (nepovažují za rozumné srovnávat například bakalářské studijní programy malé regionální instituce se studijními programy mezinárodně a výzkumně orientované instituce apod.). Navazují proto na předcházející evropský projekt „U-map classification“, jehož cílem bylo vytvořit nástroj pro multidimenzionální klasifikaci vysokých škol. Klasifikace nabízí „obrázek“ institucí v šesti dimenzích, z nichž každá je popsána několika indikátory a tudíž umožňuje různým uživatelům vysokého školství analyzovat profily institucí a provádět komparativní analýzu. Program U-multirank připravuje • účelově zaměřený instiuticionální ranking s různými výsledky pro různé instiutice v různých dimensích a • oborově zaměřený ranking pro různé studijní programy ve skupině institucí s vysokým stupněm podobnosti v příslušných profilech. V listopadu tohoto roku se zahajuje pilotní fáze projektu, která předpokládá účast cca 150 vysokých škol z celého světa; z České republiky se účastní 3 vysoké školy, mezi nimi Univerzita Karlova. Z obou uvedených projektů vyplývá již dnes velmi důležitá skutečnost – klasifikace a multidimensionální ranking budou náročné na sběr dat na institucionální úrovni, a proto bude nutné se této záležitosti důsledně věnovat. Výsledky pilotního ověření budou mít nepochybně velký vliv na Boloňský proces, který může v nově započaté dekádě zařadit multidimensionální ranking mezi svoje 30

priority. Lze to potvrdit již z komuniké ministrů školství přijatého v roce 2010 v Lovani, které obsahuje pasáže o sběru dat a o vícerozměrných nástrojích pro zajištění transparentnosti.

31

5. Přílohy 5.1. Příklad srovnání postavení stejných univerzit v Academic Ranking of World Universities (ARWU) a Times Higher Education Supplement – THE4 Autor studie se zamýšlí nad indikátory, které oba prestižní globální rankingy užívají a nad postavením některých univerzit (vybral významné univerzity ze dvou států v USA a několik asijských univerzit) v obou z těchto žebříčků. Ukazuje významné rozdíly (viz níže uvedená tabulka) v postavení jednotlivých univerzit, zejména v pořadích za první desítkou univerzit. Charakteristické je to, že hodnocení amerických univerzit je podle THES výrazně horší, než hodnocení ARWU, v některých případech je umístění na THES dvakrát až třikrát horší, než na žebříčku SJTU. Zcela opačná situace je v případě univerzit asijských, kde jsou v žebříčku SJTU hodnoceny výrazně hůř a to až tak, že žádné srovnávání nemá význam. Autor studie z toho odvozuje nutnost se tímto nesouladem, který patrně vyplývá spíše z metodiky a přidělení váhy jednotlivým indikátorů, než z výběru jednotlivých indikátorů, z nichž některé jsou u obou rankingů podobné, náležitě zabývat a pokusit se ho vysvětlit. Dodává k tomu, že je potřeba se zabývat nejen vysvětlením nekonzistence žebříčků, ale také dalšími ukazateli, zejména kvalitativními, které nejsou závislé ani na státě ani na světovém regionu, kde dané univerzity působí. V souvislosti s tím dokazuje zásadní vliv vedení univerzit (zejména presidentů/rektorů) na kvalitu a prestiž univerzity. Dále zdůrazňuje, že základním cílem univerzit je vzdělávat mladé lidi, a to nejen pro účel budoucího povolání, ale v mnohem širším slova smyslu jako občany v globální společnosti. Proto vidí nutnost hodnotit studenty a studium, i když dodává, že to není jednoduchá záležitost.

Institution Institutions in New York State Columbia University Cornell University Rockefeler University New York University Orchester University State University of New York- Stony Brook Universities in the State of Kalifornia Stanford University University of California – Berkeley California Institute of Technology University of Kalifornia – San Diego University of Kalifornia – Los Angeles University of Kalifornia – San Francisco (M) University of Kalifornia – Santa Barbara University of Kalifornia – Davies University Southern Kalifornia Universities in Asia Hong Kong University of Science and Technology

SJTU-rank (ARWU)

THES-rank

9 12 29 32 52 101-152

10 23 Not ranked 79 86 136

2 4 6 13 16 17 35 42 48

7 2 4 24 26 20 72 182 180

202-301

42

4

Tato část vychází ze studie Hajan Feng Victor (2007) World Universities Rankings: Generic and Intangible Features of World-Class Universities, In: Jan Sadlak, Liu Nian Cai (eds): The World-Class University nad Ranking: Aiming betone Status, UNESCO-CEPES, Shanghai Jiao Tong University. Cluj University Press

32

Peking University Tsing Hua University (Beijing) University of Hong Kong National University of Singapure Nanyang Technological University

202-301 202-301 202-301 101-152 302-403

17 62 39 18 50

5.2. Srovnání prvních 20 vysokých škol v THE 2009 a 2010

1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20.

THE 2010 stát THE 2009 stát Harvard University USA Harvard University USA California Institute of USA University of Cambridge UK Technology Massachusetts Institute USA Yale University USA of Technology Stanford University USA University College London UK Princeton University USA Imperial College London UK (5.) University of UK University of Oxford UK Cambridge (5.) University of Oxford UK University of Chicago USA University of California USA Princeton University USA Berkeley Imperial College UK Massachusetts Institute of Technology USA London Yale University USA California Institute of Technology USA University of California USA Columbia University USA Los Angeles University of Chicago USA University of Pennsylvania USA Johns Hopkins USA Johns Hopkins University USA University Cornell University USA Duke University USA Swiss Federal Institute Švýcarsko Cornell University USA of Technology Zurich University of Michigan USA Stanford University USA University of Toronto Kanada Australian National University Austrálie Columbia University USA McGill University Kanada University of USA University of Michigan USA Pennsylvania Carnegie Mellon USA University of Edinburgh (20.); ETH UK; University Zurich (Swiss Federal Institute of Švýcarsko Technology) (20.) 5.3. Příklady velkých meziročních posunů mezi THE 2009 a 2010 Instituce

Duke University University of Toronto McGill University

Umístění v THE 2009 14 29 18

Umístění v THE 2010 24 17 35

Rozdíl v umístění 10 12 17

33

Australian National University Yonsei University Lomonosov Moscow State University King’s College London Osaka University Aarhus University University of Copenhagen

17 151 155

43 190 není

26 39 minimálně 45

23 130 63 51

77 43 167 177

54 87 104 126

5.4. Porovnání prvních 20 vysokých škol mezi ARWU, THE, QS 2010 THE 2010 1. Harvard University

stát ARWU 2010 USA Harvard University

2. California Institute of Technology 3. Massachusetts Institute of Technology 4. Stanford University

USA University of California, Berkeley USA Stanford University

stát QS USA University of Cambridge USA Harvard University

USA

USA Yale University

USA

USA Massachusetts Institute of Technology USA University of Cambridge

USA UCL (University College London)

UK

UK

USA

6. University of Cambridge (5.) 7. University of Oxford

UK

California Institute of Technology Princeton University

USA USA

8. University of California Berkeley 9. Imperial College London

USA Columbia University

USA

UK

USA

10. Yale University 11. University of California Los Angeles 12. University of Chicago

USA University of Oxford USA Yale University

UK USA

USA Cornell University

USA University of Pennsylvania (UPenn) USA Stanford University

USA

USA Duke University

USA

USA University of Michigan USA Cornell University

USA

5. Princeton University (5.)

13. Johns Hopkins University

UK

University of Chicago

USA University of California, Los Angeles USA University of 14. Cornell University California, San Diego 15. Swiss Federal Institute Švýc University of of Technology Zurich arsko Pennsylvania USA University of 16. University of

Massachusetts Institute of Technology (MIT) University of Oxford Imperial College London University of Chicago California Institute of Technology (Caltech) Princeton University Columbia University

stát UK

UK UK USA USA

USA USA

USA

USA

34

Michigan 17. University of Toronto 18. Columbia University

19. University of Pennsylvania 20. Carnegie Mellon University

Washington Kana University of da Wisconsin - Madison USA The Johns Hopkins University USA University of California, San Francisco USA The University of Tokyo

USA Johns Hopkins University USA ETH Zurich (Swiss Federal Institute of Technology) USA McGill University

USA Švýca rsko

Japon Australian National sko University

Austr álie

Kana da

35